kettle 實時同步資料(插入/更新/刪除資料)
首先需要下載kettle工具,本人的環境為:jdk1.8。
下載地址:https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip
來接mysql資料庫需要把mysql-connector-java-5.1.38.jar匯入到解壓後的lib檔案中,並重啟kettel。
表同步為單向表操作。
首先新建轉換,然後連結資料庫。
然後設定表輸入,插入/更新,執行sql指令碼(為同步刪除操作);
本人插入表為127-mysql-test 庫中的user2表
插入更新表為127-mysql-test2庫中的user3表。
執行sql指令碼中刪除的也是127-mysql-test2庫中的user3表。
以上兩個方面設定後可以單次執行插入和更新,但是刪除源表後,插入表不能同步刪除,所以需要設定“執行sql指令碼”進行同步刪除操作。
以上操作後,可以同步插入更新和刪除,到此後需要有一個定時器,進行定時同步資料。
檔案->新建->作業
然後啟動就可以定時排程了。定時同步資料就完成了。
當然瞭如果是需要多張表一起同步的話,就多建立幾個轉換就ok了。
相關推薦
kettle 實時同步資料(插入/更新/刪除資料)
首先需要下載kettle工具,本人的環境為:jdk1.8。下載地址:https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip來接mysql資料庫需
mybatis插入更新刪除資料時,成功但是不能寫入資料庫
mybatis進行查詢select操作時 session.select("statement", "parament“); 成功,可以獲取到結果。 但是增刪改時僅僅一句sesseion.[操作
能否向Mysql檢視中插入/更新/刪除資料
要通過檢視更新基本表資料,必須保證檢視是可更新檢視,即可以在INSET、UPDATE或DELETE等語句當中使用它們。對於可更新的檢視,在檢視中的行和基表中的行之間必須具有一對一的關係。還有一些特定的其他結構,這類結構會使得檢視不可更新。 如果檢視包含下述結構中的任何
插入更新刪除資料,索引,檢視,建立使用者,修改當前使用者密碼
單表建立檢視:CREATE VIEW 檢視名稱(檢視中的欄位名1,欄位2..) AS SELECT 欄位1,欄位2...FROM 表名 WHERE 條件;多表建立檢視:CREATE VIEW 檢視名稱(檢視中的欄位名1,欄位2..) AS SELECT 欄位1,欄位2...FROM 表1,表2 WHERE 條
MongoDB的基本操作(插入、刪除、更新、索引)
###一、MongoDB與Sql資料庫概念上的區別 MongoDB與SQL資料庫有幾個概念上的問題是不一樣的,主要有sql資料庫中的表(table)在MongoDB中叫集合(collection);sql資料庫表中一行記錄(row)在MongoDB中叫文件(
kettle 教程(二):常用輸出(插入更新、表輸出、執行 SQL 指令碼)
上一篇 文章 ,主要講了 kettle 的原理、安裝及簡單的使用。其中用到了一種輸出方式:插入更新。 這篇文章,主要介紹下常用的輸出方式:插入更新、表輸出、執行 SQL 指令碼。 插入更新 插入更新,顧名思義,包括插入和更新兩種情況。 我們需要先設定
單鏈表(線性連結串列)資料元素插入和刪除
資料元素的插入:為插入資料元素x,首先要生成一個數據域為x的結點,然後插入在單鏈表中,根據插入操作的邏輯定義,還需要修改結點a中的指標域,令其指向節點x,而結點x中的指標域應指向結點b,從而實現3個元素a,b和x之間邏輯關係的變化。 資料元素的刪除:線上性
mysql——我自己寫的兩張表(插入、刪除、更新)同時進行的(觸發器)例項
資料庫如下: <span style="font-size:18px;">create database mytest; use mytest; DROP TABLE IF EXISTS `user1`; CREATE TABLE `user1` ( `i
Linux - 常用參考資料(持續更新)
linux 磁盤 文件 分區 達內1、MBR 與 GPT 的聯系和區別https://baike.baidu.com/item/GPT/15413476?fr=aladdin本文出自 “不動的流星” 博客,請務必保留此出處http://caihong.blog.51cto.com/277306/1980931
vim使用技巧(插入,刪除,查找,復制,粘貼,剪切)
技術 uri 全部 位置 del 拷貝 mark 命令模式 分享圖片 原文鏈接:http://blog.csdn.net/qq_38646470/article/details/79643000 編程人員很喜歡的編輯器:vim 先搞清楚vim的三種模式: 1.命令模式:在L
實時同步服務(inotify+sersync)
inotify sersync 同步服務 【inotify】 一.Inotify概念 1.概念一種強大的,細粒度的,異步文件系統事件監控機制,內核從2.6.23開始支持使用,具體監控事項(增刪改)2.安裝軟件yum -y install inotify-tools (前提是部署好epel源)3
《資料結構》-python實現-資料的插入與刪除
資料插入 #資料插入:在list中的第i個位置插入元素e def Insert(list, i, e): if i>len(list)-1: return False list.append([]) for k in range(len(l
C++|STL學習筆記-map的基本操作(插入,刪除,遍歷,大到小輸出)【仿大佬寫法】
首先的程式碼是插入,刪除,遍歷 執行截圖如下: 原始碼如下: #include <map> #include <iostream> #include <algorithm> using namespace std; typedef pair
使用jdbc向資料庫中注入大量資料(以10W條資料批量插入為例)
例項:10w條資料的插入(批量插入) import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; public class HomeWork02 { //預
AVL樹C++實現(插入,刪除,查詢,清空,遍歷操作)
AVL.h檔案程式碼 #pragma once #include<iostream> #include<stack> #include <assert.h> using namespace std; using namespace std; template<cl
EF 批量更新/刪除資料
EF6增改刪等常用基類 11-21 4241 using System;using System.Linq;using System.Threading.Tasks;using System.Linq...
EF6 批量更新刪除資料
首先看改進前的版本以批量更新為例: [Obsolete] public void DeleteRoleUser2(string roleId) { IRepository<UserEntity> userRepo = Repos
Elasticsearch使用Logstash-input-jdbc同步mysql資料(全量和增量)
作者:camelcanoe 來源:CSDN 原文:https://blog.csdn.net/camelcanoe/article/details/79759376 版權宣告:本文為博主原創文章,轉載請附上博文連結! 專案中用到elasticsearch,初始化資料時時寫的程式從資
scrolledtext插入和刪除資料
from tkinter import Tk from tkinter import scrolledtext from tkinter import END # 記得引入 END root = Tk() st = scrolledtext.ScrolledText(root) st.insert("inse
Elasticsearch使用Logstash-input-jdbc同步mysql資料(全量和增量)(windows)
專案中用到elasticsearch,初始化資料時時寫的程式從資料庫裡面查詢出來,然後多執行緒往elasticsearch裡面寫入的。今天試了一下Logstash-input-jdbc外掛,發現高效又方便,而且可以設定定時任務。1、安裝外掛在logstash的bin目錄下執行