公司有個專案，是使用kettle從oracle上統計，再將結果跟oracle中目標表進行對比更新。接手後，走了一些彎路，中間各種嘗試都不盡如人意，也學了kettle的一些元件的用法。正好趁著機會記錄 一下。

　　一、背景：

　　需求其實很簡單，在源oracle中，有大批量的表，是使用定時排程從其他不同的資料庫(oracle,mysql,sybase,dameng,sqlserver)中將 “表資訊”，“欄位資訊”，“註釋資訊”等元資料表，拉取過來，分別做好編號儲存。

　　而kettle要實現的功能：

　　① 則是從這些源資料表中，將表名、欄位名、欄位註釋、欄位長度、欄位型別等資訊關聯出來。

　　② 並與之前已經做好的一張結果表做關聯更新。

　　③ 將“元資料有變更”的表的四元素(type，length，primary，comment)資訊進行update。

　　④ 如果該欄位已經沒有了被刪除了，則有專用欄位標記為"1"。

　　⑤ 如果是新來的欄位，則insert插入目標表。

　　二、歷程：

　　1. 一開始，機敏的同事使用了一個SQL指令碼，用了oracle中的 merge using() matched ....用法，——如果查詢結果與目標結果的 table_name和 column_name關聯上，則直接將四元素update到目標表中；若沒關聯上，則直接insert到目標表中。

　　2. 問題初現： 初步的邏輯相當於：只要關聯上，就必須update，這樣來說，沒有任何變化的欄位，也要update一次，造成大量的update其實是可以避免的。而且已刪除欄位的標記也未實現。

　　3. 趟雷： 

　　　　① 最開始，使用kettle的元件來實現SQL中的邏輯，就不貼圖了，太長了，而且執行起來的效率低的可怕，後被pass。

　　　　② 後來嘗試，將SQL優化：

　　　　　　建立臨時表；

　　　　　　join的資料的列裁剪；

　　　　　　都用了一遍，但是毫無卵用....效率仍然低（在真實生產環境上直接都跑不動了）

　　　　③ 後來嘗試了一個新的用法：  kettle中有個元件叫“合併記錄”：  

　　　　當時一看，這不就是為這需求量身打造的元件，直接用起來！

　　　　改造邏輯：

　　　　查詢的SQL保留，但是再從目標表查詢出全量資料，將這兩個流做比對，用“合併記錄”的元件將各種情況的記錄都標記出來，在後續的流程中可以使用元件來篩選和進行後續的操作。

　　　　改造完成後的圖如下：

　　　　這樣，就將“需要更新”的，“需要插入的”，需要“標記為刪除的”分別篩選出來，單獨進行更細或者插入的操作了。
　　　　然而，還是出現了新的問題，在“更新”和”同步“ 

　　　　三、總結：

　　　　① 對於不通的方式，最多2天，不要再深入研究，問題一定不是在整個方向上。

　　　　② 解決問題要有邏輯性，哪怕在紙上寫出來，將問題一個個的羅列，解決，梳理，能對問題有個明確的方向。

　　　　③ 多上cnblog看看大神的資料庫筆記。。。

&n