【Java實踐】Kettle從一次實驗說起

阿新 • • 發佈：2019-11-12

一，安裝Kettle

1，關於簡易安裝Kettle

第一次接觸kettle（以前只是聽過罷了），摸索了幾天，在mac原始碼安裝失敗，轉而快速安裝。在mac上安裝最新版kettle併成功啟動程式碼如下：

☁  ~  brew install kettle
☁  ~  cd /usr/local/Cellar/kettle/8.2.0.0-342/
☁  8.2.0.0-342  cd libexec
☁  libexec  spoon.sh

2，關於原始碼嘗試安裝kettle

【Kettle原始碼下載】：https://github.com/pentaho/pentaho-kettle

git clone https://github.com/pentaho/pentaho-kettle
# or
git clone [email protected]:pentaho/pentaho-kettle.git

設定 setting.xml

將 setting.xml 參見： settings.xml 在你的Maven啟動目錄/.m2中。

☁  pentaho-kettle [master] ⚡  ll /Users/zhangbocheng/.m2
total 8
drwxr-xr-x  97 zhangbocheng  staff  3104 11  8 17:28 repository
-rw-r--r--   1 zhangbocheng  staff  2345 11  8 20:10 setting.xml

安裝

☁  pentaho-kettle [master] mvn clean install >> /Users/zhangbocheng/Desktop/kettle.log

關於error.log

未設定 setting.xml報錯問題

.....................................
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47:49 min
[INFO] Finished at: 2019-11-08T17:44:01+08:00
[INFO] Final Memory: 230M/985M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project pdi-ce: Could not resolve dependencies for project org.pentaho.di:pdi-ce:pom:9.0.0.0-SNAPSHOT: Could not transfer artifact org.hitachivantara.karaf.assemblies:client:zip:9.0.0.0-20191107.125717-160 from/to pentaho-public (http://nexus.pentaho.org/content/groups/omni/): Failed to transfer file http://nexus.pentaho.org/content/groups/omni/org/hitachivantara/karaf/assemblies/client/9.0.0.0-SNAPSHOT/client-9.0.0.0-20191107.125717-160.zip with status code 502 -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException
[ERROR] 
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :pdi-ce

設定 setting.xml後，就一直處在等待中。

二，實驗案例

關於課程實驗，第一次需要親手搭建Kettle，這算是一次比較有意思的工程實踐機會，花最少的時間來認識認識比較流行而且強大的ETL工具之一--Kettle。

1，關於實驗題目

任務描述：用kettle完成下列實驗，結果儲存到MySQL（或者CSV）。已知Excel檔案，包含列（姓名，年齡，身份證號碼，性別，掛號日期時間，門診號），資料若干。

生成資料1，包含列（日，性別，兒童/青年/中年/老年，人次），其中兒童/青年/中年/老年的年齡段自己定義；
生成資料2，包含列（省份，hour，人次）

第一次接觸kettle，力求簡單，僅考慮輸入輸出均為Excel，首先按照題目要求捏造一批資料，如下圖所示：

Excel欄位說明：

姓名：字串
年齡：整型
身份證號碼：字串
性別：字串
掛號日期時間：日期時間型    
門診號：整型

進入安裝目錄/usr/local/Cellar/kettle/8.2.0.0-342/libexec啟動kettle:

根據實驗要求，其實所涉及的問題僅僅是輸入和輸出，轉換（分組統計）。建立任務之初，有必要先百度or Google看看kettle的輸入輸出是如何實現的？

2，例項預熱

最容易實現的簡單案例就是生成隨機數，並存儲到txt檔案。

1）新建一個轉換儲存為test_random（字尾為.ktr）通過拖拽外掛方式，在核心物件->輸入和輸出分別拖拽“生成隨機數”和“文字檔案輸出”兩個按鈕，然後點選“生成隨機數”並按下sheft鍵，用滑鼠指向“文字檔案輸出”，以生成剪頭，表示資料流向。如下圖：

2）編輯輸入流，即“生成隨機數”按鈕，如圖所示：

關於支援的隨機資料型別有：

3）然後編輯輸出流，即“文字檔案輸出”按鈕，如圖所示：

輸出檔名支援預覽模式，即點選圖中“顯示檔名...”按鈕：

4）最後執行，看看結果。

3，實驗步驟

通過上述簡單實驗，我們知道了輸入輸出流的基本操作，下面開始進入正題。

1）將上述實驗中的輸入輸出全部改為Excel。進行相關配置說明如下：

Excel輸入：

在檔案選項下，表格型別根據實際進行適配（xls or xlsx），在檔案或目錄後，點選“瀏覽”選擇自己的源資料檔案，然後點選“新增”；

在工作表選項下，點選“獲取工作表名稱...”新增工作表，即Excel中的sheet；

在欄位選項下，點選“獲取來自頭部資料的欄位...”自動獲取欄位，由於原Excel中整型資料轉入會變成浮點型，所以需要進行更改，如圖所示：

最後可以進行預覽。

Excel輸出：只需要配置輸出檔名即可，其他均為預設。

2）接下來需要處理的就行核心步驟，即轉換。首先針對生成資料1進行分析，由於kettle中分組需要首先進行排序，從而需要處理的點有：

（1）將掛號日期時間擷取到日；

（2）對年齡按照一定標準進行轉換（自己定義）；

（3）按照待分組的欄位進行排序；

（4）進行分組統計。

按照上述思路，在“轉換”和“統計”核心物件中，分別找到對應元件，完成基本資料流節點配置，如圖所示：

在“欄位選擇”元件中，對時間進行處理。在元資料選項中，需要對Date進行轉換成String，格式設定為yyyy-MM-dd,同時可以對欄位進行更名操作。另外還可以對欄位進行選擇，修改，移除。如圖所示：

注意，這裡如果不將時間設定為String，進行一個小實驗可以可以發現，最後儲存的依然是帶時間的日期，本次實驗過程中在這個坎糾結了，錯誤地以為是kettle不支援多關鍵字（兩個以上）排序，如下圖所示：

經過與各位大佬溝通確認，kettle是不可能不支援對多關鍵的排序的，對此深信不疑，那麼問題就從kettle本身存在的可能bug消失了，對一個小白而言，不熟悉kettle本身應遵守的規則，這是致命的，只能對懷疑的其他種種可能進行逐一實驗了。期間懷疑過待排序關鍵字的順序問題，測試發現都不是問題的根本原因，整個過程下來只有對日期做過預處理，而且從錯誤中發現，引起錯排的唯一合理解釋就是日期按照預處理之前的原始資料的日期時間型排序的。單獨對日期設計實驗，如果對預處理生效，那麼輸出也是預期結果。

驗證日期實驗

輸入流，如圖所示：

假設日期型別不改成String，如圖所示：

輸出流，結果預覽，如圖所示：

輸出流，Excel輸出，如圖所示：

驗證實驗室結果發現，預覽資料並沒有儲存到輸出Excel中去，然後嘗試轉換為String，輸出便一致了。再次驗證，kettle對日期類資料處理有待提高。