CDH+Kylin三部曲之三：Kylin官方demo
阿新 • • 發佈：2020-10-24
### 歡迎訪問我的GitHub
[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)
內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；
本文是《CDH+Kylin三部曲》系列的終篇，先簡單回顧前面的內容：
1. [《CDH+Kylin三部曲之一：準備工作》](https://blog.csdn.net/boling_cavalry/article/details/105449630)：準備好機器、指令碼、安裝包；
2. [《CDH+Kylin三部曲之二：部署和設定》](https://blog.csdn.net/boling_cavalry/article/details/105449952)：完成CDH和Kylin部署，並在管理頁面做好相關的設定；
現在Hadoop、Kylin都就緒了，接下來實踐Kylin的官方demo；
### Yarn引數設定
Yarn的記憶體引數設定之後一定要重啟Yarn使之生效，否則Kylin提交的任務是會由於資源限制而無法執行；
### 關於Kylin官方demo
1. 下圖是官方demo的指令碼的一部分(create_sample_tables.sql)，基於HDFS資料建立Hive表：
2. 通過指令碼可見KYLIN_SALES為事實表，其他是維度表，並且KYLIN_ACCOUNT和KYLIN_COUNTRY存在關聯，因此維度模型符合Snowflake Schema；
### 匯入樣例資料
1. SSH登入CDH伺服器
2. 切換到hdfs賬號：su - hdfs
3. 執行匯入命令：${KYLIN_HOME}/bin/sample.sh
4. 匯入成功，控制檯輸出如下：
### 檢查資料
1. 檢查資料，執行beeline進入會話模式(hive官方推薦用beeline取代Hive CLI)：
2. 在beeline會話模式輸入連結URL：!connect jdbc:hive2://localhost:10000，按照提示輸入賬號hdfs，密碼直接回車：
3. 用命令show tables檢視當前的hive表，已建好：
4. 查出訂單的最早和最晚時間，後面構建Cube的時候會用到，執行SQL：select min(PART_DT), max(PART_DT) from kylin_sales; ，可見最早2012-01-01，最晚2014-01-01，整個查詢耗時18.87秒：
### 構建Cube：
資料準備完成，可以構建Kylin Cube了：
1. 登入Kylin網頁：http://192.168.50.134:7070/kylin
2. 載入Meta資料，如下圖：
3. 如下圖紅框所示，資料載入成功：
4. 在Model頁面可以看到事實表和維度表，如下圖的操作可以建立一個MapReduce任務，計算維度表KYLIN_ACCOUNT每個列的基數(Cardinality)：
5. 去Yarn頁面(CDH伺服器的8088埠)，如下圖，可見有個MapReduce型別的任務正在執行中：
6. 上述任務很快就能完成(10多秒)，此時重新整理Kylin頁面，可見KYLIN_ACCOUNT表的Cardinality資料已經計算完成了（hive查詢得到ACCOUNT_ID數量是10000，但下圖的Cardinality值為10420，Kylin對Cardinality的計算採用的是HyperLogLog的近似演算法，與精確值有誤差，其他四個欄位的Cardinality與Hive查詢結果一致）：
7. 接下來開始構建Cube：
8. 日期範圍，剛才Hive查詢結果是2012-01-01到2014-01-01，注意截止日期要超過2014-01-01：
9. 在Monitor頁面可見進度：
10. 去Yarn頁面(CDH伺服器的8088埠)，可以看到對應的任務和資源使用情況：
11. build完成後，會出現ready圖示：
### 查詢
1. 先嚐試查詢交易的最早和最晚時間，這個查詢在Hive上執行的耗時是18.87秒，如下圖，結果一致，耗時0.14秒：
2. 下面這個SQL是Kylin官方示例用來對比響應時間的，對訂單按日期聚合，再按日期排序，然後接下來分別用Kylin和Hive查詢：
```shell
select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;
```
3. Kylin查詢耗時0.13秒：
4. Hive查詢，結果相同，耗時40.196秒：
5. 最後來看下資源使用情況，Cube構建過程中，18G記憶體被使用：
至此，CDH+Kylin從部署到體驗就已完成，《CDH+Kylin三部曲》系列也結束了，如果您正在學習Kylin，希望本文能夠給您一些參考。
### 歡迎關注公眾號：程式設計師欣宸
> 微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blo