kylin建立專案/資料來源
參考文件:
-
-
- 登陸
-
登陸後介面如下:
通過web訪問,如果正常,表示kylin配置成功!可以進行其它操作了。
-
-
- 建立專案(Project)
-
進入kylin介面後,可以通過點選“Add project”建立專案,可以建立多個專案。
點選建立專案後如下圖,填寫專案名稱及描述(專案類似開發中的工作空間,一個專案中有多個model,多個cube), 然後submit 提交即可。並且建立好的專案還可以修改。
-
-
- 新增資料來源(DataSource)
-
點選導航欄model->項卡DataSource
資料來源載入方式有三種:
Load Hive table :從hive表中同步
Load Hive Table from Tree :從hive表中同步,以樹結構顯示錶結構
Add streaming Table:通過資料流同步,既json方式建立表。
首先要在hive中建立表結構:
第一種:Load Hive table :從hive表中同步
選擇model->datasource->點選load hive table.
1、檢視hive中表:
[root@server63 ~]# hive
Logging initialized using configuration in file:/usr/local/apache-hive-2.1.1-bin/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases.
hive> show databases;
OK
default
Time taken: 2.721 seconds, Fetched: 1 row(s)
hive> use default;
hive> show tables;
2、同步表:點選Load Hive table 後,跳轉到同步hive表介面,輸入hive中表名稱,點選同步,同步表需要等待一會,載入完成即可。
注:這裡的表需要加上需要加上名稱空間。預設是default。
同步成功後如下:
第二種:Load Hive Table from Tree :從hive表中同步,以樹結構顯示錶結構
選擇model->datasource->load hive table from tree.
選擇Load Hive Table from Tree ,跳轉如下介面,點選default載入表或者在文字框中輸入表名稱同步,然後選擇表,點選同步完成。
同步成功如下圖:
第三種:Add streaming Table:通過資料流(kafka)同步,json方式建立表
1,在主介面找到下圖所示Add Streaming Table按鈕,依次點選Data Source標籤->Add Streaming Table按鈕
選擇Add streaming Table,在彈出介面輸入josn字串表資訊,點選箭頭同步到右側,然後下一步。
2,使用下面的json字串建立Table
{"Type":0,"RealCode":"RealCode","ServiceType":0,"DeviceType":0,"PlateNum":"PlateNum","ProtoType":0,"RouteType":0,"GroupAccount":"GroupAccount","Time":1497152123000,"FileType":0,"AuthType":"AuthType","AccessSystemID":1138067013,"RealType":0,"CyberCode":"CyberCode","IMSI":"IMSI","RESOURCETYPE":33,"ManufacturerCode":"723005104","SystemType":"145","DATASOURCEID":1701480372,"InterfaceID":3,"AreaCode":"371082","TerminalMac":"TerminalMac","MachineCode":"72300510494885E24008C","IMEI":"IMEI","InterfaceGroupID":4,"UnitCode":"37108235180040","GuildID":"GuildID","RouteMac":"08:10:78:CA:E2:0F"}
3,如下圖所示步驟建立Streaming表,1,貼上上面的json到視窗左側,2,點選中間的》按鈕,自動出現Table的column列表,3,填入Table Name表名,如T_kafka
4,修改Column列表中int列型別為bigint(關鍵),修改SystemType為varchar(256)
修改後如下:
5,輸入table name表名後點擊視窗下方next按鈕
在新的介面中錄入kafka的Topic,如kylin
在下方維護叢集的kafka broker資訊,埠號為9092
點選Kafka Setting下面的save按鈕儲存kafka配置資訊,點選右下角Submit按鈕儲存Streaming Table