1. 程式人生 > >kylin建立專案/資料來源

kylin建立專案/資料來源

參考文件:

      1. 登陸

登陸後介面如下:

通過web訪問,如果正常,表示kylin配置成功!可以進行其它操作了。

      1. 建立專案(Project)

進入kylin介面後,可以通過點選“Add project”建立專案,可以建立多個專案。

點選建立專案後如下圖,填寫專案名稱及描述(專案類似開發中的工作空間,一個專案中有多個model,多個cube), 然後submit 提交即可。並且建立好的專案還可以修改。

      1. 新增資料來源(DataSource)

點選導航欄model->項卡DataSource

資料來源載入方式有三種:

Load Hive table :從hive表中同步

Load Hive Table from Tree :從hive表中同步,以樹結構顯示錶結構

Add streaming Table:通過資料流同步,既json方式建立表。

首先要在hive中建立表結構:

第一種:Load Hive table :從hive表中同步

選擇model->datasource->點選load hive table.

1、檢視hive中表:

[root@server63 ~]# hive

Logging initialized using configuration in file:/usr/local/apache-hive-2.1.1-bin/conf/hive-log4j2.properties Async: true

Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases.

hive> show databases;

OK

default

Time taken: 2.721 seconds, Fetched: 1 row(s)

hive> use default;

hive> show tables;

2、同步表:點選Load Hive table 後,跳轉到同步hive表介面,輸入hive中表名稱,點選同步,同步表需要等待一會,載入完成即可。

注:這裡的表需要加上需要加上名稱空間。預設是default。

同步成功後如下:

第二種:Load Hive Table from Tree :從hive表中同步,以樹結構顯示錶結構

選擇model->datasource->load hive table from tree.

選擇Load Hive Table from Tree ,跳轉如下介面,點選default載入表或者在文字框中輸入表名稱同步,然後選擇表,點選同步完成。

同步成功如下圖:

第三種:Add streaming Table:通過資料流(kafka)同步,json方式建立表

1,在主介面找到下圖所示Add Streaming Table按鈕,依次點選Data Source標籤->Add Streaming Table按鈕

選擇Add streaming Table,在彈出介面輸入josn字串表資訊,點選箭頭同步到右側,然後下一步。

2,使用下面的json字串建立Table

{"Type":0,"RealCode":"RealCode","ServiceType":0,"DeviceType":0,"PlateNum":"PlateNum","ProtoType":0,"RouteType":0,"GroupAccount":"GroupAccount","Time":1497152123000,"FileType":0,"AuthType":"AuthType","AccessSystemID":1138067013,"RealType":0,"CyberCode":"CyberCode","IMSI":"IMSI","RESOURCETYPE":33,"ManufacturerCode":"723005104","SystemType":"145","DATASOURCEID":1701480372,"InterfaceID":3,"AreaCode":"371082","TerminalMac":"TerminalMac","MachineCode":"72300510494885E24008C","IMEI":"IMEI","InterfaceGroupID":4,"UnitCode":"37108235180040","GuildID":"GuildID","RouteMac":"08:10:78:CA:E2:0F"}

3,如下圖所示步驟建立Streaming表,1,貼上上面的json到視窗左側,2,點選中間的》按鈕,自動出現Table的column列表,3,填入Table Name表名,如T_kafka

4,修改Column列表中int列型別為bigint(關鍵),修改SystemType為varchar(256)

修改後如下:

5,輸入table name表名後點擊視窗下方next按鈕

在新的介面中錄入kafka的Topic,如kylin

在下方維護叢集的kafka broker資訊,埠號為9092

點選Kafka Setting下面的save按鈕儲存kafka配置資訊,點選右下角Submit按鈕儲存Streaming Table