1. 程式人生 > >StreamSets 從Mysql到Hbase(帶kerberos認證)的實時資料採集

StreamSets 從Mysql到Hbase(帶kerberos認證)的實時資料採集

引言

最近在研究StreamSets,就做了個簡單Demo熟悉它的使用,由於我們的hbase是cdh版的,且帶有kerberos認證,與streamsSet怎麼配帶kerberos認證的Hbase中文資料甚少,所以本人就去官網翻看了一下。

環境介紹

安裝streamSets這裡我不作過多介紹,這方面的網上資料有不少。我採用的是核心包安裝(Core Tarball),版本為streamsets-datacollector-core-3.6.1.tgz。因為是核心包安裝,所以需要新增hbase的庫,hbase的庫是在cdh。
在這裡插入圖片描述
安裝步驟:主介面點選那個盒子,然後點選cdh安裝就好,完全是圖形化的。

mysql配置

正常的新建Pipelines我就不多說,大家可以參看https://cloud.tencent.com/developer/article/1078852
在這裡插入圖片描述
可以配置一部分就先預覽一下:
在這裡插入圖片描述

帶kerberos認證hbase配置

這個就比較麻煩了!網上基本沒有什麼中文資料有說明。
在這裡插入圖片描述
kerberos認證的配置,可參看官網:https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Configuration/DCConfig.html#concept_hnm_n4l_xs
具體步驟:
1、將Kerberos配置檔案krb5.conf複製到Data Collector計算機。預設位置是/etc/krb5.conf。
注:安裝streamset的機器需要注意一下hosts檔案,ip到主機名的對映。
2、修改Data Collector配置檔案sdc.properties將Data Collector配置為使用Kerberos。
在這裡插入圖片描述


在這裡插入圖片描述
3、重新啟動Data Collector.
4、在streamset的hbase配置中勾選kerberos認證選項,如上圖。

總結

這個效果圖:
在這裡插入圖片描述