1. 程式人生 > >基於關係型資料庫和ES搜尋引擎,實現多源,百億級資料的大資料分析方案

基於關係型資料庫和ES搜尋引擎,實現多源,百億級資料的大資料分析方案

背景:

隨著公司各項業務的快速發展與擴張,伺服器和各種應用系統隨之而增加,同時對應用系統、伺服器的穩定性,可持續性提出了更高的要求,公司希望搭建一套綜合的分析與監控系統,為各個部分提供決策支援。

需要解決的問題:

(1)資料孤島問題,資料分散在不同的業務系統當中;

(2)伺服器日誌資訊如何有效蒐集與儲存;

(3)業務部門分析需求不固定,經常有新的需求提出,如何滿足各部門的需求;

(4)基於上面的問題如何快速搭建多源的視覺化分析系統;

技術選型與整體架構設計:

(方案一:業務資料ETL,基於數倉架構模式)

(方案二:採用資料直接模式)

(1)日誌採集主要通過logstash來採集,然後儲存到搜尋引擎中;

(2)業務系統資料可以採用兩種方案架構第一種是建設數倉,將不同資料彙集到數倉中;第二種:採用直連的方式直接對接大資料分析平臺;

(3)大資料視覺化分析採用NBI大資料視覺化分析平臺,可以實現多源資料分析,能很好的支援Elasticsearch,關係型資料庫,大資料儲存平臺的資料接入;通過拖拽式和高度靈活的佈局模式,可以快速構建各類視覺化分析報告應用;通過許可權控制,設定編輯與訪問許可權,保障企業資料資產的安全有效利用;

(4)最終通過NBI大資料視覺化分析平臺構建各類資料分析應用,輸出給對應部門人員使用。

注意事項:

(1)Elasticsearch需要安裝一個sql外掛elasticsearch-sql,根據es對應版本下載外掛,便於做互動式分析;

(2)NBI大資料平臺中,目前對Elasticsearch支援的建模方式為SQL建模

操作步驟:

(1)在NBI大資料平臺中,通過資料管理模組,新增Elasticsearch資料來源;

(2)測試連線,檢驗是否能正常連線到Elasticsearch

(3)連線成功,通過SQL建立工作表模型

(4)構建資料報告:

(5)設定訪問許可權:

以上案例通過NBI大資料視覺化工具(nbi.easydatavis.com:8033)