淺談BI實時圖表實現資料視覺化的原理
阿新 • • 發佈：2019-02-19
不久前，在商業智慧實時圖表解決方案的選擇中，我們簡單講了下實時分析的工作流程。今天我們就來詳細討論一下這個話題。
如果你已經使用過實時dashboard，或者正打算建立一個，那麼，這篇文章可以幫助你理解實時dashboard背後的故事以及實時資料如何展現在你的dashboard中，從而實現資料視覺化。
除去端到端之間極短的時間，資料實時視覺化主要有四大步驟。這裡我們用一張圖來展示。
1、捕獲資料流
實時資料流使用 scrapers、collectors、agents、listeners捕獲，並且儲存在資料庫中。資料庫通常是NoSQL資料庫，例如， Cassandra、MongoDB, 或者有時候是你只是Hadoop Hive。關係資料庫不適合這種高展現的分析。NoSQL資料庫的崛起也增強了實時資料分析向他靠攏的趨勢。
2、資料流處理
資料流可以通過許多方式處理，比如，分裂、合併、計算以及與外部資料來源結合。這些工作由一個容錯分散式資料庫系統，比如， Storm、Hadoop，這些都是比較常用的大資料處理框架。但是他們卻不是實時資料分析的理想選擇。因為他們依賴MapReduce面向批量的處理。不過Hadoop 2.0允許使用其他計算演算法代替MapReduce，這樣使得Hadoop在實時分析系統中運用又進了一步。處理之後，資料就可以很視覺化元件讀取了。
3、資料視覺化元件讀取處理過的資料
處理過的資料以結構化的格式（比如JSON或者XML）儲存在NoSQL資料庫中，被視覺化元件讀取。在大多數情況下，這會是一個嵌入到一個內部BI系統的圖表庫，或者成為像Tableau這種更加廣泛的視覺化平臺的一部分。處理過的資料在JSON/XML檔案中的重新整理頻率，稱為更新時間間隔。