大資料技術與商業智慧BI是相輔相成的，大資料技術可以幫助BI產品突破業務和技術的雙挑戰。視覺化大資料分析軟體在快速發展的市場環境中，迎來了越來越多的技術要求。這些核心技術成為大資料獲取、儲存、處理分析或視覺化的有效手段，可以說是我們這些專注研究視覺化大資料分析軟體的工作人員需要去學習和了解的！

1.大資料生命週期

底層是基礎設施，涵蓋計算資源、記憶體與儲存和網路互聯，具體表現為計算節點、叢集、機櫃和資料中心。在此之上是資料儲存和管理，包括檔案系統、資料庫和類似YARN的資源管理系統。然後是計算處理層，如hadoop、MapReduce和Spark，以及在此之上的各種不同計算正規化，如批處理、流處理和圖計算等，包括衍生出程式設計模型的計算模型，如BSP、GAS等。資料分析和視覺化基於計算處理層。分析包括簡單的查詢分析、流分析以及更復雜的分析(如機器學習、圖計算等)。查詢分析多基於表結構和關係函式，流分析基於資料、事件流以及簡單的統計分析，而複雜分析則基於更復雜的資料結構與方法，如圖、矩陣、迭代計算和線性代數。一般意義的視覺化是對分析結果的展示。但是通過互動式視覺化，還可以探索性地提問，使分析獲得新的線索，形成迭代的分析和視覺化。基於大規模資料的實時互動視覺化分析以及在這個過程中引入自動化的因素是目前研究的熱點。

2.大資料技術生態

大資料的基本處理流程與傳統資料處理流程並無太大差異，主要區別在於：由於大資料要處理大量、非結構化的資料，所以在各處理環節中都可以採用並行處理。目前，Hadoop、MapReduce和Spark等分散式處理方式已經成為大資料處理各環節的通用處理方法。

本文福利：關注薇信工宗號：程式設計師交流互動平臺，回覆【大資料】可獲取大資料基礎視訊教程一套

3.大資料採集與預處理

根據MapReduce產生資料的應用系統分類，大資料的採集主要有4種來源：管理資訊系統、Web資訊系統、物理資訊系統、科學實驗系統。對於不同的資料集，可能存在不同的結構和模式，如檔案、XML樹、關係表等，表現為資料的異構性。對多個異構的資料集，需要做進一步整合處理或整合處理，將來自不同資料集的資料收集、整理、清洗、轉換後，生成到一個新的資料集，為後續查詢和分析處理提供統一的資料檢視。

關於玩視覺化大資料分析軟體要掌握的6個核心技術就先介紹3個，下篇我們再繼續。開發一款視覺化大資料分析軟體需要掌握很多大資料技術，這要求研發人員保持持續學習和更新的態度。這樣才能生產出先進的BI產品。

4.大資料儲存與管理

總體上，按資料型別的不同，大資料的儲存和管理採用不同的技術路線，大致可以分為3類。

第1類主要面對的是大規模的結構化資料。針對這類大資料，通常採用新型資料庫叢集。它們通過列儲存或行列混合儲存以及粗粒度索引等技術，結合MPP(MassiveParallelProcessing)架構高效的分散式計算模式，實現對PB量級資料的儲存和管理。這類叢集具有高效能和高擴充套件性特點，在企業分析類應用領域已獲得廣泛應用;

第2類主要面對的是半結構化和非結構化資料。應對這類應用場景，基於Hadoop開源體系的系統平臺更為擅長。它們通過對Hadoop生態體系的技術擴充套件和封裝，實現對半結構化和非結構化資料的儲存和管理;

第3類面對的是結構化和非結構化混合的大資料，因此採用MPP並行資料庫叢集與Hadoop叢集的混合來實現對百PB量級、EB量級資料的儲存和管理。

5.大資料計算模式與系統

所謂大資料計算模式，即根據大資料的不同資料特徵和計算特徵，從多樣性的大資料計算問題和需求中提煉並建立的各種高層抽象(abstraction)或模型(model)。例如，MapReduce是一個平行計算抽象，加州大學伯克利分校著名的Spark系統中的“分佈記憶體抽象RDD”，CMU著名的圖計算系統GraphLab中的“圖並行抽象”(GraphParallelAbstraction)等。傳統的平行計算方法，主要從體系結構和程式語言的層面定義了一些較為底層的平行計算抽象和模型，但由於大資料處理問題具有很多高層的資料特徵和計算特徵，因此大資料處理需要更多地結合這些高層特徵考慮更為高層的計算模式。

根據大資料處理多樣性的需求和以上不同的特徵維度，目前出現了多種典型和重要的大資料計算模式。與這些計算模式相適應，出現了很多對應的大資料計算系統和工具。由於單純描述計算模式比較抽象和空洞，因此在描述不同計算模式時，將同時給出相應的典型計算系統和工具，這將有助於對計算模式的理解以及對技術發展現狀的把握，並進一步有利於在實際大資料處理應用中對合適的計算技術和系統工具的選擇使用。

6.大資料分析與視覺化

在大資料分析的應用過程中，視覺化通過互動式視覺表現的方式來幫助人們探索和理解複雜的資料。視覺化與可視分析能夠迅速和有效地簡化與提煉資料流，幫助使用者互動篩選大量的資料，有助於使用者更快更好地從複雜資料中得到新的發現，成為使用者瞭解複雜資料、開展深入分析不可或缺的手段。大規模資料的視覺化主要是基於並行演算法設計的技術，合理利用有限的計算資源，高效地處理和分析特定資料集的特性。通常情況下，大規模資料視覺化的技術會結合多解析度表示等方法，以獲得足夠的互動效能。在科學大規模資料的並行視覺化工作中，主要涉及資料流線化、任務並行化、管道並行化和資料並行化4種基本技術。微軟公司在其雲端計算平臺Azure上開發了大規模機器學習視覺化平臺(AzureMachineLearning)，將大資料分析任務形式為有向無環圖並以資料流圖的方式向用戶展示，取得了比較好的效果

本文福利：關注薇信工宗號：程式設計師交流互動平臺，回覆【大資料】可獲取大資料基礎視訊教程一套

關於玩視覺化大資料分析軟體要掌握的6個核心技術，這裡就介紹完畢了。其實這兩篇似乎把大資料技術闡述得非常難的感覺，但其實，視覺化大資料分析軟體的使用並沒有那麼神乎其神，畢竟視覺化大資料分析軟體的發明是為了企業日常的資料化運營而產生的，所以不能太過於難用。