問題導讀：

1、CM是什麼？

2、CDH是什麼？

3、CM+CDH是什麼？

4、什麼是企業大資料平臺？

5、如何用CM+CDH構建企業大資料平臺？

..........

帶著種種疑問讓我們開啟真正的企業級大資料平臺搭建之旅。

    隨著網際網路，尤其是移動網際網路和智慧移動裝置的高速發展和大面積普及，資料產生的速度以及資料累積的規模已經超過了以往任何時候，所以我們正在或者已經步入了大資料時代。對於企業來說，企業所擁有的大規模資料正逐漸成為一種重要的生產要素，但是如何盤活企業海量資料資產，充分挖掘大資料背後的價值成為新的挑戰。同時也帶來了很大的機遇，通過對企業海量資料的科學分析，為精益化管理企業提供決策依據，為市場和客戶的精準化營銷提供資料支援，為公司創收提供新的動力，快速擴充套件市場業務，重塑企業核心競爭力，不斷地把企業打造成擁有資料驅動核心競爭力的創新型企業。

一、如何實現上述目標呢？

    首先，企業大資料平臺的建設和運營無疑是重中之重，這也正成為企業資訊化建設的核心任務和目標。通過構建企業大資料平臺，對企業大規模資料進行科學高效的管理、分析、挖掘、監控、視覺化，為公司內部產品的策劃、運營、營銷、財務、決策等提供科學精確的資料支撐，提高企業運營效率、最大化釋放資料價值。

二、如何構建企業大資料平臺呢？

    當然這是一個比較大的話題，也是一個比較複雜的事情，但是核心內容是不變的，無非就是對企業大規模資料的管理、分析和結果視覺化唄。現在企業有了這麼多的資料，怎麼辦？就像生孩子一樣，你不能只管生不管養呀。你還想靠他給你養老送終呢？所以說資料也一樣，有了這麼多資料，你又想從資料裡獲取對企業有用的價值，怎麼辦？總得先儲存起來吧，先養著。OK,那麼現在就帶來了一個問題，怎麼存？也就是如何解決大規模資料的儲存問題？

 (一)如何解決大規模資料的儲存問題？

    這是很大的一塊內容，我們先長話短說，化繁為簡。我們最終要解決的是大規模資料的儲存，資料規模小的話很好解決，假設資料規模特別大，大到超過單臺機器的儲存空間，如果還要儲存那麼該怎麼辦?

常見兩種方法：

    （1）增加本機的磁碟空間。

    但是不可能一直增加，本機儲存空間總會有一個極限。加到一定程度就會超過限制。

    （2）增加機器數量，用共享目錄的方式提供遠端網路化的儲存。

    這種方式就可以理解為分散式檔案系統的雛形，就是把同一檔案切分之後放入不同的機器中，空間不足了還可繼續增加機器，突破本機儲存空間的限制。Hadoop目前最多可以支援到上萬臺機器規模組成的叢集，總之，足夠你用了。這個不用擔心。但是這種方式還是有很多問題的。比如：資料怎麼切分，資料切分之後如何儲存，又怎麼高效的管理儲存在多臺機器上的資料等等複雜問題，肯定不能靠人工去維護吧，那就有點傻了。那麼怎麼辦呢？就要通過系統來解決，即通過分散式檔案系統來管理儲存在多臺機器上的大規模資料。也就是後面會提到的HDFS（Hadoop分散式檔案系統）。

    我們不是為了儲存資料而儲存資料，我們最終的目的是想通過對大規模資料的多維分析挖掘出資料背後對企業運營決策有價值的資訊。

(二)如何對大規模資料進行分析？也就是如何解決大規模資料的計算的問題？

    大規模資料儲存通過分散式儲存解決儲存容量侷限的問題

    大規模資料計算重點考慮的是計算速度的問題。就是怎麼能夠加快大規模資料的處理速度。

    一臺機器資源有限，計算大規模資料可能時間很長，那麼怎麼加快處理速度呢？整多臺，一臺不夠多臺來湊，每個任務處理一部分資料，多臺機器的多個任務分別處理一部分資料，這樣速度肯定會比之前快。

    總之，不管是大資料的儲存還是計算，都是通過分散式系統來解決的，不再通過比較昂貴的小型機，因為小型機成本太高。那麼分散式系統在哪執行呢，就需要構建分散式叢集。所以說我們接下來的重點就是如何構建分散式叢集。

三、什麼叫構建Hadoop分散式叢集？

    構建Hadoop分散式叢集實際上就是在一組通過網路連線的物理計算機組成的叢集上安裝部署Hadoop相關的軟體。

所以接下來我們的任務就是：

（1）首先準備物理叢集

（2）實現物理叢集的網路互聯，就是通過網路把叢集內所有機器連線起來

（3）在實現網路互聯的叢集上安裝部署大資料相關的軟體

四、那麼準備多少臺機器的物理叢集呢?首先要明白機器的數量和哪些因素有關？

（1）資料量（要考慮用多少臺機器組成的叢集能夠儲存這麼大的資料）

1）規劃時間內的資料而不是現有資料

        注意：這個資料量是公司一定規劃時間內（比如兩年）的資料量，不是現有的資料量，因為你不可能隨著資料量的增加每月或每週都往叢集裡增加節點，這樣每天絕大部分時間就都花在叢集維護上了，雖然說我們的確可以隨著資料量的動態變化通過動態的增減節點的個數來調整叢集的儲存和計算能力，但是最好還是要有一個1-2年左右的中長期規劃。

 2）多副本

        因為Hadoop致力於構建在廉價的商用伺服器上的，廉價的就更容易出現故障，出現故障就容易導致資料丟失，資料丟失是絕對不允許的。所以說怎麼保證資料安全性呢？一份不夠，存多份就得了唄，難道你們還能同時丟到，雖然說有可能，但是可能性是不是就小很多了。當然你也不可能買特別垃圾的伺服器。我們需要在採購成本和維護成本之間做好權衡。

3）中間資料、臨時資料和日誌資料需要佔用20-30%左右的空間。

 （2）每臺機器的效能配置

        假設有100T的資料，每臺機器2T硬碟，至少需要50臺，每臺機器4T硬碟，至少需要25臺，所以說機器效能配置的不同也會影響叢集規模的大小。後邊我們會單獨講機器選型及配置選擇。

（3）平臺的功能性和非功能性需求

        平臺實現基本的功能之外還需要實現非功能性需求：

  1）效能需求：

        比如對100G—1T左右的資料進行簡單的查詢分析，能夠在2分-10分鐘之內完成，複雜作業（比如多表連線）能夠在20-1小時內完成，業務資料的增量匯入和資料清洗在1小時之內完成。

  2）可靠性需求：

        比如系統每月宕機次數不能超過1次。

3）可用性需求：

        系統每次宕機的時間不能超過兩小時，還有就是系統內任何一臺計算機每月不可用的時間不能超過總時間的2%。

4）容錯性需求：

        機器宕機、服務停止硬體損壞的情況下資料不會出現丟失，不同情況下的恢復時間也有要求，比如宕機或伺服器停止，恢復時間10分鐘之內，如果NameNode硬體損壞，2小時之內恢復。

    所以接下來我們的任務就是：

（1）先確定選擇什麼樣的機器，也就是機器選型，當然包括機器的資源配置了。

（2）再確定叢集的規模，也就是叢集包含多少臺機器

         注意：在機器選型時並不是每臺機器的配置必須都是一樣的，因為不管是Hadoop中的HDFS還是YARN都是分散式系統，採用的是主從的架構，建議主節點的配置要高於從節點，從節點的配置建議一樣，不同元件的安裝部署配置可以不同。具體根據不同的業務場景進行不同的配置選擇。

完整視訊+圖文資料獲取及技術答疑請加：大講臺大資料研習社⑦ ：695520445