本筆記主要總結記錄2.4節 橫向擴充套件。

本小結簡單介紹了Hadoop中MapReduce的執行流程，即對資料流的處理過程，和多map對應多reduce的情況。

資料流

Mapduce主要分成一下五步：
1. MapReeduce作業（job） ：客戶端需要執行的一個工作單元，包括輸入資料、MapReduce程式和配置資訊。其主要分為兩大類任務：map任務和reduce任務，這些任務執行在叢集節點上，由yarn排程。
2. 輸入分片（input spilt）：簡稱分片，Hadoop將MapReduce輸入資料分成等長小資料塊即分片，併為每片構建一個map任務。預設分片大小最好HDFS的一個塊的大小，一般為128MB。
3. 在儲存輸入資料（HDFS中的資料）的節點上執行map任務，因為這樣減少不同節點間的資料傳輸，節約頻寬資源，叫做“資料本地優化“（data locality optimization）。如果一個map任務的所有HDFS副本存在的節點都不空閒，則需要其他節點執行該任務，這樣是無法實現“資料本地優化“的；
4. map將其輸入寫入本地硬碟而非HDFS。因為map的輸入為中間結果，一旦作業完成，中間結果可以被刪除，因此如果存在HDFS上有些小題大做；
5. reduce的輸入通常來自所有mapper的輸出，因此不具有“資料本地化“優勢，reduce的輸出通常儲存在HDFS中以實現可靠儲存；

備註：HDFS為Hadoop分散式檔案系統（Hadoop Distribute File System），其將資料備份多次儲存在不同節點，和本地硬碟相比有更高的穩定性但同時代價更大。因此在第4步中才說對於中間結果儲存在HDFS上有些小題大做。

多map與多reduce

每個mao任務回針對輸出進行分割槽（partition），即為每個reduce任務建立一個分割槽。分割槽通常使用預設的partitioner通過雜湊函式分割槽， 也可以使用者用分割槽函式定義分割槽規則。

圖1 多map單reduce

圖2 多map多reduce
這也是map任務和reduce任務之間的資料流成為混洗（shuffle）的原因。當資料可完全並行時，會出現無reduce的情況。

combiner函式

在每個節點的map之後執行，節約map和reduce之間的資料傳輸量。當然也受制於可用的函式型別。
比如在［12，4，90，23，12，9］中找到最大值。假設該Hadoop有兩個節點，兩個map分別為［12， 4， 90］和［23，12，9］，如果不做combiner則共傳輸6個數字，但若在每個map後執行combiner，傳輸該map中的最大值就可以將資料量減少到2個數字。當然可以看出，如果是求平均值則無法簡單呼叫combiner 。

結語

本章簡單介紹了Hadoop的流程，對應《Hadoop權威指南》2.4節 橫向擴充套件，有興趣的朋友可閱讀原文。