MapReduce運行原理和過程
原文
一．Map的原理和運行流程
Map的輸入數據源是多種多樣的，我們使用hdfs作為數據源。文件在hdfs上是以block(塊，Hdfs上的存儲單元)為單位進行存儲的。
1.分片
我們將這一個個block劃分成數據分片，即Split（分片，邏輯劃分，不包含具體數據，只包含這些數據的位置信息）,那麽上圖中的第一個Split則對應兩個個文件塊，第二個Split對應一個塊。需要註意的是一個Split只會包含一個File的block,不會跨文件
2. 數據讀取和處理
當我們把數據塊分好的時候，MapReduce(以下簡稱mr)程序將這些分片以key-value的形式讀取出來，並且將這些數據交給用戶自定義的Map函數處理。
3.
用戶處理完這些數據後同樣以key-value的形式將這些數據寫出來交給mr計算框架。mr框架會對這些數據進行劃分，此處用進行表示。不同顏色的partition矩形塊表示為不同的partition，同一種顏色的partition最後會分配到同一個reduce節點上進行處理。
Map是如何將這些數據進行劃分的？
默認使用Hash算法對key值進行Hash,這樣既能保證同一個key值的數據劃分到同一個partition中，又能保證不同partition的數據梁是大致相當的。
總結：
1.一個map指揮處理一個Split
2.map處理完的數據會分成不同的partition
3.一類partition對應一個reduce
那麽一個mr程序中 map的數量是由split的數量決定的，reduce的數量是由partiton的數量決定的。
二．Shuffle
Shuffle,翻譯成中文是混洗。mr沒有排序是沒有靈魂的，shuffle是mr中非常重要的一個過程。他在Map執行完，Reduce執行前發生。
Map階段的shuffle
數據經過用戶自定的map函數處理完成之後，數據會放入內存中的環形緩沖區之內，
，他分為兩個部分，數據區和索引區。數據區是存放用戶真實的數據，索引區存放數據對應的key值，partition和位置信息。當環形緩沖區數據達到一定的比例後，會將數據溢寫到一個文件之中，即途中的spill（溢寫）過程。
在溢寫前，會將數據根據key和partition進行排序，排好序之後會將數據區的數據按照順序一個個寫入文件之中。這樣就能保證文件中數據是按照key和parttition進行排序的。最後會將溢寫出的一個個小文件合並成一個大的文件，並且保證在每一個partition
中是按照Key值有序的。
總結:
- Collect階段將數據放進環形緩沖區，緩沖區分為數據區和索引區。
- Sort階段對在同一partition內的索引按照key排序。
- Spill階段跟胡排好序的索引將數據按照順序寫到文件中。
- Merge階段將Spill生成的小文件分批合並排序成一個大文件。
Reduce階段的shuffle
reduce節點會將數據拷貝到自己的buffer緩存區中，當緩存區中的數據達到一定的比例的時候，同樣會發生溢寫過程，我們任然要保證每一個溢寫的文件是有序的。與此同時，後臺會啟一個線程，將這些小文件合並成一個大文件，經過一輪又一輪的合並，最後將這些文件合並成一個大的數據集。在這個數據集中，數據是有序的，相同的key值對應的value值是挨在一起的。最後，將這些數據交給reduce程序進行聚合處理。
總結：
- 1. Copy階段將Map端的數據分批拷貝到Reduce的緩沖區。
- 2. Spill階段將內存緩存區的數據按順序寫到文件中。
- 3. Merge階段將溢出的文件合並成一個排序的數據集。
三．Reduce運行過程
在map處理完之後，reduce節點會將各個map節點上屬於自己的數據拷貝到內存緩沖區中，最後將數據合並成一個大的數據集，並且按照key值進行聚合，把聚合後的value值作為iterable(叠代器)交給用戶使用，這些數據經過用戶自定義的reduce函數進行處理之後，同樣會以key-value的形式輸出出來，默認輸出到hdfs上的文件。
四．Combine優化
我們說mr程序最終是要將數據按照key值進行聚合，對value值進行計算，那麽我們是不是可以提前對聚合好的value值進行計算？of course,我們將這個過程稱為Combine。哪些場景可以進行conbine優化。如下。
Map端：
1． 在數據排序後，溢寫到磁盤前，運行combiner。這個時候相同Key值的value值是挨在一起的，可以對這些value值進行一次聚合計算，比如說累加。
2． 溢寫出的小文件合並之前，我們也可以執行一次combiner,需要註意的是mr程序默認至少存在三個文件才進行combiner,否則mr會認為這個操作是不值得的。當然這個值可以通過min.num.spills.for.combine設置。
Reduce端：
- 和map端一樣，在合並溢出文件輸出到磁盤之前，運行combiner
送上整個MR過程圖
MapReduce運行原理和過程