2）流程詳解

上面的流程是整個mapreduce最全工作流程，但是shuffle過程只是從第7步開始到第16步結束，具體shuffle過程詳解，如下：

1）maptask收集我們的map()方法輸出的kv對，放到記憶體緩衝區中

2）從記憶體緩衝區不斷溢位本地磁碟檔案，可能會溢位多個檔案

3）多個溢位檔案會被合併成大的溢位檔案

4）在溢位過程中，及合併的過程中，都要呼叫partitoner進行分組和針對key進行排序

5）reducetask根據自己的分割槽號，去各個maptask機器上取相應的結果分割槽資料

6）reducetask會取到同一個分割槽的來自不同maptask的結果檔案，

7）合併成大檔案後，shuffle的過程也就結束了，後面進入reducetask的邏輯運算過程（從檔案中取出一個一個的鍵值對group，呼叫使用者自定義的reduce()方法）

3）注意

Shuffle中的緩衝區大小會影響到mapreduce程式的執行效率，原則上說，緩衝區越大，磁碟io的次數越少，執行速度就越快。

緩衝區的大小可以通過引數調整，引數：io.sort.mb預設100M