對combiner的理解

combiner其實屬於優化方案，由於帶寬限制，應該盡量map和reduce之間的數據傳輸數量。它在Map端把同一個key的鍵值對合並在一起並計算，計算規則與reduce一致，所以combiner也可以看作特殊的Reducer。

執行combiner操作要求開發者必須在程序中設置了combiner(程序中通過job.setCombinerClass(myCombine.class)自定義combiner操作)。

Combiner組件是用來做局部匯總的，就在mapTask中進行匯總；Reducer組件是用來做全局匯總的，最終的，最後一次匯總。

哪裏使用combiner?

1，map輸出數據根據分區排序完成後，在寫入文件之前會執行一次combine操作(前提是作業中設置了這個操作);

2，如果map輸出比較大，溢出文件個數大於3(此值可以通過屬性min.num.spills.for.combine配置)時，在merge的過程(多個spill文件合並為一個大文件)中前還會執行combiner操作;

註意事項

不是每種作業都可以做combiner操作的，只有滿足以下條件才可以：

1、Combiner 只能對 一個mapTask的中間結果進行匯總

2、如果想使用Reducer直接充當Combiner，那麽必須滿足： Reducer的輸入和輸出key-value類型是一致的。

1）處於兩個不同節點的mapTask的結果不能combiner到一起

2）處於同一個節點的兩個MapTask的結果不能否combiner到一起

3）求最大值、求最小值、求和、去重時可直接使用Reducer充當Combiner，但是求平均值時不能直接使用Reducer充當Combiner。

　　原因：對2組值求平均值

　　2 3 4 5 6 == 20 / 5 == 4

　　4 5 6 == 15 / 3 == 5

　　***********************************************************************

　　20+15 / 5+3 = 35 / 8

　　4.5

Hadoop學習之路（十八）MapReduce框架Combiner分區