第3章 理解MapReduce

3.1 鍵值對

3.1.1 具體含義

3.1.2 為什麼採用鍵/值資料

3.1.3 MapReduce作為一系列鍵/值變換

3.2 MapReduce的Hadoop Java API

3.3 編寫MapReduce程式

3.4 實踐環節：設定classpath

3.5 實踐環節：實現WordCount

3.6 實踐環節：構建JAR檔案

3.7 實踐環節：在本地Hadoop叢集執行WordCount

3.8 實踐環節：在EMR上執行WordCount

3.8.1 0.20之前版本的Java MapReduce API

3.8.2 Hadoop提供的mapper和reducer實現

3.9 實踐環節：WordCount的簡易方法

3.10 檢視WordCount的執行全貌

3.10.1 啟動

3.10.2 將輸入分塊

3.10.3 任務分配

3.10.4 任務啟動

3.10.5 不斷監視JobTracker

3.10.6 mapper的輸入

3.10.7 mapper的執行

3.10.8 mapper的輸出和reducer的輸入

3.10.9 分塊

3.10.10 可選分塊函式

3.10.11 reducer類的輸入

3.10.12 reducer類的執行

3.10.13 reducer類的輸出

3.10.14 關機

3.10.15 這就是MapReduce的全部

3.10.16 也許缺了biner

3.11 實踐環節：使用biner編寫WordCount

3.12 實踐環節：更正使用biner的WordCount

3.13 Hadoop專有資料型別

3.13.1 Writable和Writable-Comparable介面

3.13.2 wrapper類介紹

3.14 實踐環節：使用Writable包裝類

3.15 輸入/輸出

3.15.1 檔案、split和記錄

3.15.2 InputFormat和RecordReader

3.15.3 Hadoop提供的InputFormat

3.15.4 Hadoop提供的RecordReader

3.15.5 OutputFormat和Record-Writer

3.15.6 Hadoop提供的OutputFormat

3.15.7 別忘了Sequence files

3.16 小結