使用Eclipse編譯執行MapReduce程式_Hadoop2.6.0_Ubuntu/CentOS
環境
本教程在 Hadoop 2.6.0 下驗證通過，適用於 Ubuntu/CentOS 系統，理論上可用於任何原生 Hadoop 2 版本，如 Hadoop 2.4.1，Hadoop 2.7.1。
本教程主要測試環境：
- Ubuntu 14.04
- Hadoop 2.6.0（偽分散式）
- Eclipse 3.8
此外，本教材在 CentOS 6.4 系統中也驗證通過，對 Ubuntu 與 CentOS 的不同配置之處有作出了註明。
安裝 Eclipse
在 Ubuntu 和 CentOS 中安裝 Eclipse 的方式有所不同，但之後的配置和使用是一樣的。
在 Ubuntu 中安裝 Eclipse，可從 Ubuntu 的軟體中心直接搜尋安裝，在桌面左側工作列，點選“Ubuntu軟體中心”。
Ubuntu軟體中心
在右上角搜尋欄中搜索 eclipse，在搜尋結果中單擊 eclipse，並點選安裝。
安裝Eclipse
等待安裝完成即可，Eclipse 的預設安裝目錄為：/usr/lib/eclipse。
在 CentOS 中安裝 Eclipse，需要下載安裝程式，我們選擇 Eclipse IDE for Java Developers 版：
下載後執行如下命令，將 Eclipse 安裝至 /usr/lib 目錄中：
- sudo tar -zxf ~/下載/eclipse-java-mars-1-linux-gtk*.tar.gz -C /usr/lib
解壓後即可使用。在 CentOS 中可以為程式建立桌面快捷方式，如下圖所示，點選桌面右鍵，選擇建立啟動器，填寫名稱和程式位置（/usr/lib/eclipse/eclipse）：
安裝Eclipse
安裝 Hadoop-Eclipse-Plugin
下載後，將 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （還提供了 2.2.0 和 2.4.1 版本）複製到 Eclipse 安裝目錄的 plugins 資料夾中，執行 eclipse -clean 重啟 Eclipse 即可（新增外掛後只需要執行一次該命令，以後按照正常方式啟動就行了）。
- unzip -qo ~/下載/hadoop2x-eclipse-plugin-master.zip -d ~/下載 # 解壓到 ~/下載 中
- sudo cp ~/下載/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/ # 複製到 eclipse 安裝目錄的 plugins 目錄下
- /usr/lib/eclipse/eclipse -clean # 新增外掛後需要用這種方式使外掛生效
配置 Hadoop-Eclipse-Plugin
在繼續配置前請確保已經開啟了 Hadoop。
啟動 Eclipse 後就可以在左側的Project Explorer中看到 DFS Locations（若看到的是 welcome 介面，點選左上角的 x 關閉就可以看到了。CentOS 需要切換 Perspective 後才能看到，即接下來配置步驟的第二步）。
安裝好Hadoop-Eclipse-Plugin外掛後的效果
外掛需要進一步的配置。
第一步：選擇 Window 選單下的 Preference。
開啟Preference
此時會彈出一個窗體，窗體的左側會多出 Hadoop Map/Reduce 選項，點選此選項，選擇 Hadoop 的安裝目錄（如/usr/local/hadoop，Ubuntu不好選擇目錄，直接輸入就行）。
選擇 Hadoop 的安裝目錄
第二步：切換 Map/Reduce 開發檢視，選擇 Window 選單下選擇 Open Perspective -> Other（CentOS 是 Window -> Perspective -> Open Perspective -> Other），彈出一個窗體，從中選擇 Map/Reduce 選項即可進行切換。
切換 Map/Reduce 開發檢視
第三步：建立與 Hadoop 叢集的連線，點選 Eclipse軟體右下角的 Map/Reduce Locations 面板，在面板中單擊右鍵，選擇 New Hadoop Location。
建立與 Hadoop 叢集的連線
在彈出來的 General 選項面板中，General 的設定要與 Hadoop 的配置一致。一般兩個 Host 值是一樣的，如果是偽分散式，填寫 localhost 即可，另外我使用的Hadoop偽分散式配置，設定 fs.defaultFS 為 hdfs://localhost:9000，則 DFS Master 的 Port 要改為 9000。Map/Reduce(V2) Master 的 Port 用預設的即可，Location Name 隨意填寫。
最後的設定如下圖所示：
Hadoop Location 的設定
Advanced parameters 選項面板是對 Hadoop 引數進行配置，實際上就是填寫 Hadoop 的配置項(/usr/local/hadoop/etc/hadoop中的配置檔案)，如我配置了 hadoop.tmp.dir ，就要進行相應的修改。但修改起來會比較繁瑣，我們可以通過複製配置檔案的方式解決（下面會說到）。
總之，我們只要配置 General 就行了，點選 finish，Map/Reduce Location 就建立好了。
在 Eclipse 中操作 HDFS 中的檔案
配置好後，點選左側 Project Explorer 中的 MapReduce Location （點選三角形展開）就能直接檢視 HDFS 中的檔案列表了（HDFS 中要有檔案，如下圖是 WordCount 的輸出結果），雙擊可以檢視內容，右鍵點選可以上傳、下載、刪除 HDFS 中的檔案，無需再通過繁瑣的 hdfs dfs -ls 等命令進行操作了。
以下output/part-r-00000檔案記錄了輸出結果。點選檢視HDFS檔案系統資料的三種方法可進行擴充套件學習。
使用Eclipse檢視HDFS中的檔案內容
如果無法檢視，可右鍵點選 Location 嘗試 Reconnect 或重啟 Eclipse。
TipsHDFS 中的內容變動後，Eclipse 不會同步重新整理，需要右鍵點選 Project Explorer中的 MapReduce Location，選擇 Refresh，才能看到變動後的檔案。
在 Eclipse 中建立 MapReduce 專案
點選 File 選單，選擇 New -> Project…:
建立Project
選擇 Map/Reduce Project，點選 Next。
建立MapReduce專案
填寫 Project name 為 WordCount 即可，點選 Finish 就建立好了專案。
填寫專案名
此時在左側的 Project Explorer 就能看到剛才建立的專案了。
專案建立完成
接著右鍵點選剛建立的 WordCount 專案，選擇 New -> Class
新建Class
需要填寫兩個地方：在 Package 處填寫 org.apache.hadoop.examples；在 Name 處填寫 WordCount。
填寫Class資訊
建立 Class 完成後，在 Project 的 src 中就能看到 WordCount.java 這個檔案。將如下 WordCount 的程式碼複製到該檔案中。
- package org.apache.hadoop.examples;
- import java.io.IOException;
- import java.util.Iterator;
- import java.util.StringTokenizer;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.Path;
- import org.apache.hadoop.io.IntWritable;
- import org.apache.hadoop.io.Text;
- import org.apache.hadoop.mapreduce.Job;
- import org.apache.hadoop.mapreduce.Mapper;
- import org.apache.hadoop.mapreduce.Reducer;
- import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
- import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
- import org.apache.hadoop.util.GenericOptionsParser;
- publicclassWordCount{
- publicWordCount(){
- }
- publicstaticvoid main(String[] args)throwsException{
- Configuration conf =newConfiguration();
- String[] otherArgs =(newGenericOptionsParser(conf, args)).getRemainingArgs();
- if(otherArgs.length <2){
- System.err.println("Usage: wordcount <in> [<in>...] <out>");
- System.exit(2);
- }
- Job job =Job.getInstance(conf,"word count");
- job.setJarByClass(WordCount.class);
- job.setMapperClass(WordCount.TokenizerMapper.class);
- job.setCombinerClass(WordCount.IntSumReducer.class);
- job.setReducerClass(WordCount.IntSumReducer.class);
- job.setOutputKeyClass(Text.class);
- job.setOutputValueClass(IntWritable.class);
- for(int i =0; i < otherArgs.length -1;++i){
- FileInputFormat.addInputPath(job,newPath(otherArgs[i]));
- }
- FileOutputFormat.setOutputPath(job,newPath(otherArgs[otherArgs.length -1]));
- System.exit(job.waitForCompletion(true)?0:1);
- }
- publicstaticclassIntSumReducerextendsReducer<Text,IntWritable,Text,IntWritable>{
- privateIntWritable result =newIntWritable();
- publicIntSumReducer(){
- }
- publicvoid reduce(Text key,Iterable<IntWritable> values,Reducer<Text,IntWritable,Text,IntWritable>.Context context)throwsIOException,InterruptedException{
- int sum =0;
- IntWritable val;
- for(Iterator i$ = values.iterator(); i$.hasNext(); sum += val.get()){
- val =(IntWritable)i$.next();
- }
- this.result.set(sum);
- context.write(key,this.result);
- }
- }
- publicstaticclassTokenizerMapperextendsMapper<Object,Text,Text,IntWritable>{
- privatestaticfinalIntWritable one =newIntWritable(1);
- privateText word =newText();
- publicTokenizerMapper(){
- }
- publicvoid map(Object key,Text value,Mapper<Object,Text,Text,IntWritable>.Context context)throwsIOException,InterruptedException{
- StringTokenizer itr =newStringTokenizer(value.toString());
- while(itr.hasMoreTokens()){
- this.word.set(itr.nextToken());
- context.write(this.word, one);
- }
- }
- }
- }
通過 Eclipse 執行 MapReduce
在執行 MapReduce 程式前，還需要執行一項重要操作（也就是上面提到的通過複製配置檔案解決引數設定問題）：將 /usr/local/hadoop/etc/hadoop 中將有修改過的配置檔案（如偽分散式需要 core-site.xml 和 hdfs-site.xml），以及 log4j.properties 複製到 WordCount 專案下的 src 資料夾（~/workspace/WordCount/src）中：
- cp /usr/local/hadoop/etc/hadoop/core-site.xml ~/workspace/WordCount/src
- cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml ~/workspace/WordCount/src
- cp /usr/local/hadoop/etc/hadoop/log4j.properties ~/workspace/WordCount/src
沒有複製這些檔案的話程式將無法正確執行，本教程最後再解