在CentOS6.4下使用Eclipse編譯執行MapReduce程式Hadoop2.6.5
本文是本人按照廈門大學林子雨老師的教程然後自己在使用Eclipse編譯執行MapReduce程式的時候所做的一個部落格教程，意在幫助更多的人。廈門大學林子雨老師的教程地址:http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
安裝 Eclipse
在 CentOS 中安裝 Eclipse，需要下載安裝程式，我們選擇 Eclipse IDE for Java Developers 版：
- 32位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX32
- 64位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64
我是先下載到本地然後將壓縮包拷貝到虛擬機器的下載目錄的(拷貝的前提是虛擬機器安裝了VMwareTool，安裝教程:https://blog.csdn.net/qq_41941875/article/details/84071987),拷貝到下載目錄後執行下面的程式碼:
sudo tar -zxf ~/下載/eclipse-java-mars-1-linux-gtk*.tar.gz -C /usr/lib解壓後即可使用。在 CentOS 中可以為程式建立桌面快捷方式，如下圖所示，點選桌面右鍵，選擇建立啟動器，填寫名稱和程式位置（/usr/lib/eclipse/eclipse）：
安裝 Hadoop-Eclipse-Plugin
要在 Eclipse 上編譯和執行 MapReduce 程式，需要安裝 hadoop-eclipse-plugin，可下載 Github 上的 hadoop2x-eclipse-plugin（備用下載地址：http://pan.baidu.com/s/1i4ikIoP）。這個我也是在本地下載後，拷貝到虛擬機器的下載目錄的。
下載後，將 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （還提供了 2.2.0 和 2.4.1 版本）複製到 Eclipse 安裝目錄的 plugins 資料夾中，執行 eclipse -clean
unzip -qo ~/下載/hadoop2x-eclipse-plugin-master.zip -d ~/下載 # 解壓到 ~/下載 中
sudo cp ~/下載/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/ # 複製到 eclipse 安裝目錄的 plugins 目錄下
/usr/lib/eclipse/eclipse -clean # 新增外掛後需要用這種方式使外掛生效
執行/usr/lib/eclipse/eclipse -clean 後會啟動eclipse如下圖 
配置 Hadoop-Eclipse-Plugin
在繼續配置前請確保已經開啟了 Hadoop。
外掛需要進一步的配置。
第一步：選擇 Window 選單下的 Preference。
此時會彈出一個窗體，窗體的左側會多出 Hadoop Map/Reduce 選項，點選此選項，選擇 Hadoop 的安裝目錄（如/usr/local/hadoop，Ubuntu不好選擇目錄，直接輸入就行）。
第二步：切換 Map/Reduce 開發檢視，選擇 Window 選單下選擇 Open Perspective -> Other（CentOS 是 Window -> Perspective -> Open Perspective -> Other），彈出一個窗體，從中選擇 Map/Reduce 選項即可進行切換。
之後會看到
第三步：建立與 Hadoop 叢集的連線，點選 Eclipse軟體右下角的 Map/Reduce Locations 面板，在面板中單擊右鍵，選擇 New Hadoop Location。
在彈出來的 General 選項面板中，General 的設定要與 Hadoop 的配置一致。一般兩個 Host 值是一樣的，如果是偽分散式，填寫 localhost 即可，另外我使用的Hadoop偽分散式配置，設定 fs.defaultFS 為 hdfs://192.168.265.110:9000，則 DFS Master 的 Port 要改為 9000。Map/Reduce(V2) Master 的 Port 用預設的即可，Location Name 隨意填寫。
Advanced parameters 選項面板是對 Hadoop 引數進行配置，實際上就是填寫 Hadoop 的配置項(/usr/local/hadoop/etc/hadoop中的配置檔案)，點選 finish，Map/Reduce Location 就建立好了。
在 Eclipse 中操作 HDFS 中的檔案
配置好後，點選左側 Project Explorer 中的 MapReduce Location （點選三角形展開）就能直接檢視 HDFS 中的檔案列表了（HDFS 中要有檔案，如下圖是 WordCount 的輸出結果），雙擊可以檢視內容，右鍵點選可以上傳、下載、刪除 HDFS 中的檔案，無需再通過繁瑣的 hdfs dfs -ls 等命令進行操作了。
如果無法檢視，可右鍵點選 Location 嘗試 Reconnect 或重啟 Eclipse。
HDFS 中的內容變動後，Eclipse 不會同步重新整理，需要右鍵點選 Project Explorer中的 MapReduce Location，選擇 Refresh，才能看到變動後的檔案
點選 File 選單，選擇 New -> Project…:
選擇 Map/Reduce Project，點選 Next。
填寫 Project name 為 WordCount 即可，點選 Finish 就建立好了專案。
此時在左側的 Project Explorer 就能看到剛才建立的專案了。
在src接著右鍵點選，選擇 New ->Package，建立一個包
接著建立一個類
需要在 Name 處填寫 WordCount。作為類名
建立 Class 完成後，在 Project 的 src 中就能看到 WordCount.java 這個檔案。將如下 WordCount 的程式碼複製到該檔案中。
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
public WordCount() {
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = (new GenericOptionsParser(conf, args)).getRemainingArgs();
if(otherArgs.length < 2) {
System.err.println("Usage: wordcount <in> [<in>...] <out>");
System.exit(2);
}
Job job = Job.getInstance(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(WordCount.TokenizerMapper.class);
job.setCombinerClass(WordCount.IntSumReducer.class);
job.setReducerClass(WordCount.IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
for(int i = 0; i < otherArgs.length - 1; ++i) {
FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
}
FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
System.exit(job.waitForCompletion(true)?0:1);
}
public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public IntSumReducer() {
}
public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
int sum = 0;
IntWritable val;
for(Iterator i$ = values.iterator(); i$.hasNext(); sum += val.get()) {
val = (IntWritable)i$.next();
}
this.result.set(sum);
context.write(key, this.result);
}
}
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
private static final IntWritable one = new IntWritable(1);
private Text word = new Text();
public TokenizerMapper() {
}
public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while(itr.hasMoreTokens()) {
this.word.set(itr.nextToken());
context.write(this.word, one);
}
}
}
}通過 Eclipse 執行 MapReduce
在執行 MapReduce 程式前，還需要執行一項重要操作（也就是上面提到的通過複製配置檔案解決引數設定問題）：將 /usr/local/hadoop/etc/hadoop 中將有修改過的配置檔案（如偽分散式需要 core-site.xml 和 hdfs-site.xml），以及 log4j.properties 複製到 WordCount 專案下的 src 資料夾（~/workspace/WordCount/src）中：
cp /usr/local/hadoop/etc/hadoop/core-site.xml ~/workspace/WordCount/src
cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml ~/workspace/WordCount/src
cp /usr/local/hadoop/etc/hadoop/log4j.properties ~/workspace/WordCount/src沒有複製這些檔案的話程式將無法正確執行，本教程最後再解釋為什麼需要複製這些檔案。
複製完成後，務必右鍵點選 WordCount 選擇 refresh 進行重新整理（不會自動重新整理，需要手動重新整理），可以看到檔案結構如下所示：
點選工具欄中的 Run 圖示，或者右鍵點選 Project Explorer 中的 WordCount.java，選擇 Run As -> Run on Hadoop，就可以執行 MapReduce 程式了。不過由於沒有指定引數，執行時會提示 “Usage: wordcount “，需要通過Eclipse設定一下執行引數。
右鍵點選剛建立的 WordCount.java，選擇 Run As -> Run Configurations，在此處可以設定執行時的相關引數（如果 Java Application 下面沒有 WordCount，那麼需要先雙擊 Java Application）。切換到 “Arguments” 欄，在 Program arguments 處填寫 “input output” 就可以了。
或者也可以直接在程式碼中設定好輸入引數。可將程式碼 main() 函式的 String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); 改為：
// String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
String[] otherArgs=new String[]{"input","output"}; /* 直接設定輸入引數 */設定引數後，再次執行程式(執行前如果hdfs中存在output資料夾需要刪除)，可以看到執行成功的提示，重新整理 DFS Location 後也能看到輸出的 output 資料夾。
至此，你就可以使用 Eclipse 方便的進行 MapReduce程式的開發了。
Eclipse 中執行 MapReduce 程式會遇到的問題
在使用 Eclipse 執行 MapReduce 程式時，會讀取 Hadoop-Eclipse-Plugin 的 Advanced parameters 作為 Hadoop 執行引數，如果我們未進行修改，則預設的引數其實就是單機（非分散式）引數，因此程式執行時是讀取本地目錄而不是 HDFS 目錄，就會提示 Input 路徑不存在。
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/home/hadoop/workspace/WordCountProject/input所以我們需要將配置檔案複製到專案中的 src 目錄，來覆蓋這些引數。讓程式能夠正確執行。
log4j 用於記錄程式的輸出日記，需要 log4j.properties 這個配置檔案，如果沒有複製該檔案到專案中，執行程式後在 Console 面板中會出現警告提示：
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.雖然不影響程式的正確執行的，但程式執行時無法看到任何提示訊息（只能看到出錯資訊）。