1. 程式人生 > >在eclipse上搭建mapreduce開發環境及執行wordcount

在eclipse上搭建mapreduce開發環境及執行wordcount

1.先說明我的實驗環境:

win7,

eclipse版本是Neon.2 Release (4.6.2),

hadoop2.7.3部署在1master,3slave的叢集上

2.需要下載winutils.exe和hadoop-eclipse-plugin-2.7.3.jar,下載地址是點選開啟連結

3.找到eclipse根目錄下的plugins目錄,將下載好的hadoop-eclipse-plugin-2.7.3.jar放入該目錄下,重啟eclipse,開啟window-->preferences,發現已經生效。點選window-->show view-->other mapreduce tools-->map/reduce locations增加新的DFS locations。填寫原則如下:map/reduce master填寫mapreduce-site.xml的mapreduce.jobtracker的host和port,DFS master填寫core-site.xml的dfs.default.name的host和port。



4.將winutils.exe放入本地的hadoop-2.7.3/bin下,並且進行環境變數配置,即建立$HADOOP_HOME,並且將$HADOOP_HOME/bin加入環境變數。以防執行程式後出現找不到/null/winutils.exe的錯誤。

5.修改叢集的hdfs-site.xml檔案,增加以下配置項,以防執行程式後出現security.AccessControlException:Permission denied錯誤。

<property>     <name>dfs.permissions</name>     <value>false</value> </property>

6.繼續,file-->new-->other-->mapreduce project新建專案,在這個地方要記得配置本地電腦上hadoop-2.7.3的安裝地址,這樣才能找到需要的jar包。點選下圖藍色劃線部分進行配置。


7.建立專案之後會出現是否選擇一個perspective,點選是,就會出現新工程目錄和DFS Locations目錄。後者就是對DFS的視覺化。mapreduce程式的輸入檔案,輸出檔案都可以在這裡看到。在D:\Virtual Machines\softwares\hadoop-2.7.3-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples可以拷貝wordcount的原始碼。

8.對wordcount.java右鍵run configuration進行輸入引數設定,比如

hdfs://192.168.11.94:8888/input     hdfs://192.168.11.94:8888/outputeclipse,點選run。即可獲得輸出。