1. 程式人生 > >myeclipse 本地遠端連線hadoop 並建立maven專案

myeclipse 本地遠端連線hadoop 並建立maven專案

下載hadoop-eclipse-plugin-2.5.2.jarjar包放到myeclipse plugin資料夾下 ,不同hadoop對應不同版本,這個jar包也可以自己編譯

解壓hadoop-2.5.0 tar.gz壓縮包到windows本地,winrar可能解壓不開,可以使用好壓或者360壓縮軟體解壓


開啟myeclipse ,點開工具欄window-preferences 搜尋hadoop,在右邊選擇hadoop解壓的資料夾



啟動hadoop叢集,點選window-perspective-open perspective-other-Mapreduce


在控制檯視窗選擇Map/Reduce Locations


在空白處右鍵新建一個location,根據配置檔案填寫主機名和埠號,然後確認


此時介面最左邊專案欄顯示hdfs上資料夾以及檔案,連線成功!


點開工具欄window-preferences 搜尋maven,選擇installations,可以選擇myeclipse預設的maven版本,也可以自己自行安裝,這裡我使用預設版本


建立maven專案


選擇quickstart


填寫id,然後完成


修改pom.xml,增加hadoop jar


此時專案欄會出現maven依賴jar包和jre


修改jre,右鍵專案 bulid path-configure build path 選中libraries


雙擊jre system library 

選擇1.7或者1.8 ,點選完成


右鍵專案建立resource folder ,在src/main 下建立resouce 目錄


linux   hadoop資料夾下 etc/hadoop中的core-site.xml log4j-properties檔案拷貝至src/main/resource資料夾下


從網上搜索hadoop.dllwinutils.exe 並下載,hadoop.dll放到C:\Windows\System32 下,再將hadoop.dllwinutils.exe 放到windows本地hadoop資料夾下bin目錄下,重啟myeclipse,啟用winutils.exe


測試mapreduce

程式

執行成功!


容易遇到的問題以及解決方法

1、如果pom.xml 修改完成,maven沒有自動載入,可以右鍵專案maven-update project 勾選強制更新,然後會自動下載所需jar


2、新建maven專案myelipse 報錯 Aninternal error occurred during: "Retrieving archetypes:". Java heapspace,可修改myeclipse安裝目錄下myeclipse.ini檔案,將Xms256m改為Xms512m

3、執行mapreduce報錯

Could not locateexecutable null\bin\winutils.exe in the Hadoop binaries.

必須配置hadoop環境變數,然後重啟myeclipse

4、不支援jdk9以上版本,請安裝jdk8以下版本

5、maven可以使用本地壓縮包安裝


選擇user settings,選擇maven 資料夾 conf資料夾下setting.xml檔案