myeclipse 本地遠端連線hadoop 並建立maven專案
下載hadoop-eclipse-plugin-2.5.2.jar的jar包放到myeclipse 的plugin資料夾下 ,不同hadoop對應不同版本,這個jar包也可以自己編譯
解壓hadoop-2.5.0 tar.gz壓縮包到windows本地,winrar可能解壓不開,可以使用好壓或者360壓縮軟體解壓
開啟myeclipse ,點開工具欄window-preferences 搜尋hadoop,在右邊選擇hadoop解壓的資料夾
啟動hadoop叢集,點選window-perspective-open perspective-other-Mapreduce
在控制檯視窗選擇Map/Reduce Locations
在空白處右鍵新建一個location,根據配置檔案填寫主機名和埠號,然後確認
此時介面最左邊專案欄顯示hdfs上資料夾以及檔案,連線成功!
點開工具欄window-preferences 搜尋maven,選擇installations,可以選擇myeclipse預設的maven版本,也可以自己自行安裝,這裡我使用預設版本
建立maven專案
選擇quickstart
填寫id,然後完成
修改pom.xml,增加hadoop jar包
此時專案欄會出現maven依賴jar包和jre
修改jre,右鍵專案 bulid path-configure build path 選中libraries
雙擊jre system library
右鍵專案建立resource folder ,在src/main 下建立resouce 目錄
將linux hadoop資料夾下 etc/hadoop中的core-site.xml 和log4j-properties檔案拷貝至src/main/resource資料夾下
從網上搜索hadoop.dll和winutils.exe 並下載,將hadoop.dll放到C:\Windows\System32 下,再將hadoop.dll和winutils.exe 放到windows本地hadoop資料夾下bin目錄下,重啟myeclipse,啟用winutils.exe
測試mapreduce
執行成功!
容易遇到的問題以及解決方法
1、如果pom.xml 修改完成,maven沒有自動載入,可以右鍵專案maven-update project 勾選強制更新,然後會自動下載所需jar包
2、新建maven專案myelipse 報錯 Aninternal error occurred during: "Retrieving archetypes:". Java heapspace,可修改myeclipse安裝目錄下myeclipse.ini檔案,將Xms256m改為Xms512m
3、執行mapreduce報錯
Could not locateexecutable null\bin\winutils.exe in the Hadoop binaries.
必須配置hadoop環境變數,然後重啟myeclipse
4、不支援jdk9以上版本,請安裝jdk8以下版本
5、maven可以使用本地壓縮包安裝
選擇user settings,選擇maven 資料夾 conf資料夾下setting.xml檔案