win10配置eclipse開發環境及執行hadoop例項及叢集執行
一,三,四都參考:
- https://www.cnblogs.com/supiaopiao/p/7240308.html
- https://blog.csdn.net/u010185220/article/details/79095179/
- https://blog.csdn.net/qq_14809913/article/details/81705273
- https://www.cnblogs.com/xinaixia/p/7641612.html
hadoop location指的是hadoop叢集位置或者win10安裝hadoop的位置
注意:win10系統下,藍色部分必須設定,Linux的hadoop叢集下可以不設定,會同意放在hadoop安裝目錄下的自定義目錄,如hadoop/data/tem,都沒設定則放在Linux根目錄下的tem目錄
<property> <name>dfs.name.dir</name> <value>/D:/SDE/Hadoop2.7.4/workplace/name</value> <description>namenode上儲存hdfs名字空間元資料 </description> </property> <property> <name>dfs.data.dir</name> <value>/D:/SDE/Hadoop2.7.4/workplace/data</value> <description>datanode上資料塊的物理儲存位置</description> </property>
win10下eclipse安裝hadoop-eclipse-plugin-2.7.3.jar成功後如下
windows-》preference
windows-》show view
- win10啟動hadoop後執行視窗可能沒有消失,不能關閉,否則會關閉對應服務,把視窗縮小即可
-
win10下eclipse直接執行mapreduce程式
一。
1.解壓hadoop安裝包,並配置jdk和hadoop的環境變數
2.直接建立一個java工程,到後匯入hadoop的lib依賴包,build path
3.直接執行
寫好輸入資料引數和輸出資料的引數後點擊Run就可以執行
執行結果:
-
win10下eclipse編輯mapreduce在Linux的hadoop叢集上執行
二。
1.安裝hadoop-eclipse-plugin-2.7.3.jar(該jar包用來連線hadoop或者hadoop叢集的,可以是連線windows下的,也可以連線Linux下的,通過配置)
參考:https://blog.csdn.net/psp0001060/article/details/54728436
Map/Reduce Master沒有設定的話預設是50020(點選finish,若沒有報錯,則表示連線成功,在Eclipse左側的DFS Locations中可以看到HDFS檔案系統的目錄結構和檔案內容;
若遇到 An internal error occurred during: “Map/Reduce location status updater”. java.lang.NullPointerExcept的問題,則表示當前HDFS檔案系統為空,只需在HDFS檔案系統上建立檔案,重新整理DFS Locations後即可看到檔案系統內容;)
連線成功後(一定注意,如果eclipse中有其他工作集,一定切換到預設的工作集,不然看不到DFS Location)
2.安裝hadoop及配置環境變數
3.啟動hadoop,eclipse連線,再執行專案程式
-
win10下eclipse編輯mapreduce在win10本地hadoop上執行
三。
1.與Linux中叢集執行性質一樣,兩個不同點(連線和執行前先配置)
一是連線配置資訊不一樣
二是在輸入資料的路徑和輸出資料的引數路徑不一樣,因為一個是叢集路徑,一個是win10系統路徑
**maptask原理:**https://www.cnblogs.com/acSzz/p/6383618.html
**reducetask:**https://blog.csdn.net/luomingkui1109/article/details/80950857