1. 程式人生 > >win10配置eclipse開發環境及執行hadoop例項及叢集執行

win10配置eclipse開發環境及執行hadoop例項及叢集執行

一,三,四都參考:

注意:win10系統下,藍色部分必須設定,Linux的hadoop叢集下可以不設定,會同意放在hadoop安裝目錄下的自定義目錄,如hadoop/data/tem,都沒設定則放在Linux根目錄下的tem目錄

在這裡插入圖片描述

<property>
    <name>dfs.name.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/name</value>
    <description>namenode上儲存hdfs名字空間元資料 </description>
  </property>

  <property>
    <name>dfs.data.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/data</value>
    <description>datanode上資料塊的物理儲存位置</description>
  </property>

win10下eclipse安裝hadoop-eclipse-plugin-2.7.3.jar成功後如下
windows-》preference
在這裡插入圖片描述
windows-》show view
在這裡插入圖片描述
在這裡插入圖片描述

  • win10啟動hadoop後執行視窗可能沒有消失,不能關閉,否則會關閉對應服務,把視窗縮小即可
    在這裡插入圖片描述

  • win10下eclipse直接執行mapreduce程式
    一。
    1.解壓hadoop安裝包,並配置jdk和hadoop的環境變數
    2.直接建立一個java工程,到後匯入hadoop的lib依賴包,build path
    3.直接執行
    在這裡插入圖片描述
    寫好輸入資料引數和輸出資料的引數後點擊Run就可以執行
    在這裡插入圖片描述


    執行結果:
    在這裡插入圖片描述

  • win10下eclipse編輯mapreduce在Linux的hadoop叢集上執行
    二。
    1.安裝hadoop-eclipse-plugin-2.7.3.jar(該jar包用來連線hadoop或者hadoop叢集的,可以是連線windows下的,也可以連線Linux下的,通過配置)
    參考:https://blog.csdn.net/psp0001060/article/details/54728436
    Map/Reduce Master沒有設定的話預設是50020(點選finish,若沒有報錯,則表示連線成功,在Eclipse左側的DFS Locations中可以看到HDFS檔案系統的目錄結構和檔案內容;
    若遇到 An internal error occurred during: “Map/Reduce location status updater”. java.lang.NullPointerExcept的問題,則表示當前HDFS檔案系統為空,只需在HDFS檔案系統上建立檔案,重新整理DFS Locations後即可看到檔案系統內容;)

    在這裡插入圖片描述
    連線成功後(一定注意,如果eclipse中有其他工作集,一定切換到預設的工作集,不然看不到DFS Location)
    在這裡插入圖片描述
    2.安裝hadoop及配置環境變數
    3.啟動hadoop,eclipse連線,再執行專案程式
    在這裡插入圖片描述

  • win10下eclipse編輯mapreduce在win10本地hadoop上執行
    三。
    1.與Linux中叢集執行性質一樣,兩個不同點(連線和執行前先配置
    一是連線配置資訊不一樣
    二是在輸入資料的路徑和輸出資料的引數路徑不一樣,因為一個是叢集路徑,一個是win10系統路徑
    在這裡插入圖片描述
    在這裡插入圖片描述

**maptask原理:**https://www.cnblogs.com/acSzz/p/6383618.html
**reducetask:**https://blog.csdn.net/luomingkui1109/article/details/80950857