Hadoop安全分散式的Eclipse開發環境配置

安裝Eclipse

安裝Hadoop-Eclipse-Plugin

下載 hadoop2x-eclipse-plugin ,將 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar (雖然標註的是 2.2.0,但在 2.6.0 下是沒問題的,應該在 2.x 版本下都可以)複製到 Eclipse 安裝目錄的 plugin 資料夾中,執行 eclipse -clean 重啟 Eclipse 即可

注:將Hadoop-Eclipse-Plugin複製到home/haoop/目錄下

(這一步可直接在普通使用者下操作,若在root使用者下,要先進入/home/hadoop/目錄)

unzip ./hadoop2x-eclipse-plugin-master.zip

解壓

(進入root使用者)

cp /home/hadoop/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-kepler-plugin-2.2.0.jar /usr/local/eclipse/eclipse/plugins/

複製

/usr/local/eclipse/eclipse/eclipse -clean

重啟

啟動 Eclipse 後就可以在左側的Project Explorer中看到 DFS Locations(若看到的是 welcome 介面,點選左上角的 關閉就可以看到了)

(注:可以在Windows-ShowView處選擇要顯示的對話方塊)

 

外掛的進一步配置:

第一步:

選擇 Window 選單下的 Preference

此時會彈出一個窗體,窗體的左側會多出 Hadoop Map/Reduce 選項,點選此選項,選擇 Hadoop 的安裝目錄(如/usr/local/hadoop,直接輸入也可以)

 

第二步:

切換 Map/Reduce 工作目錄,選擇 Window 選單下選擇 Perspective -> Open Perspective -> Other,彈出一個窗體,從中選擇 Map/Reduce 選項即可進行切換

 

第三步:

建立與 Hadoop 叢集的連線,點選 Eclipse軟體右下角的 Map/Reduce Locations 面板,在面板中單擊右鍵,選擇 New Hadoop Location


注:資訊說明

Location Name:可以任意其,標識一個"Map/Reduce Location"

Map/Reduce Master

Host192.168.154.156MasterIP地址)

Port9001

DFS Master 

Use M/R Master host:前面的勾上。(因為我們的NameNodeJobTracker都在一個機器上。)

Port9000

User namehadoop(預設為Win系統管理員名字,因為我們之前改了所以這裡就變成了hadoop

接著再切換到 Advanced parameters 選項面板,這邊有詳細的配置,切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置檔案)一致,如果配置了 hadoop.tmp.dir,就要進行修改。

 

/usr/local/hadoop/tmp

如果此時Hadoop沒有執行,則會看到下面的結果。

 

啟動Hadoop,結果符合預期。