1. 程式人生 > >MyEclipse安裝hadoop-eclipse-plugin,配置本地hadoop開發環境

MyEclipse安裝hadoop-eclipse-plugin,配置本地hadoop開發環境

在redhat6.5環境下搭建了hadoop2.7.1叢集環境,那麼如何在本地eclipse環境下開發map/reduce業務呢?

網上查了下,主要是安裝hadoop-eclipse-plugin,在這裡將如何用MyEclipse安裝Hadoop-eclipse外掛記錄下來。

步驟:

1)下載hadoop-eclipse-plugin-2.7.1.jar

2)將hadoop-eclipse-plugin-2.7.1.jar放到MyEclipse安裝目錄的dropins資料夾下,重新啟動MyEclipse。會發現在Project Explorer下出現DFS Locations.表明MyEclipse已經識別hadoop-eclipse-plugin-2.7.1.jar外掛。

3)開啟window-->Preferens,發現Hadoop Map/Reduce選項,說明外掛安裝成功,配置Hadoop installation directory為本地Hadoop安裝解壓的目錄。(注意:前提是要在window下下載hadoop-2.7.1,並解壓)

 

4)選擇window-->show view-->others,選擇有大象圖示的Map/Reduce,開啟Map/Reduce的開發環境,下方多了一個Map/Reduce Location的框。


圖中出現的大象linux是我已經配好了的。

5)選擇Map/reduce Location標籤,點選標籤最右邊的大象圖示,即齒輪圖示右側的大象圖示,開啟引數設定頁面。


注意:用紅色框標註的引數設定一定要正確,首先,Location name設定為linux的主機名,可以用hostname檢視。Host為linux主機使用者名稱。左邊的PortMapReduce的埠號,之前在linux下配置Hadoop的xml檔案已經配過了,按照配置的埠號配置就可以了。右邊的為hdfs的埠號。配置完後點finish。

6)接著點選Advanced parameters,從中找到hadoop.tmp.dir,修改為Hadoop叢集core-site.xml中配置的值。


7)接著在Advanced parameters中配置dfs.permssions,修改為false,與Hadoop叢集【hdfs-site.xml】中配置的一致;將dfs.replication的值改為1.


8)配置完成後,點選myeclipse右上角的Map/Reduce的按鈕


若在左側Project Explorer中出現如下資訊,這表明配置成功,其中tmp、user等目錄,是我自己在hdfs中創建出來的,你自己建立會有自己檔案和目錄


右鍵點選hadf的目錄,可以直接通過myeclipse將本地檔案上傳到遠端的hdfs中