1. 程式人生 > >【源】從零自學Hadoop(07):Eclipse外掛

【源】從零自學Hadoop(07):Eclipse外掛

閱讀目錄

  上一篇,我們的第一個Cluster搞定了,按平常的搭建叢集來說,應該是至少3個DataNode的,應為預設的一份HDFS檔案分成3份,所以最少也得3個DataNode的伺服器,但由於本機就一塊硬碟,記憶體也不大,所以,勉強的用2份。黃色別墅http://www.326dy.com/

  在這裡我們開始使用MyCluster了,有個Eclipse的外掛用上去後,對HDFS檔案的處理就比較方便了,我們開始吧!

Eclipse

326電影網http://www.326dy.com/Eclipse外掛

一:原因:

  為什麼要用這個外掛了?有什麼好處了?

  因為我們待分析的檔案需要從客戶端通過rpc傳到NameNode,所以在linux中,是找不到這個檔案的,相當於是做了個隔離,所以用個外掛就很方便的上傳這些檔案了,還可以檢視目錄結構,檔案內容。分析後結果也是很方便的檢視的到。

二:地址性喜劇http://www.326ys.com/

  在Release中,我們可以看到有3個編譯好的jar包。都是2.0以上的版本,所以對於hadoop2.0以上的都可以用。

三:安裝

  將外掛放入eclipse的外掛目錄,“eclipse\plugins”。

  重啟Eclipse

  進入Windows->Preferences

  選擇Hadoop的路徑

四:查Hadoop配置資訊

  首先,我們得知道我們的NameNode和HDFS的地址。

  我們進入ambari登陸頁面。

  選中HDFS->Config,圈中的就是HDFS的地址。

  選中MapReduce2->Config,圈中的就是MapReduce地址

五:配置

326影視http://www.326ys.com/  開啟Eclipse外掛,右鍵新建一個Hadoop location

  編輯圈中的地方。

六:連線

  雙擊DFS Locations_>Hadoop

  就可以看到如下的目錄結構

新建外掛專案

一:新建專案

  開啟File->New Project->Map/Reduce Project

  下一步,輸入專案名稱。

  點選完成,我們可以看到一個簡易的Map/Reduce專案完成。

   

--------------------------------------------------------------------

  到此,本章節的內容講述完畢。

系列索引