1. 程式人生 > >Windows下Eclipse關聯Hadoop開發

Windows下Eclipse關聯Hadoop開發

前言:

    當hadoop的環境搭建好之後,我們就開始開發相關功能

    工具呢,還是使用eclipse

    筆者直接使用window下的eclipse來關聯hadoop進行開發,這時就需要單獨配置一些東西

準備:

    * STS(也就是spring版本的eclipse)

    * hadoop-eclipse-plugin-2.7.0.jar外掛(注意:不同版本的hadoop必須對應版本的外掛,讀者可自行編譯,也可以直接使用別人編譯好的,如果有同學需要該版本的外掛,可以聯絡我)

工具配置全過程:

    1.將該外掛放入ECLIPSE_HOME/plugins下(筆者為STS,則放入STS_HOME\sts-bundle\sts-

3.8.4.RELEASE\plugins下)

    2.重啟eclipse

    3.開啟Window->Perferences,可以看到Hadoop Map/Reduce介面,

    指向hadoop的安裝目錄

    4.開啟Map/Reduce檢視

    開啟Window->ShowView,輸入map,可以看到如下,選擇該檢視即可

    5.新建hadoop_location

    在Map/Reduce的檢視中,右鍵單擊,點選new hadoop location

    * Location name可隨意命名

    * Host輸入hadoop(注意:該host是在Windows環境下,所以需要在Windows的hosts檔案下配置hadoop與ip地址的對應

    * DFS Master的Port即為我們的core-site.xml中FS.default中輸入的port

    6.驗證

    我們看到在Project Explorer中有DFS Locations,逐層開啟,可以看到與我們的HDFS檔案系統保持一致

總結:至此,我們的Eclipse關聯hadoop過程就結束了,下面我們可以再Windows環境下關聯hadoop進行開發了