1. 程式人生 > >Hadoop Eclipse 外掛製作以及安裝

Hadoop Eclipse 外掛製作以及安裝

在本地使用Eclipse除錯MapReduce程式,需要Hadoop外掛,筆摘記錄下製作安裝過程。

準備工作(hadoop-2.6.0為例):

  搭建好Hadoop環境

  下載Hadoop安裝包,解壓到某個路徑(D:\hadoop-2.6.0)

  下載 hadoop2x-eclipse-plugin包

  安裝jdk 、ant、eclipse

相關資源下載:https://pan.baidu.com/s/11xMtbRWpy96gWIwQeQOKOg

一、製作

  2、編譯準備

   需要安裝 jdk,Ant、Eclipse

   jdk安裝配置 : https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

     ant安裝配置:https://jingyan.baidu.com/article/90808022c5eed8fd91c80f90.html

  3、編譯

    (1)進入hadoop2x-eclipse-plugin解壓目錄下(D:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin)

    (2)執行命令 :ant jar -Dversion=2.6.0 -Declipse.home=D:\temp\eclipse -Dhadoop.home=D:\hadoop-2.6.0

  

    引數說明:

    1.Dversion是你編譯的版本,此版本為2.6.0

    2.Declipse.home是Eclipse安裝目錄     3.Dhadoop.home是Hadoop解壓的本地目錄

   (3)執行完畢

         

    生成外掛(build/contrib/eclipse-plugin目錄下產生一個hadoop-eclipse-plugin-2.6.0.jar檔案),外掛製作結束。

    

二、外掛安裝

  1.安裝外掛

  把外掛放入eclipse plugins資料夾,然後開啟win7下Eclipse,將hadoop-eclipse-plugin-2.6.0.jar外掛放到Eclipse安裝目錄的plugins資料夾下,我這裡的路徑是D:\hbl_download\eclipse\plugins

  其實放到這裡面已經完成大部分了。

  

  2.重啟Eclipse   通過window-》preference 找到下圖所示,選擇Hadoop安裝目錄

  

  3.建立New hadoop location    通過下面操作,單擊other

   

    選擇MapReduce Tool選項

    

    

   4.配置New hadoop location

   右鍵New hadoop location

    

    其中50020是Map/Reduce(V2) Master預設埠,9000為配置檔案中DFS Master配置的埠

  5.檢視效果配置完畢,檢視效果

    

三、MapReduce程式除錯

本地除錯MapReduce程式,需要在解壓的Hadoop的bin目錄下安裝winutils.exe,以及將 hadoop.dll拷貝至C:\Windows\System32目錄中