1. 程式人生 > >[全圖解]Windows下的hadoop雲端計算開發環境!只要兩步!

[全圖解]Windows下的hadoop雲端計算開發環境!只要兩步!

轉載請註明出處:http://blog.csdn.net/crazyhan00 小站 lotobuy.com

cygwin可以在windows下模擬出linux環境,在其上安裝hadoop即可進行開發,hadoop4win提供了已經安裝好hadoop的Cygwin映象,直接下載安裝包即可安裝!

http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win

(一) hadoop4win

軟體簡介

hadoop4win,顧名思義為『Hadoop for Windows』,主要是提供Windows 平臺上簡易安裝 Hadoop 的批次安裝檔。此批次安裝檔內容,主要參考自國網中心企鵝龍與再生龍團隊成員孫振凱先生之

 drbl-winroll 作品,抽取安裝部分程式改寫成 hadoop4win 所需的步驟。

hadoop4win 目前包含五大軟體組成:

  •  Cygwin - 提供精簡版,類似 Linux 的環境
  •  JDK 1.6.0 update 18 - 執行 Hadoop 必須的 JRE(Java Runtime Environment) 與編譯程式所需之 javac 編譯器
  •  Hadoop 0.20.2 - 包含 Hadoop 0.20.2 原始程式與中英文說明檔案檔
  •  HBase 0.20.6 - 包含 HBase 0.20.6 原始程式碼
  •  Ant 1.8.2 - 包括 Apache Ant 1.8.2 執行檔

軟體需求

  • Windows 2000, Windows XP 
  • 目前已知 Windows 7 無法正常執行

(二) Eclipse 開發環境

1. 將hadoop外掛放入Eclipse 3.3的plugins中。

2. 啟動Eclipse,window - openperspective - other - Map/Reduce,開啟hadoop的檢視。


3. 設定Map/Reduce Location, 右鍵 EditHadoop Location,username用你的windows登入使用者名稱。9000和9001是在core-site.xml和mapred-site.xml中的設定.



對於這類配置檔案的編輯,Cygwin的檔案都可以在windows下編輯,不需要在linux終端中編輯(儘管可以),看看hadoop4win的目錄就知道。


 4. 設定引數!





 (三) 用Eclipse開發

設定成功後,應當可以在左邊看到,hadoop檔案系統。

在windows下編輯兩個文字,file01和file02,裡面嗎隨便寫一些英文句子。然後放到E:\hadoop4win\home\你的登入名,然後在hadoop4win開啟的Cygwin終端中:

cd /home/你的使用者名稱

hadoop fs -mkdirinput

hadoop fs -put file01 input

hadoop fs -put file02 input

在Eclipse中建個WordCount的例子,只要建立mapreduce project,然後在src下建一個包,下面放原始碼就行了。

設定引數:


Run as “run onhadoop”