本文從我的另外一個部落格轉過來，以後將大資料方面的都放在此部落格。

本文一步步記錄了 Ubuntu 環境安裝Hadoop 1.2.1 ,搭建單機模式以及偽分散式模式，希望對各位和我一樣的菜鳥有所幫助，共同學習進步，歡迎交流。嘗試2.1安裝未遂，由於檔案結構不太一樣缺乏相關資料，也非做運維的，遂放棄改用成熟的hadoop 1.2.1版本。

----------------------------------------單機模式-----------------------------------------

下載：hadoop-1.2.1.tar.gz

解壓：

1. tar -xzvf hadoop-1.2.1.tar.gz   

1. mv hadoop-1.2.1/ /opt  

讓環境變數配置生效source，是source,不是sh,補充下sh和.的區別，參考

1. source hadoop-env.sh   

檢測是否安裝成功

單機版hadoop安裝成功，測試一下

1. mkdir input  

1. cp -R conf input/  

執行wordcount程式並將結果儲存到output

hadoop hadoop-examples-1.2.1.jar 

錯誤: 找不到或無法載入主類 hadoop-examples-1.2.1.jar

單機模式成功， 接下來搭建偽分散式

-------------------------------------------華麗的分割線 偽分散式-----------------------------------------

hadoop目錄下建立以下目錄：

1. [email protected]:/opt/hadoop-1.2.1$ mkdir tmp  
2. [email protected]:/opt/hadoop-1.2.1$ mkdir hdfs  
3. [email protected]:/opt/hadoop-1.2.1$ mkdir hdfs/name  
4. [email protected]:/opt/hadoop-1.2.1$ mkdir hafs/data  

1. <configuration>  
2.    <property>  
3.         <name>fs.default.name</name>  
4.         <value>hdfs://localhost:9000</value>  
5.     </property>  
6.     <property>  
7.         <name>hadoop.tmp.dir</name>  
8.         <value>/opt/hadoop-1.2.1/tmp</value>  
9.     </property>  
10. </configuration>  

1. <configuration>  
2.   <property>  
3.         <name>dfs.replication</name>  
4.         <value>1</value>  
5.     </property>  
6.     <property>  
7.         <name>dfs.name.dir</name>  
8.         <value>/opt/hadoop-1.2.1/hdfs/name</value>  
9.     </property>  
10.     <property>  
11.         <name>dfs.data.dir</name>  
12.         <value>/opt/hadoop-1.2.1/hdfs/data</value>  
13.     </property>  
14. </configuration>  

1. <configuration>  
2.   <property>  
3.         <name>mapred.job.tracker</name>  
4.         <value>localhost:9001</value>  
5.     </property>  
6. </configuration>  

1. [email protected]:/opt/hadoop-1.2.1/conf$ source hadoop-env.sh   
2. [email protected]:/opt/hadoop-1.2.1/conf$ hadoop namenode -format  

啟動Hadoop:

執行執行bin/start-all.sh來啟動所有服務，包括namenode,datanode，start-all.sh指令碼用來裝載守護程序

1. [email protected]:/opt/hadoop-1.2.1/bin$ start-all.sh   

用java的jps命令驗證是否安裝成功：

1. [email protected]:/opt/hadoop-1.2.1$ jps  

少一個DataNode程序沒有啟動，通過檢視上邊現實的路徑下的日誌發現：

很明顯，data資料夾的許可權不對，修改許可權：

1. [email protected]:/opt/hadoop-1.2.1/hdfs$ chmod 755 data  

關閉hadoop,重新啟動：

1. [email protected]:/opt/hadoop-1.2.1/bin$ stop-all.sh  

1. [email protected]:/opt/hadoop-1.2.1/bin$ start-all.sh   

1. [email protected]:/opt/hadoop-1.2.1/bin$ jps  

檢查執行狀態：可以通過下面的操作來檢視服務是否正常，在Hadoop中用於監控叢集健康狀態的Web介面

http://localhost:50030/     - Hadoop 管理介面
http://localhost:50060/     - Hadoop Task Tracker 狀態
http://localhost:50070/     - Hadoop DFS 狀態

hadoop的偽分佈模式已經安裝成功，再次在偽分佈模式下執行一下WordCount來感受MapReduce過程：

這時注意程式是在檔案系統dfs執行的，建立的檔案也都基於檔案系統：

首先在dfs中建立input目錄

1. [email protected]:/opt/hadoop-1.2.1/conf$ hadoop dfs -mkdir input  
2. Warning: $HADOOP_HOME is deprecated.  

1. [email protected]:/opt/hadoop-1.2.1$ hadoop dfs -copyFromLocal conf/* input  

1. [email protected]:/opt/hadoop-1.2.1$ hadoop jar hadoop-examples-1.2.1.jar wordcount input output  

INFO mapred.JobClient:  map 100% reduce 0% 到這裡卡死不動了。

檢查主機名：

1. [email protected]:/opt/hadoop-1.2.1/conf$ hostname  

修改/etc/hosts檔案：

重新來過：

1. hadoop dfs -rmr output/  
2. hadoop jar hadoop-examples-1.2.1.jar wordcount input output  

oK!!看見沒有，你成功了！！！！！！

檢測一下輸出資訊：

1. [email protected]:/opt/hadoop-1.2.1$ hadoop dfs -cat output/*  

ok!!此時偽分散式系統環境已可以正常使用~~~！

YOU GET YOUR FOOT IN THE DOOR！