hadoop是由java語言編寫的，首先我們肯定要在電腦中安裝jdk，配置好jdk的環境，接下來就是安裝hadoop叢集的步驟了，在安裝之前需要建立hadoop使用者組和使用者，另外我此時使用的是一主（master）三從（slave1、slave2、slave3）。

1、 建立hadoop組和hadoop使用者

[[email protected] ~]# groupadd hadoop
[[email protected] ~]# useradd -g hadoop hadoop

2、 上傳、解壓hadoop壓縮包和重名解壓後的目錄

切換到hadoop使用者：

[[email protected]
 
 ~]# su – hadoop

上傳hadoop安裝包：

解壓hadoop安裝包和重新命名解壓目錄：

[[email protected] ~]$ tar -zxvf hadoop-1.0.4.tar.gz
[[email protected] ~]$ mv hadoop-1.0.4 hadoop

3、 配置hadoop的的配置檔案

進入hadoop的conf目錄：

[[email protected] ~]$ cd hadoop
[[email protected] hadoop]$ cd conf
[[email protected] conf]$ 
[
 
[email protected] conf]$ ll
總用量 76
-rw-rw-r--. 1 hadoop hadoop 7457 10月  3 2012 capacity-scheduler.xml
-rw-rw-r--. 1 hadoop hadoop  535 10月  3 2012 configuration.xsl
-rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 core-site.xml
-rw-rw-r--. 1 hadoop hadoop  327 10月  3 2012 fair-scheduler.xml
-rw-rw-r--. 1 hadoop hadoop 2237 10月  3 2012 hadoop-env.sh
-rw-rw-r--. 1 hadoop hadoop 1488 10月  3 2012 hadoop-metrics2.properties
-rw-rw-r--. 1 hadoop hadoop 4644 10月  3 2012 hadoop-policy.xml
-rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 hdfs-site.xml
-rw-rw-r--. 1 hadoop hadoop 4441 10月  3 2012 log4j.properties
-rw-rw-r--. 1 hadoop hadoop 2033 10月  3 2012 mapred-queue-acls.xml
-rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 mapred-site.xml
-rw-rw-r--. 1 hadoop hadoop   10 10月  3 2012 masters
-rw-rw-r--. 1 hadoop hadoop   10 10月  3 2012 slaves
-rw-rw-r--. 1 hadoop hadoop 1243 10月  3 2012 ssl-client.xml.example
-rw-rw-r--. 1 hadoop hadoop 1195 10月  3 2012 ssl-server.xml.example
-rw-rw-r--. 1 hadoop hadoop  382 10月  3 2012 taskcontroller.cfg
 

這裡的配置檔案有core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml,masters,slaves都需要修改，下面是這幾個配置檔案的內容：

core-site.xml配置檔案的內容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
<property>
     <name>fs.default.name</name>#++++hdfs的預設路徑
     <value>hdfs://master:9000</value>
</property>
</configuration>

hadoop-env.sh配置檔案最後面新增的內容：

export JAVA_HOME=/usr/jdk #++++jdk的環境變數++++#

hdfs-site.xml配置檔案的內容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
<property>  
<name>dfs.replication</name>#++++hdfs的備份數
<value>3</value>
</property>            
    	<property>  
           	<name>dfs.name.dir</name>  #++++namenode的檔案儲存路徑，包括edites、fsimage、fstime、VERSION
                <value>/home/hadoop/hadoop/namenode/</value>  
      	</property> 
      	<property>  
           	<name>dfs.data.dir</name>  #++++datanode的儲存路徑，包含資料和資料的原資訊。
                <value>/home/hadoop/hadoop/data/</value>  
      	</property>               
    	<property>  
           	<name>hadoop.tmp.dir</name>  #++++mapreduce計算的中間結果的臨時儲存資料夾
                <value>/home/hadoop/hadoop/tmp/</value>  
       	</property>
       	<property>
<name>dfs.permissions</name>#++++認證策略
<value>false</value>
</property>
</configuration>

mapred-site.xml配置檔案的內容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
<property>  
        	<name>mapred.job.tracker</name>  #++++jobtracker的ip和埠
                <value>master:9001</value>  
        </property>
    	<property>  
           	<name>mapred.tasktracker.map.tasks.maximum</name>  #++++maptask的最大數
           	<value>2</value>  
        </property>                  
    	<property>  
           	<name>mapred.tasktracker.reduce.tasks.maximum</name>  #++++reducetask的最大數
                <value>2</value>  
     	</property>  
</configuration>

masters配置檔案的內容：

master
#SecondaryNameNode的位置，可以配置多個

slaves配置檔案的內容：

slave1#++++slave的ip或者域名
slave2
slave3

說明：這些配置檔案都是事先配置好的，只要上傳到conf目錄下，替換之前的檔案即可，採用這種方式是因為在linux命令列下直接開啟檔案在裡面輸入內容更容易錯並且不方便。這裡還有一點需要注意，上面配置檔案中存在的漢字是用於註釋的，實際上傳的檔案是沒有註釋的，因為不支援漢字。

上傳配置檔案過程：

4、 到這裡hadoop就安裝結束了，接下來就是將安裝完成的hadoop傳送到其他的虛擬機器中。

[[email protected] conf]$ scp -r /home/hadoop/hadoop [email protected]:/home/hadoop
[[email protected] conf]$ scp -r /home/hadoop/hadoop [email protected]:/home/hadoop
[[email protected] conf]$ scp -r /home/hadoop/hadoop [email protected]:/home/hadoop

向另外三臺機器傳送hadoop，記住這裡傳送到另外一臺機器的hadoop使用者下，而非root使用者下。傳送完成，就意味著三臺機器的hadoop都已經安裝完成。

5、 安裝ssh

為了在master機器中啟動叢集中所有的hadoop，這裡安裝ssh是提供啟動方便。

將slave1、slave2、slave3三臺機器都切換到hadoop使用者；

在slave1、slave2、slave3三臺機器中執行ssh localhost，是為了生成.ssh目錄，這個目錄預設是隱藏的需要使用ll –a命令檢視。

[[email protected] ~]$ ll -a
總用量 32
drwx------.  5 hadoop hadoop 4096 11月 20 23:09 .
drwxr-xr-x.  3 root   root   4096 11月 20 22:20 ..
-rw-r--r--.  1 hadoop hadoop   18 7月  18 2013 .bash_logout
-rw-r--r--.  1 hadoop hadoop  176 7月  18 2013 .bash_profile
-rw-r--r--.  1 hadoop hadoop  124 7月  18 2013 .bashrc
drwxr-xr-x.  2 hadoop hadoop 4096 11月 12 2010 .gnome2
drwxr-xr-x. 14 hadoop hadoop 4096 11月 20 23:03 hadoop
drwx------.  2 hadoop hadoop 4096 11月 20 23:09 .ssh

在master機器中生成公鑰和私鑰：

進入.ssh目錄，移除裡面的known_hosts檔案

[[email protected] ~]$ cd .ssh
[[email protected] .ssh]$ ll
總用量 4
-rw-r--r--. 1 hadoop hadoop 1209 11月 20 23:05 known_hosts
[[email protected] .ssh]$ 
[[email protected] .ssh]$ rm -rf known_hosts

生成公鑰和私鑰：

[[email protected] .ssh]$ ssh-keygen -t rsa

出現需要輸入內容的對話，一律回車，只到生成結束

把公鑰放到認證列表中：

[[email protected] .ssh]$ cat id_rsa.pub >> authorized_keys

此時.ssh目錄下回多出一個檔案authorized_keys

給authorized_keys檔案授權：

[[email protected] .ssh]$ chmod 600 authorized_keys

將authorized_keys檔案傳送到slave1、slave2、slave3的hadoop使用者下的.ssh目錄下：

[[email protected] .ssh]$ scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
[[email protected] .ssh]$ scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
[[email protected] .ssh]$ scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

至此ssh就安裝成功了。

6、 啟動hadoop，這裡要注意，要使用hadoop使用者，不能用root使用者。

格式化叢集：

[[email protected] .ssh]$ hadoop namenode –format

啟動叢集：

[[email protected] ~]$ start-all.sh
Warning: $HADOOP_HOME is deprecated.
 
starting namenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.out
slave3: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave3.out
slave2: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave2.out
slave1: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave1.out
The authenticity of host 'master (192.168.56.200)' can't be established.
RSA key fingerprint is 63:e7:e2:e1:ae:bb:59:f8:ec:e8:23:e0:22:3e:ac:16.
Are you sure you want to continue connecting (yes/no)? yes
master: Warning: Permanently added 'master,192.168.56.200' (RSA) to the list of known hosts.
master: starting secondarynamenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-secondarynamenode-master.out
starting jobtracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-jobtracker-master.out
slave2: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave2.out
slave1: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave1.out
slave3: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave3.out

這樣叢集就啟動成功了。

7、 jps命令測試是否安裝成功

master機器：

[[email protected] ~]$ jps
2372 JobTracker
2298 SecondaryNameNode
2128 NameNode
2471 Jps

slave1機器：

[[email protected] ~]$ jps
2185 Jps
2019 DataNode
2106 TaskTracker

slave2機器：

[[email protected] ~]$ jps
2101 TaskTracker
2183 Jps
2013 DataNode

slave3機器：

[[email protected] ~]$ jps
2115 TaskTracker
2211 Jps
2041 DataNode

至此hadoop叢集的安裝和啟動就完成了，啟動叢集只需要在master機器上執行start-all.sh就可以。停止叢集使用stop-all.sh命令。