一 實驗環境：

1.三臺物理機（可以虛擬機器虛擬出的三臺主機），其中一臺做為主節點（namenode）ip：192.168.30.50，兩臺做為從節點（datanode）ip:192.168.30.51 /   192.168.30.52

2.為每一臺主機安裝JDK1.6以上，並設定好環境變數，推薦（如：JAVA_HOME=/usr/java/java1.7.0_17)，配置好後可以通過：java -version檢驗是否安裝成功；

3.為每一臺主機安裝SSH。

4.為每臺主機建立一個執行hadoop的使用者：useradd hdtest。

二 實驗具體步驟

1.在每臺主機上分別設定/etc/hosts和/etc/hostname.

例如：master主機

slave1主機

配置好後要重啟網路配置：/etc/rc.d/init.d/network restart，實在不行就重啟主機，一點要保證hostname相同。

2.在每臺主機上生成金鑰對，以普通使用者身份（hdtest）登入

首先，在/home/hdtest目錄下建立.ssh隱藏目錄

#生成金鑰（在每個節點上執行）

ssh-keygen -t rsa

#改變目錄金鑰資料夾的許可權

chmod 755 .ssh

###把每個節點上的id_rsa.pub檔案（公鑰）都複製到主節點的authorized_keys檔案中

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

#修改公鑰檔案的許可權（注意因為ssh安全要求，公鑰檔案的許可權不能設定的太低）

chmod 644 .ssh/authorized_keys

其次，把每個主機中authorized_keys檔案內容拷貝到一起，替換原來authorized_keys檔案，也就是說，每個主機authorized_keys檔案中都包含三個公鑰（可用winscp工具視覺化操作）。也可以用 scp ~/.ssh/id_rsa.pub [email protected]:~/.ssh/authorized_keys

結果如圖：

#各個節點之間相互登入，注意本機也要登入

ssh 192.168.157.96ssh 192.168.157.97

ssh localhost

ssh設定後的主節點的.ssh目錄下的檔案

3.配置三臺主機的Hadoop檔案

1）.將hadoop軟體包放到/home/hdtest目錄下，並以hdtest的身份解壓；

2）conf/Hadoop-env.sh:

export JAVA_HOME="你的java安裝地址“(/usr/java/jdk1.7.0.17)

3)修改hadoop的配置檔案，共需要修改三個檔案，可以先在一臺機器上配置好之後再分發到各個節點上

hadoop-0.20.2/conf/master 存放主節點的ip

hadoop-0.20.2/conf/slaves 存放從節點的ipca
masters和slaves檔案

4）hadoop-0.20.2/conf/core-site.xml 配置hdfs路徑、臨時目錄等資訊，可以按照如下所示的配置修改

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.30.50:9000</value>//注意：這裡的IP是各個主機的iP，不能都寫localhost

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/wasuser/temp.hadoop</value>//注意：這裡的temp.hadoop是要自己建立的目錄

</property>

</configuration>

5）hadoop-0.20.2/conf/mapred-site.xml 配置map reduce任務排程程序（job），可以按照如下所示的配置修改

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> //這裡空行或空格了可能會報錯

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>              

<name>mapred.job.tracker</name>

<value>192.168.30.50：9001</value>

</property>

</configuration>

6）conf/hdfs-site.xml:

<configurtion>

<property>

<name>dfs.replication</name>

<value>3</value>//表示資料備份的份數

</property>

<configuration>

4.在~/hadoop -0.2.0/bin目錄

###啟動hadoop啟動前先格式化namenode節點

使用bin/start-all.sh啟動hadoop

使用jdk中的jps檢視啟動的java程序

over