先搭建Hadoop偽分佈： Ubuntu + Hadoop2.7.3偽分佈搭建

1.修改/etc/hosts檔案，IP對映

內容如下：

注：10.13.7.72為master節點IP，10.13.7.71為slave節點IP。（根據自己的IP地址設定）

2.修改master配置檔案

修改slaves，內容如下：

slave

修改hdfs-site.xml，內容如下：

<configuration>

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                <value>false</value>
        </property>
</configuration>

 

3.複製master節點

在VirtualBox中複製master節點：
右鍵master，選擇複製：

注：複製後需要修改slave節點的橋接IP地址，確保master與slave能夠互相ping通。

4.配置slave節點

配置主機名，修改後重啟Ubuntu：

5.節點之間免密登入

在master節點執行：

ssh-copy-id -i ~/.ssh/id_rsa.pub slave

測試：

在slave節點執行：

ssh-copy-id -i ~/.ssh/id_rsa.pub master

測試：

注： 執行 exit 退出。

4.啟動叢集

在 master 和 slave 節點執行 1和 2：

1. 刪除已有的 dfs tmp目錄和logs日誌。

rm -rf  dfs  tmp  logs/*

2. 新建 dfs tmp目錄：

mkdir -p  dfs/{name,data}  tmp

格式化master節點（只需要格式化master，注：每次只能格式化一次，若還需第二次格式化則先刪除，後建立dfs 和 tmp目錄）：

hdfs namenode -format

注：Exiting with status 0則成功， 1則失敗。

在master執行命令：start-dfs.sh

在master執行命令：start-yarn.sh

在slave節點執行：jps

瀏覽器檢視master節點IP + 埠：10.13.7.72:50070，可得到slave節點即搭建成功：