本文介紹apache  hadoop的第二種搭建模式:偽分散式。關於偽分散式的搭建基於上篇《Hadoop安裝之standAlone單機》文章中standAlone搭建的基礎之上進行擴建。

安裝伺服器規劃

伺服器IP

192.168.254.100

192.168.254.110

192.168.254.120

主機名

node01.hadoop.com

node02.hadoop.com

node03.hadoop.com

NameNode

Secondary

NameNode

dataNode

ResourceManager

NodeManager

1):刪除第一篇文章中建立的hadoop中檔案目錄

rm  -rf  /export/servers/hadoop-2.7.5/hadoopDatas

2)重新建立hadoop存放檔案的目錄

cd /export/servers/hadoop-2.7.5

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

3):修改配置檔案

注意:在修改slaves配置檔案時,將localhost改成如下內容:

192.168.254.100

192.168.254.110

192.168.254.120

4):將hadoop2.7.5通過scp命令傳送到另外兩臺服務上面,110和120上面。且110、120環境和110保持一致。

cd /export/servers/

scp -r hadoop-2.7.5 192.168.254.110:$PWD

scp -r hadoop-2.7.5 192.168.254.120:$PWD

5)啟動

cd  /export/servers/hadoop-2.7.5

bin/hdfs namenode -format

sbin/start-dfs.sh

sbin/start-yarn.sh

sbin/mr-jobhistory-daemon.sh start historyserver