註意：此次搭建是在ssh無密碼配置、jdk環境已經配置好的情況下進行的

可以參考： Hadoop完全分布式安裝教程

CentOS環境下搭建hadoop偽分布式集群

1.更改主機名

執行命令：vi /etc/sysconfig/network

2.設置hosts中ip與主機名的綁定

執行命令 vi /etc/hosts

在裏面添加選項設置你的主機名與ip的對應關系

3.安裝hadoop

執行命令,將壓縮包解壓到/usr/local/hadoop文件夾下

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/hadoop

4.進入hadoop安裝目錄，進入etc/hadoop目錄下

修改etc/hadoop目錄下的幾個文件：

1).core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>

2).hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

3).mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>

4)yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

5.設置hadoop-env.sh和yarn-env.sh的JAVA_HOME

export JAVA_HOME=/root/software/jdk1.7.0_79

6.修改slaves文件,將hadoop集群主機名稱添加進去

7.修改環境變量：vi /etc/profile

hadoop namenode -format

1)初始化，輸入命令，bin/hadoop namenode -format

(2)全部啟動sbin/start-all.sh，

報錯及解決辦法：

1).啟動hadoop是報如下錯：

解決辦法是直接在log4j日誌中去除告警信息：

在//usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

參考網址：http://blog.csdn.net/l1028386804/article/details/51538611

CentOS中hadoop偽分布式集群安裝