CentOS6.5下搭建Hadoop環境詳細步驟
1.搭建Hadoop環境需要先安裝和測試JDK，具體步驟可以參考
2.下載hadoop-2.6.5.tar.gz
3.cd /opt/software進入存放軟體包目錄。（此目錄是自己建立的用來專門存放安裝包的目錄）
4.使用xshell客戶端的rz命令上傳到linux伺服器(虛擬機器安裝的linux)，介面如下圖：
5.cp hadoop-2.6.5.tar.gz /usr/hadoop拷貝檔案到/usr/hadoop目錄下
6.進入/usr/hadoop/目錄
a) tar -xvf hadoop-2.6.5.tar.gz解壓到當前目錄下
b) cd hadoop-2.6.5進入目錄，ls列表檢視安裝目錄下的檔案。如下圖：
7.切換進入/usr/hadoop/hadoop-2.6.5/etc/hadoop/如下圖：
8.vi hadoop-env.sh,新增內容：export JAVA_HOME=/usr/java/jdk1.8.0.144,如下圖：
9.在$hadoop_home/etc/hadoop目錄下執行命令vi core-site.xml，並修改檔案core-site.xml,新增內容如下：
<configuration>
<property>
<name>fs.default.name</name>
<!-- zhang為主機名，也可以使用ip-->
<value>hdfs://zhang:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://zhang:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- 檔案臨時目錄，可以自己指定 -->
<value>/hadoop/temp/</value>
</property>
</configuration>
10.在$hadoop_home/etc/hadoop目錄下執行命令
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hdfs/data</value>
</property>
</configuration>
11.在$HADOOP_HOME/etc/hadoop目錄下檢視是否有配置檔案mapred-site.xml檔案。預設下沒此檔案，可以通過重新命名mv mapred-site.xml.template mapred-site.xml改成此檔名。然後vi mapred-site.xml修改此檔案內容：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
12.在$HADOOP_HOME/etc/hadoop目錄下執行命令vi yarn-site.xml,修改內容如下：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>zhang</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
13.執行命令vi /etc/profile,把Hadoop的安裝目錄配置到環境變數中，
JAVA_HOME=/usr/java/jdk1.8.0_144
HADOOP_HOME=/usr/hadoop/hadoop-2.6.5
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
14.然後執行source /etc/profile,讓配置檔案生效。
15.格式化NameNode。在任意目錄下（配置Hadoop環境變數的情況下）執行命令
Hdfs namenode -format或者hadoop namenode -format，實現格式化。
執行結束後，如圖：
16.啟動hadoop程序，首先執行start-dfs.sh(注意中間沒有空格)；沒有配置ssh免密登入之前，會不停的需要輸入yes和密碼，最後介面如圖：
17.輸入命令service iptables stoo，關閉防火牆後，開啟瀏覽器輸入：
http://192.168.1.219:50070/就可以進入如下介面：
18.啟動yarn,執行start-yarn.sh啟動yarn計算程序。
同樣在瀏覽器中：http://192.168.1.219:8088/開啟主頁面：
19.問題總結
a) 在上面配置的一系列*-site.xml中用的主機名都可以更換為ip.
b) 如果使用主機名配置時，需要注意修改系統主機名和對映檔案
c) 修改主機名：vi /etc/sysconfig/network
把HOSTNAME=wang
d) 配置對映
e) 重啟reboot，之後就可以使用主機名訪問了 ，但是使用主機名訪問只能虛擬機器內
有效。外部主機訪問還是需要ip
f) 另外注意：啟動yarn和dfs時，如果不想重複輸入密碼，則需要進行ssh免密碼登入配置。