Hadoop2.6單機安裝

安裝環境
硬體：虛擬機器
作業系統：Centos 6.5 64位
主機名：hadoop0
安裝使用者：root

主機名很重要，可以任意自定義，但是一定要記住。

安裝JDK

2，在/root/.bash_profile中新增如下配置：

如果用CentOS桌面來操作，點選檢視隱藏檔案，這個是個隱藏檔案。右鍵“用編輯開啟”在文件最下面新增如下配置，最後儲存

export JAVA_HOME=/usr/lib/jdk1.8.0_73
export PATH=$JAVA_HOME/bin:$PATH

3，使環境變數生效，命令列輸入，#source ~/.bash_profile

4，安裝驗證#java -version
java version “1.8.0_73”
Java(TM) SE Runtime Environment (build 1.8.0_73-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.73-b02, mixed mode)

配置SSH無密碼登陸
命令列輸入
#ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
驗證ssh，# ssh localhost
不需要輸入密碼即可登入

2，解壓安裝
1），複製 hadoop-2.6.0.tar.gz 到/root/hadoop目錄下，
然後#tar -xzvf hadoop-2.6.0.tar.gz 解壓，解壓後目錄為：/root/hadoop/hadoop-2.6.0
2），在/root/hadoop/目錄下，建立tmp、hdfs/name、hdfs/data目錄，執行如下命令
#mkdir /root/hadoop/tmp
#mkdir /root/hadoop/hdfs
#mkdir /root/hadoop/hdfs/data
#mkdir /root/hadoop/hdfs/name

如果是用桌面操作的話，就是在相應目錄下新建資料夾

3），設定環境變數，#vi ~/.bash_profile

# set hadoop path
export HADOOP_HOME=/root /hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin

4)，使環境變數生效，$source ~/.bash_profile

Hadoop配置

這裡是複雜點的地方

進入資料夾/root/hadoop/hadoop-2.6.0/etc/hadoop

我們的hadoop是安裝在root裡面，所以地址是上面的，如果沒有安裝在這裡，需要相應改變下。在這個檔案下找一下配置檔案，若是用桌面開啟均是右鍵“用編輯開啟”。

1）配置hadoop-env.sh

最下面新增如下資訊
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.8.0_73

2）配置yarn-env.sh

#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
#export JAVA_HOME=/usr/lib/jdk1.8.0_73

3）配置core-site.xml
新增如下配置：

其中，hdfs://hadoop0:9000需要注意是否跟你的主機名一致

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop0:9000</value> 
</property>


<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
</property>
</configuration>

4）配置hdfs-site.xml
新增如下配置

<configuration>
<property>
    <name>dfs.name.dir</name>
    <value>/root/hadoop/hdfs/name</value>
    <description>namenode上儲存hdfs名字空間元資料 </description> 
</property>


<property>
    <name>dfs.data.dir</name>
    <value>/root/hadoop/hdfs/data</value>
    <description>datanode上資料塊的物理儲存位置</description>
</property>


<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數，配置預設是3,應小於datanode機器數量</description>
</property>
</configuration>

5）配置mapred-site.xml
新增如下配置：

這裡需要非常注意下，資料夾裡面沒有這個XML，需要將mapred-queues.xml.template這個檔案複製，然後重新命名為mapred-site.xml！！！

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

6）配置yarn-site.xml
新增如下配置：
注意最後的hadoop0需要改成你的主機名，hadoop0是我的主機名

<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hadoop0}:8099</value>
</property>
</configuration>

Hadoop啟動
1）格式化namenode

# bin/hdfs namenode –format
2）啟動NameNode 和 DataNode 守護程序

# sbin/start-dfs.sh
3）啟動ResourceManager 和 NodeManager 守護程序

# sbin/start-yarn.sh

啟動驗證

1）執行jps命令，有如下程序，說明Hadoop正常啟動

# jps
54679 NameNode
54774 DataNode
15741 Jps
55214 NodeManager
55118 ResourceManager
54965 SecondaryNameNode

2）在瀏覽器中輸入：http://hadoop0:50070/ 即可看到YARN的ResourceManager的介面

地址是主機名+50070埠，hadoop0是我的主機名需要改成你的主機名。