叢集環境

• Hadoop版本為2.7.4
• JDK版本1.8.0_144
• 安裝了三臺虛擬機器分別設定名稱和IP如下

• 伺服器上安裝hadoop的目錄結構為
  /home/使用者名稱/hadoop
  software: 存放的是安裝的軟體包
  app : 存放的是所有軟體的安裝目錄
  hadoop2.7.4就在app目錄下， 這裡我的機器的使用者都是null

• hadoop主要配置檔案有core-site.xml,hdfs-site.xml,mapred-site.xml，yarn-site.xml
  可以瀏覽官網檢視詳細的預設的配置，連結如下
  

  core-default.xml
  hdfs-default.xml
  mapred-default.xml
  yarn-default.xml
  也可以通過下載解壓hadoop後在目錄下搜尋*default.xml,找到這些預設配置

安裝Hadoop

下載hadoop並解壓到app目錄下

tar -zxvf hadoop-2.7.4.tar.gz -C ~/hadoop/app

配置Hadoop 環境變數

vim /etc/profile新增

# Hadoop Env
export HADOOP_HOME=/home/null/hadoop/app/hadoop-2.7.4
export
 
 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改$HADOOP_HOME/etc/hadoop下的配置檔案

$HADOOP_HOME就是hadoop安裝目錄位置
這裡只是將分散式叢集的一些必要的簡化了的配置羅列出來了，更個性化的配置還是要參照官方文件進行設定

修改hadoop-env.sh檔案

//修改JAVA_HOME路徑為jdk的安裝路徑  
export JAVA_HOME=/home/null/hadoop/app/jdk1.8.0_144 

修改yarn-env.sh檔案

//修改JAVA_HOME路徑為jdk的安裝路徑  
export JAVA_HOME=/home/
 
null/hadoop/app/jdk1.8.0_144 

修改slaves檔案

master 既作為 NameNode 也作為 DataNode

master  
slave01  
slave02

修改core-site.xml檔案

該檔案可以覆蓋一部分用於控制Hadoop核心的預設的關鍵配置

先在$HADOOP_HOME目錄下手動建立tmp資料夾，等下指定hadoop.tmp.dir為它，hadoop.tmp.dir是hadoop檔案系統依賴的基礎配置，很多路徑都依賴它。hdfs-site-xml中預設配置namenode 和datanode的存放位置的地址就是基於此。 LINUX 系統中，在服務重啟後，/tmp 下的目錄被清空，所以要轉到持久化的地址

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/null/hadoop/app/tmp</value>
    </property>
</configuration>

修改hdfs-site.xml檔案

通過該配置檔案可以修改有關的HDFS的預設配置

<configuration>
    <property>    
        <name>dfs.namenode.secondary.http-address</name>    
        <value>master:50090</value>    
    </property> 
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

副本數目不能大於datanode數目
在core-site.中配置了hadoop.tmp.dir，這裡保持預設即可

修改mapred-site.xml檔案

該檔案中的屬性可以覆蓋用於控制MapReduce任務執行的預設屬性值

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

預設情況下，Hadoop歷史伺服器是沒有啟動的，我們可以通過下面的命令來啟動Hadoop歷史伺服器

sbin/mr-jobhistory-daemon.sh  start historyserver

修改yarn-site.xml檔案

該檔案中的配置項可以覆蓋用於控制YARN元件中的預設屬性值

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
     </property>
</configuration>

這裡我架設的虛擬機器是1g記憶體1CPU1核的 ，沒設定最後兩個屬性時，NodeManager啟動報錯記憶體不足
相關問題可以參考我的另外一篇部落格

啟動Hadoop叢集

格式化檔案系統

在master中執行

hdfs namenode -format

啟動NameNode和DataNode

在master $HADOOP_HOME下執行

sbin/.start-dfs.sh

使用jps命令檢視master上的程序如下

DataNode
SecondaryNameNode
NameNode
Jps

使用jps命令分別檢視slave01和slave02上的程序如下

Jps
DataNode

啟動 ResourceManager 和 NodeManager

在master $HADOOP_HOME下執行

sbin/start-yarn.sh

使用jps命令檢視master上的程序如下

DataNode
NodeManager
ResourceManager
SecondaryNameNode
NameNode
Jps

使用jps命令分別檢視slave01和slave02上的程序如下

Jps
NodeManager
DataNode

終於！Hadoop叢集成功啟動