這裡搭建的是3個節點的完全分散式，即1個nameNode，2個dataNode,分別如下：

master    nameNode    192.168.0.249

node1    dataNode    192.168.0.251

node2    dataNode    192.168.0.252

1.首先建立好一個CentOS虛擬機器，將它作為主節點我這裡起名為master，起什麼都行，不固定要求

2.VMware中開啟虛擬機器，輸入java -version，檢查是否有JDK環境，不要用系統自帶的openJDK版本，要自己安裝的版本

3.輸入 firewall-cmd --state，若防火牆處於running狀態，則關閉防火牆

systemctl stop firewalld.service       關閉防火牆

systemctl disable firewalld.service       禁用防火牆

4.輸入mkdir /usr/local/hadoop   建立一個hadoop資料夾

5.將hadoop-3.0.3.tar.gz放到剛建立好的hadoop資料夾中

6.進入hadoop目錄，輸入tar -xvf hadoop-3.0.3.tar.gz 解壓tar包

[[email protected] sbin]# cd /usr/local/hadoop/
[[email protected]

hadoop]# ls
hadoop-3.0.3  hadoop-3.0.3.tar.gz 

7.輸入 vi /etc/profile，配置環境變數。加入如如下內容

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.0.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

eg:

8. 輸入 souce /etc/profile ，使環境變數改動生效

9.任意目錄輸入hado，然後按Tab，如果自動補全為hadoop,則說明環境變數配的沒問題，否則檢查環境變數哪出錯了

[[email protected]
 
 ~]# hadoop

10.建立3個之後要用到的資料夾，分別如下：

mkdir /usr/local/hadoop/tmp

mkdir -p /usr/local/hadoop/hdfs/name

mkdir /usr/local/hadoop/hdfs/data

建立結果如下：

11.進入hadoop-3.0.3解壓後的 /etc/hadoop 目錄，裡面存放的是hadoop的配置檔案，接下來要修改裡面一些配置檔案

12. 有兩個 .sh 檔案，需要指定一下java的目錄，首先輸入 vi hadoop-env.sh 修改配置檔案

[[email protected] hadoop]# vi hadoop-env.sh

將原有的JAVA_HOME註釋掉，根據自己的JDK安裝位置，精確配置JAVA_HOME如下，儲存並退出

export JAVA_HOME=/usr/local/java/jdk1.8.0_161/

13. 輸入 vi yarn-env.sh 修改配置檔案

[[email protected] hadoop]# vi yarn-env.sh

加入如下內容，指定JAVA_HOME,儲存並退出

export JAVA_HOME=/usr/local/java/jdk1.8.0_161/

14. 輸入 vi core-site.xml 修改配置檔案

[[email protected] hadoop]# vi core-site.xml 

在configuration標籤中，新增如下內容，儲存並退出，注意這裡配置的hdfs:master:9000是不能在瀏覽器訪問的

<!--
        <property>
                <name> fs.default.name </name>
                <value>hdfs://master:9000</value>
                <description>指定HDFS的預設名稱,HDFS的URI</description>
        </property>
        -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
                <description>HDFS的URI</description>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>節點上本地的hadoop臨時資料夾</description>
        </property>

15. 輸入 vi hdfs-site.xml 修改配置檔案

[[email protected] hadoop]# vi hdfs-site.xml

在configuration標籤中，新增如下內容，儲存並退出

        <property>
                <name>dfs.namenode.http-address</name>
                <value>master:50070</value>
        </property>
        <!--
        <property>
                <name>dfs.datanode.http.address</name>
                <value>master:50075</value>
                <description>
                The datanode http server address and port.
                If the port is 0 then the server will start on a free port.
                </description>
        </property>
        -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/hdfs/name</value>
                <description>namenode上儲存hdfs名字空間元資料 </description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/hdfs/data</value>
                <description>datanode上資料塊的物理儲存位置</description>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
                <description>副本個數，預設是3,應小於datanode機器數量</description>
        </property>

    <!--後增，如果想讓solr索引存放到hdfs中，則還須新增下面兩個屬性-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

16. 輸入 vi mapred-site.xml 修改配置檔案

[[email protected] hadoop]# vi mapred-site.xml

在configuration標籤中，新增如下內容，儲存並退出

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <description>指定mapreduce使用yarn框架</description>
        </property>

17. vi yarn-site.xml 修改配置檔案

[[email protected] hadoop]# vi yarn-site.xml

在configuration標籤中，新增如下內容，儲存並退出

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
                <description>指定resourcemanager所在的hostname</description>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>
                NodeManager上執行的附屬服務。
                需配置成mapreduce_shuffle，才可執行MapReduce程式
                </description>
        </property>

18. 輸入 vi workers 修改配置檔案（老版本是slaves檔案，3.0.3 用 workers 檔案代替 slaves 檔案）

[[email protected] hadoop]# pwd
/usr/local/hadoop/hadoop-3.0.3/etc/hadoop
[[email protected] hadoop]# vi workers 

將localhost刪掉，加入如下內容，即dataNode節點的主機名

node1
node2

19. 將虛擬機器關閉，再複製兩份虛擬機器，重新命名為node1,node2，注意這裡一定要關閉虛擬機器，再複製

20. 將3臺虛擬機器都開啟，後兩臺複製的虛擬機器開啟時，都選擇“我已複製該虛擬機器”

21. 在master機器上，輸入vi /etc/hostname，將localhost改為master，儲存並退出

22. 在node1機器上，輸入 vi /etc/hostname，將localhost改為node1，儲存並退出

23. 在node2機器上，輸入 vi /etc/hostname，將localhost改為node2，儲存並退出

24. 在三臺機器分別輸入 vi /etc/hosts 修改檔案，其作用是將一些常用的網址域名與其對應的IP地址建立一個關聯，當用戶在訪問網址時，系統會首先自動從Hosts檔案中尋找對應的IP地址

三個檔案中都加入如下內容，儲存並退出，注意這裡要根據自己實際IP和節點主機名進行更改，IP和主機名中間要有一個空格

192.168.0.249 master
192.168.0.251 node1
192.168.0.252 node2

25. 配置三臺機器間的免密登入ssh (搭hadoop必須要配免密登入)

26. 如果node節點還沒有hadoop，則master機器上分別輸入如下命令將hadoop複製

scp /usr/local/hadoop/* [email protected]:/usr/local/hadoop

scp /usr/local/hadoop/* [email protected]:/usr/local/hadoop

27. 在master機器上，任意目錄輸入 hdfs namenode -format 格式化namenode，第一次使用需格式化一次，之後就不用再格式化，如果改一些配置檔案了，可能還需要再次格式化

hdfs namenode -format

格式化完成。

28. 在master機器上，進入hadoop的sbin目錄，輸入 ./start-all.sh 啟動hadoop（若只配了hdfs，則可以 輸入 ./start-dfs.sh 啟動hdfs）

[[email protected] sbin]# ./start-dfs.sh 

29. 輸入jps檢視當前java的程序，

該命令是JDK1.5開始有的，作用是列出當前java程序的PID和Java主類名，nameNode節點除了JPS，還有3個程序，啟動成功

若為了只使用hdfs而只配了hdfs，採用 ./start-dfs.sh 啟動， 則

30. 在node1機器和node2機器上分別輸入 jps 檢視程序如下，說明配置成功

若只配置了hdfs， 採用 ./start-dfs.sh 啟動。 則

31. 在瀏覽器訪問nameNode節點的8088埠和50070埠可以檢視hadoop的執行狀況

32. 在master機器上，進入hadoop的sbin目錄，輸入 ./stop-all.sh 關閉hadoop 或 輸入 ./stop-dfs.sh 關閉dfs

遇到的坑：Attempting to operate on hdfs namenode as root

寫在最前注意：
1、master，slave都需要修改start-dfs.sh，stop-dfs.sh，start-yarn.sh，stop-yarn.sh四個檔案
2、如果你的Hadoop是另外啟用其它使用者來啟動，記得將root改為對應使用者

HDFS格式化後啟動dfs出現以下錯誤：

[[email protected] sbin]# ./start-dfs.sh
Starting namenodes on [master]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [slave1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

在/usr/local/hadoop/hadoop-3.0.3/sbin路徑下：

將start-dfs.sh，stop-dfs.sh兩個檔案頂部新增以下引數

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

還有，start-yarn.sh，stop-yarn.sh頂部也需新增以下：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改後重啟 ./start-dfs.sh，成功！