史上最詳細、最全面的Hadoop環境搭建

摘要： 前言 這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構組成、各模組協同工作原理、技術細節。安裝不是目的，通過安裝認識Hadoop才是目的。 第一部分：Linux...

前言

這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構組成、各模組協同工作原理、技術細節。安裝不是目的，通過安裝認識Hadoop才是目的。

第一部分：Linux環境安裝

第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。

第二部分：Hadoop本地模式安裝

Hadoop本地模式只是用於本地開發除錯，或者快速安裝體驗Hadoop，這部分做簡單的介紹。

第三部分：Hadoop偽分散式模式安裝

偽分散式的意思是雖然各個模組是在各個程序上分開執行的，但是隻是執行在一個作業系統上的，並不是真正的分散式。

第四部分：完全分散式安裝

完全分散式模式才是生產環境採用的模式，Hadoop執行在伺服器叢集上，生產環境一般都會做HA，以實現高可用。

第一部分：Linux環境安裝

第一步、配置Vmware NAT網路

這裡選擇NAT模式，各個虛擬機器通過NAT使用宿主機的IP來訪問外網。

第二步、安裝Linux作業系統

作業系統的安裝步驟請自行參考公眾號前期文章，然後將各機器hosts檔案統一。 關閉防火牆： 學習環境可以直接把防火牆關閉掉。用root使用者登入後，執行檢視防火牆狀態。 關閉selinux： selinux是Linux一個子安全機制，學習環境可以將它禁用。

第三步、安裝JDK

檢視是否已經安裝了java JDK。

[root@bigdata-senior01 Desktop]# java –version

注意：Hadoop機器上的JDK，最好是Oracle的Java JDK，不然會有一些問題，比如可能沒有JPS命令。

如果安裝了其他版本的JDK，解除安裝掉。

將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下

[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules

#新增環境變數

設定JDK的環境變數 JAVA_HOME。需要修改配置檔案/etc/profile，追加

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

export PATH=$JAVA_HOME/bin:$PATH

#修改完畢後，執行 source /etc/profile

#安裝後再次執行 java –version,可以看見已經安裝完成。

[root@bigdata-senior01 /]# java -version

java version "1.7.0_67"

Java(TM) SE Runtime Environment (build 1.7.0_67-b01)

Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

第二部分：Hadoop本地模式安裝

Hadoop部署模式有：本地模式、偽分佈模式、完全分散式模式、HA完全分散式模式。區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模組執行在幾個JVM程序、幾個機器。

本地模式部署

本地模式是最簡單的模式，所有模組都執行與一個JVM程序中，使用的本地檔案系統，而不是HDFS，本地模式主要是用於本地開發過程中的執行除錯用。預設的就是本地模式。建立一個存放本地模式hadoop的目錄。

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone

#解壓hadoop檔案

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopstandalone/

#確保JAVA_HOME環境變數已經配置好

[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}

/opt/modules/jdk1.7.0_67

執行MapReduce程式，驗證,我們這裡用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

#準備mapreduce輸入檔案wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input

hadoop mapreduce hive

hbase spark storm

sqoop hadoop hive

spark hadoop

#執行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2

#這裡可以看到job ID中有local字樣，說明是執行在本地模式下的。

#檢視輸出檔案,本地模式下，mapreduce的輸出是輸出到本地。

[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2

total 4

-rw-r--r-- 1 hadoop hadoop 60 Jul 7 12:50 part-r-00000

-rw-r--r-- 1 hadoop hadoop 0 Jul 7 12:50 _SUCCESS

#輸出目錄中有_SUCCESS檔案說明JOB執行成功，part-r-00000是輸出結果檔案。

第三部分：Hadoop偽分散式模式安裝

偽分散式Hadoop部署過程

Hadoop所用的使用者設定

#建立一個名字為hadoop的普通使用者

[root@bigdata-senior01 ~]# useradd hadoop

[root@bigdata-senior01 ~]# passwd hadoop

#給hadoop使用者sudo許可權

[root@bigdata-senior01 ~]# vim /etc/sudoers

#設定許可權，學習環境可以將hadoop使用者的許可權設定的大一些，但是生產環境一定要注意普通使用者的許可權限制。

root ALL=(ALL) ALL

hadoop ALL=(root) NOPASSWD:ALL

#注意：如果root使用者無權修改sudoers檔案，先手動為root使用者新增寫許可權。

[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers

#切換到hadoop使用者

[root@bigdata-senior01 ~]# su - hadoop

[hadoop@bigdata-senior01 ~]$

建立存放hadoop檔案的目錄

[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules

#將hadoop資料夾的所有者指定為hadoop使用者,如果存放hadoop的目錄的所有者不是hadoop，之後hadoop執行中可能會有許可權問題，那麼就講所有者改為hadoop。

[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules

解壓Hadoop目錄檔案

#複製hadoop-2.5.0.tar.gz到/opt/modules目錄下。解壓hadoop-2.5.0.tar.gz。

[hadoop@bigdata-senior01 ~]# cd /opt/modules

[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz

配置Hadoop

#配置Hadoop環境變數

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile

#追加配置：

export HADOOP_HOME="/opt/modules/hadoop-2.5.0"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#執行：source /etc/profile 使得配置生效

#驗證HADOOP_HOME引數：

[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME

/opt/modules/hadoop-2.5.0

#配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh檔案的JAVA_HOME引數

[hadoop@bigdata-senior01 ~]$ sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

#修改JAVA_HOME引數為：

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

配置core-site.xml

[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml

#（1）fs.defaultFS引數配置的是HDFS的地址。

fs.defaultFS

hdfs://bigdata-senior01.chybinmy.com:8020

#（2）hadoop.tmp.dir配置的是Hadoop臨時目錄，比如HDFS的NameNode資料預設都存放這個目錄下，檢視*-default.xml等預設配置檔案，就可以看到很多依賴${hadoop.tmp.dir}的配置。預設的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元資料儲存在這個/tmp目錄下，如果作業系統重啟了，系統會清空/tmp目錄下的東西，導致NameNode元資料丟失，是個非常嚴重的問題，所有我們應該修改這個路徑。

#建立臨時目錄：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp

#將臨時目錄的所有者修改為hadoop

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tm

#修改hadoop.tmp.dir

hadoop.tmp.dir

/opt/data/tmp

配置、格式化、啟動HDFS

# 配置hdfs-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xm

dfs.replication

1

#dfs.replication配置的是HDFS儲存時的備份數量，因為這裡是偽分散式環境只有一個節點，所以這裡設定為1。格式化HDFS。

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format

#格式化是對HDFS這個分散式檔案系統中的DataNode進行分塊，統計所有分塊後的初始元資料的儲存在NameNode中。格式化後，檢視core-site.xml裡hadoop.tmp.dir（本例是/opt/data目錄）指定的目錄下是否有了dfs目錄，如果有，說明格式化成功。注意：格式化時，這裡注意hadoop.tmp.dir目錄的許可權問題，應該hadoop普通使用者有讀寫許可權才行，可以將/opt/data的所有者改為hadoop。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data

#檢視NameNode格式化後的目錄。

[hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current

fsimage是NameNode元資料在記憶體滿了後，持久化儲存到的檔案。

fsimage*.md5 是校驗檔案，用於校驗fsimage的完整性。

seen_txid 是hadoop的版本

vession檔案裡儲存：

namespaceID：NameNode的唯一ID。

clusterID:叢集ID，NameNode和DataNode的叢集ID應該一致，表明是一個叢集。

#Mon Jul 04 17:25:50 CST 2016

namespaceID=2101579007

clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4

cTime=0

storageType=NAME_NODE

blockpoolID=BP-1641019026-127.0.0.1-1467624350057

layoutVersion=-57

啟動NameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode

starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out

啟動DataNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode

starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out

啟動SecondaryNameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode

starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out

JPS命令檢視是否已經啟動成功，有結果就是啟動成功了。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps

3034 NameNode

3233 Jps

3193 SecondaryNameNode

3110 DataNode

HDFS上測試建立目錄、上傳、下載檔案

#HDFS上建立目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1

上傳本地檔案到HDFS上

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put

${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1

#讀取HDFS上的檔案內容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xm

#從HDFS上下載檔案到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml

配置、啟動YARN

#配置mapred-site.xml,預設沒有mapred-site.xml檔案，但是有個mapred-site.xml.template配置模板檔案。複製模板生成mapred-site.xml。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

#新增配置如下：

mapreduce.framework.name

yarn

#指定mapreduce執行在yarn框架上。

#配置yarn-site.xml新增配置如下：

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

bigdata-senior01.chybinmy.com

yarn.nodemanager.aux-services配置了yarn的預設混洗方式，選擇為mapreduce的預設混洗演算法。

yarn.resourcemanager.hostname指定了Resourcemanager執行在哪個節點上。

#啟動Resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager

#啟動nodemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

#檢視是否啟動成功

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps

3034 NameNode

4439 NodeManager

4197 ResourceManager

4543 Jps

3193 SecondaryNameNode

3110 DataNode

#可以看到ResourceManager、NodeManager已經啟動成功了。

YARN的Web頁面

YARN的Web客戶端埠號是8088，通過http://192.168.100.10:8088/可以檢視。

執行MapReduce Job

#建立測試用的Input檔案,建立輸入目錄:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input

#建立原始檔案:在本地/opt/data目錄建立一個檔案wc.input,內容如下。

#將wc.input檔案上傳到HDFS的/wordcountdemo/input目錄中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input

#執行WordCount MapReduce Job

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-

2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output

#檢視輸出結果目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output

-rw-r--r-- 1 hadoop supergroup 0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS

-rw-r--r-- 1 hadoop supergroup 60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000

#output目錄中有兩個檔案，_SUCCESS檔案是空檔案，有這個檔案說明Job執行成功。part-r-00000檔案是結果檔案，其中-r-說明這個檔案是Reduce階段產生的結果，mapreduce程式執行時，可以沒有reduce階段，但是肯定會有map階段，如果沒有reduce階段這個地方有是-m-。一個reduce會產生一個part-r-開頭的檔案。檢視輸出檔案內容。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000

hadoop 3

hbase 1

hive 2

mapreduce 1

spark 2

sqoop 1

storm 1

#結果是按照鍵值排好序的。

停止Hadoop

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode

stopping namenode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode

stopping datanode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager

stopping resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager

stopping nodemanager

Hadoop各個功能模組的理解

1、 HDFS模組

HDFS負責大資料的儲存，通過將大檔案分塊後進行分散式儲存方式，突破了伺服器硬碟大小的限制，解決了單臺機器無法儲存大檔案的問題，HDFS是個相對獨立的模組，可以為YARN提供服務，也可以為HBase等其他模組提供服務。

2、 YARN模組

YARN是一個通用的資源協同和任務排程框架，是為了解決Hadoop1.x中MapReduce裡NameNode負載太大和其他問題而建立的一個框架。YARN是個通用框架，不止可以執行MapReduce，還可以執行Spark、Storm等其他計算框架。

3、 MapReduce模組

MapReduce是一個計算框架，它給出了一種資料處理的方式，即通過Map階段、Reduce階段來分散式地流式處理資料。它只適用於大資料的離線處理，對實時性要求很高的應用不適用。

開啟歷史服務

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

開啟後，可以通過Web頁面檢視歷史伺服器：

http://bigdata-senior01.chybinmy.com:19888/

Web檢視job執行歷史

執行一個mapreduce任務

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-

2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1

#job執行中

#檢視job歷史

歷史伺服器的Web埠預設是19888，可以檢視Web介面。但是在上面所顯示的某一個Job任務頁面的最下面，Map和Reduce個數的連結上，點選進入Map的詳細資訊頁面，再檢視某一個Map或者Reduce的詳細日誌是看不到的，是因為沒有開啟日誌聚集服務。

開啟日誌聚集

日誌聚集介紹

MapReduce是在各個機器上執行的，在執行過程中產生的日誌存在於各個機器上，為了能夠統一檢視各個機器的執行日誌，將日誌集中存放在HDFS上，這個過程就是日誌聚集。

開啟日誌聚集

#配置日誌聚集功能：Hadoop預設是不啟用日誌聚集的。在yarn-site.xml檔案裡配置啟用日誌聚集。

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

106800

yarn.log-aggregation-enable:是否啟用日誌聚集功能。

yarn.log-aggregation.retain-seconds：設定日誌保留時間，單位是秒。

#將配置檔案分發到其他節點：

[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/

[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/

#重啟Yarn程序：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh

#重啟HistoryServer程序：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

#測試日誌聚集,執行一個demo MapReduce，使之產生日誌：

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1

#檢視日誌：執行Job後，就可以在歷史伺服器Web頁面檢視各個Map和Reduce的日誌了。

第四部分：完全分散式安裝

完全布式環境部署Hadoop

完全分部式是真正利用多臺Linux主機來進行部署Hadoop，對Linux機器叢集進行規劃，使得Hadoop各個模組分別部署在不同的多臺機器上。

伺服器功能規劃

在第一臺機器上安裝新的Hadoop

為了和之前BigData01機器上安裝偽分散式Hadoop區分開來，我們將BigData01上的Hadoop服務都停止掉，然後在一個新的目錄/opt/modules/app下安裝另外一個Hadoop。

我們採用先在第一臺機器上解壓、配置Hadoop，然後再分發到其他兩臺機器上的方式來安裝叢集。

解壓Hadoop目錄

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/

#配置Hadoop JDK路徑修改hadoop-env.sh、mapred-env.sh、yarn-env.sh檔案中的JDK路徑：

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

配置core-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

fs.defaultFS

hdfs://bigdata-senior01.chybinmy.com:8020

hadoop.tmp.dir

/opt/modules/app/hadoop-2.5.0/data/tmp

#fs.defaultFS為NameNode的地址。hadoop.tmp.dir為hadoop臨時目錄的地址，預設情況下，NameNode和DataNode的資料檔案都會存在這個目錄下的對應子目錄下。應該保證此目錄是存在的，如果不存在，先建立。

配置hdfs-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address

bigdata-senior03.chybinmy.com:50090

#dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和埠號，因為在規劃中，我們將BigData03規劃為SecondaryNameNode伺服器。所以這裡設定為：bigdata-senior03.chybinmy.com:50090

配置slaves

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves

bigdata-senior01.chybinmy.com

bigdata-senior02.chybinmy.com

bigdata-senior03.chybinmy.com

#slaves檔案是指定HDFS上有哪些DataNode節點。

配置yarn-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml

1

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

bigdata-senior02.chybinmy.com

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

106800

#根據規劃yarn.resourcemanager.hostname這個指定resourcemanager伺服器指向bigdata-senior02.chybinmy.com。yarn.log-aggregation-enable是配置是否啟用日誌聚集功能。yarn.log-aggregation.retain-seconds是配置聚集的日誌在HDFS上最多儲存多長時間。

配置mapred-site.xml

#從mapred-site.xml.template複製一個mapred-site.xml檔案。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

1

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

bigdata-senior01.chybinmy.com:10020

mapreduce.jobhistory.webapp.address

bigdata-senior01.chybinmy.com:19888

#mapreduce.framework.name設定mapreduce任務執行在yarn上。mapreduce.jobhistory.address是設定mapreduce的歷史伺服器安裝在BigData01機器上。mapreduce.jobhistory.webapp.address是設定歷史伺服器的web頁面地址和埠號。

設定SSH無密碼登入

Hadoop叢集中的各個機器間會相互地通過SSH訪問，每次訪問都輸入密碼是不現實的，所以要配置各個機器間的SSH是無密碼登入的。

#在BigData01上生成公鑰

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa

一路回車，都設定為預設值，然後再當前使用者的Home目錄下的.ssh目錄中會生成公鑰檔案（id_rsa.pub）和私鑰檔案（id_rsa）。

#分發公鑰

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com

#設定BigData02、BigData03到其他機器的無金鑰登入，同樣的在BigData02、BigData03上生成公鑰和私鑰後，將公鑰分發到三臺機器上。

分發Hadoop檔案

#首先在其他兩臺機器上建立存放Hadoop的目錄

[hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app

[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app

#通過Scp分發

Hadoop根目錄下的share/doc目錄是存放的hadoop的文件，檔案相當大，建議在分發之前將這個目錄刪除掉，可以節省硬碟空間並能提高分發的速度。doc目錄大小有1.6G。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc

1.6G /opt/modules/app/hadoop-2.5.0/share/doc

[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app

[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app

格式NameNode

#在NameNode機器上執行格式化：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format

注意：如果需要重新格式化NameNode,需要先將原來NameNode和DataNode下的檔案全部刪除，不然會報錯，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的。

hadoop.tmp.dir

/opt/data/tmp

dfs.namenode.name.dir

file://${hadoop.tmp.dir}/dfs/name

dfs.datanode.data.dir

file://${hadoop.tmp.dir}/dfs/data

#因為每次格式化，預設是建立一個叢集ID，並寫入NameNode和DataNode的VERSION檔案中（VERSION檔案所在目錄為dfs/name/current 和 dfs/data/current），重新格式化時，預設會生成一個新的叢集ID,如果不刪除原來的目錄，會導致namenode中的VERSION檔案中是新的叢集ID,而DataNode中是舊的叢集ID，不一致時會報錯。另一種方法是格式化時指定叢集ID引數，指定為舊的叢集ID。

啟動叢集

#啟動HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh

#啟動YARN

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh

#在BigData02上啟動ResourceManager:

[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager

#啟動日誌伺服器

因為我們規劃的是在BigData03伺服器上執行MapReduce日誌服務，所以要在BigData03上啟動。

[hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver

starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda ta-senior03.chybinmy.com.out

[hadoop@bigdata-senior03 ~]$ jps

3570 Jps

3537 JobHistoryServer

3310 SecondaryNameNode

3213 DataNode

3392 NodeManager

#檢視HDFS Web頁面

http://bigdata-senior01.chybinmy.com:50070/

#檢視YARN Web 頁面

http://bigdata-senior02.chybinmy.com:8088/cluster

測試Job

我們這裡用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

#準備mapreduce輸入檔案wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input

hadoop mapreduce hive

hbase spark storm

sqoop hadoop hive

spark hadoop

#在HDFS建立輸入目錄input

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input

#將wc.input上傳到HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input

# 執行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output

#檢視輸出檔案

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /output

Found 2 items

-rw-r--r-- 3 hadoop supergroup 0 2016-07-14 16:36 /output/_SUCCESS

-rw-r--r-- 3 hadoop supergroup 60 2016-07-14 16:36 /output/part-r-00000

歡迎工作一到五年的Java工程師朋友們加入Java架構開發：744677563

群內提供免費的Java架構學習資料（裡面有高可用、高併發、高效能及分散式、Jvm效能調優、Spring原始碼，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構資料）合理利用自己每一分每一秒的時間來學習提升自己，不要再用"沒有時間“來掩飾自己思想上的懶惰！趁年輕，使勁拼，給未來的自己一個交代！