2. 程式人生 > >史上最詳細、最全面的Hadoop環境搭建

史上最詳細、最全面的Hadoop環境搭建

阿新 • • 發佈：2019-01-06

前言

這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構組成、各模組協同工作原理、技術細節。安裝不是目的，通過安裝認識Hadoop才是目的。

第一部分：Linux環境安裝

第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。

第二部分：Hadoop本地模式安裝

Hadoop本地模式只是用於本地開發除錯，或者快速安裝體驗Hadoop，這部分做簡單的介紹。

第三部分：Hadoop偽分散式模式安裝

偽分散式的意思是雖然各個模組是在各個程序上分開執行的，但是隻是執行在一個作業系統上的，並不是真正的分散式。

第四部分：完全分散式安裝

完全分散式模式才是生產環境採用的模式，Hadoop執行在伺服器叢集上，生產環境一般都會做HA，以實現高可用。

第一部分：Linux環境安裝

第一步、配置Vmware NAT網路
這裡選擇NAT模式，各個虛擬機器通過NAT使用宿主機的IP來訪問外網。
第二步、安裝Linux作業系統
作業系統的安裝步驟請自行參考公眾號前期文章，然後將各機器hosts檔案統一。關閉防火牆：學習環境可以直接把防火牆關閉掉。用root使用者登入後，執行檢視防火牆狀態。關閉selinux：selinux是Linux一個子安全機制，學習環境可以將它禁用。

第三步、安裝JDK
檢視是否已經安裝了java JDK。

[[email protected] Desktop]# java –version
注意：Hadoop機器上的JDK，最好是Oracle的Java JDK，不然會有一些問題，比如可能沒有JPS命令。 
如果安裝了其他版本的JDK，解除安裝掉。
將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下
[[email protected] /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules
#新增環境變數
設定JDK的環境變數 JAVA_HOME。需要修改配置檔案/etc/profile，追加
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
export PATH=$JAVA_HOME/bin:$PATH
#修改完畢後，執行 source /etc/profile
#安裝後再次執行 java –version,可以看見已經安裝完成。
[
 
[email protected] /]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

第二部分：Hadoop本地模式安裝

Hadoop部署模式有：本地模式、偽分佈模式、完全分散式模式、HA完全分散式模式。區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模組執行在幾個JVM程序、幾個機器。

模式名稱 各個模組佔用的JVM程序數 各個模組執行在幾個機器數上
本地模式 1個 1個
偽分散式模式 N個 1個
完全分散式模式 N個 N個
HA完全分散式 N個 N個

本地模式部署
本地模式是最簡單的模式，所有模組都執行與一個JVM程序中，使用的本地檔案系統，而不是HDFS，本地模式主要是用於本地開發過程中的執行除錯用。預設的就是本地模式。建立一個存放本地模式hadoop的目錄。

[[email protected] modules]$ mkdir /opt/modules/hadoopstandalone
#解壓hadoop檔案
[[email protected] modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/
#確保JAVA_HOME環境變數已經配置好
[[email protected] modules]$ echo ${JAVA_HOME}
/opt/modules/jdk1.7.0_67

執行MapReduce程式，驗證,我們這裡用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

#準備mapreduce輸入檔案wc.input
[[email protected] modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
#執行hadoop自帶的mapreduce Demo
[[email protected] hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
#這裡可以看到job ID中有local字樣，說明是執行在本地模式下的。

#檢視輸出檔案,本地模式下，mapreduce的輸出是輸出到本地。
[[email protected] hadoopstandalone]$ ll output2
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS
#輸出目錄中有_SUCCESS檔案說明JOB執行成功，part-r-00000是輸出結果檔案。 

第三部分：Hadoop偽分散式模式安裝

偽分散式Hadoop部署過程

Hadoop所用的使用者設定

#建立一個名字為hadoop的普通使用者
[[email protected] ~]# useradd hadoop
[[email protected] ~]# passwd hadoop
#給hadoop使用者sudo許可權
[[email protected] ~]# vim /etc/sudoers
#設定許可權，學習環境可以將hadoop使用者的許可權設定的大一些，但是生產環境一定要注意普通使用者的許可權限制。
root    ALL=(ALL)       ALL
hadoop ALL=(root) NOPASSWD:ALL
#注意：如果root使用者無權修改sudoers檔案，先手動為root使用者新增寫許可權。
[[email protected] ~]# chmod u+w /etc/sudoers
#切換到hadoop使用者
[[email protected] ~]# su - hadoop
[[email protected] ~]$

建立存放hadoop檔案的目錄

[[email protected] ~]$ sudo mkdir /opt/modules
#將hadoop資料夾的所有者指定為hadoop使用者,如果存放hadoop的目錄的所有者不是hadoop，之後hadoop執行中可能會有許可權問題，那麼就講所有者改為hadoop。
[[email protected] ~]# sudo chown -R hadoop:hadoop /opt/modules

解壓Hadoop目錄檔案

#複製hadoop-2.5.0.tar.gz到/opt/modules目錄下。解壓hadoop-2.5.0.tar.gz。
[[email protected] ~]# cd /opt/modules
[[email protected] hadoop]# tar -zxvf hadoop-2.5.0.tar.gz

配置Hadoop

#配置Hadoop環境變數
[[email protected] hadoop]# vim /etc/profile
#追加配置：
export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#執行：source /etc/profile 使得配置生效
#驗證HADOOP_HOME引數：
[[email protected] /]$ echo $HADOOP_HOME
/opt/modules/hadoop-2.5.0
#配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh檔案的JAVA_HOME引數
[[email protected] ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
#修改JAVA_HOME引數為：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"

配置core-site.xml

[[email protected] ~]{HADOOP_HOME}/etc/hadoop/core-site.xml
#（1）fs.defaultFS引數配置的是HDFS的地址。
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
</property>
#（2）hadoop.tmp.dir配置的是Hadoop臨時目錄，比如HDFS的NameNode資料預設都存放這個目錄下，檢視*-default.xml等預設配置檔案，就可以看到很多依賴${hadoop.tmp.dir}的配置。預設的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元資料儲存在這個/tmp目錄下，如果作業系統重啟了，系統會清空/tmp目錄下的東西，導致NameNode元資料丟失，是個非常嚴重的問題，所有我們應該修改這個路徑。
#建立臨時目錄：
[[email protected] hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp
#將臨時目錄的所有者修改為hadoop
[[email protected] hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tm
#修改hadoop.tmp.dir
 <property>
   <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>

配置、格式化、啟動HDFS

# 配置hdfs-site.xml

[[email protected] hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xm
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
#dfs.replication配置的是HDFS儲存時的備份數量，因為這裡是偽分散式環境只有一個節點，所以這裡設定為1。格式化HDFS。

[[email protected] ~]$ hdfs namenode –format
#格式化是對HDFS這個分散式檔案系統中的DataNode進行分塊，統計所有分塊後的初始元資料的儲存在NameNode中。格式化後，檢視core-site.xml裡hadoop.tmp.dir（本例是/opt/data目錄）指定的目錄下是否有了dfs目錄，如果有，說明格式化成功。注意：格式化時，這裡注意hadoop.tmp.dir目錄的許可權問題，應該hadoop普通使用者有讀寫許可權才行，可以將/opt/data的所有者改為hadoop。 
[[email protected] hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data
#檢視NameNode格式化後的目錄。
[[email protected] ~]$ ll /opt/data/tmp/dfs/name/current

fsimage是NameNode元資料在記憶體滿了後，持久化儲存到的檔案。
fsimage*.md5 是校驗檔案，用於校驗fsimage的完整性。
seen_txid 是hadoop的版本
vession檔案裡儲存：
namespaceID：NameNode的唯一ID。
clusterID:叢集ID，NameNode和DataNode的叢集ID應該一致，表明是一個叢集。
#Mon Jul 04 17:25:50 CST 2016
namespaceID=2101579007
clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1641019026-127.0.0.1-1467624350057
layoutVersion=-57

啟動NameNode

[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out

啟動DataNode

[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out

啟動SecondaryNameNode

[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out

JPS命令檢視是否已經啟動成功，有結果就是啟動成功了。

[[email protected] hadoop-2.5.0]$ jps
3034 NameNode
3233 Jps
3193 SecondaryNameNode
3110 DataNode

HDFS上測試建立目錄、上傳、下載檔案

#HDFS上建立目錄
[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
上傳本地檔案到HDFS上
[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put 
${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
#讀取HDFS上的檔案內容
[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xm

#從HDFS上下載檔案到本地

[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml

配置、啟動YARN

#配置mapred-site.xml,預設沒有mapred-site.xml檔案，但是有個mapred-site.xml.template配置模板檔案。複製模板生成mapred-site.xml。
[[email protected] hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
#新增配置如下：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
#指定mapreduce執行在yarn框架上。

#配置yarn-site.xml新增配置如下：
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata-senior01.chybinmy.com</value>
 </property>
yarn.nodemanager.aux-services配置了yarn的預設混洗方式，選擇為mapreduce的預設混洗演算法。
yarn.resourcemanager.hostname指定了Resourcemanager執行在哪個節點上。

#啟動Resourcemanager
[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
#啟動nodemanager
[[email protected] hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
#檢視是否啟動成功
[[email protected] hadoop-2.5.0]$ jps
3034 NameNode
4439 NodeManager
4197 ResourceManager
4543 Jps
3193 SecondaryNameNode
3110 DataNode

#可以看到ResourceManager、NodeManager已經啟動成功了。

YARN的Web頁面

YARN的Web客戶端埠號是8088，通過http://192.168.100.10:8088/可以檢視。

執行MapReduce Job

#建立測試用的Input檔案,建立輸入目錄:
[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input
#建立原始檔案:在本地/opt/data目錄建立一個檔案wc.input,內容如下。

#將wc.input檔案上傳到HDFS的/wordcountdemo/input目錄中:
[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input
#執行WordCount MapReduce Job
[[email protected] hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output
#檢視輸出結果目錄
[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
-rw-r--r--   1 hadoop supergroup    0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
-rw-r--r--   1 hadoop supergroup   60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000
#output目錄中有兩個檔案，_SUCCESS檔案是空檔案，有這個檔案說明Job執行成功。part-r-00000檔案是結果檔案，其中-r-說明這個檔案是Reduce階段產生的結果，mapreduce程式執行時，可以沒有reduce階段，但是肯定會有map階段，如果沒有reduce階段這個地方有是-m-。一個reduce會產生一個part-r-開頭的檔案。檢視輸出檔案內容。
[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
hadoop  3
hbase   1
hive    2
mapreduce       1
spark   2
sqoop   1
storm   1
#結果是按照鍵值排好序的。

停止Hadoop

[[email protected] hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
stopping namenode
[[email protected] hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[[email protected] hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[[email protected] hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

Hadoop各個功能模組的理解

1、 HDFS模組

HDFS負責大資料的儲存，通過將大檔案分塊後進行分散式儲存方式，突破了伺服器硬碟大小的限制，解決了單臺機器無法儲存大檔案的問題，HDFS是個相對獨立的模組，可以為YARN提供服務，也可以為HBase等其他模組提供服務。

2、 YARN模組

YARN是一個通用的資源協同和任務排程框架，是為了解決Hadoop1.x中MapReduce裡NameNode負載太大和其他問題而建立的一個框架。YARN是個通用框架，不止可以執行MapReduce，還可以執行Spark、Storm等其他計算框架。

3、 MapReduce模組

MapReduce是一個計算框架，它給出了一種資料處理的方式，即通過Map階段、Reduce階段來分散式地流式處理資料。它只適用於大資料的離線處理，對實時性要求很高的應用不適用。

開啟歷史服務

[[email protected] hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

開啟後，可以通過Web頁面檢視歷史伺服器：
http://bigdata-senior01.chybinmy.com:19888/

Web檢視job執行歷史

執行一個mapreduce任務
[[email protected] hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1
#job執行中

#檢視job歷史

歷史伺服器的Web埠預設是19888，可以檢視Web介面。但是在上面所顯示的某一個Job任務頁面的最下面，Map和Reduce個數的連結上，點選進入Map的詳細資訊頁面，再檢視某一個Map或者Reduce的詳細日誌是看不到的，是因為沒有開啟日誌聚集服務。

開啟日誌聚集

日誌聚集介紹

MapReduce是在各個機器上執行的，在執行過程中產生的日誌存在於各個機器上，為了能夠統一檢視各個機器的執行日誌，將日誌集中存放在HDFS上，這個過程就是日誌聚集。

開啟日誌聚集

#配置日誌聚集功能：Hadoop預設是不啟用日誌聚集的。在yarn-site.xml檔案裡配置啟用日誌聚集。
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
 </property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
 </property>
yarn.log-aggregation-enable:是否啟用日誌聚集功能。
yarn.log-aggregation.retain-seconds：設定日誌保留時間，單位是秒。
#將配置檔案分發到其他節點：
[[email protected] hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
[[email protected] hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
#重啟Yarn程序：
[[email protected] hadoop-2.5.0]$ sbin/stop-yarn.sh
[[email protected] hadoop-2.5.0]$ sbin/start-yarn.sh
#重啟HistoryServer程序：
[[email protected] hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[[email protected] hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
#測試日誌聚集,執行一個demo MapReduce，使之產生日誌：
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1
#檢視日誌：執行Job後，就可以在歷史伺服器Web頁面檢視各個Map和Reduce的日誌了。 

第四部分：完全分散式安裝

完全布式環境部署Hadoop
完全分部式是真正利用多臺Linux主機來進行部署Hadoop，對Linux機器叢集進行規劃，使得Hadoop各個模組分別部署在不同的多臺機器上。

伺服器功能規劃

bigdata-senior01.chybinmy.com bigdata-senior02.chybinmy.com bigdata-senior03.chybinmy.com
NameNode ResourceManage
DataNode DataNode DataNode
NodeManager NodeManager NodeManager
HistoryServer SecondaryNameNode

在第一臺機器上安裝新的Hadoop

為了和之前BigData01機器上安裝偽分散式Hadoop區分開來，我們將BigData01上的Hadoop服務都停止掉，然後在一個新的目錄/opt/modules/app下安裝另外一個Hadoop。 
我們採用先在第一臺機器上解壓、配置Hadoop，然後再分發到其他兩臺機器上的方式來安裝叢集。

解壓Hadoop目錄

[[email protected] modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/
#配置Hadoop JDK路徑修改hadoop-env.sh、mapred-env.sh、yarn-env.sh檔案中的JDK路徑：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"

配置core-site.xml

[[email protected] hadoop-2.5.0]$ vim etc/hadoop/core-site.xml
<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>
 </property>
</configuration>
#fs.defaultFS為NameNode的地址。hadoop.tmp.dir為hadoop臨時目錄的地址，預設情況下，NameNode和DataNode的資料檔案都會存在這個目錄下的對應子目錄下。應該保證此目錄是存在的，如果不存在，先建立。

配置hdfs-site.xml

[[email protected] hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml
<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>bigdata-senior03.chybinmy.com:50090</value>
 </property>
</configuration>
#dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和埠號，因為在規劃中，我們將BigData03規劃為SecondaryNameNode伺服器。所以這裡設定為：bigdata-senior03.chybinmy.com:50090

配置slaves

[[email protected] hadoop-2.5.0]$ vim etc/hadoop/slaves
bigdata-senior01.chybinmy.com
bigdata-senior02.chybinmy.com
bigdata-senior03.chybinmy.com
#slaves檔案是指定HDFS上有哪些DataNode節點。

配置yarn-site.xml

[[email protected] hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml
1
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-senior02.chybinmy.com</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>
#根據規劃yarn.resourcemanager.hostname這個指定resourcemanager伺服器指向bigdata-senior02.chybinmy.com。yarn.log-aggregation-enable是配置是否啟用日誌聚集功能。yarn.log-aggregation.retain-seconds是配置聚集的日誌在HDFS上最多儲存多長時間。

配置mapred-site.xml

#從mapred-site.xml.template複製一個mapred-site.xml檔案。

[[email protected] hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
1
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata-senior01.chybinmy.com:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-senior01.chybinmy.com:19888</value>
    </property>
</configuration>
#mapreduce.framework.name設定mapreduce任務執行在yarn上。mapreduce.jobhistory.address是設定mapreduce的歷史伺服器安裝在BigData01機器上。mapreduce.jobhistory.webapp.address是設定歷史伺服器的web頁面地址和埠號。

設定SSH無密碼登入

Hadoop叢集中的各個機器間會相互地通過SSH訪問，每次訪問都輸入密碼是不現實的，所以要配置各個機器間的SSH是無密碼登入的。

#在BigData01上生成公鑰
[[email protected] hadoop-2.5.0]$ ssh-keygen -t rsa
一路回車，都設定為預設值，然後再當前使用者的Home目錄下的.ssh目錄中會生成公鑰檔案（id_rsa.pub）和私鑰檔案（id_rsa）。
#分發公鑰
[[email protected] hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com
[[email protected] hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com
[[email protected] hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com
#設定BigData02、BigData03到其他機器的無金鑰登入，同樣的在BigData02、BigData03上生成公鑰和私鑰後，將公鑰分發到三臺機器上。

分發Hadoop檔案

#首先在其他兩臺機器上建立存放Hadoop的目錄
[[email protected] ~]$ mkdir /opt/modules/app
[[email protected] ~]$ mkdir /opt/modules/app
#通過Scp分發
Hadoop根目錄下的share/doc目錄是存放的hadoop的文件，檔案相當大，建議在分發之前將這個目錄刪除掉，可以節省硬碟空間並能提高分發的速度。doc目錄大小有1.6G。
[[email protected] hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc
1.6G    /opt/modules/app/hadoop-2.5.0/share/doc
[[email protected] hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app
[[email protected] hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app

格式NameNode

#在NameNode機器上執行格式化：
[[email protected] hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format
注意：如果需要重新格式化NameNode,需要先將原來NameNode和DataNode下的檔案全部刪除，不然會報錯，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的。
<property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/data/tmp</value>
  </property>
<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>
#因為每次格式化，預設是建立一個叢集ID，並寫入NameNode和DataNode的VERSION檔案中（VERSION檔案所在目錄為dfs/name/current 和 dfs/data/current），重新格式化時，預設會生成一個新的叢集ID,如果不刪除原來的目錄，會導致namenode中的VERSION檔案中是新的叢集ID,而DataNode中是舊的叢集ID，不一致時會報錯。另一種方法是格式化時指定叢集ID引數，指定為舊的叢集ID。

啟動叢集

#啟動HDFS
[[email protected] hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh

#啟動YARN
[[email protected] hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh
#在BigData02上啟動ResourceManager:
[[email protected] hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager
#啟動日誌伺服器
因為我們規劃的是在BigData03伺服器上執行MapReduce日誌服務，所以要在BigData03上啟動。
[[email protected] ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda       ta-senior03.chybinmy.com.out
[[email protected] ~]$ jps
3570 Jps
3537 JobHistoryServer
3310 SecondaryNameNode
3213 DataNode
3392 NodeManager
#檢視HDFS Web頁面
http://bigdata-senior01.chybinmy.com:50070/
#檢視YARN Web 頁面
http://bigdata-senior02.chybinmy.com:8088/cluster

測試Job

我們這裡用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

#準備mapreduce輸入檔案wc.input
[[email protected] modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
#在HDFS建立輸入目錄input
[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input
#將wc.input上傳到HDFS
[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input
# 執行hadoop自帶的mapreduce Demo
[[email protected] hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output
#檢視輸出檔案
[[email protected] hadoop-2.5.0]$ bin/hdfs dfs -ls /output
Found 2 items
-rw-r--r--   3 hadoop supergroup          0 2016-07-14 16:36 /output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         60 2016-07-14 16:36 /output/part-r-00000

程式設計師學習交流群：878249276，歡迎一到五年的工程師加入，合理利用自己每一分每一秒的時間來學習提
升自己，不要再用"沒有時間“來掩飾自己思想上的懶惰！趁年輕，使勁拼，給未來的自己一個交代！
 

相關推薦

史上最詳細、最全面的Hadoop環境搭建

前言 這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構組成、各模組協同工作原理、技術細節。安裝不是目的，通過安裝認識Hadoop才是目的。 第一部分：L

史上最詳細、最完全的ipython使用教程，Python使用者必備！——ipython系列之二

宣告：本文承接前面一篇文章，ipython系列之一；另外，本文所指的ipython不是ipython notebook，ipython notebook已經被jupyter notebook所取代，不再叫ipython notebook了。 前面講解了ipython裡面的一些核心

史上最詳細、最完全的ipython使用教程，Python使用者必備！——ipython系列之一

一、ipython簡介 關於什麼是ipython，本文就不加以介紹了，他是一個非常流行的python直譯器，相比於原生的python直譯器，有太多優點和長處，因此幾乎是python開發人員的必知必會。 1、ipython相比於原生的python有什麼優勢 (1) pyth

一步步教你搭建Android開發環境（有圖有真相）--“自吹自擂：史上最詳細、最囉嗦、最新的搭建教程”

宣告：轉摘請註明http://blog.csdn.net/longming_xu/article/details/28241045 前言：為什麼要寫這麼一篇文章？網上介紹Android開發環境搭建的文章一片一片的，我為什麼要自己”重複的去造輪子“呢？原因有三個：第一個

史上最詳細、最完全的jupyter notebook使用教程，Python使用者必備！——ipython系列之三

一、什麼是jupyter 1、簡介： jupyter notebook是一種 Web 應用，能讓使用者將說明文字、數學方程、程式碼和視覺化內容全部組合到一個易於共享的文件中。它可以直接在程式碼旁寫出敘述性文件，而不是另外編寫單獨的文件。也就是它可以能將程式碼、文件

Git使用教程：最詳細、最傻瓜、最淺顯、真正手把手教！

作者：塗根華 原文出處：https://www.cnblogs.com/tugenhua0707/p/4050072.html 導讀：因為教程詳細，所以行文有些長，新手邊看邊操作效果出乎你的預料。GitHub雖然有些許改版，但並無大礙。 一：Git是什麼？    

mongodb group分組（最詳細、最通俗、最易理解的講解）

和資料庫一樣group常常用於統計。MongoDB的group還有很多限制，如：返回結果集不能超過16M， group操作不會處理超過10000個唯一鍵，好像還不能利用索引[不很確定]。    Group大約需要一下幾個引數。  1.key：用來分組文件的欄位。和k

最詳細、最完整的相機標定講解

最近做專案要用到標定，因為是小白，很多東西都不懂，於是查了一堆的部落格，但沒有一個部落格能讓我完全能看明白整個過程，絕大多數都講的不全面，因此自己總結了一篇部落格，給自己理一下思路，也能夠幫助大家。（張正友標定的詳細求解還未完全搞明白，後面再加） 在

try catch finally 的用法，你知道多少？最詳細、最到位的講解，配合程式碼例項講解，讓你輕鬆掌握和理解

廢話就不多說了，關於 try catch 相信各位已經不陌生了，但是真正意義上會用它呢，還是有欠缺的，為什麼這麼說呢？因為博主也 是在做一個專案的時候遇到了這樣的問題，去看了下 API 才想起來，於是乎就順便寫了這篇部落格分享出來，方便大家觀看和學習以 及理解，等下筆者會按

ISC BIND9 - 最詳細、最認真的從零開始的BIND 9 服務講解

# DNS and BIND 服務的搭建說明 --- [TOC] --- ## 1. 背景 ### 1.1 DNS **DNS( Domain Name Service)** 作為一個非常讓人耳熟能詳的概念，這種技術可以把複雜難記的IP地址轉化成為一個域名供人們去呼叫，這樣人們只需要記住每一個網

史上最全、最詳細的Docker學習資料

一、Docker 簡介 Docker 兩個主要部件： Docker: 開源的容器虛擬化平臺 Docker Hub: 用於分享、管理 Docker 容器的 Docker SaaS 平臺 – Docker Hub Docker 使用客戶端-伺服器 (C/S) 架構

【轉】Hadoop學習--第二篇：史上最詳細的Hadoop環境搭建

GitChat 作者：鳴宇淳 原文： 史上最詳細的Hadoop環境搭建 前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的紮實程度，會決定在大資料技術道路上走多遠。 這是一篇入門文章，Hadoop的學

史上最全、最詳細的 kafka 學習筆記！

一、為什麼需要訊息系統 1.解耦：允許你獨立的擴充套件或修改兩邊的處理過程，只要確保它們遵守同樣的介面約束。 2.冗餘：訊息佇列把資料進行持久化直到它們已經被完全處理，通過這一方式規避了資料丟失風險。許多訊息佇列所採用的"插入-獲取-刪除"正規化中，在把一個訊息從佇列中刪除之前，需要你的處理系

史上最詳細的Hadoop環境搭建,從0開始，圖解全部過程

Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的紮實程度，決定在大資料技術道路上走多遠。 這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹H

GitChat·大資料 | 史上最詳細的Hadoop環境搭建

GitChat 作者：鳴宇淳 原文： 史上最詳細的Hadoop環境搭建 關注公眾號：GitChat 技術雜談，一本正經的講技術 【不要錯過文末彩蛋】 前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的

python中實現格式化輸入(史上最簡單、最高效的實現方法，不借助任何模組)

  今天我在寫python作業時突然想到格式化輸入一段文字，譬如只需讀取輸入的前幾個字元就行，而不幸的是，python中的輸入並沒有c中的read()、getchar()函式，於是我網上搜了一下，網上的解決方法很少，都是引入正則模組，為了實現這麼個簡單的功能很費力，這與pyt

git使用教程（附有“最詳細、易懂的git使用教程”連結）

筆者剛使用git不久，本文用來主要記錄使用git過程中遇到的問題及一些常用命令 git使用教程（超詳細，易上手）[link]（https://mp.weixin.qq.com/s?__biz=MzIwMTY0NDU3Nw==&mid=2651936846&idx=1&am

vuex 最簡單、最詳細的入門文件

如果你在使用 vue.js , 那麼我想你可能會對 vue 元件之間的通訊感到崩潰 。 我在使用基於 vue.js 2.0 的UI框架 ElementUI 開發網站的時候 , 就遇到了這種問題 : 一個頁面有很多表單 , 我試圖將表單寫成一個單檔案元件 ,

最詳細的Hadoop環境搭建

前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的紮實程度，會決定在大資料技術道路上走多遠。 這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主

最詳細的最小堆構建、插入、刪除的過程圖解

轉載：http://blog.csdn.net/hrn1216/article/details/51465270 1.簡介        最小堆是一棵完全二叉樹，非葉子結點的值不大於左孩子和右孩子的值。本文以圖解的方式，說明 最小堆的構建、插入、刪除的過程。搞懂最