2. 程式人生 > >史上最詳細的Hadoop環境搭建,從0開始，圖解全部過程

史上最詳細的Hadoop環境搭建,從0開始，圖解全部過程

阿新 • • 發佈：2018-12-23

Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的紮實程度，決定在大資料技術道路上走多遠。

這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構組成、各模組協同工作原理、技術細節。安裝不是目的，通過安裝認識Hadoop才是目的。

第一部分：Linux環境安裝

Hadoop是執行在Linux，雖然藉助工具也可以執行在Windows上，但是建議還是執行在Linux系統上，第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。

第二部分：Hadoop本地模式安裝

Hadoop本地模式只是用於本地開發除錯，或者快速安裝體驗Hadoop，這部分做簡單的介紹。

第三部分：Hadoop偽分散式模式安裝

學習Hadoop一般是在偽分散式模式下進行。這種模式是在一臺機器上各個程序上執行Hadoop的各個模組，偽分散式的意思是雖然各個模組是在各個程序上分開執行的，但是隻是執行在一個作業系統上的，並不是真正的分散式。

第四部分：完全分散式安裝

完全分散式模式才是生產環境採用的模式，Hadoop執行在伺服器叢集上，生產環境一般都會做HA，以實現高可用。

第五部分：Hadoop HA安裝

HA是指高可用，為了解決Hadoop單點故障問題，生產環境一般都做HA部署。這部分介紹瞭如何配置Hadoop2.x的高可用，並簡單介紹了HA的工作原理。 
安裝過程中，會穿插簡單介紹涉及到的知識。希望能對大家有所幫助。 

 

第一部分：Linux環境安裝

 

第一步、配置Vmware NAT網路

 

一、Vmware網路模式配置

 

二、NAT模式配置

 

NAT是網路地址轉換，是在宿主機和虛擬機器之間增加一個地址轉換服務，負責外部和虛擬機器之間的通訊轉接和IP轉換。

 

我們部署Hadoop叢集，這裡選擇NAT模式，各個虛擬機器通過NAT使用宿主機的IP來訪問外網。

 

我們的要求是叢集中的各個虛擬機器有固定的IP、可以訪問外網，所以進行如下設定：

 

1、 Vmware安裝後，預設的NAT設定如下：

2、 預設的設定是啟動DHCP服務的，NAT會自動給虛擬機器分配IP，但是我們需要將各個機器的IP固定下來，所以要取消這個預設設定。

3、 為機器設定一個子網網段，預設是192.168.136網段，我們這裡設定為100網段，將來各個虛擬機器Ip就為 192.168.100.*。

4、 點選NAT設定按鈕，開啟對話方塊，可以修改閘道器地址和DNS地址。這裡我們為NAT指定DNS地址。

5、 閘道器地址為當前網段裡的.2地址，好像是固定的，我們不做修改，先記住閘道器地址就好了，後面會用到。

第二步、安裝Linux作業系統

三、Vmware上安裝Linux系統

1、 檔案選單選擇新建虛擬機器

2、 選擇經典型別安裝，下一步。

3、 選擇稍後安裝作業系統，下一步。

4、 選擇Linux系統，版本選擇CentOS 64位。

5、 命名虛擬機器，給虛擬機器起個名字，將來顯示在Vmware左側。並選擇Linux系統儲存在宿主機的哪個目錄下，應該一個虛擬機器儲存在一個目錄下，不能多個虛擬機器使用一個目錄。

6、 指定磁碟容量，是指定分給Linux虛擬機器多大的硬碟，預設20G就可以，下一步。

7、 點選自定義硬體，可以檢視、修改虛擬機器的硬體配置，這裡我們不做修改。

8、 點選完成後，就建立了一個虛擬機器，但是此時的虛擬機器還是一個空殼，沒有作業系統，接下來安裝作業系統。

9、 點選編輯虛擬機器設定，找到DVD，指定作業系統ISO檔案所在位置。

10、 點選開啟此虛擬機器，選擇第一個回車開始安裝作業系統。

11、 設定root密碼。

12、 選擇Desktop，這樣就會裝一個Xwindow。

13、 先不新增普通使用者，其他用預設的，就把Linux安裝完畢了。

四、設定網路

因為Vmware的NAT設定中關閉了DHCP自動分配IP功能，所以Linux還沒有IP，需要我們設定網路各個引數。

1、 用root進入Xwindow，右擊右上角的網路連線圖示，選擇修改連線。

2、 網路連線裡列出了當前Linux裡所有的網絡卡，這裡只有一個網絡卡System eth0，點選編輯。

3、 配置IP、子網掩碼、閘道器（和NAT設定的一樣）、DNS等引數，因為NAT裡設定網段為100.*，所以這臺機器可以設定為192.168.100.10閘道器和NAT一致，為192.168.100.2

4、 用ping來檢查是否可以連線外網，如下圖，已經連線成功。

五、修改Hostname

1、 臨時修改hostname

[root@localhost Desktop]# hostname bigdata-senior01.chybinmy.com

 

這種修改方式，系統重啟後就會失效。

2、 永久修改hostname

想永久修改，應該修改配置檔案 /etc/sysconfig/network。

命令：[root@bigdata-senior01 ~] vim /etc/sysconfig/network
  •  

開啟檔案後，

  1. NETWORKING=yes  #使用網路

HOSTNAME=bigdata-senior01.chybinmy.com  #設定主機名

  •  

六、配置Host

  1. 命令：[root@bigdata-senior01 ~] vim /etc/hosts
  2. 新增hosts: 19168.100.10 bigdata-senior01.chybinmy.com
  •  

七、關閉防火牆

學習環境可以直接把防火牆關閉掉。

(1) 用root使用者登入後，執行檢視防火牆狀態。

[root@bigdata-senior01 hadoop]# service iptables status
  •  

(2) 用[[email protected] hadoop]# service iptables stop關閉防火牆，這個是臨時關閉防火牆。

  1. [root@bigdata-senior01 hadoop-2.5.0]# service iptables stop

iptables: Setting chains to policy ACCEPT: filter          [  OK  ]

  1. iptables: Flushing firewall rules:                         [  OK  ]

iptables: Unloading modules:                               [  OK  ]

  •  

(3) 如果要永久關閉防火牆用。

[root@bigdata-senior01 hadoop]# chkconfig iptables off
  •  

關閉，這種需要重啟才能生效。

八、關閉selinux

selinux是Linux一個子安全機制，學習環境可以將它禁用。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim /etc/sysconfig/selinux
  •  
  1. # This file controls the state of SELinux on the system.
  2. # SELINUX= can take one of these three values:
  3. #     enforcing - SELinux security policy is enforced.
  4. #     permissive - SELinux prints warnings instead of enforcing.
  5. #     disabled - No SELinux policy is loaded.
  6. SELINUX=disabled
  7. # SELINUXTYPE= can take one of these two values:
  8. #     targeted - Targeted processes are protected,
  9. #     mls - Multi Level Security protection.
  10. SELINUXTYPE=targeted

第三步、安裝JDK

九、安裝Java JDK

1、 檢視是否已經安裝了java JDK。

[root@bigdata-senior01 Desktop]# java –version

  •  

注意：Hadoop機器上的JDK，最好是Oracle的Java JDK，不然會有一些問題，比如可能沒有JPS命令。 
如果安裝了其他版本的JDK，解除安裝掉。

2、 安裝java JDK

(1) 去下載Oracle版本Java JDK：jdk-7u67-linux-x64.tar.gz

(2) 將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下

[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules

  •  

(3) 新增環境變數

設定JDK的環境變數 JAVA_HOME。需要修改配置檔案/etc/profile，追加

  1. export JAVA_HOME="/opt/modules/jdk1.7.0_67"
  2. export PATH=$JAVA_HOME/bin:$PATH
  •  

修改完畢後，執行 source /etc/profile

(4)安裝後再次執行 java –version,可以看見已經安裝完成。

  1. [root@bigdata-senior01 /]# java -version
  2. java version "1.7.0_67"
  3. Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
  4. Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
  •  

第二部分：Hadoop本地模式安裝

第四步、Hadoop部署模式

Hadoop部署模式有：本地模式、偽分佈模式、完全分散式模式、HA完全分散式模式。

區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模組執行在幾個JVM程序、幾個機器。

模式名稱

各個模組佔用的JVM程序數

各個模組執行在幾個機器數上

本地模式

1個

1個

偽分散式模式

N個

1個

完全分散式模式

N個

N個

HA完全分散式

N個

N個

第五步、本地模式部署

十、本地模式介紹

本地模式是最簡單的模式，所有模組都執行與一個JVM程序中，使用的本地檔案系統，而不是HDFS，本地模式主要是用於本地開發過程中的執行除錯用。下載hadoop安裝包後不用任何設定，預設的就是本地模式。

十一、解壓hadoop後就是直接可以使用

1、 建立一個存放本地模式hadoop的目錄

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone
  •  

2、 解壓hadoop檔案

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/
  •  

3、 確保JAVA_HOME環境變數已經配置好

  1. [hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}
  2. /opt/modules/jdk1.7.0_67
  •  

十二、執行MapReduce程式，驗證

我們這裡用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

1、 準備mapreduce輸入檔案wc.input

  1. [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
  2. hadoop mapreduce hive
  3. hbase spark storm
  4. sqoop hadoop hive
  5. spark hadoop
  •  

2、 執行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
 

這裡可以看到job ID中有local字樣，說明是執行在本地模式下的。

3、 檢視輸出檔案

本地模式下，mapreduce的輸出是輸出到本地。

  1. [hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
  2. total 4
  3. -rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
  4. -rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS
  •  

輸出目錄中有_SUCCESS檔案說明JOB執行成功，part-r-00000是輸出結果檔案。 
 

第三部分：Hadoop偽分散式模式安裝

第六步、偽分散式Hadoop部署過程

十三、Hadoop所用的使用者設定

1、 建立一個名字為hadoop的普通使用者

  1. [root@bigdata-senior01 ~]# useradd hadoop
  2. [root@bigdata-senior01 ~]# passwd hadoop
  •  

2、 給hadoop使用者sudo許可權

[root@bigdata-senior01 ~]# vim /etc/sudoers
  •  

設定許可權，學習環境可以將hadoop使用者的許可權設定的大一些，但是生產環境一定要注意普通使用者的許可權限制。

  1. root    ALL=(ALL)       ALL
  2. hadoop ALL=(root) NOPASSWD:ALL
  •  

注意：如果root使用者無權修改sudoers檔案，先手動為root使用者新增寫許可權。

[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers
  •  

3、 切換到hadoop使用者

  1. [root@bigdata-senior01 ~]# su - hadoop
  2. [hadoop@bigdata-senior01 ~]$
  •  

4、 建立存放hadoop檔案的目錄

[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules
  •  

5、 將hadoop資料夾的所有者指定為hadoop使用者

如果存放hadoop的目錄的所有者不是hadoop，之後hadoop執行中可能會有許可權問題，那麼就講所有者改為hadoop。

[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
  •  

十四、解壓Hadoop目錄檔案

1、 複製hadoop-2.5.0.tar.gz到/opt/modules目錄下。

2、 解壓hadoop-2.5.0.tar.gz

  1. [hadoop@bigdata-senior01 ~]# cd /opt/modules
  2. [hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
  •  

十五、配置Hadoop

1、 配置Hadoop環境變數

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile
  •  

追加配置：

  1. export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
  2. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  •  

執行：source /etc/profile 使得配置生效

驗證HADOOP_HOME引數：

  1. [hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
  2. /opt/modules/hadoop-2.5.0
  •  

2、 配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh檔案的JAVA_HOME引數

[hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
  •  
  1. 修改JAVA_HOME引數為：
  2. export JAVA_HOME="/opt/modules/jdk1.7.0_67"
  •  

3、 配置core-site.xml

[[email protected] ~]{HADOOP_HOME}/etc/hadoop/core-site.xml

（1） fs.defaultFS引數配置的是HDFS的地址。

  1. <property>
  2. <name>fs.defaultFS</name>
  3. <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
  4. </property>
  •  

（2） hadoop.tmp.dir配置的是Hadoop臨時目錄，比如HDFS的NameNode資料預設都存放這個目錄下，檢視*-default.xml等預設配置檔案，就可以看到很多依賴${hadoop.tmp.dir}的配置。

預設的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元資料儲存在這個/tmp目錄下，如果作業系統重啟了，系統會清空/tmp目錄下的東西，導致NameNode元資料丟失，是個非常嚴重的問題，所有我們應該修改這個路徑。

  • 建立臨時目錄：
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp
  •  
  • 將臨時目錄的所有者修改為hadoop
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp
  •  
  • 修改hadoop.tmp.dir
  1. <property>
  2. <name>hadoop.tmp.dir</name>
  3. <value>/opt/data/tmp</value>
  4. </property>
  •  
  •  

十六、配置、格式化、啟動HDFS

1、 配置hdfs-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
  •  
  1. <property>
  2. <name>dfs.replication</name>
  3. <value>1</value>
  4. </property>
  •  

dfs.replication配置的是HDFS儲存時的備份數量，因為這裡是偽分散式環境只有一個節點，所以這裡設定為1。

2、 格式化HDFS

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format
  •  

格式化是對HDFS這個分散式檔案系統中的DataNode進行分塊，統計所有分塊後的初始元資料的儲存在NameNode中。

格式化後，檢視core-site.xml裡hadoop.tmp.dir（本例是/opt/data目錄）指定的目錄下是否有了dfs目錄，如果有，說明格式化成功。

注意：

  1. 格式化時，這裡注意hadoop.tmp.dir目錄的許可權問題，應該hadoop普通使用者有讀寫許可權才行，可以將/opt/data的所有者改為hadoop。 
    [[email protected] hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data
  2. 檢視NameNode格式化後的目錄。
   [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current
  •  

fsimage是NameNode元資料在記憶體滿了後，持久化儲存到的檔案。

fsimage*.md5 是校驗檔案，用於校驗fsimage的完整性。

seen_txid 是hadoop的版本

vession檔案裡儲存：

  • namespaceID：NameNode的唯一ID。
  • clusterID:叢集ID，NameNode和DataNode的叢集ID應該一致，表明是一個叢集。
  1. #Mon Jul 04 17:25:50 CST 2016
  2. namespaceID=2101579007
  3. clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
  4. cTime=0
  5. storageType=NAME_NODE
  6. blockpoolID=BP-1641019026-127.0.0.1-1467624350057
  7. layoutVersion=-57
  •  

3、 啟動NameNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
  2. starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out

4、 啟動DataNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
  2. starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out

5、 啟動SecondaryNameNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
  2. starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out

 

6、 JPS命令檢視是否已經啟動成功，有結果就是啟動成功了。

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
  2. 3034 NameNode
  3. 3233 Jps
  4. 3193 SecondaryNameNode
  5. 3110 DataNode

7、 HDFS上測試建立目錄、上傳、下載檔案

HDFS上建立目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
  •  

上傳本地檔案到HDFS上

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put
  2. ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
  •  

讀取HDFS上的檔案內容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml

從HDFS上下載檔案到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml

十七、配置、啟動YARN

1、 配置mapred-site.xml

預設沒有mapred-site.xml檔案，但是有個mapred-site.xml.template配置模板檔案。複製模板生成mapred-site.xml。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
  •  

新增配置如下：

  1. <property>
  2. <name>mapreduce.framework.name</name>
  3. <value>yarn</value>
  4. </property>
  •  

指定mapreduce執行在yarn框架上。

2、 配置yarn-site.xml

新增配置如下：

  1. <property>
  2. <name>yarn.nodemanager.aux-services</name>
  3. <value>mapreduce_shuffle</value>
  4. </property>
  5. <property>
  6. <name>yarn.resourcemanager.hostname</name>
  7. <value>bigdata-senior01.chybinmy.com</value>
  8. </property>
  •  
  • yarn.nodemanager.aux-services配置了yarn的預設混洗方式，選擇為mapreduce的預設混洗演算法。
  • yarn.resourcemanager.hostname指定了Resourcemanager執行在哪個節點上。

3、 啟動Resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager

4、 啟動nodemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

5、 檢視是否啟動成功

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
  2. 3034 NameNode
  3. 4439 NodeManager
  4. 4197 ResourceManager
  5. 4543 Jps
  6. 3193 SecondaryNameNode
  7. 3110 DataNode
  •  

可以看到ResourceManager、NodeManager已經啟動成功了。

6、 YARN的Web頁面

YARN的Web客戶端埠號是8088，通過http://192.168.100.10:8088/可以檢視。

十八、執行MapReduce Job

在Hadoop的share目錄裡，自帶了一些jar包，裡面帶有一些mapreduce例項小例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，可以執行這些例子體驗剛搭建好的Hadoop平臺，我們這裡來執行最經典的WordCount例項。

1、 建立測試用的Input檔案

建立輸入目錄:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input

  •  

建立原始檔案:

在本地/opt/data目錄建立一個檔案wc.input,內容如下。

將wc.input檔案上傳到HDFS的/wordcountdemo/input目錄中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input

2、 執行WordCount MapReduce Job

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
  2. 2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output

3、 檢視輸出結果目錄

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
  2. -rw-r--r--   1 hadoop supergroup          0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
  3. -rw-r--r--   1 hadoop supergroup         60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000

  • output目錄中有兩個檔案，_SUCCESS檔案是空檔案，有這個檔案說明Job執行成功。
  • part-r-00000檔案是結果檔案，其中-r-說明這個檔案是Reduce階段產生的結果，mapreduce程式執行時，可以沒有reduce階段，但是肯定會有map階段，如果沒有reduce階段這個地方有是-m-。
  • 一個reduce會產生一個part-r-開頭的檔案。
  • 檢視輸出檔案內容。
  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
  2. hadoop  3
  3. hbase   1
  4. hive    2
  5. mapreduce       1
  6. spark   2
  7. sqoop   1
  8. storm   1
  •  

結果是按照鍵值排好序的。

十九、停止Hadoop

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
  2. stopping namenode
  3. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
  4. stopping datanode
  5. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
  6. stopping resourcemanager
  7. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
  8. stopping nodemanager

二十、 Hadoop各個功能模組的理解

1、 HDFS模組

HDFS負責大資料的儲存，通過將大檔案分塊後進行分散式儲存方式，突破了伺服器硬碟大小的限制，解決了單臺機器無法儲存大檔案的問題，HDFS是個相對獨立的模組，可以為YARN提供服務，也可以為HBase等其他模組提供服務。

2、 YARN模組

YARN是一個通用的資源協同和任務排程框架，是為了解決Hadoop1.x中MapReduce裡NameNode負載太大和其他問題而建立的一個框架。

YARN是個通用框架，不止可以執行MapReduce，還可以執行Spark、Storm等其他計算框架。

3、 MapReduce模組

MapReduce是一個計算框架，它給出了一種資料處理的方式，即通過Map階段、Reduce階段來分散式地流式處理資料。它只適用於大資料的離線處理，對實時性要求很高的應用不適用。

第七步、開啟歷史服務

二十一、歷史服務介紹

Hadoop開啟歷史服務可以在web頁面上檢視Yarn上執行job情況的詳細資訊。可以通過歷史伺服器檢視已經執行完的Mapreduce作業記錄，比如用了多少個Map、用了多少個Reduce、作業提交時間、作業啟動時間、作業完成時間等資訊。

二十二、開啟歷史服務

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver、
  •  

開啟後，可以通過Web頁面檢視歷史伺服器：

http://bigdata-senior01.chybinmy.com:19888/

二十三、Web檢視job執行歷史

1、 執行一個mapreduce任務

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
  2. 2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1
  •  

2、 job執行中

3、 檢視job歷史

歷史伺服器的Web埠預設是19888，可以檢視Web介面。

但是在上面所顯示的某一個Job任務頁面的最下面，Map和Reduce個數的連結上，點選進入Map的詳細資訊頁面，再檢視某一個Map或者Reduce的詳細日誌是看不到的，是因為沒有開啟日誌聚集服務。

二十四、開啟日誌聚集

4、 日誌聚集介紹

MapReduce是在各個機器上執行的，在執行過程中產生的日誌存在於各個機器上，為了能夠統一檢視各個機器的執行日誌，將日誌集中存放在HDFS上，這個過程就是日誌聚集。

5、 開啟日誌聚集

配置日誌聚集功能：

Hadoop預設是不啟用日誌聚集的。在yarn-site.xml檔案裡配置啟用日誌聚集。

  1. <property>
  2. <name>yarn.log-aggregation-enable</name>
  3. <value>true</value>
  4. </property>
  5. <property>
  6. <name>yarn.log-aggregation.retain-seconds</name>
  7. <value>106800</value>
  8. </property>
  •  

yarn.log-aggregation-enable:是否啟用日誌聚集功能。

yarn.log-aggregation.retain-seconds：設定日誌保留時間，單位是秒。

將配置檔案分發到其他節點：

  1. [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
  2. [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-5.0/etc/hadoop/
  •  

重啟Yarn程序：

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh
  2. [hadoop@bigdata-senior01 hadoop-5.0]$ sbin/start-yarn.sh
  •  

重啟HistoryServer程序：

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
  2. [hadoop@bigdata-senior01 hadoop-5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
  •  

6、 測試日誌聚集

執行一個demo MapReduce，使之產生日誌：

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1
  •  

檢視日誌：

執行Job後，就可以在歷史伺服器Web頁面檢視各個Map和Reduce的日誌了。 
 

第四部分：完全分散式安裝

第八步、完全布式環境部署Hadoop

完全分部式是真正利用多臺Linux主機來進行部署Hadoop，對Linux機器叢集進行規劃，使得Hadoop各個模組分別部署在不同的多臺機器上。

二十五、環境準備

1、 克隆虛擬機器

  • Vmware左側選中要克隆的機器，這裡對原有的BigData01機器進行克隆，虛擬機器選單中，選中管理選單下的克隆命令。
  • 選擇“建立完整克隆”，虛擬機器名稱為BigData02，選擇虛擬機器檔案儲存路徑，進行克隆。
  • 再次克隆一個名為BigData03的虛擬機器。

2、 配置網路

修改網絡卡名稱：

在BigData02和BigData03機器上編輯網絡卡資訊。執行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令。因為是從BigData01機器克隆來的，所以會保留BigData01的網絡卡eth0，並且再新增一個網絡卡eth1。並且eth0的Mac地址和BigData01的地址是一樣的，Mac地址不允許相同，所以要刪除eth0，只保留eth1網絡卡，並且要將eth1改名為eth0。將修改後的eth0的mac地址複製下來，修改network-scripts檔案中的HWADDR屬性。

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改網路引數：

BigData02機器IP改為192.168.100.12

BigData03機器IP改為192.168.100.13

3、 配置Hostname

BigData02配置hostname為 bigdata-senior02.chybinmy.com

BigData03配置hostname為 bigdata-senior03.chybinmy.com

4、 配置hosts

BigData01、BigData02、BigData03三臺機器hosts都配置為：

  1. [[email protected] hadoop-2.5.0]$ sudo vim /etc/hosts
  2. 192.168.100.10 bigdata-senior01.chybinmy.com
  3. 192.168.100.12 bigdata-senior02.chybinmy.com
  4. 192.168.100.13 bigdata-senior03.chybinmy.com
  •  

5、 配置Windows上的SSH客戶端

在本地Windows中的SSH客戶端上新增對BigData02、BigData03機器的SSH連結。

二十六、伺服器功能規劃

bigdata-senior01.chybinmy.com

bigdata-senior02.chybinmy.com

bigdata-senior03.chybinmy.com

NameNode

ResourceManage

  

DataNode

DataNode

DataNode

NodeManager

NodeManager

NodeManager

HistoryServer

  

SecondaryNameNode

二十七、在第一臺機器上安裝新的Hadoop

為了和之前BigData01機器上安裝偽分散式Hadoop區分開來，我們將BigData01上的Hadoop服務都停止掉，然後在一個新的目錄/opt/modules/app下安裝另外一個Hadoop。 
我們採用先在第一臺機器上解壓、配置Hadoo

相關推薦

史上最詳細的Hadoop環境搭建,從0開始，圖解全部過程

Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的紮實程度，決定在大資料技術道路上走多遠。 這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹H

史上最詳細Windows版本搭建安裝React Native環境配置

gin windows系統 adl 搭建環境 tools 想要 變量 rep home 說在前面的話: 感謝同事金曉冰傾情奉獻本環境搭建教程 之前我們已經講解了React Native的OS X系統的環境搭建以及配置，鑒於各大群裏有很多人反應在Windows環境搭建出現各種

史上最詳細Oracle 12c搭建過程(內附源碼包)

請求 源碼包下載 可用 groupadd set port instr lease 添加 簡介 Oracle Database，又名Oracle RDBMS，或簡稱Oracle。是甲骨文公司的一款關系數據庫管理系統。它是在數據庫領域一直處於領先地位的產品。可以說Oracle

史上最簡單lamp環境搭建

lamp，即linux、Apache、mysql、php 環境：centos 7.4 mysql官網下載安裝mysql-server wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarc

大資料之hadoop 環境搭建從零開始——實戰訓練

        這裡的前提是要先安裝一個乾淨的CentOS系統，我這裡用的是CentOS6.6，安裝教程參考另一篇部落格：https://blog.csdn.net/gaofengyan/article/details/85054337 目錄 ha

【轉】Hadoop學習--第二篇：史上最詳細的Hadoop環境搭建

GitChat 作者：鳴宇淳 原文： 史上最詳細的Hadoop環境搭建 前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的紮實程度，會決定在大資料技術道路上走多遠。 這是一篇入門文章，Hadoop的學

史上最詳細、最全面的Hadoop環境搭建

前言 這是一篇入門文章，Hadoop的學習方法很多，網上也有很多學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構組成、各模組協同工作原理、技術細節。安裝不是目的，通過安裝認識Hadoop才是目的。 第一部分：L

GitChat·大資料 | 史上最詳細的Hadoop環境搭建

GitChat 作者：鳴宇淳 原文： 史上最詳細的Hadoop環境搭建 關注公眾號：GitChat 技術雜談，一本正經的講技術 【不要錯過文末彩蛋】 前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的

從零搭建SpringCloud服務（史上最詳細）

1.什麼是SpringCloud？ 我就不bb了，貼上比較優秀的部落格 https://www.cnblogs.com/lexiaofei/p/6808152.html 自己理解就是，一個伺服器叢集中，每個伺服器固定的完成某些任務，任務成果的需求者想獲取這些成果時通過主機名+埠號獲取，對

一步步教你搭建Android開發環境（有圖有真相）--“自吹自擂：史上最詳細、最囉嗦、最新的搭建教程”

宣告：轉摘請註明http://blog.csdn.net/longming_xu/article/details/28241045 前言：為什麼要寫這麼一篇文章？網上介紹Android開發環境搭建的文章一片一片的，我為什麼要自己”重複的去造輪子“呢？原因有三個：第一個

Java開發環境搭建（windows版、史上最詳細版）

Java開發環境搭建 在本章節中我們將為大家介紹如何搭建Java開發環境。我使用的是windows系統，那就給大家講一下在windows系統下搭建java的開發環境。 Jdk介紹 JDK（Java Development Kit）是Java語言的軟體開發工具包，主要用於移動

手把手教你從頭開始搭建友善之臂ARM-tiny4412開發環境（史上最詳細!!）

建立一個ARM目錄 mkdir   /disk/A9  -p 接下來你需要準備以下的東西 1、arm-linux-gcc-4.5.1     交叉編譯器 2、linux-3.5-tiny4412   

Hadoop大資料元件安裝 史上最詳細教程 手把手教會你安裝

Hadoop安裝--大資料元件安裝--史上最完整教程--手把手教會你安裝  ——徹底揭開大資料技術的面紗，讓小白徹底進入大資料技術領域 安裝的Hadoop的生態圈元件有如下幾個（以後會不斷補充完善起來了）。 （1）Hadoop（單機模式獨立，偽分散式偽分散式，全分散式全

史上最詳細：在VMware虛擬機器裡搭建DB2 purescale測試

說明 DB2的purescale功能由於牽扯到多款產品，包括GPFS, RSCT，TSA，所以非常複雜，搭建的過程稍有不慎，就會遇到很多的報錯。本文詳細地介紹瞭如何在VMware虛擬機器裡搭建出一個Linux環境下的purescale叢集，叢集有兩個節點node01,nod

史上最全使用Nexus搭建Maven伺服器詳細配置

為什麼要搭建nexus私服，原因很簡單，有些公司都不提供外網給專案組人員，因此就不能使用maven訪問遠端的倉庫地址，所以很有必要在局域網裡找一臺有外網許可權的機器，搭建nexus私服，然後開發人員連到這臺私服上，這樣的話就可以通過這臺搭建了nexus私服的電腦訪問mav

史上最詳細的Win10家庭版搭建FTP伺服器詳細解決方案

Win10家庭版搭建FTP伺服器詳細解決方案1. 為什麼搭建FTP伺服器？由於需要使用FTP上傳檔案到FTP伺服器，為了方便測試，便自己手動搭建了FTP伺服器。2. 設定靜態IP（1）開啟網路和Internet設定 （2）點選更改介面卡選項 （3）選擇你當前的正在使用的網路雙

Maven環境變數配置教程（史上最詳細版）

第一步：解壓apche-maven-3.5.2.rar 第二步：把這個檔案放在C:\Program Files\apache-maven-3.5.2 第三步：進行環境變數配置（右鍵計算機 -

移植QT5.6到嵌入式開發板（史上最詳細的QT移植教程）

文件傳輸 嵌入式環境 ubun 導致 字庫 etc -a led fill 目前網上的大多數 QT 移植教程還都停留在 qt4.8 版本，或者還有更老的 Qtopia ,但是目前 Qt 已經發展到最新的 5.7 版本了，我個人也已經使用了很長一段時間的 qt5.6 for

史上最詳細nodejs版本管理器nvm的安裝與使用（附註意事項和優化方案）

技術 註意 nod core 遇到 target 快速 方式 get 使用場景 在Node版本快速更新叠代的今天，新老項目使用的node版本號可能已經不相同了，node版本更新越來越快，項目越做越多，node切換版本號的需求越來越迫切，傳統卸載一個版本在安裝另一個版本的方

Android Studio獲取開發版SHA1值和發布版SHA1值的史上最詳細方法

nal code tail JD rip 通過 提示 打開 tor 前言：使用百度地圖時需要秘鑰，申請秘鑰時需要SHA1值，所以今天就總結一下怎麽獲取這個值。 正常情況下： 一、獲取開發版SHA1： 在此我直接用AndroidStudio提供的命令控制臺了，畢竟做Andro