自從2015年花了2個多月時間把Hadoop1.x的學習教程學習了一遍，對Hadoop這個神奇的小象有了一個初步的瞭解，還對每次學習的內容進行了總結，也形成了我的一個博文系列《Hadoop學習筆記系列》。其實，早在2014年Hadoop2.x版本就已經開始流行了起來，並且已經成為了現在的主流。當然，還有一些非離線計算的框架如實時計算框架Storm，近實時計算框架Spark等等。相信瞭解Hadoop2.x的童鞋都應該知道2.x相較於1.x版本的更新應該不是一丁半點，最顯著的體現在兩點：

（1）HDFS的NameNode可以以叢集的方式佈署，增強了NameNodes的水平擴充套件能力和高可用性，分別是:HDFS Federation

（2）MapReduce將JobTracker中的資源管理及任務生命週期管理（包括定時觸發及監控），拆分成兩個獨立的元件，並更名為YARN（Yet Another Resource Negotiator）；

因此，我決定趁著現在又變成了單身狗（滿滿的都是傷感）的時機，把Hadoop2.x學習一下，也順帶分享一些學習筆記的文章與園友們分享。

至於Hadoop2.x到底相較於1.x有哪些改變，如果你不太知道，那麼你可以先閱讀一下這篇文章《Hadoop2的改進內容簡介》大概瞭解一下，本篇內容將不會介紹這些，直接上環境搭建與配置的內容。

一、準備工作

　　（1）一臺配置不錯的電腦或筆記本（主要是記憶體、記憶體、記憶體，重要的事情說三遍）

　　（2）一個你使用過的虛擬機器軟體（可以是VMWare、Virtual Box或者其他的，我用的VMWare WorkStation）

　　（3）一個你使用過的SSH客戶端軟體（可以使XShell，XFtp、WinSCP等等，我用的XShell+XFtp）

　　（4）Hadoop2.4.1、JDK1.7的linux安裝包（當然你也可以直接線上下載）

　　當然，體貼的我已為你準備了Hadoop2.4.1和JDK1.7的包，你可以通過這個連結下載：點我下載

二、偽分散式搭建

　　2.1 基礎網路配置

　　安裝完VMware Workstation之後，你的網路介面卡會多出來兩個，你要做的就是為多出來的第2個網絡卡設定靜態IP地址，我這裡是Ethernet 3

　　然後我們再為虛擬機器設定網路連線方式，選擇VMNET8（NAT模式），如果你不知道NAT是什麼意思，請百度一下。

　　2.2 為虛擬機器安裝Linux映象

　　這裡我們選擇的是CentOS，你也可以選擇其他的Linux發行版本。

　　2.3 設定靜態IP地址

　　輸入命令 setup -> 進入Device Configuration -> 輸入service network restart重啟網絡卡

　　另外，想要在宿主機訪問虛擬機器，需要開放埠，為了方便，我們直接將虛擬機器的防火牆關閉：sudo service iptables stop

　　檢查狀態：sudo chkconfig iptables off

　　2.4 設定完全命令列模式啟動

　　輸入命令 sudo vi /etc/inittab -> 修改id:3 -> 輸入reboot重啟虛擬機器

　　2.5 使用XShell代替VMware直接操作

　　這個時候你就可以使用XShell而不再需要在VMware裡直接敲命令了，你會發現XShell用起來很爽！

　　2.6 將hadoop使用者加入sudo使用者組

　　由於linux下root使用者的許可權太大，經常使用root使用者會很不安全，所以我們一般使用一個一般使用者去操作，在用到需要高許可權時使用sudo命令去執行。因此，我們這裡需要將hadoop使用者加入sudo使用者組。

　　輸入命令 su -> vi /etc/sudoers -> 找到這一行：root ALL=(ALL) ALL

　　然後在它下面一行加上一行：hadoop  ALL=(ALL) ALL

　　最後儲存退出。

　　2.7 更改主機名與IP地址對映關係

　　（1） sudo vi /etc/sysconfig/network -> hadoop-master.manulife -> reboot
 　  （2） sudo vi /etc/hosts -> 加一行: 192.168.22.100 hadoop-master.manulife

　　2.8 建立一個專門放安裝包的資料夾（非必要）

　　（1） rm -rf P* D* Music/ Videos/ Templates/
 　  （2） mkdir app -> 安裝後的地方
 　  （3） mkdir local -> 放置安裝包的地方

　　2.9 安裝JDK

　　（1）上傳jdk到虛擬機器，這裡藉助SFtp軟體

　　（2）解壓jdk：tar -zvxf jdk -C ../app/

　　（3）設定環境變數：

sudo vi /etc/profile
  export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
  export PATH=$PATH:$JAVA_HOME/bin;
source /etc/profile　　

　　2.10 安裝Hadoop

　　（1）上傳jdk到虛擬機器，這裡藉助SFtp軟體

　　（2）解壓jdk：tar -zvxf hadoop -C ../app/

　　（3）刪除hadoop中share資料夾中的多餘doc檔案（非必要）：rm -rf doc

　　（4）設定hadoop中etc資料夾中的一些重要配置檔案：cd etc -> hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml

　　hadoop-env.sh

  vim hadoop-env.sh
  #第27行
  export JAVA_HOME=/home/hadoop/app/jdk　　

　　core-site.xml

  <!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 -->
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop-master.manulife:9000</value>
  </property>
  <!-- 指定hadoop執行時產生檔案的儲存目錄 -->
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/app/hadoop/tmp</value>
  </property>　　

　　hdfs-site.xml

  <!-- 指定HDFS副本的數量 -->
  <property>
     <name>dfs.replication</name>
     <value>1</value>
  </property>　　

　　yarn-site.xml

  <!-- 指定YARN的老大（ResourceManager）的地址 -->
  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop-master.manulife</value>
  </property>
  <!-- reducer獲取資料的方式 -->
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>　　

　　mapred-site.xml (需要首先換個名字：mv mapred-site.xml.template mapred-site.xml)

  <!-- 指定mr執行在yarn上 -->
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>　　

　　（5）設定環境變數

sudo vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

　　（6）格式化NameNode

　　hadoop namenode -format

　　（7）啟動Hadoop兩大核心功能：HDFS與YARN

　　首先編輯slaves配置檔案（這裡我們的主節點既是DataNode又是NameNode）：vi slaves -> add hadoop-master.manulife

　　啟動HDFS：sbin/start-dfs.sh

　　啟動YARN：sbin/start-yarn.sh

　　驗證是否啟動：jps

　　（8）在宿主機中訪問Hadoop Manager

　　首先將虛擬機器的IP地址和主機名加入Windows Hosts：windows/system32/etc -> 加一行 : 192.168.22.100 hadoop-master.manulife

　　開啟瀏覽器輸入：http://hadoop-master.manulife:50070

　　2.11 HDFS簡單測試

　　上傳一個檔案至HDFS : hadoop fs -put xxxx.tar.gz hdfs://hadoop-master.manulife:9000/
   　從HDFS下載一個檔案 : hadoop fs -get hdfs://hadoop-master.manulife:9000/xxxx.tar.gz

　　2.12 MapReduce簡單測試

　　這裡直接執行一個hadoop自帶的求圓周率的example：

　　（1）cd /home/hadoop/app/hadoop/share/hadoop/mapreduce/
 　  （2）hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5

　　2.13 SSH免密碼登入

　　一般linux分散式叢集中都會設定ssh免密碼登入，這裡我們首先將主節點設定為ssh免密碼登入：

　　（1）ssh-keygen -t rsa
 　  （2）cd .ssh -> cp id_rsa.pub authorized_keys
 　  （3）ssh localhost

三、Java開發環境搭建

　　3.1 準備工作 

　　3.2 使用Java API操作HDFS

　　3.3 簡單測試

四、完全分散式搭建

作者：周旭龍

本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連結。