自從2015年花了2個多月時間把Hadoop1.x的學習教程學習了一遍,對Hadoop這個神奇的小象有了一個初步的瞭解,還對每次學習的內容進行了總結,也形成了我的一個博文系列《Hadoop學習筆記系列》。其實,早在2014年Hadoop2.x版本就已經開始流行了起來,並且已經成為了現在的主流。當然,還有一些非離線計算的框架如實時計算框架Storm,近實時計算框架Spark等等。相信瞭解Hadoop2.x的童鞋都應該知道2.x相較於1.x版本的更新應該不是一丁半點,最顯著的體現在兩點:

(1)HDFS的NameNode可以以叢集的方式佈署,增強了NameNodes的水平擴充套件能力和高可用性,分別是:HDFS FederationHA

(2)MapReduce將JobTracker中的資源管理及任務生命週期管理(包括定時觸發及監控),拆分成兩個獨立的元件,並更名為YARN(Yet Another Resource Negotiator);

因此,我決定趁著現在又變成了單身狗(滿滿的都是傷感)的時機,把Hadoop2.x學習一下,也順帶分享一些學習筆記的文章與園友們分享。

至於Hadoop2.x到底相較於1.x有哪些改變,如果你不太知道,那麼你可以先閱讀一下這篇文章《Hadoop2的改進內容簡介》大概瞭解一下,本篇內容將不會介紹這些,直接上環境搭建與配置的內容。

一、準備工作

  (1)一臺配置不錯的電腦或筆記本(主要是記憶體、記憶體、記憶體,重要的事情說三遍)

  (2)一個你使用過的虛擬機器軟體(可以是VMWare、Virtual Box或者其他的,我用的VMWare WorkStation)

  (3)一個你使用過的SSH客戶端軟體(可以使XShell,XFtp、WinSCP等等,我用的XShell+XFtp)

  (4)Hadoop2.4.1、JDK1.7的linux安裝包(當然你也可以直接線上下載)

  當然,體貼的我已為你準備了Hadoop2.4.1和JDK1.7的包,你可以通過這個連結下載:點我下載

二、偽分散式搭建

  2.1 基礎網路配置

  安裝完VMware Workstation之後,你的網路介面卡會多出來兩個,你要做的就是為多出來的第2個網絡卡設定靜態IP地址,我這裡是Ethernet 3  這裡我們設定閘道器為192.168.22.1,為宿主機設定IP為192.168.22.2,也就是說我們的虛擬機器必須要在192.168.22.x這個網段內。

  然後我們再為虛擬機器設定網路連線方式,選擇VMNET8(NAT模式),如果你不知道NAT是什麼意思,請百度一下。

  2.2 為虛擬機器安裝Linux映象

  這裡我們選擇的是CentOS,你也可以選擇其他的Linux發行版本。

  2.3 設定靜態IP地址

  輸入命令 setup -> 進入Device Configuration -> 輸入service network restart重啟網絡卡

  另外,想要在宿主機訪問虛擬機器,需要開放埠,為了方便,我們直接將虛擬機器的防火牆關閉:sudo service iptables stop

  檢查狀態:sudo chkconfig iptables off

  2.4 設定完全命令列模式啟動

  輸入命令 sudo vi /etc/inittab -> 修改id:3 -> 輸入reboot重啟虛擬機器

  2.5 使用XShell代替VMware直接操作

  這個時候你就可以使用XShell而不再需要在VMware裡直接敲命令了,你會發現XShell用起來很爽!

  2.6 將hadoop使用者加入sudo使用者組

  由於linux下root使用者的許可權太大,經常使用root使用者會很不安全,所以我們一般使用一個一般使用者去操作,在用到需要高許可權時使用sudo命令去執行。因此,我們這裡需要將hadoop使用者加入sudo使用者組。

  輸入命令 su -> vi /etc/sudoers -> 找到這一行:root ALL=(ALL) ALL

  然後在它下面一行加上一行:hadoop  ALL=(ALL) ALL

  最後儲存退出。

  2.7 更改主機名與IP地址對映關係

  (1) sudo vi /etc/sysconfig/network -> hadoop-master.manulife -> reboot
    (2) sudo vi /etc/hosts -> 加一行: 192.168.22.100 hadoop-master.manulife

  2.8 建立一個專門放安裝包的資料夾(非必要)

  (1) rm -rf P* D* Music/ Videos/ Templates/
    (2) mkdir app -> 安裝後的地方
    (3) mkdir local -> 放置安裝包的地方

  2.9 安裝JDK

  (1)上傳jdk到虛擬機器,這裡藉助SFtp軟體

  (2)解壓jdk:tar -zvxf jdk -C ../app/

  (3)設定環境變數:

sudo vi /etc/profile
  export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
  export PATH=$PATH:$JAVA_HOME/bin;
source /etc/profile  

  2.10 安裝Hadoop

  (1)上傳jdk到虛擬機器,這裡藉助SFtp軟體

  (2)解壓jdk:tar -zvxf hadoop -C ../app/

  (3)刪除hadoop中share資料夾中的多餘doc檔案(非必要):rm -rf doc

  (4)設定hadoop中etc資料夾中的一些重要配置檔案:cd etc -> hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml

  hadoop-env.sh

  vim hadoop-env.sh
  #第27行
  export JAVA_HOME=/home/hadoop/app/jdk  

  core-site.xml

  <!-- 指定HADOOP所使用的檔案系統schema(URI),HDFS的老大(NameNode)的地址 -->
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop-master.manulife:9000</value>
  </property>
  <!-- 指定hadoop執行時產生檔案的儲存目錄 -->
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/app/hadoop/tmp</value>
  </property>  

  hdfs-site.xml

  <!-- 指定HDFS副本的數量 -->
  <property>
     <name>dfs.replication</name>
     <value>1</value>
  </property>  

  yarn-site.xml

  <!-- 指定YARN的老大(ResourceManager)的地址 -->
  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop-master.manulife</value>
  </property>
  <!-- reducer獲取資料的方式 -->
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>  

  mapred-site.xml (需要首先換個名字:mv mapred-site.xml.template mapred-site.xml)

  <!-- 指定mr執行在yarn上 -->
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>  

  (5)設定環境變數

sudo vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

  (6)格式化NameNode

  hadoop namenode -format

  (7)啟動Hadoop兩大核心功能:HDFS與YARN

  首先編輯slaves配置檔案(這裡我們的主節點既是DataNode又是NameNode):vi slaves -> add hadoop-master.manulife

  啟動HDFS:sbin/start-dfs.sh

  啟動YARN:sbin/start-yarn.sh

  驗證是否啟動:jps

  (8)在宿主機中訪問Hadoop Manager

  首先將虛擬機器的IP地址和主機名加入Windows Hosts:windows/system32/etc -> 加一行 : 192.168.22.100 hadoop-master.manulife

  開啟瀏覽器輸入:http://hadoop-master.manulife:50070

  2.11 HDFS簡單測試

  上傳一個檔案至HDFS : hadoop fs -put xxxx.tar.gz hdfs://hadoop-master.manulife:9000/
    從HDFS下載一個檔案 : hadoop fs -get hdfs://hadoop-master.manulife:9000/xxxx.tar.gz

  2.12 MapReduce簡單測試

  這裡直接執行一個hadoop自帶的求圓周率的example:

  (1)cd /home/hadoop/app/hadoop/share/hadoop/mapreduce/
    (2)hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5

  2.13 SSH免密碼登入

  一般linux分散式叢集中都會設定ssh免密碼登入,這裡我們首先將主節點設定為ssh免密碼登入:

  (1)ssh-keygen -t rsa
    (2)cd .ssh -> cp id_rsa.pub authorized_keys
    (3)ssh localhost

三、Java開發環境搭建

  3.1 準備工作 

  3.2 使用Java API操作HDFS

  3.3 簡單測試

四、完全分散式搭建