提示：如果還不瞭解Hadoop的，可以下檢視這篇文章Hadoop生態系統，通過這篇文章，我們可以首先大致瞭解Hadoop及Hadoop的生態系統中的工具的使用場景。

搭建一個分散式的hadoop叢集環境，下面是詳細步驟，使用cdh5 。

一、硬體準備

基本配置:

作業系統	64位
CPU	(英特爾)Intel(R) I3處理器
記憶體	8.00 GB ( 1600 MHz)
硬碟剩餘空間	50G

流暢配置:

作業系統	64位
CPU	(英特爾)Intel(R) I5處理器或以上配置
記憶體	16.00 GB ( 1600 MHz)
硬碟剩餘空間	100G

注意：上面是在單個pc機上搭建叢集，所以對記憶體要求較高。若是在多臺pc機上搭建叢集環境，則只需要記憶體足夠即可。

二、軟體環境準備

這篇文章是搭建CDH5叢集環境，以上軟體可以在此網址下載

三、主機規劃

     由於我們要安裝5個節點的叢集環境，所以我們分配好ip地址和主機功能

CDHNode1 /192.168.3.188	CDHNode2 /192.168.3.189	CDHNode3 /192.168.3.190	CDHNode4 /192.168.3.191	CDHNode5 /192.168.3.192
namenode	是	是	否	否	否
datanode	否	否	是	是	是
resourcemanager	是	是	否	否	否
journalnode	是	是	是	是	是
zookeeper	是	是	是	否	否

注意：Journalnode和ZooKeeper保持奇數個，最少不少於 3 個節點。具體原因，以後詳敘。

        我的主機分配情況是在兩臺pc的虛擬機器上安裝centos系統，具體分配情況如下:

CDHNode1	CDHNode2	CDHNode3	CDHNode4	CDHNode4
PC1	是	是
PC2	是	是	是

這樣分配的原因是為了採用HA時，兩臺namenode在不同pc上，若有一臺pc出現異常，導致一個namenode無法運作，而standy namenode(備用namenode)可以active(啟用)，而不會影響整個叢集的運作。

三、詳細安裝步驟

               我們首先在1個主機（CHDNode1/192.168.3.188）上安裝centos6.5作業系統,使用root使用者配置網路，建立hadoop使用者，關閉防火牆，安裝一些必備軟體。為記下來的叢集軟體安裝做準備。

CentOS6.5安裝

                     在主機CHDNode1/192.168.3.188，安裝CentOS6.5作業系統。詳細安裝步驟可以檢視CentOS安裝這篇文章。此處就不再贅敘。

網路配置

 1.開啟安裝好的CentOS虛擬機器CDHNode1

  

 2、登入CentOS系統

         

3.輸入ifconfig命令，先檢視ip地址

4、這個時候我們發現除了迴環地址以外，我們並不能和外界通訊，比如我們可以使用ping命令進行測試。

注意：ping 127.0.0.1時，結束icmp報文，使用Ctrl+C命令

第一次ping 百度,ping不通，說明虛擬機器無法連線外網

第二次ping 虛擬機器NAT閘道器，ping不通

 注：虛擬機器閘道器檢視方法

點選虛擬機器網路編輯器，點選VMnet8

點選Nat設定

第三次ping物理機ip地址，ping不通

注：檢視物理機IP地址，開啟cmd.exe ,輸入ipconfig

第四次ping虛擬機器的迴環地址，ping成功，說明虛擬機器的網路協議是正確的

5、修改網絡卡的配置檔案

可以看到虛擬機器網絡卡沒有開啟，因此修改ONBOOT=yes,然後儲存退出（按Esc鍵，然後輸入：wq）

6、重啟網路服務

7、再次輸入ifconfig命令，檢視ip地址。

注意：我的虛擬機器設定的是橋接模式，所以ip地址是192.168.2.X網段，或192.168.3.X網段；因為橋接模式是直接使用物理網絡卡，而我的物理主機的閘道器是192.168.0.1，子網掩碼是255.255.252.0，所以我的虛擬機器ip地址可以在192.168.0.2-192.168.3.255之間任意選擇(除了物理主機的ip)。若你的虛擬機器是使用nat模式，可能就是，如：以我的虛擬機器為例，nat閘道器是192.168.117.2,子網掩碼為255.255.255.0，所以虛擬機器的ip地址可以在192.168.117.3-192.168.117.255之間任意選擇。

此時網絡卡已經成功開啟。

8.再次ping步驟4的ip或域名,檢視具體情況

檢查本機網路協議

檢查網絡卡鏈路

檢查Nat閘道器

檢查外網

此時虛擬機器連線網際網路成功，但使用dhcp（動態主機配置協議）配置ip地址，此時的IP地址時動態生成的，不方便以後hadoop叢集環境的搭建。所以我們還需要配置靜態Ip地址，配置詳情，下面細說。

9、使用ifconfig命令可以檢視動態ip地址為192.168.3.188，所以接下來我們把此ip作為CDHNode1的靜態ip地址。注：你可以使用你的動態ip作為你當前主機的靜態ip。然後後面幾臺IP地址可以緊跟著設定成，如192.168.3.189。DHCP生成ip地址是隨機的，你可具體問題具體分析。

10、修改網絡卡配置資訊，把BOOTPROTO=dhcp修改為BOOTPROTO=static,並且新增上設定的ip地址，子網掩碼，和閘道器。

注意：由於我是在兩臺pc上配置叢集環境，所以我使用的是橋接模式。若你是在一臺主機上建議你使用Nat（網路地址轉換）模式。因為nat模式的閘道器在不同的電腦上虛擬機器VMWare虛擬出來的網段是不同的。不方便使用Xshell連線。

下面是橋接模式的配置，IPADDR是設定ip地址，NETMASK(子網掩碼)與GATEWAY（閘道器）可以設定成與物理主機一樣的NETMASK(子網掩碼)與GATEWAY（閘道器）。注：物理主機ip配置具體檢視，看上面的步驟4。

下面是Nat模式的配置，IPADDR是設定ip地址，NETMASK(子網掩碼)與GATEWAY（閘道器）可以設定成與物理主機一樣的NETMASK(子網掩碼)與GATEWAY（閘道器）。注：Nat模式ip配置具體檢視，看上面的步驟4。

上面步驟中我們可以看到Nat模式的閘道器是192.168.117.2，子網掩碼為255.255.255.0

所以具體可配置成

BOOTPROTO=static

IPADDR=192.168.117.40

NETMASK=255.255.255.0

GATEWAY=192.168.117.2

最後按Esc,然後：wq儲存退出。（注意編輯按i或a即可進入編輯模式，具體操作檢視vi命令的使用說明）

11、重啟網路服務

至此網路配置完畢。

下載必備軟體

注：1、在CDHNode1節點上安裝，使用yum命令 ,引數-y表示，下載過程中的自動回答yes,有興趣的話，可以試試不加的情況；install表示從網上下載安裝。

         2、使用yum命令安裝軟體必須是root使用者。

1、安裝lrzsz，可以方便在Xshell上，上傳和下載檔案，輸入rz命令，可以上傳檔案，sz命令可以從遠端主機上下載檔案到本地。

 

2、安裝ssh伺服器。

3、安裝ssh客戶端。

使用者建立戶

1、使用useradd命令新增使用者hadoop，並同時建立使用者的home目錄，關於useradd的引數使用可以使用 useradd -h檢視引數

2、可以切換到/home目錄下檢視，是否建立成功

3、為hadoop使用者建立密碼，這是為了接下來使用XShell軟體遠端連線CDHNode1節點做準備，出現successfully表示建立密碼成功，注意：密碼建立必須是root使用者。

4、可以切換到hadoop使用者，使用 su命令，可以看到，此時[email protected]已經改成[email protected]。

5、從hadoop使用者退出，使用exit命令

克隆虛擬機器

由於我們使用VMware建立的Centos虛擬機器，所以我們可以直接克隆虛擬機器，就減少了安裝的時間，提高效率。

若你是在一臺pc機上配置叢集環境，就可以按照以下步驟連續克隆出四個虛擬機器分別是CDHNode2、CDHNode3、CDHNode4、CDHNode5；我是在兩個pc機上配置的所以，我就需要在另一臺pc上重新按照第一臺pc機上安裝CDHNode1一樣，再安裝CDHNode2，然後從CDHNode2克隆CDHNode4、CDHNode5。

下面我以在CDHNode2上克隆出CDHNode5虛擬機器為例，演示以下克隆的步驟。

1、右鍵CDHNode2虛擬機器--》快照--》拍攝快照

2、點選拍攝快照，快照拍攝成功

3、再右鍵CDHNode2虛擬機器--》管理--》克隆

4、下一步

5、選擇現有快照--》下一步

6、選擇建立完整克隆--》下一步

7、輸入虛擬機器名稱，點選完成，等待克隆完成。

8、至此我們完成了克隆虛擬機器的任務

9、接下來是修改配置虛擬機器的網絡卡資訊，下面我們在CDHNode5為例，其他節點自己按照下面的自行配置。

首先開啟CDHNode5,此時顯示的主機名稱為CDHNode2，因為CDHNode5是從CDHNode2克隆來的，所以主機名稱還是CDHNode2。

10、暫時不該主機名，我們先檢視一下，此時顯示沒有網絡卡

相關推薦