1. 程式人生 > >Hadoop基礎教程-第1章 環境安裝配置(1.5 構建叢集)

Hadoop基礎教程-第1章 環境安裝配置(1.5 構建叢集)

第1章 環境安裝配置

1.5 構建叢集

1、叢集概念

根據百度的解釋:
叢集是一組相互獨立的、通過高速網路互聯的計算機,它們構成了一個組,並以單一系統的模式加以管理。一個客戶與叢集相互作用時,叢集像是一個獨立的伺服器。叢集配置是用於提高可用性和可縮放性。

伺服器叢集是一種提升伺服器整體計算能力的解決方案。它是由互相連線在一起的伺服器群所組成的一個並行式或分散式系統。伺服器叢集中的伺服器運行同一個計算任務。因此,從外部看,這群伺服器表現為一臺虛擬的伺服器,對外提供統一的服務。儘管單臺伺服器的運算能力有限,但是將成百上千的伺服器組成伺服器集群后,整個系統就具備了強大的運算能力,可以支援大資料分析的運算負荷。

也就是說,叢集就是邏輯上處理同一任務的機器集合,可以屬於同一機房,也可分屬不同的機房。分散式可以執行在某個叢集裡面,某個叢集也可作為分散式概念的一個節點。分散式與叢集的區別,就是“分頭做事”與“一堆人”的區別。

2、叢集規劃

主機名 IP 備註
node1 192.68.80.131 主節點
node2 192.68.80.132 備節點
node3 192.68.80.133 一般節點

3、構建叢集

  • 1)關閉虛擬機器node1

  • 2)在宿主機windows下進入D:\Virtual Machines目錄,將剛才建立的虛擬機器node1複製兩份,分別命名為node2和node3。

這裡寫圖片描述

  • 3)通過VMware開啟node2

通過VMware主選單“檔案”–>“開啟”

這裡寫圖片描述

  • 4) 找到node2目錄下的.vmx檔案,然後單擊“開啟”按鈕

這裡寫圖片描述

  • 5)選中剛開啟的虛擬機器(此時該虛擬機器名字也是node1),右鍵單擊,選擇右鍵選單“設定…”

這裡寫圖片描述

  • 6)在“虛擬機器設定”對話方塊中,單擊“選項”分頁,然後在右上角的“虛擬機器名稱”輸入框中修改名稱為“node2”。單擊“確定”按鈕

這裡寫圖片描述

  • 7)這時虛擬機器名稱已經更改為node2了,單擊綠色三角按鈕“開啟此虛擬機器”

這裡寫圖片描述

  • 8 )選擇單擊“我已複製該虛擬機器”按鈕

這裡寫圖片描述

  • 9)然後node2開始啟動

這裡寫圖片描述

  • 10)修改IP
    首先,輸入使用者名稱root和密碼123456,登入虛擬機器;然後通過編輯檔案修改IP
vi /etc/sysconfig/network-scripts/ifcfg-ens32

這裡寫圖片描述

對於node2,將IP設定為192.168.80.132
這裡寫圖片描述

儲存退出,然後重啟網路。通過命令ping www.baidu.com 來測試node2是否可以訪問網際網路。
這裡寫圖片描述

  • 11)XShell新建會話
  • 12)修改主機名

永久修改主機名

vi /etc/hostname

將node1修改為node2即可。
修改臨時主機名

hostname node2

這裡寫圖片描述
然後斷開連線,重新連線,主機名將顯示為node2
這裡寫圖片描述
好了,第2臺虛擬機器搭建好了。

同樣辦法,複製配置第3臺虛擬機器node3。

最後通過XShell連線3臺虛擬機器:
這裡寫圖片描述