HBase完全分散式叢集環境搭建過程總結

阿新 • • 發佈：2019-01-23

一、前言

暑期實驗室實習學姐告知學習HBase，便利用複習之餘的時間搭建HBase環境，先前不瞭解搞了個單機版的，學姐說實驗室開發不用單機2333[尷尬]，於是又開始建立虛擬機器開始完全分散式叢集環境的搭建。搭建主要是各種百度，也遇到了一些bug，也來來回回刪增了很多虛擬機器[哭泣]，在這裡主要是進行一個簡單的總結，要是能幫上大家就很開心啦~\(≧▽≦)/~

二、準備

Ubuntu16.04
VMware Workstation12 pro
jdk1.8
Hadoop-2.8.3
Zookeeper-3.4.12
HBase-2.0.0
SSH

三、搭建過程

3.1 三臺虛擬機器的搭建（Ubuntu）

master 192.168.199.140
slave1 192.168.199.137
slave2 192.168.199.138

HBase如果電腦效能比較好，最好是master記憶體24GB，slave記憶體大於24GB。同時機子都為雙四核。但如果電腦效能不ok[我就是]，一般的單核1-2GB，24-48GB的磁碟大小就行，只是計算會慢些。

注：若電腦一般的，最好不要同時開三臺機，否則會emm各種宕機各種慢

3.2 叢集的構建

在3.1構建虛擬機器的時候選擇NAT模式，虛擬機器安裝完畢重啟，構建叢集

檢視本機NAT的閘道器，子網掩碼等資訊

設定虛擬機器的靜態ip和閘道器等資訊

sudo vi /etc/network/interfaces

sudo vi /etc/resolvconf/resolv.conf.d/base

其餘兩臺虛擬機器相同操作，通過ifconfig檢視NAT自動生成的靜態ip地址
通過ping檢查叢集是否建立成功（ping本機&ping虛擬機器&ping外網）
配置虛擬機器的hosts和hostname
```
sudo vi /etc/hosts
```
```
sudo vi /etc/hostname
```
注：slave機hostname為slave1和slave2 ；同時slave機的host和master配置一樣

到此，虛擬機器叢集搭建完畢。

3.3 虛擬機器間免密登入（ssh）

為方便之後虛擬機器間檔案的傳遞等互動操作，利用ssh完成虛擬機器間的免密登入

apt-get install ssh完成ssh的安裝（server+client）
ssh-keygen -t rsa完成虛擬機器ssh的生成
將slave1和slave2的公鑰id_rsa.pub通過scp傳到master中

scp id_rsa.pub [email protected]:~/.ssh/id_rsa.pub.slave1

scp id_rsa.pub [email protected]:~/.ssh/id_rsa.pub.slave2

在master中將master自己的id_rsa.pub和slave傳過來的兩個公鑰增加到autorized_keys中

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.slave1 >> authorized_keys

cat id_rsa.pub.slave2 >> authorized_keys

使用scp將生成的authorized_keys傳到slave1和slave2中

scp authorized_keys [email protected]:~/.ssh/authorized_keys

scp authorized_keys [email protected]:~/.ssh/authorized_keys

虛擬機器間實現免密登入 ssh 使用者名稱@虛擬機器ip 注：是使用者名稱@ip，而非主機名@主機ip

虛擬機器間實現檔案互傳 scp 檔名使用者名稱@主機名:儲存路徑

3.4 jdk的環境配置（三臺機子相同操作）

jdk安裝配置java環境，hadoop一系列產品都需要有java的支援（用java寫的/需要用到java程式碼）

為方便起見，所有的機子mkdir /data/install建立新資料夾並使用chown -R賦予該資料夾root的許可權，避免後續操作使用sudo。

hadoop等的搭建都依賴於jdk，所以需要先安裝jdk

    sudo mkdir -p /data/install 新建目錄

    sudo chown -R ciery:ciery /data  更改目錄許可權，賦予目錄所有許可權

1. 下載好的tar包放在 /data/install/java 目錄並解壓：

     tar -xvf jdk-8u131-linux-i586.tar.gz

2. 配置環境

     sudo vi /etc/profile

source vi /etc/profile 使配置起效

3. 檢查jdk是否配置成功

3.5 Hadoop的安裝

下載壓縮包解壓在/data/install/apache中，主要是hadoop-2.8.3/etc/hadoop中的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves、hadoop-env.sh和yarn-env.sh的配置

cd /data/install/apache/hadoop-2.8.3/etc/hadoop/

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml （新建的）通過 cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml建立etc/hadoop/mapred-site.xml
slaves
hadoop-env.sh和yarn-env.sh
slave兩臺機子相同，使用scp將hadoop-2.8.3資料夾直接傳到slave機的/data/install/apache/目錄下即可，同時記得分別對所有配置中的master改為slave1和slave2
測試，master中使用sbin/start-all.sh（或者分別使用sbin/start-dfs.sh和sbin/start-yarn.sh）注：保證slave兩臺機開啟狀態三臺機分別使用jps測試節點狀態 master中有SecondaryNameNode和NameNode，slave中有DataNode即為成功