2. 程式人生 > >HBase學習之路 （二）HBase集群安裝

HBase學習之路 （二）HBase集群安裝

阿新 • • 發佈：2018-03-29
star java_home 服務 blog usr mirrors logs 技術 ron

前提

1、HBase 依賴於 HDFS 做底層的數據存儲

2、HBase 依賴於 MapReduce 做數據計算

3、HBase 依賴於 ZooKeeper 做服務協調

4、HBase源碼是java編寫的，安裝需要依賴JDK

版本選擇

打開官方的版本說明http://hbase.apache.org/1.2/book.html

JDK的選擇

技術分享圖片

Hadoop的選擇

技術分享圖片

技術分享圖片

此處我們的hadoop版本用的的是2.7.5，HBase選擇的版本是1.2.6

安裝

1、zookeeper的安裝

參考http://www.cnblogs.com/qingyunzong/p/8619184.html

2、Hadoopd的安裝

參考http://www.cnblogs.com/qingyunzong/p/8634335.html

3、下載安裝包

找到官網下載 hbase 安裝包 hbase-1.2.6-bin.tar.gz，這裏給大家提供一個下載地址： http://mirrors.hust.edu.cn/apache/hbase/

技術分享圖片

4、上傳服務器並解壓縮到指定目錄

[hadoop@hadoop1 ~]$ ls
apps  data  hbase-1.2.6-bin.tar.gz  hello.txt  log  zookeeper.out
[hadoop@hadoop1 ~]$ tar -zxvf hbase-1.2.6-bin.tar.gz -C apps/

5、修改配置文件

配置文件目錄在安裝包的conf文件夾中

（1）修改hbase-env.sh 

[hadoop@hadoop1 conf]$ vi hbase-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_73
export HBASE_MANAGES_ZK=false

技術分享圖片

技術分享圖片

（2）修改hbase-site.xml

[hadoop@hadoop1 conf]$ vi hbase-site.xml
<configuration>

        <property>
                <!--
 
 指定 hbase 在 HDFS 上存儲的路徑 -->
                <name>hbase.rootdir</name>
                <value>hdfs://myha01/hbase126</value>
        </property>
        <property>
                <!-- 指定 hbase 是分布式的 -->
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
                <!-- 指定 zk 的地址，多個用“,”分割 -->
                <name>hbase.zookeeper.quorum</name>
                <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181</value>
        </property>

</configuration>

（3）修改regionservers 

[hadoop@hadoop1 conf]$ vi regionservers 
hadoop1
hadoop2
hadoop3
hadoop4

技術分享圖片

（4）修改backup-masters

該文件是不存在的，先自行創建

[hadoop@hadoop1 conf]$ vi backup-masters
hadoop4

（5）修改hdfs-site.xml 和 core-site.xml

最重要一步，要把 hadoop 的 hdfs-site.xml 和 core-site.xml 放到 hbase-1.2.6/conf 下

[hadoop@hadoop1 conf]$ cd ~/apps/hadoop-2.7.5/etc/hadoop/
[hadoop@hadoop1 hadoop]$ cp core-site.xml hdfs-site.xml ~/apps/hbase-1.2.6/conf/

6、將HBase安裝包分發到其他節點

分發之前先刪除HBase目錄下的docs文件夾，

[hadoop@hadoop1 hbase-1.2.6]$ rm -rf docs/

在進行分發

[hadoop@hadoop1 apps]$ scp -r hbase-1.2.6/ hadoop2:$PWD
[hadoop@hadoop1 apps]$ scp -r hbase-1.2.6/ hadoop3:$PWD
[hadoop@hadoop1 apps]$ scp -r hbase-1.2.6/ hadoop4:$PWD

7、 同步時間

HBase 集群對於時間的同步要求的比 HDFS 嚴格，所以，集群啟動之前千萬記住要進行 時間同步，要求相差不要超過 30s

8、配置環境變量

所有服務器都有進行配置

[hadoop@hadoop1 apps]$ vi ~/.bashrc 
#HBase
export HBASE_HOME=/home/hadoop/apps/hbase-1.2.6
export PATH=$PATH:$HBASE_HOME/bin

使環境變量立即生效

[hadoop@hadoop1 apps]$ source ~/.bashrc

啟動HBase集群

嚴格按照啟動順序進行

1、啟動zookeeper集群

每個zookeeper節點都要執行以下命令

[hadoop@hadoop1 apps]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@hadoop1 apps]$

2、啟動HDFS集群及YARN集群

如果需要運行MapReduce程序則啟動yarn集群，否則不需要啟動

[hadoop@hadoop1 apps]$ start-dfs.sh
Starting namenodes on [hadoop1 hadoop2]
hadoop2: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-namenode-hadoop2.out
hadoop1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-namenode-hadoop1.out
hadoop3: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop3.out
hadoop4: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop4.out
hadoop2: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop2.out
hadoop1: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop1.out
Starting journal nodes [hadoop1 hadoop2 hadoop3]
hadoop3: starting journalnode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-journalnode-hadoop3.out
hadoop2: starting journalnode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-journalnode-hadoop2.out
hadoop1: starting journalnode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-journalnode-hadoop1.out
Starting ZK Failover Controllers on NN hosts [hadoop1 hadoop2]
hadoop2: starting zkfc, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-zkfc-hadoop2.out
hadoop1: starting zkfc, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-zkfc-hadoop1.out
[hadoop@hadoop1 apps]$

啟動完成之後檢查以下namenode的狀態

[hadoop@hadoop1 apps]$ hdfs haadmin -getServiceState nn1
standby
[hadoop@hadoop1 apps]$ hdfs haadmin -getServiceState nn2
active
[hadoop@hadoop1 apps]$

3、啟動HBase

保證 ZooKeeper 集群和 HDFS 集群啟動正常的情況下啟動 HBase 集群 啟動命令：start-hbase.sh，在哪臺節點上執行此命令，哪個節點就是主節點

[hadoop@hadoop1 conf]$ start-hbase.sh
starting master, logging to /home/hadoop/apps/hbase-1.2.6/logs/hbase-hadoop-master-hadoop1.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
hadoop3: starting regionserver, logging to /home/hadoop/apps/hbase-1.2.6/logs/hbase-hadoop-regionserver-hadoop3.out
hadoop4: starting regionserver, logging to /home/hadoop/apps/hbase-1.2.6/logs/hbase-hadoop-regionserver-hadoop4.out
hadoop2: starting regionserver, logging to /home/hadoop/apps/hbase-1.2.6/logs/hbase-hadoop-regionserver-hadoop2.out
hadoop3: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
hadoop3: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
hadoop4: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
hadoop4: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
hadoop2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
hadoop2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
hadoop1: starting regionserver, logging to /home/hadoop/apps/hbase-1.2.6/logs/hbase-hadoop-regionserver-hadoop1.out
hadoop4: starting master, logging to /home/hadoop/apps/hbase-1.2.6/logs/hbase-hadoop-master-hadoop4.out
[hadoop@hadoop1 conf]$

觀看啟動日誌可以看到：

（1）首先在命令執行節點啟動 master

（2）然後分別在 hadoop02,hadoop03,hadoop04,hadoop05 啟動 regionserver

（3）然後在 backup-masters 文件中配置的備節點上再啟動一個 master 主進程

驗證啟動是否正常

1、檢查各進程是否啟動正常

主節點和備用節點都啟動 hmaster 進程

各從節點都啟動 hregionserver 進程

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

按照對應的配置信息各個節點應該要啟動的進程如上圖所示

2、通過訪問瀏覽器頁面

hadoop1

技術分享圖片

hadop4

技術分享圖片

從圖中可以看出hadoop4是備用節點

3、驗證高可用

幹掉hadoop1上的hbase進程，觀察備用節點是否啟用

[hadoop@hadoop1 conf]$ jps
4960 HMaster
2960 QuorumPeerMain
3169 NameNode
3699 DFSZKFailoverController
3285 DataNode
5098 HRegionServer
5471 Jps
3487 JournalNode
[hadoop@hadoop1 conf]$ kill -9 4960

hadoop1界面訪問不了

技術分享圖片

hadoop4變成主節點

技術分享圖片

4、如果有節點相應的進程沒有啟動，那麽可以手動啟動

啟動HMaster進程

[hadoop@hadoop3 conf]$ jps
3360 Jps
2833 JournalNode
2633 QuorumPeerMain
3179 HRegionServer
2732 DataNode
[hadoop@hadoop3 conf]$ hbase-daemon.sh start master
starting master, logging to /home/hadoop/apps/hbase-1.2.6/logs/hbase-hadoop-master-hadoop3.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
[hadoop@hadoop3 conf]$ jps
2833 JournalNode
3510 Jps
3432 HMaster
2633 QuorumPeerMain
3179 HRegionServer
2732 DataNode
[hadoop@hadoop3 conf]$

啟動HRegionServer進程

[hadoop@hadoop3 conf]$ hbase-daemon.sh start regionserver

HBase學習之路 （二）HBase集群安裝

相關推薦

HBase學習之路 （二）HBase集群安裝

star java_home 服務 blog usr mirrors logs 技術 ron 前提 1、HBase 依賴於 HDFS 做底層的數據存儲 2、HBase 依賴於 MapReduce 做數據計算 3、HBase 依賴於 ZooKeeper 做服務協調 4

HBase學習之路 （十）HBase表的設計原則

建議 ima 是否 屬性 循環 列族 將在 serve sch 建表高級屬性 　　下面幾個 shell 命令在 hbase 操作中可以起到很大的作用，且主要體現在建表的過程中，看 下面幾個 create 屬性 1、 BLOOMFILTER 　　默認是 NONE 是否使

HBase學習之路 （一）HBase基礎介紹

產生背景自 1970 年以來，關係資料庫用於資料儲存和維護有關問題的解決方案。大資料的出現後， 好多公司實現處理大資料並從中受益，並開始選擇像 Hadoop 的解決方案。Hadoop 使用分 布式檔案系統，用於儲存大資料，並使用 MapReduce 來處理。Hadoop 擅長

Hadoop學習之路（四）Hadoop集群搭建和簡單應用

get allocated reduce plugins caching handle ces -h per 概念了解 主從結構：在一個集群中，會有部分節點充當主服務器的角色，其他服務器都是從服務器的角色，當前這種架構模式叫做主從結構。 主從結構分類： 1、一主多從

Hadoop學習之路（五）Hadoop集群搭建模式和各模式問題

數據 場景 模式 問題 沒有 問題： 重裝 故障 style 分布式集群的通用問題 當前的HDFS和YARN都是一主多從的分布式架構，主從節點---管理者和工作者 問題：如果主節點或是管理者宕機了。會出現什麽問題？ 群龍無首，整個集群不可用。所以在一主多從的架構中都會

hadoop生態系統學習之路（五）hbase的簡單使用

最近，參與了公司的一個大資料介面平臺的開發，具體的處理過程是這樣的。我們公司負責資料的入庫，也就是一個etl過程，使用MR將資料入到hive裡面，然後同步到impala，然後此介面平臺提供查詢介面，前臺會將sql語句以引數傳過來，然後介面平臺通過呼叫impala

Java學習之路（二）流程控制語句

循環 cas 學習之路 將不 乘法表 length 跳出循環 spa int if、if…else…語句 if (true) { System.out.println("為真時執行");

python學習之路（二） -- 函數、JSON、終端樣式

blog ade def 數量 通過 等於 name tuple args 函數 函數構成 定義函數:使用def即可 def __getName(idCard): return user_info[idCard].Name 其中，__get

Python 學習之路（二）

在外 封裝 過程 數列 == 3.6 開頭 res form Python 學習之路（二） 以下所用的是Python 3.6 一、條件語句 簡單判斷 1 if 判斷條件： 2 執行語句…… 3 else： 4 執行語句…… 復雜判斷 1 if 判斷

Hadoop學習之路（二）Hadoop發展背景

chukwa 站點 avro azkaban das 可擴展性 對數 就是 pro Hadoop產生的背景 1. HADOOP最早起源於Nutch。Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨著抓取網頁數量的增加，遇到了嚴重的可擴

C++再學習之路（二）

iter pointer lin clas 數組元素 對數 表達 自增 條件操作符 1. 移位操作符“ << ”和“ >> ”擁有中等優先級：其優先級比算術操作符低，但比關系操作符、賦值操作符和條件操作符優先級高 2. *iter++ 　　後自增操作

Hive學習之路 （二）Hive安裝

different 0.10 director lar blog cut cti mysql extend Hive的下載 下載地址http://mirrors.hust.edu.cn/apache/ 選擇合適的Hive版本進行下載，進到stable-2文件夾可以看到穩

Spark學習之路 （二）Spark2.3 HA集群的分布式安裝

serve html 元數據 不安裝 rec ive cut 再次 apps 一、下載Spark安裝包 1、從官網下載 http://spark.apache.org/downloads.html 2、從微軟的鏡像站下載 http://mirrors.hust.

學習之路（二）淺談：bash及其特性，命令歷史以及用戶管理及權限，shell的類型

bash 管理權限 過了一周了，進度似乎有點懈怠，不過過了周末重整旗鼓啦shell（外殼）GUI：Gnome，KDE，xfceCLI：sh，csh，ksh，bashbash（父進程）-----bash（子進程）他們相互獨立彼此不知命令歷史：historybash支持的引號：‘ ’命令替換（鍵盤~的按鍵

小強的Hadoop學習之路（二）

com TE 區別 截斷 用戶 分開 路徑問題 登陸用戶 學習 接著第一遍。中間間隔了大約半年的時間了，話不多說，直接進入主題。 這篇是主要是應用篇。目前的環境是4臺機器 ，環境 centos 7.2 CDH5.10.2 網上很多安裝教程，這邊就不說明了。 Hive+

XML學習之路（二）

req 方式 test 無符號 規範 內容 了解 實體 文本 DTD 一、什麽是DTD? DTD即Document Type Definition，文檔類型定義。 我們知道，XML的標簽可以自定義，不受任何約束。但有時侯，為了符合邏輯和業務需要，我們需要對XML文檔加以約束

Linux 學習之路（二）:使用者及許可權詳解

作業： 1.ls 命令是否可以顯示某目錄的整體大小，即包括其內部的所有檔案的整體大小？ 可以，使用ls -s xxx 2.通過幫助手冊，學習使用du命令： # du 估計檔案空間使用量 ​ -s 分割資料夾，不包括子目錄大小 ​ -h 以可讀格式展示

Tecnomatix Plant Simulation 14 學習之路（二）

  本篇部落格主要介紹基礎遺傳演算法的實現，例子參考部落格一推薦的周金平老師教材第三章，這裡做簡單介紹   問題描述： 將n個裝置(M1,…Mn)放置到n個位置(A,B…)上，其中每個位置上能且僅能放置一臺裝置，已知n個裝置兩兩之間的物料搬運量大小W(i, j)，以及

Kafka學習之路 （二）Kafka的架構

most 工具 路由 冪等 用戶 toc 目標 支持 mem 一、Kafka的集群架構 如上圖所示，一個典型的Kafka集群中包含若幹Producer（可以是web前端產生的Page View，或者是服務器日誌，系統CPU、Memory等），若幹broker（Kafka支持

Flume學習之路 （二）Flume的Source類型

bash 官方 tip size pipes lte using exc 正常 一、概述 官方文檔介紹：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources 描述 2.1　Avro