1. 程式人生 > >HBase分散式叢集搭建(Hbase內建zookeeper) 粗略筆記

HBase分散式叢集搭建(Hbase內建zookeeper) 粗略筆記

hbase和hadoop一樣也分為單機版、偽分散式版和完全分散式叢集版本。 這裡記錄分散式叢集搭建(注:沒有安裝獨立的zookeeper,使用了hbase自帶的zookeeper。)

1.準備好壓縮包,配置環境

基於hadoop版本是hadoop2.5.x,hbase使用1.2.6 scp hbase-1.2.6-bin.tar.gz [email protected]:~/tmp

配置.bash_profile環境(每個節點都要配)

export JAVA_HOME=/home/hadoop/env/jdk1.7.0_80
export CLASSPATH=.:
$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/home/hadoop/env/hadoop-2.5.0 export HBASE_HOME=/home/hadoop/env/hbase-1.2.6 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH

source一下

2.配置hbase(主master節點配置)

配置hbase-env.sh

export JAVA_HOME=/home/hadoop
/env/jdk1.7.0_80 export HBASE_CLASSPATH=/home/hadoop/env/hbase-1.2.6/conf

此配置資訊,設定由hbase自己管理zookeeper,不需要單獨的zookeeper。

export HBASE_MANAGES_ZK=true
export HBASE_HOME=/home/hadoop/env/hbase-1.2.6/
export HADOOP_HOME=/home/hadoop/env/hadoop-2.5.0

Hbase日誌目錄

export HBASE_LOG_DIR=/home/hadoop/data/hbase/log

配置 hbase-site.xml

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>master:60000</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave1,slave2</value>
    </property>
</configuration>

配置regionservers

master
slave1
slave2

3.拷貝到各個從節點

scp -r hbase-1.2.6/ hadoop@slave1:~/env
scp -r hbase-1.2.6/ hadoop@slave2:~/env

4.啟動hbase

在主節點Master啟動hbase ~/hbase/bin/start-hbase.sh 啟動後,各個節點程序情況

Master
15558 NameNode          # hadoop master程序
15815 ResourceManager   # hadoop程序
17012 Jps
16505 HRegionServer
16376 HMaster           # hbase master程序
16283 HQuorumPeer       # zookeeper程序
Slave1
14289 NodeManager
14568 HRegionServer     # hbase slave程序
14461 HQuorumPeer       # zookeeper程序
15010 Jps
14128 DataNode          # hadoop slave程序
14219 SecondaryNameNode
Slave2
7654 NodeManager
8273 Jps
7827 HQuorumPeer
7557 DataNode
7934 HRegionServer

HQuorumPeer表示hbase管理的zookeeper QuorumPeerMain表示zookeeper獨立的程序

5.頁面端檢視

6.啟動順序

如果安裝了獨立的zookeeper

啟動順序: hadoop-> zookeeper-> hbase 停止順序:hbase-> zookeeper-> hadoop

使用自帶的zookeeper

啟動順序: hadoop-> hbase 停止順序:hbase-> hadoop

重啟hbase

~/hbase/bin/stop-hbase.sh
~/hadoop/sbin/stop-all.sh
~/hadoop/sbin/start-all.sh
~/hbase/bin/start-hbase.sh

注意事項:

1.如果各個節點時間不一致,會導致啟動hbase之後,從節點的HRegionServer會很快退出。 虛擬機器會出現時間靜止,所以每次要同步時間 ntpdate ntp1.aliyun.com 2.把/etc/hosts的ipv6 localhost註釋掉 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 172.16.30.100 master 172.16.30.101 slave1 172.16.30.102 slave2