1. 程式人生 > >HADOOP HBASE配置註意事項

HADOOP HBASE配置註意事項

home data summary detail log 命令 時間 註意事項 要去

1、yum安裝的jdk工具1.8版本,在配置hbase1.2版本需要在hbase-env.sh配置文件中註釋掉下面的內容:

export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"


如果不註釋的話在啟動hbase服務的時候會報128M相關的錯誤


2、zookeeper服務需要啟動至少三個節點,並且節點數為奇數個。

昨天為生產環境搭建hadoop集群,結果配置好zookeeper集群後啟動一個節點,老是看到服務異常狀態,一度以為是服務配置問題,這個問題卡了半天時間。其實這個問題是因為啟動的服務數量沒有超過集群半數的原因,集群5個節點的話,至少要啟動3個節點,集群才是生效的,否則集群失效。如果理解zookeeper運行機制的話就不成問題,所以不能只是搭建環境,要去理解環境的運行機制和原理。


3、在執行命令./bin/habse shell之後執行status查看集群狀態,出現下面的信息:

hbase> status

hbase> status 'simple'

hbase> status 'summary'

hbase> status 'detailed'

hbase> status 'replication'

hbase> status 'replication', 'source'

hbase> status 'replication', 'sink'

並且在{HBASE_HOME}/logs目錄下查看日誌,觀察到下面字樣的信息:

zookeeper.MetaTableLocator: Failed verification of hbase:meta,,1 at address=slave3,16020,15312


處理方法:

3.1、停止hbase集群服務、停止zookeeper集群服務

3.2、刪除{ZOOKEEPER_HOME}/conf/zoo.cfg配置文件中配置的對應的dataDir參數對應目錄下的version-2目錄(所有zookeeper服務節點)

3.3、啟動zookeeper集群服務、啟動hbase集群服務


未完待續....


HADOOP HBASE配置註意事項