本地搭建hadoop叢集--hbase和zookeeper的安裝
zookeeper的安裝
1、解壓tar包
2、修改配置檔案
cd conf
cp -a zoo_sample.cfg zoo.cfg
vim zoo.cfg
配置 dataDir=/opt/module/zookeeper-3.4.12/data
以及在文字的最後貼上
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.4=slave3:2888:3888
3、建立myid檔案
進入zookeeper目錄
mkdir data
touch myid
你的當前機器 再上圖鍾配置的幾檔案裡就寫幾
例如你的master這臺機器 屬於server.1 則 myid檔案就寫1不要有空行回車等操作符
4 、配置環境變數
將zookeeper 的 目錄配置到 /etc/profile中
分發檔案及環境變數
source /etc/profile
生效環境變數
5、使用指令碼將叢集所有機器的zkServer啟動起來
zkServer.sh start
6、檢視狀態
zkServer.sh status
可以檢視到 follow 和 master
Hbase的安裝
1、解壓tar包
2、修改配置檔案
cd conf/
vim hbase-env.sh
設定java_home
如果你的jdk是1.8 則注掉以下配置
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"不使用hbase自帶的zookeeper
export HBASE_MANAGES_ZK=false
修改hbase-site.xml檔案
1）檔案分散式系統地址，建議看一下hadoop下site配置的地址是啥在填寫，埠不正確一定啟動不了的。我的是9000埠
2）是否使用完全分散式：true
3）配置節點
4）設定zookeeper的data目錄
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98 後的新變動，之前版本沒有.port,預設埠為 60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.4.12/data</value>
</property>
</configuration>
3、ln -s 的方式將hadoop下的配置檔案
core-site.xml 和hdfs-site.xml 軟連線 連線到 hbase的conf下
vim regionservers
salve1
slave2
slave3
上面的檔案就像配置 hadoop slaves檔案一樣。
4、移除hbase下所有hadoop開頭的jar包
rm -rf hadoop*.jar
5.、把hadoop share 下 所有jar、copy出來匯入到 hbase 下 lib目錄
6、分發檔案
7、啟動start-hbase.sh 檔案
jps 檢視 各個機器
主節點 是 HMaster 從節點 是HRegionServer