1. 程式人生 > >hadoop叢集搭建三: hbase分散式叢集搭建

hadoop叢集搭建三: hbase分散式叢集搭建

需求:在三臺主機上搭建hbase分散式叢集
版本:
hbase-0.98.11-hadoop2
環境jdk1.8
主要角色

txynebo1  master, zookeeper,  regionserver
txynebo2  master, zookeeper  ,regionserver
txynebo3                  zookeeper  ,regionserver

1.hbase叢集安裝配置

1)上傳軟體安裝包 ,解壓,建立軟連結,配置環境變數 
2)配置檔案修改 目錄: hbase的conf目錄

編輯regionservers
txynebo1
txynebo2
txynebo3
新建backup-masters(設定master備份節點這裡我設定txynebo2)
txynebo2
hbase-site.xml

<configuration>
<property>
<name>hbase.zookeeper.quorum</name>
<value>txynebo1,txynebo2,txynebo3</value><!—指定ZooKeeper叢集位置>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/data/zookeeper</value><!—Zookeeper寫資料目錄(與ZooKeeper叢集上配置相一致)>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value><!—Zookeeper的埠號>
</property>
        <property>
<name>hbase.rootdir</name>
<value>hdfs://cluster1/hbase</value><!—RegionServers 共享目錄,這裡的cluster1引數與前一篇文章中hdfs高可用配置中的引數相同>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value><!—開啟分散式模式>
</property>
<property>
<name>hbase.master</name>
<value>60000</value><!—指定Hbase的master的位置如果只設置單個 Hmaster,那麼 hbase.master 屬性引數需要設定為 master5:60000 (主機名:60000)如果要設定多個 Hmaster,那麼我們只需要提供埠 60000,因為選擇真正的 master 的事情會有 zookeeper 去處理>
</property>
</configuration>

配置這個hbase.rootdir屬性的時候,
需要將hdfs的core-site.xml和hdfs-site.xml兩個配置檔案copy到hbase的conf或者lib目錄下,否則regionserver不能識別cluster1邏輯名稱
hbase-env.sh
這個檔案配置兩個屬性:

#配置jdk安裝路徑

export JAVA_HOME=/home/hadoop/app/jdk

#使用獨立的Zookeeper叢集

    export HBASE_MANAGES_ZK=false

然後配置環境變數:

JAVA_HOME=/home/hadoop/app/jdk
HADOOP_HOME=/home/hadoop/app/hadoop
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
STORM_HOME=/home/hadoop/app/storm
GIT_HOME=/home/hadoop/app/git
MAVEN_HOME=/home/hadoop/app/maven
SPARK_HOME=/home/hadoop/app/spark
HBASE_HOME=/home/hadoop/app/hbase
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:/home/hadoop/tools:$STORM_HOME/bin:$GIT_HOME/bin:$MAVEN_HOME/bin:$HBASE_HOME/bin:$PATH
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
export JAVA_HOME CLASSPATH PATH HADOOP_HOME  ZOOKEEPER_HOME STORM_HOME GIT_HOME  MAVEN_HOME HBASE_HOME
上面是我所有的環境變數,根據需要配置hbase有關的部分即可 。

分發到別的節點:

scp -r hbase-xxxxx  [email protected]:/home/hadoop/app/
scp -r hbase-xxxxx  [email protected]:/home/hadoop/app/

然後bin/start-hbase.sh 啟動hbase(這裡注意在哪個節點啟動hbase 。會預設哪個是master)

jps命令看到
[[email protected] logs]$ jps
2289 DataNode
2595 JournalNode
2551 Jps
2727 DFSZKFailoverController
18649 HMaster
2793 ResourceManager
18778 HRegionServer
2187 NameNode
12509 QuorumPeerMain

[[email protected]_nebo2 logs]$ jps
16224 Jps
4642 JournalNode
4344 NameNode
6024 NodeManager
14378 HRegionServer
4716 DFSZKFailoverController
14477 HMaster
4542 DataNode
25054 QuorumPeerMain
6158 ResourceManager
[[email protected]_nebo3 hbase]$ jps
25329 QuorumPeerMain
4628 DataNode
11621 HRegionServer
5514 NodeManager
2671 JournalNode
11503 Jps
[[email protected]_nebo3 hbase]$
則程序啟動成功

p:啟動hbase要先啟動zookeeper與hdfs服務
然後訪問webui
主節點
這裡寫圖片描述

備用節點
這裡寫圖片描述

至此hbase分散式叢集配置完成 (如果發現webui無法正常訪問。可以分析日誌檢視原因 。)

相關推薦

hadoop叢集搭建 hbase分散式叢集搭建

需求:在三臺主機上搭建hbase分散式叢集 版本: hbase-0.98.11-hadoop2 環境jdk1.8 主要角色 txynebo1 master, zookeeper, regionserver txynebo2 master, zo

部署Hadoop環境(四)HBase分散式叢集部署與設計

HBase是一個高可靠、高效能、面向列、可伸縮的分散式儲存系統,利用Hbase技術可在廉價PC Server上搭建 大規模結構化儲存叢集。 HBase 是Google Bigtable 的開源實現,與Google Bigtable 利用GFS作為其檔案儲存系統類似, HBase 利用Hado

hadoop(十二)hbase資料庫+叢集搭建+Api

HBASE表結構: 建表時,不需要限定表中的欄位,只需要指定若干個列族 插入資料時,列族中可以儲存任意多個列(KV,列名&列值) 要查詢某一列具體欄位的值,需要指定的座標:列名--->行健--->列族:列名--->版本   hbase的存

HBase分散式叢集搭建Hbase內建zookeeper) 粗略筆記

hbase和hadoop一樣也分為單機版、偽分散式版和完全分散式叢集版本。 這裡記錄分散式叢集搭建(注:沒有安裝獨立的zookeeper,使用了hbase自帶的zookeeper。)

Linux 系列()——Redis 分散式叢集搭建

       在一文中詳細介紹了在Linux環境中搭建Redis服務,本文將介紹關於Redis分散式 叢集搭建細節。 一、Redis叢集架構 1、Redis叢集架構圖 藍色的為Redis叢集中

HBase 分散式叢集搭建

1、解壓HBase 2、修改hbase-env.sh # #/** # * Licensed to the Apache Software Foundation (ASF) under one # * or more contributor license agreements. Se

hadoop初識之搭建hadoop環境(配置HDFS,Yarn及mapreduce 執行在yarn)上及種執行模式(本地模式,偽分散式分散式介)

--===============安裝jdk(解壓版)================== --root 使用者登入 --建立檔案層級目錄    /opt下分別 建 modules/softwares/datas/tools 資料夾 --檢視是否安裝jdk    rpm -

CentOS7搭建Hadoop2.6完全分散式叢集環境

3臺主機 192.168.30.207 Master 192.168.30.251 Node1 192.168.30.252 Node2 直接用root裝,省事. 有特殊需求自行add user裝. 以下步驟除非特殊說明,否則每臺都必須配置. 1.rpm -ivh XX

搭建Elasticsearch 5.4分散式叢集

一、叢集角色 多機叢集中的節點可以分為master nodes和data nodes,在配置檔案中使用Zen發現(Zen discovery)機制來管理不同節點。Zen發現是ES自帶的預設發現機制,使用多播發現其它節點。只要啟動一個新的ES節點並設定和叢集相同的名稱這個節點

Spark程式設計指南之四Spark分散式叢集模式的執行時系統架構

文章目錄 官方叢集模式介紹 Cluster Manager有哪些? Standalone Apache Mesos Hadoop YARN Kubernetes Standalone模

CentOS7.5搭建Flink1.6.1分散式叢集

轉發自:https://www.cnblogs.com/frankdeng/p/9400627.html 一. Flink的下載 安裝包下載地址:http://flink.apache.org/downloads.html  ,選擇對應Hadoop的Flink版本下載

Hadoop 2.7.0在centos7分散式叢集上的部署與測試

Author: Wingter Wu 1 環境說明 VitualBox 5.0.24 CentOS-7-x86_64-Minimal-1611:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_6

一張圖講解最少機器搭建FastDFS高可用分散式叢集安裝說明

 很幸運參與零售雲快消平臺的公有云搭建及孵化專案。零售雲快消平臺源於零售雲家電3C平臺私有專案,是與公司業務強耦合的。為了適用於全場景全品類平臺,集團要求專案平臺化,我們搶先並承擔了此任務。並由我來主要負責平臺建設及專案落地。  今天講解在零售雲快消平臺中使用的圖片服務FastDFS叢集搭建說明,此叢集模式是

vue學習筆記()vue-cli腳手架搭建

node log ins 版本 返回 ges 技術分享 安裝webpack webp 一:安裝vue-cli腳手架: 1:為了確保你的node版本在4.*以上,輸入 node -v 查看本機node版本,低於4請更新。 2:輸入: npm install -g vue-c

SQL Server Alwayson搭建SQL服務器配置

數據庫 SQL Server 安裝.NET Framework 3.5/4.0 IP配置sql01sql02 安裝SQL Server 2014,選擇混合認證模式,設置sa密碼 服務器加域,成功後選擇重啟服務器 使用dcadmin登錄服務器,修改sqlserver服務帳號 關閉服務器防火墻至此,SQL

HBase Shell命令

建立表 createcreate ‘tablename’,‘column family1’,‘column family2’ create ‘wc’,‘cf’ 新增記錄 putput ‘tablename’,‘row key’,‘column family:column name’,‘v

SpringBoot成長之路使用spring Cloud 搭建服務(client)

首先 我們需要進行專案(eureka客戶端)的搭建,實際上就是建造一個spring boot專案。 注意要點 1: pom檔案裡面還是初始的那些,但是 這個節點的版本號需要改成適應的,我這裡使用的是1.5.14的版本得,但是預設建立專案是2.0.X版本得,如果引入了

hbase分散式系統搭建

節點規劃: node01 node02 node03 node04 node05 namenode1 * namemode2 * datanode * * * journalnode * * * zkfc * * zk * * * r

訓練hbase安裝部署

1 下載HBase安裝包hbase-2.0.0-bin.tar.gztar -zxf hbase-2.0.0-bin.tar.gz然後將其移動到/home/hadoop/tools/資料夾下2 設定環境變數2.1. 修改系統環境變數sudo vim /etc/profilee

大資料環境搭建之Kafka完全分散式環境搭建步驟詳解

文章目錄 環境準備 解壓安裝 配置檔案 服務啟動 1、啟動分散式叢集的zookeeper 2、啟動Kafka服務 偽分散式搭建完畢之後,只要稍作修改就