1. 程式人生 > >Hadoop搭建HBase的方法和步驟--完全分散式

Hadoop搭建HBase的方法和步驟--完全分散式

HBase資料庫
-----------------------------


               1.Hbase是在HDFS上面向列的分散式的資料庫;
                            HBase首先是資料庫,分散式的,面向列的,<首選在HDFS基礎上>;
                            Google釋出三篇論文:GFS、MapReduce、BigTable開啟分散式儲存和計算的紀元;
                            hdfs+MapRedece(Hadoop)解決離線分析;HBase解決實時處理業務需求;
               2.HBase不是關係型資料庫,它不支援SQL;
               3.列簇(Column family):
                        物理上,列簇儲存在檔案系統中,面向列簇的儲存器;
                        建立table時,必須制定列簇,列簇的中列可隨時增加;
                        針對調優和儲存考慮,需將列簇成員設定成相同的訪問許可權和大小特徵;

安裝步驟: --完全分散式搭建

                  a.下載Hbase版本:
                                說明:HBase版本選型為:1.3.1版本【hbase-1.3.1-bin.tar.gz】
                 b.解壓HBase:
                               $>tar -zxvf hbase-1.3.1-bin.tar.gz
                               $>ln -s hbase-1.3.1/ hbase
                 c.設定環境變數:
                              【~/.bash_profile】中追加一下命令:
         

  【gedit  .bash_profile】
        
        #hbase install
        export HBASE_HOME=/home/hyxy/soft/hbase
        export PATH=$HBASE_HOME/bin:$PATH

 
                d.修改HBase配置檔案
                           【hbase-env.sh】
                             export JAVA_HOEM=/home/hyxy/soft/jdk     //jdk版本需要在1.7以上
                           【hbase-site.xml】
      

     【hbase-site.xml】
             <property >
                  <name>hbase.tmp.dir</name>
                  <value>/home/hyxy/tmp/hbase</value>
             </property>
             <property >
                  <name>hbase.rootdir</name>
                  <value>hdfs://mycluster/hbase</value>  //在HDFS上會出現hbase,即 
                                                         master:50070
             </property>
             <property >
		          <name>hbase.cluster.distributed</name>
		          <value>true</value>  //是否叢集分散式
	         </property>
	         <property>
		         <name>hbase.zookeeper.quorum</name>
		         <value>master,slave1,slave2</value>  //zookeeper的journalnode
             </property>
             <property>
		           <name>hbase.zookeeper.property.dataDir</name>
		           <value>/home/hyxy/tmp/zookeeper</value> 
          //尋找的是自己配的zookeeper服務,不用自帶的zookeeper
	        </property>


                  還有:修改  ~/soft/hbase/conf/的   regionservers
                             $>gedit  regionservers
                             添加里面的內容:【三個節點的主機名】
                                                           master
                                                           slave1
                                                           slave2


              e.分發至所有節點
                         $>scp -r  ~/soft/hbase-1.3.1/ [email protected]:~/soft/
                         $>scp -r  ~/soft/hbase-1.3.1/ [email protected]:~/soft/

             f.建立軟連線,
                           $>ln -s hbase-1.3.1/ hbase
             g.修改環境變數
                      #hbase install
                      export HBASE_HOME=/home/hyxy/soft/hbase
                      export PATH=$HBASE_HOME/bin:$PATH

            I.  修改配置項:三個節點都需要修改
                     1).將hadoop的hdfs-site.xmlcore-site.xml拷貝至{HBASE_HOME/conf/}路徑下【~/soft/hbase/conf】;
                               原因:hbase shell 進去之後,status之後,會報mycluster正在初始化,是因為hbase-site.xml
                                          定義的hdfs://mycluster/hbase找不到對應的mycluster.
                               另一種解決:或者將hdfs-site.xml和core-site.xml的屬性項都新增到hbase-site.xml中也行。
                      2).修改hbase-env.sh檔案的{export HBASE_MANAGES_ZK=false}
                               原因:主要是是為了開啟HBase中的zookeeper,不用它自帶的zookeeper,而用
                                          我們配置的zookeeper。

           J.開啟服務:
                      $>zkServer.sh start  //在Zk叢集節點上執行 
                      $>start-dfs.sh
                     $>start-hbase.sh

          K. 測試: 
                       $>hbase shell 
                                 status     //檢視狀態


     注意:開啟HBase服務之前必須要保證zookeeper服務好使,它是輔助HBase的。

相關推薦

Hadoop搭建HBase方法步驟--完全分散式

HBase資料庫 -----------------------------                1.Hbase是在HDFS上面向列的分散式的資料庫;                             HBase首先是資料庫,分散式的,面向列的,<首

獨立模式、偽分佈模式、hbasehadoop HA(高可用)完全分散式模式。整合配置

一、獨立模式: 1.下載hbase檔案 略 2.tar開 略 3.配置環境變數 略 4.修改配置檔案 在hbase安裝目錄下: //配置jdk路徑 [/conf/hbase-env.sh] export JAVA_HOME=/zdq/jdk //配置hbas

Hadoop叢集搭建(詳細步驟)—完全分散式執行模式

分析: 1)準備3臺客戶機(關閉防火牆、靜態ip、主機名稱) 2)安裝jdk 3)配置環境變數 4)安裝hadoop 5)配置環境變數 6)配置叢集 7)單點啟動 8)配置ssh 9)群起並測試叢集 一、虛擬機器準備 詳見: 二、編寫叢集分

Hadoop筆記之六——Hadoop2.x 完全分散式搭建

1、準備伺服器,並規劃伺服器角色     3臺 虛擬機器Linux     s-hadoop01.lele.com   4G 記憶體 40G (機子配置較差 1G) NameNode  ResourceManager   DataNode  NodeManager     

centos7下搭建hadoophbase、hive、spark分散式系統架構

全棧工程師開發手冊 (作者:欒鵬) 在使用前建議先將當前使用者設定為root使用者。參考https://blog.csdn.net/luanpeng825485697/article/details/80278383中修改使用者許可權的第三種方法。有了

cpan安裝perl module的方法步驟(備忘帖)

roo for lora pre permanent help base -i rmi 適用場景:不具備root權限且沒有sudo權限的普通用戶安裝perl module安裝步驟:1)刪除/.cpan/.lockrm -rf /home/users/.cpan/.lock2

服務器怎麽導入安全策略的方法步驟,不管是美國 香港還是站群服務器都一樣

登陸 香港 到你 spa 安全策略 雲服務器 服務器 都在 win 現在很多客戶都在問我怎麽導入安全策略,就給大家分享下方法。 服務器怎麽導入安全策略的方法和步驟,不管是美國 香港還是站群服務器都一樣 我就以windows08系統為例給大家寫下步驟,全段時間因為微軟勒索病毒

Centos7安裝ngnix方法步驟

新增資源庫               在 CentOS 系統上安裝 Nginx ,你得先去新增一個資源庫,像這樣:vim /etc/yum.repos.d/nginx.repo     &n

Docker實戰之安裝配置HBase-1.2.2完全分散式叢集

環境配置 VM:VMware Workstation OS:Ubuntu 14.04  LTS HBASE:hbase-1.2.2 HBase叢集規劃 172.17.0.5   hmaster  172.17.0.6&

官網下載JDK1.7的方法步驟

這裡選擇的是jdk-7u80版本 下載地址:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u80-oth-JPR 1.進入到頁面之

matlabc++混合程式設計---matlabvs的環境配置問題及方法步驟(轉載)

matlab和c++混合程式設計---方法和步驟 matlab和c++混合程式設計---matlab和vs的環境配置問題 摘要:Matlab具有很強的數值計算和分析等能力,而C/C++是目前最為流行的高階程式設計語言,兩者互補結合的混合程式設計在科學研究和工程實踐中具有非常重要的意義。從Matlab呼叫C

大資料之四 hadoop HDFS HA 高可用的完全分散式

HDFS HA HA即為High Availability,用於解決NameNode單點故障問題,該特性通過熱備的方式為主NameNode提供一個備用者,一旦主NameNode出現故障,可以迅速切換至備NameNode,從而實現對外提供更穩定的服務 Second

基於Hadoop搭建Hbase叢集

個人備忘 CentOs 7 環境:jdk1.8 + hadoop-2.8.3 + zookeeper-3.4.6 + hbase-1.2.6 有必要就配置下環境變數 [[email protected] hbase]# vim /etc

python爬蟲(3)——python爬取大規模資料的的方法步驟

python爬取大規模資料的的方法和步驟: 一、爬取我們所需要的一線連結 channel_extract.py 這裡的一線連結也就是我們所說的大類連結: from bs4 import BeautifulSoup import requests

hadoophbase、hive、spark分散式系統架構原理

全棧工程師開發手冊 (作者:欒鵬) 機器學習、資料探勘等各種大資料處理都離不開各種開源分散式系統,hadoop使用者分散式儲存和map-reduce計算,spark用於分散式機器學習,hive是分散式資料庫,hbase是分散式kv系統,看似互不相關的他們卻

hadoop 1.2.1 安裝步驟分散式

最近在系統的學習hadoop 課程第一步是安裝hadoop1.x,具體安裝步驟如下: 一、系統安裝 本文使用centos6.5安裝,具體安裝步驟省略 二、jdk安裝 下載jdk1.7.0_51解壓,在環境中 設定環境變數: vi /etc/profile,新增如下行: export JAVA_HOME=/u

Eclipse關聯Git的方法步驟

需求:想在Eclipse中進行Git的管理,提交更新,Push,檔案還原等 解決方案:安裝Eclipse外掛,Egit即可,Egit是Eclipse git的簡稱 操作步驟: 第一步:開啟網頁ht

virtualbox 動態增大虛擬硬碟大小的方法步驟(linux VM)

    我們使用virtualbox時,開始安裝VM虛擬機器的時候,可能為了節省磁碟或者其它原因,總會遇到磁碟空間不夠使用的情況。此時,如果存放虛擬磁碟的空間足夠,我們可以通過動態增加虛擬硬碟空間,以便滿足我們的需求。     大體步驟如下:     a 進入virtual

MVP框架用於實現登入註冊的方法步驟_精簡版原始碼

下面寫一下登入註冊的步驟 1.先搭建一個MVP的框架 2.然後把登入祖冊融入到MVP框架中 4.再把最基本的佈局寫一下 5.然後寫登入的原始碼 6.最後把註冊的原始碼寫一下 這是最基本的步驟,寫的不是很詳細還望大家多多見諒 第一步先把依賴寫一下,這是最重要的 我把我這個專案的依賴給全部複

Linux下Weblogic建立域方法步驟

Weblogic 建立域 以weblogic帳號登入(與建立域目錄相對應賬戶) cd /home/weblogic/bea/weblogic92/common/bin 執行./config.sh進入配置介面。配置步驟如下: 1.Choose between crea