1. 程式人生 > >hadoop hbase分散式安裝配置

hadoop hbase分散式安裝配置

   本案例是在centos6.5上安裝好hadoop2.6.4叢集環境基礎上進行的Hbase1.2.6分散式安裝,hadoop分散式安裝請參考《Apache Hadoop 分散式叢集環境安裝配置詳細步驟

解壓安裝:

在Master機器上進行操作:

進入檔案所在目錄:     #    cd /home/hadoop/下載

#    tar -zxf hbase-1.2.6-bin.tar.gz -C /usr/local       #解壓並複製到目錄

#    mv /usr/local/hbase-1.2.6 /usr/local/hbase        #更改資料夾名稱

為使用者給資料夾賦值:  #    cd /usr/local

#    chown -R Hadoop ./hbase

配置環境變數:

#    vi ~/.bashrc

如果沒有引入過PATH,則新增:

#    export PATH=$PATH:/usr/local/hbase/bin

如果引入過,則追加:

重新載入檔案:      #    source ~/.bashrc

版本驗證: #    /usr/local/hbase/bin/hbase version

Hbase配置:

#    vi /usr/local/hbase/conf/hbase-env.sh (分散式安裝一般用重新安裝的zookeeper,不用自帶的)

#    vi /usr/local/hbase/conf/regionservers

去掉localhost,新增Master、Slave1、Slave2

複製 hbase-default.xml 為 hbase-site.xml 並修改配置

關於優化(可略過)修改Hadoop hdfs-site.xml

注意其它的datanode也要進行修改

新增如下內容:

<property>

<name>dfs.datanode.max.xcievers</name>

<value>4096</value>

</property>

原因:

該引數限制了datanode所允許同時執行的傳送和接受任務的數量,預設為256,hadoop-defaults.xml中通常不設定這個引數。這個限制看來實際有些偏小,高負載下,DFSClient在put資料的時候會報could not read from stream的Exception

儲存後把hbase分發到其他節點相應位置:

# scp –r /usr/local/hbase [email protected]:/usr/local/

# scp –r /usr/local/hbase [email protected]:/usr/local/

啟動:hbase是基於hadoop,

啟動zookeeper——啟動hadoop——啟動hbase

# start-hbase.sh

包衝突問題:

解決後重啟啟動,進入shell

至此,基於hadoop的hbase分散式安裝完成…

相關推薦

hadoop hbase分散式安裝配置

   本案例是在centos6.5上安裝好hadoop2.6.4叢集環境基礎上進行的Hbase1.2.6分散式安裝,hadoop分散式安裝請參考《Apache Hadoop 分散式叢集環境安裝配置詳細步驟》 解壓安裝: 在Master機器上進行操作: 進入檔案所在目

[Hadoop]Hadoop+HBase分散式安裝配置

(一)hadoop偽分散式的配置:        這個也可以參考《hadoop權威指南》上面寫的很全面,這裡再說一遍:   我的機器配置環境:        OS:Ubuntu10.10  ,hadoop版本:hadoop-0.20.2(下載網址: http://apache.etoak.com//

CentOS7環境下偽分散式安裝配置hadoop

(一) 設定靜態IP地址 cd /etc/sysconfig/network-scripts vim ifcfg-ens33 修改IPADDR,NETMASK,GATEWAY為對應的值 修改BOOTPROTO為none 儲存並退出 重啟網絡卡 servi

Hadoop 2.7 偽分散式安裝配置 Error: JAVA_HOME is not set and could not be found.

問題: 如果你明明安裝配置了 JAVA_HOME 卻還是報錯 如果遇到 Error: JAVA_HOME is not set and could not be found. 的錯誤,而你明

HBase單機/偽分散式安裝/配置筆記

一、單機模式安裝 在官網下載hbase 解壓到任一目錄下 修改hbase配置檔案 修改conf目錄下hbase-env.sh:設定JAVA_HOME環境變數 修改conf目錄下hbase-

Hadoop單機版安裝配置

大數據 Hadoop [toc] Hadoop單機版安裝配置 前言 Hadoop單機版本的環境搭建比較簡單,這裏總結一下。 Centos基本配置 網絡配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202

Hadoop完全分散式安裝Hive

   編譯安裝 Hive 如果需要直接安裝 Hive,可以跳過編譯步驟,從 Hive 的官網下載編譯好的安裝包,下載地址為http://hive.apache.org/downloads.html。 Hive的環境配置需要MySQL的支援,所以首先需要安裝MySQL,

Hadoop完全分散式安裝zookeeper

D.1安裝 ZooKeeper D.1.1 下載 ZooKeeper ZooKeeper 是 Apache 基金會的一個開源、分散式應用程式協調服務,是 Google 的 Chubby一個開源的實現。它是一個為分散式應用提供一致性服務的軟體,提供的功能包括配置維護、域名服務、分散式同步、

Hadoop HA的安裝配置

一,HA的架構 Hadoop HA 即Hadoop的高可用,不同於普通的namenode+second namenode的模式,second namenode只能作為namenode的冷備份,當namenode掛掉後,second namenode不能自動充當namenode的角色。所以為了保證高可

Hadoop完全分散式安裝2

hadoop簡介:     1.獨立模式(standalone|local)單機模式;所有的產品都安裝在一臺機器上且本地磁碟和副本可以在接下來的xml檔案中         nothing!  &

HBASE安裝配置啟動

一、HBase介紹 HBase是一個分散式的、面向列的開源資料庫,源於Google的一篇論文《BigTable:一個結構化資料的分散式儲存系統》。HBase以表的形式儲存資料,表有行和列組成,列劃分為若干個列族/列簇(column family)。欲瞭解HBase的官方資訊,請訪問[HBase官方

hadoop 完全分散式安裝

  一個完全的hadoop分散式安裝至少需要3個zookeeper,3個journalnode,3個datanode,2個namenode組成。 也就是說需要11個節點,但是我雲主機有限,只有3個,所以把很多節點搭在了同一個伺服器上。   步驟: 1.關閉防火牆 service

hadoop分散式安裝

0. 關閉防火牆 重啟後失效 service iptables start ;#立即開啟防火牆,但是重啟後失效。 service iptables stop ;#立即關閉防火牆,但是重啟後失效。 重啟後生效 chkconfig iptables on ;#開啟防火牆,重啟後生效 chkconfig

hbase 叢集安裝配置

2012-06-07 http://abloz.com date:2012.6.7 有了hadoop叢集安裝的經驗,hbase的安裝還是比較簡單的。 拓撲還是同hadoop一樣,HBase Master為hadoop48,

hadoop+Zookeeper叢集安裝配置高可用-HadoopHA

1、請看:https://blog.csdn.net/sunxiaoju/article/details/85222290,此處只是配置系統的:硬體配置以及作業系統、節點需要安裝的工具、安裝JDK環境、建立hadoop使用者、建立ssh無密碼登入本機前五部分,第6部分的hadoop安裝在此博文中

Storm偽分散式安裝配置

storm安裝配置前的準備工作:1.安裝Zookeeper。                                            2.上傳apache-storm-1.0.3.tar.gz安裝包到linux系統目錄下,我的是/tools(WinScp上傳)一

hadoop & hbase 叢集安裝&啟動常見問題解決

[每個人心裡,都有那麼點小黑暗。它有你想象不到的好,還有你想象不到的惡——烈日灼心] 常見問題: 1. [hadoop]ssh: connect to host localhost port 22: Connection refused 原因:

hbase安裝配置

環境及版本: Centos7 (64位) JDK(1.8) hadoop(3.1) hbase(2.0.0) 為了避免版本導致的怪異問題,請多多注意! 在已經裝好jdk和hadoop之後裝hbase,此hadoop和hbase為分散式的 1.解壓hbase2.0.0 2./bin/hbase-

Spark2.0.1偽分散式安裝配置

前言.Spark簡介和hadoop的區別 Spark 是一種與 Hadoop 相似的開源叢集計算環境,但是兩者之間還存在一些不同之處,Spark 啟用了記憶體分佈資料集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。 1.架構不同。 Hadoop是對

hadoop叢集-linux安裝配置-基礎配置(二)

多臺虛擬機器–標配 內容 linux 基礎配置 多臺虛擬機器標配 hadoop安裝配置+叢集 zookeeper高可用配置 1.多臺虛擬機器–標配 1.1. 建立虛擬機器 趕緊要看