hadoop hbase分散式安裝配置
本案例是在centos6.5上安裝好hadoop2.6.4叢集環境基礎上進行的Hbase1.2.6分散式安裝,hadoop分散式安裝請參考《Apache Hadoop 分散式叢集環境安裝配置詳細步驟》
解壓安裝:
在Master機器上進行操作:
進入檔案所在目錄: # cd /home/hadoop/下載
# tar -zxf hbase-1.2.6-bin.tar.gz -C /usr/local #解壓並複製到目錄
# mv /usr/local/hbase-1.2.6 /usr/local/hbase #更改資料夾名稱
為使用者給資料夾賦值: # cd /usr/local
# chown -R Hadoop ./hbase
配置環境變數:
# vi ~/.bashrc
如果沒有引入過PATH,則新增:
# export PATH=$PATH:/usr/local/hbase/bin
如果引入過,則追加:
重新載入檔案: # source ~/.bashrc
版本驗證: # /usr/local/hbase/bin/hbase version
Hbase配置:
# vi /usr/local/hbase/conf/hbase-env.sh (分散式安裝一般用重新安裝的zookeeper,不用自帶的)
# vi /usr/local/hbase/conf/regionservers
去掉localhost,新增Master、Slave1、Slave2
複製 hbase-default.xml 為 hbase-site.xml 並修改配置
關於優化(可略過)修改Hadoop hdfs-site.xml
注意其它的datanode也要進行修改
新增如下內容:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
原因:
該引數限制了datanode所允許同時執行的傳送和接受任務的數量,預設為256,hadoop-defaults.xml中通常不設定這個引數。這個限制看來實際有些偏小,高負載下,DFSClient在put資料的時候會報could not read from stream的Exception
儲存後把hbase分發到其他節點相應位置:
# scp –r /usr/local/hbase [email protected]:/usr/local/
# scp –r /usr/local/hbase [email protected]:/usr/local/
啟動:hbase是基於hadoop,
啟動zookeeper——啟動hadoop——啟動hbase
# start-hbase.sh
包衝突問題:
解決後重啟啟動,進入shell
至此,基於hadoop的hbase分散式安裝完成…
相關推薦
hadoop hbase分散式安裝配置
本案例是在centos6.5上安裝好hadoop2.6.4叢集環境基礎上進行的Hbase1.2.6分散式安裝,hadoop分散式安裝請參考《Apache Hadoop 分散式叢集環境安裝配置詳細步驟》 解壓安裝: 在Master機器上進行操作: 進入檔案所在目
[Hadoop]Hadoop+HBase 偽分散式安裝配置
(一)hadoop偽分散式的配置: 這個也可以參考《hadoop權威指南》上面寫的很全面,這裡再說一遍: 我的機器配置環境: OS:Ubuntu10.10 ,hadoop版本:hadoop-0.20.2(下載網址: http://apache.etoak.com//
CentOS7環境下偽分散式安裝配置hadoop
(一) 設定靜態IP地址 cd /etc/sysconfig/network-scripts vim ifcfg-ens33 修改IPADDR,NETMASK,GATEWAY為對應的值 修改BOOTPROTO為none 儲存並退出 重啟網絡卡 servi
Hadoop 2.7 偽分散式安裝配置 Error: JAVA_HOME is not set and could not be found.
問題: 如果你明明安裝配置了 JAVA_HOME 卻還是報錯 如果遇到 Error: JAVA_HOME is not set and could not be found. 的錯誤,而你明
HBase單機/偽分散式安裝/配置筆記
一、單機模式安裝 在官網下載hbase 解壓到任一目錄下 修改hbase配置檔案 修改conf目錄下hbase-env.sh:設定JAVA_HOME環境變數 修改conf目錄下hbase-
Hadoop單機版安裝配置
大數據 Hadoop [toc] Hadoop單機版安裝配置 前言 Hadoop單機版本的環境搭建比較簡單,這裏總結一下。 Centos基本配置 網絡配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202
Hadoop完全分散式安裝Hive
編譯安裝 Hive 如果需要直接安裝 Hive,可以跳過編譯步驟,從 Hive 的官網下載編譯好的安裝包,下載地址為http://hive.apache.org/downloads.html。 Hive的環境配置需要MySQL的支援,所以首先需要安裝MySQL,
Hadoop完全分散式安裝zookeeper
D.1安裝 ZooKeeper D.1.1 下載 ZooKeeper ZooKeeper 是 Apache 基金會的一個開源、分散式應用程式協調服務,是 Google 的 Chubby一個開源的實現。它是一個為分散式應用提供一致性服務的軟體,提供的功能包括配置維護、域名服務、分散式同步、
Hadoop HA的安裝配置
一,HA的架構 Hadoop HA 即Hadoop的高可用,不同於普通的namenode+second namenode的模式,second namenode只能作為namenode的冷備份,當namenode掛掉後,second namenode不能自動充當namenode的角色。所以為了保證高可
Hadoop完全分散式安裝2
hadoop簡介: 1.獨立模式(standalone|local)單機模式;所有的產品都安裝在一臺機器上且本地磁碟和副本可以在接下來的xml檔案中 nothing! &
HBASE的安裝配置啟動
一、HBase介紹 HBase是一個分散式的、面向列的開源資料庫,源於Google的一篇論文《BigTable:一個結構化資料的分散式儲存系統》。HBase以表的形式儲存資料,表有行和列組成,列劃分為若干個列族/列簇(column family)。欲瞭解HBase的官方資訊,請訪問[HBase官方
hadoop 完全分散式安裝
一個完全的hadoop分散式安裝至少需要3個zookeeper,3個journalnode,3個datanode,2個namenode組成。 也就是說需要11個節點,但是我雲主機有限,只有3個,所以把很多節點搭在了同一個伺服器上。 步驟: 1.關閉防火牆 service
hadoop 偽分散式安裝
0. 關閉防火牆 重啟後失效 service iptables start ;#立即開啟防火牆,但是重啟後失效。 service iptables stop ;#立即關閉防火牆,但是重啟後失效。 重啟後生效 chkconfig iptables on ;#開啟防火牆,重啟後生效 chkconfig
hbase 叢集安裝配置
2012-06-07 http://abloz.com date:2012.6.7 有了hadoop叢集安裝的經驗,hbase的安裝還是比較簡單的。 拓撲還是同hadoop一樣,HBase Master為hadoop48,
hadoop+Zookeeper叢集安裝配置高可用-HadoopHA
1、請看:https://blog.csdn.net/sunxiaoju/article/details/85222290,此處只是配置系統的:硬體配置以及作業系統、節點需要安裝的工具、安裝JDK環境、建立hadoop使用者、建立ssh無密碼登入本機前五部分,第6部分的hadoop安裝在此博文中
Storm偽分散式安裝配置
storm安裝配置前的準備工作:1.安裝Zookeeper。 2.上傳apache-storm-1.0.3.tar.gz安裝包到linux系統目錄下,我的是/tools(WinScp上傳)一
hadoop & hbase 叢集安裝&啟動常見問題解決
[每個人心裡,都有那麼點小黑暗。它有你想象不到的好,還有你想象不到的惡——烈日灼心] 常見問題: 1. [hadoop]ssh: connect to host localhost port 22: Connection refused 原因:
hbase的安裝配置
環境及版本: Centos7 (64位) JDK(1.8) hadoop(3.1) hbase(2.0.0) 為了避免版本導致的怪異問題,請多多注意! 在已經裝好jdk和hadoop之後裝hbase,此hadoop和hbase為分散式的 1.解壓hbase2.0.0 2./bin/hbase-
Spark2.0.1偽分散式安裝配置
前言.Spark簡介和hadoop的區別 Spark 是一種與 Hadoop 相似的開源叢集計算環境,但是兩者之間還存在一些不同之處,Spark 啟用了記憶體分佈資料集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。 1.架構不同。 Hadoop是對
hadoop叢集-linux安裝配置-基礎配置(二)
多臺虛擬機器–標配 內容 linux 基礎配置 多臺虛擬機器標配 hadoop安裝配置+叢集 zookeeper高可用配置 1.多臺虛擬機器–標配 1.1. 建立虛擬機器 趕緊要看