2. 程式人生 > >hadoop +hbase +zookeeper 完全分佈搭建 (版本一)

hadoop +hbase +zookeeper 完全分佈搭建 (版本一)

阿新 • • 發佈：2018-12-26
hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.0又增加了YARN HA


注意：apache提供的hadoop-2.6.0的安裝包是在32位作業系統編譯的，因為hadoop依賴一些C++的本地庫，
所以如果在64位的操作上安裝hadoop-2.6.0就需要重新在64作業系統上重新編譯

一.重新編譯

原因是hadoop-2.6.0.tar.gz安裝包是在32位機器上編譯的，64位的機器載入本地庫.so檔案時出錯，不影響使用。
解決：
1、重新編譯原始碼後將新的lib/native替換到叢集中原來的lib/native
2、修改hadoop-env.sh ，增加
export HADOOP_OPTS="-Djava
.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native" 需要進行編譯準備工作： 0.安裝JDK,使用 java -version  檢視jdk版本，確定JDK版本是64位。 a. 解壓jdk $ tar -xvzf jdk-7u60-linux-x64.tar.gz b. 設定環境變數  vim   /etc/profile export JAVA_HOME=/usr/local/jdk1.7 export HADOOP_HOME=/usr/local/hadoop-2.6.0  export MAVEN_HOME=/opt/apache-maven 
export FINDBUG_HOME=/opt/findbugs-3.0.0  export ANT_HOME=/opt/apache-ant-1.9.4  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin :$MAVEN_HOME/bin:$FINDBUG_HOME/bin:$ANT_HOME/bin (備註：不能換行) c.使配置檔案生效 $ source /etc/profile 1.安裝gcc|gc++   yum install gcc    yum install gcc-c++   驗證
2.安裝Apache-Maven。 tar -zxvf apache-maven-3.2.1.tar.gz 配置環境變數  vim  /etc/profile   export MAVEN_HOME=/opt/apache-maven export PATH=.:PATH:$MAVEN_HOME/bin 驗證： mvn --version 3.安裝Apache-ant(重要). tar -zxvf  apache-ant-1.9.4-bin.tar.gz 配置環境變數  vim   /etc/profile export MAVEN_HOME=/opt/apache-maven  export PATH=$PATH:$MAVEN_HOME/bin 3.安裝protobuf(goole序列化工具) tar -zxvf protobuf-2.5.0.tar.gz ./configuration  make  #編譯 make install 驗證：protoc --version 4.安裝CMake2.6  or newer  安裝 yum install cmake  安裝 yum install openssl-devel  安裝 yum install ncurses-devel 驗證：cmake --version 5.安裝make yum install make 驗證： make --version 6.Hadoop - hadoop-common-project中的pom.xml新增依賴（hadoop-2.2.0需要修改，hadoop2.6.0版本不需要） <dependency> <groupId>org.mortbay.jetty</groupId> <artifactId>jetty-util</artifactId> <scope>test</scope> </dependency> 7.在編譯之前防止 java.lang.OutOfMemoryError: Java heap space   堆疊問題,在centos系統中執行命令： $ export MAVEN_OPTS="-Xms256m -Xmx512m" 8.解壓壓縮包 tar -zxvf hadoop-2.6.0-src.tar.gz  a.執行命令  cd  ${hostname_Local}/hadoop-2.6.0/  目錄下   b.編譯 mvn package -DskipTests -Pdist,native c.編譯好的專案放在  hadoop-2.6.0-src/hadoop-dist/target目錄下。 /root/Downloads/hadoop-2.6.0-src/hadoop-dist/target 即  hadoop-2.6.0就是編譯好的包。 ===================================================================== 編譯日誌： [INFO] --- maven-jar-plugin:2.3.1:jar (default-jar) @ hadoop-dist --- [WARNING] JAR will be empty - no content was marked for inclusion!  [INFO] Building jar: /root/Downloads/hadoop-2.6.0-src/hadoop-dist/target/hadoop-dist-2.6.0.jar [INFO]  [INFO] --- maven-source-plugin:2.1.2:jar-no-fork (hadoop-java-sources) @ hadoop-dist ---  [INFO] No sources in project. Archive not created. [INFO]  [INFO] --- maven-source-plugin:2.1.2:test-jar-no-fork (hadoop-java-sources) @ hadoop-dist ---  [INFO] No sources in project. Archive not created. [INFO]  [INFO] --- maven-site-plugin:3.3:attach-descriptor (attach-descriptor) @ hadoop-dist --- [INFO]  [INFO] --- maven-antrun-plugin:1.7:run (tar) @ hadoop-dist --- [INFO] Executing tasks main: [INFO] Executed tasks [INFO]  [INFO] --- maven-javadoc-plugin:2.8.1:jar (module-javadocs) @ hadoop-dist ---  [INFO] Building jar: /root/Downloads/hadoop-2.6.0-src/hadoop-dist/target/hadoop-dist-2.6.0-javadoc.jar  [INFO] ------------------------------------------------------------------------  [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................. SUCCESS [ 13.582 s]  [INFO] Apache Hadoop Project POM .......................... SUCCESS [ 9.846 s]  [INFO] Apache Hadoop Annotations .......................... SUCCESS [ 24.408 s] [INFO] Apache Hadoop Assemblies ........................... SUCCESS [ 1.967 s]  [INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [ 6.443 s]  [INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [ 20.692 s]  [INFO] Apache Hadoop MiniKDC .............................. SUCCESS [ 14.250 s]  [INFO] Apache Hadoop Auth ................................. SUCCESS [ 23.716 s]  [INFO] Apache Hadoop Auth Examples ........................ SUCCESS [ 13.714 s]  [INFO] Apache Hadoop Common ............................... SUCCESS [08:46 min]  [INFO] Apache Hadoop NFS .................................. SUCCESS [ 47.127 s]  [INFO] Apache Hadoop KMS .................................. SUCCESS [ 48.790 s]  [INFO] Apache Hadoop Common Project ....................... SUCCESS [ 0.316 s]  [INFO] Apache Hadoop HDFS ................................. SUCCESS [14:58 min]  [INFO] Apache Hadoop HttpFS ............................... SUCCESS [11:10 min]  [INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [01:43 min]  [INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [ 27.438 s]  [INFO] Apache Hadoop HDFS Project ......................... SUCCESS [ 0.146 s]  [INFO] hadoop-yarn ........................................ SUCCESS [ 0.165 s]  [INFO] hadoop-yarn-api .................................... SUCCESS [07:03 min]  [INFO] hadoop-yarn-common ................................. SUCCESS [03:31 min]  [INFO] hadoop-yarn-server ................................. SUCCESS [ 0.827 s]  [INFO] hadoop-yarn-server-common .......................... SUCCESS [01:11 min]  [INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [02:25 min]  [INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [ 17.129 s]  [INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [ 39.350 s]  [INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [01:44 min]  [INFO] hadoop-yarn-server-tests ........................... SUCCESS [ 32.941 s]  [INFO] hadoop-yarn-client ................................. SUCCESS [ 44.664 s]  [INFO] hadoop-yarn-applications ........................... SUCCESS [ 0.197 s]  [INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [ 15.165 s]  [INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [ 9.604 s]  [INFO] hadoop-yarn-site ................................... SUCCESS [ 0.149 s]  [INFO] hadoop-yarn-registry ............................... SUCCESS [ 31.971 s]  [INFO] hadoop-yarn-project ................................ SUCCESS [ 22.195 s]  [INFO] hadoop-mapreduce-client ............................ SUCCESS [ 0.673 s]  [INFO] hadoop-mapreduce-client-core ....................... SUCCESS [02:08 min]  [INFO] hadoop-mapreduce-client-common ..................... SUCCESS [01:38 min]  [INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [ 24.796 s]  [INFO] hadoop-mapreduce-client-app ........................ SUCCESS [01:02 min]  [INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [ 43.043 s]  [INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [01:09 min]  [INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [ 9.662 s]  [INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [ 40.439 s]  [INFO] hadoop-mapreduce ................................... SUCCESS [ 13.894 s]  [INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [ 32.797 s]  [INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [01:00 min]  [INFO] Apache Hadoop Archives ............................. SUCCESS [ 11.333 s]  [INFO] Apache Hadoop Rumen ................................ SUCCESS [ 35.122 s]  [INFO] Apache Hadoop Gridmix .............................. SUCCESS [ 22.939 s]  [INFO] Apache Hadoop Data Join ............................ SUCCESS [ 17.568 s]  [INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [ 12.339 s]  [INFO] Apache Hadoop Extras ............................... SUCCESS [ 18.325 s]  [INFO] Apache Hadoop Pipes ................................ SUCCESS [ 27.889 s]  [INFO] Apache Hadoop OpenStack support .................... SUCCESS [ 30.148 s]  [INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [01:28 min]  [INFO] Apache Hadoop Client ............................... SUCCESS [ 25.086 s]  [INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [ 0.657 s]  [INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [ 25.302 s]  [INFO] Apache Hadoop Tools Dist ........................... SUCCESS [ 23.268 s]  [INFO] Apache Hadoop Tools ................................ SUCCESS [ 0.156 s]  [INFO] Apache Hadoop Distribution ......................... SUCCESS [01:06 min]  [INFO] ------------------------------------------------------------------------  [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------  [INFO] Total time: 01:17 h [INFO] Finished at: 2014-12-29T20:45:54-08:00  [INFO] Final Memory: 94M/193M [INFO] ------------------------------------------------------------------------  [[email protected] hadoop-2.6.0-src]#

二.hadoop + hbase +zookeeper 環境搭建

1.修改Linux主機名
2.修改IP
3.修改主機名和IP的對映關係
######注意######如果你們公司是租用的伺服器或是使用的雲主機（如華為用主機、阿里雲主機等）
/etc/hosts裡面要配置的是內網IP地址和主機名的對映關係
4.關閉防火牆
5.ssh免登陸
6.安裝JDK，配置環境變數等


叢集規劃：
主機名        IP        安裝的軟體        執行的程序
  1. Master        192.168.1.201        jdk、hadoop        NameNode、DFSZKFailoverController(zkfc)
  2. Slave1        192.168.1.202        jdk、hadoop        NameNode、DFSZKFailoverController(zkfc)
  3. Slave2        192.168.1.203        jdk、hadoop        ResourceManager
  4. Slave3        192.168.1.204        jdk、hadoop        ResourceManager
  5. Slave4        192.168.1.205        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
  6. Slave5        192.168.1.206        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
  7. Slave6        192.168.1.207        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
複製程式碼

說明：

1.在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態，另一個處於standby狀態。Active NameNode對外提供服務，而Standby NameNode則不對外提供服務，僅同步active namenode的狀態，以便能夠在它失敗時快速進行切換。
hadoop2.0官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這裡我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元資料資訊，一條資料只要成功寫入多數JournalNode即認為寫入成功。通常配置奇數個JournalNode
這裡還配置了一個zookeeper叢集，用於ZKFC（DFSZKFailoverController）故障轉移，當Active NameNode掛掉了，會自動切換Standby NameNode為standby狀態

2.hadoop-2.2.0中依然存在一個問題，就是ResourceManager只有一個，存在單點故障，hadoop-2.4.1解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態由zookeeper進行協調

安裝步驟：
1.安裝配置zooekeeper叢集（在Slave4上）
1.1解壓
  1. [[email protected] local]#tar -zxvf    zookeeper-3.4.6.tar.g-C /usr/local/
  2. [[email protected] local]#mv zookeeper-3.4.6/ zookeeper
複製程式碼
1.2修改配置
  1. [[email protected] local]#cd /usr/local/zookeeper/conf/
  2. [[email protected] local]#cp zoo_sample.cfg zoo.cfg
  3. [[email protected] local]#vim zoo.cfg
複製程式碼
修改：
  1. dataDir=/itcast/zookeeper/zkData
複製程式碼
在最後新增：
  1. server.1=Slave4:2888:3888
  2. server.2=Slave5:2888:3888
  3. server.3=Slave6:2888:3888
複製程式碼
儲存退出
然後建立一個tmp資料夾
  1. [[email protected] local]#mkdir /usr/local/zookeeper/zkData
複製程式碼
再建立一個空檔案
  1. [[email protected] local]#touch /usr/local/zookeeper/zkData/myid
複製程式碼
最後向該檔案寫入ID
  1. [[email protected] local]#echo 1 > /usr/local/zookeeper/zkData/myid
複製程式碼
1.3將配置好的zookeeper拷貝到其他節點(首先分別在Slave5、Slave6根目錄：/usr/local/)
  1. [[email protected] local]#scp -r /usr/local/zookeeper/ Slave5:/usr/local/
  2. [[email protected] local]#scp -r /usr/local/zookeeper/ Slave6:/usr/local/
複製程式碼
注意：修改Slave5、Slave6對應/usr/local/zookeeper/zkData/myid內容
  1. Slave5：
  2. [[email protected] local]#echo 2 > /usr/local/zookeeper/zkData/myid
  3. Slave6：
  4. [[email protected] local]#echo 3 > /usr/local/zookeeper/zkData/myid
複製程式碼
2.安裝配置hadoop叢集（在Master上操作）
2.1解壓
  1. [[email protected] local]#tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
複製程式碼
2.2配置HDFS（hadoop2.0所有的配置檔案都在$HADOOP_HOME/etc/hadoop目錄下）
#將hadoop新增到環境變數中
  1. [[email protected] local]#vim /etc/profile
  2. export JAVA_HOME=/usr/local/jdk1.7
  3. export HADOOP_HOME=/usr/local/hadoop-2.6.0
  4. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
複製程式碼
#hadoop2.0的配置檔案全部在$HADOOP_HOME/etc/hadoop下
  1. [[email protected] local]#cd /usr/local/hadoop-2.6.0/etc/hadoop
複製程式碼
2.2.1修改hadoo-env.sh
  1. export JAVA_HOME=/usr/local/jdk1.7
複製程式碼
2.2.2修改core-site.xml
  1. <configuration>
  2. <!-- 指定hdfs的nameservice為masters -->
  3. <property>
  4. <name>fs.defaultFS</name>
  5. <value>hdfs://masters</value>
  6. </property>

  7. 相關推薦

    hadoop +hbase +zookeeper 完全分佈搭建 (版本一)

    hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.0又增加了YARN HA 注意：apache提供的hadoop-2.6.0的安裝包是在32位作業系統編譯的，因為hadoop依賴一些C++的本地庫

    hadoop+hbase+zookeeper 分散式叢集搭建完美執行

    備註：      搭建完(hadoop+hbase)整個叢集是能夠完美的執行，其中期間出過些小問題，如有一臺機器和其他機器時間相差很遠，結果是HRegionServer啟動的時候超時，這個時候要麼時間同步，或者在配置檔案中新增相應的引數      我所在的實驗室，整個叢集是

    搭建hadoop+Hbase+Zookeeper偽分散式完整過程

    安裝前準備：centos7   linux jdk1.8  hadoop ，Hbase ，zookeeper 發現ens33 沒有inet 這個屬性，那麼就沒法通過IP地址連線虛擬機器。 接著來檢視ens33網絡卡的配置：vi /etc/sysconfig/network

    最詳細的Hadoop+Hbase+Hive完全分散式環境搭建教程（二）

    繼續上次的教程，這次安裝hbase與hive 一、hbase2.1.1安裝 在master節點： $ tar -zxvf hbase-2.1.1-bin.tar.gz -C /opt $ cd /opt/hbase-2.1.1/conf/ $ vi hbase-

    Hadoop+Flume+Kafka+Zookeeper叢集環境搭建（一）

    Hadoop+Flume+Kafka+Zookeeper叢集環境搭建 1.部署基礎條件 1.1 硬體條件 IP hostname 192.168.100.103 mater 192.168.100.104 flumekafka1 192.168.1

    Hadoop+HBase+ZooKeeper分散式叢集環境搭建

    一、環境說明 叢集環境至少需要3個節點（也就是3臺伺服器裝置）：1個Master，2個Slave，節點之間區域網連線，可以相互ping通，下面舉例說明，配置節點IP分配如下： Hostname IP User Password

    Hadoop+HBase+Spark+Hive環境搭建

    eight 基礎 計算 oracle keygen 結構化 文字 l命令 密鑰 楊赟快跑 簡書作者 2018-09-24 10:24 打開App 摘要：大數據門檻較高，僅僅環境的搭建可能就要耗費我們大量的精力，本文總結了作者是如何搭建大數據環境的（單機版和集

    zookeeper 完全分散式搭建

    1.安裝JDK(3臺PC都要安裝JDK)配置環境變數 2.安裝完全分散式叢集1)安裝zk2)配置zoo.cfg檔案dataDir=/opt/modules/zookeeper-3.4.5/zkDat

    hadoop+hbase+zookeeper+phoenix安裝

    文件下載地址：http://download.csdn.net/detail/xuwannian/9569818 Hadoop-hbase大資料環境安裝 Hadoop-2.7.1 zookeeper-3.4.6 hbase-1.1.2 phoenix-4.5.1 徐萬年

    Hadoop + HBase + Hive 完全分散式部署筆記

    完全分散式Hadoop + HBase + Hive 部署過程的的一些問題。 NameNode: 192.168.229.132 DataNode: 192.168.229.133/192.168.229.134 ----------------------------

    Linux系統安裝Hadoop+Hbase+zookeeper

    安裝前準備 修改主機名 hostname xx 將主機名修改成xx hostname 檢視主機名

    Windows下eclipse連線遠端Hadoop+Hbase+zookeeper

    1.將伺服器端hadoop和hbase的配置檔案拷貝到windows下並匯入eclipse工程裡, 不用修改 2.將hadoop和hbase壓縮包解壓到C:\hadoop-2.7.3和C:\hbase-1.2.6，建立環境變數HADOOP_HOME，路徑為hadoop安

    zookeeper完全分散式搭建---linux許可權的問題

         1.用hadoop使用者往 /home 下傳包不成功：             原因：上圖中的/home所有者是root, hadoop是其他使用者，hadoop沒有對home資料夾的w許

    個人hadoop學習總結：Hadoop叢集+HBase叢集+Zookeeper叢集+chukwa監控（包括單機、偽分佈、完全分佈安裝操作）

    環境介紹： 虛擬機器四個： hadoop-marster hadoop-salve1 hadoop-salve2 hadoop-salve3 ===========================1.Hadoop==============================

    Hadoop及Zookeeper+HBase完全分布式集群部署

    ng- 根據 標識 部署 mina 軟件包 大小 apache enable Hadoop及HBase集群部署 一、 集群環境 系統版本 虛擬機：內存 16G CPU 雙核心 系統： CentOS-7 64位 系統下載地址： http://124.202.164.6/f

    linux 安裝hadoop 的四大執行模式——完全分佈模式（版本2.9.1）

    hadoop完全分散式模式：hadoop的守護執行緒在不同的伺服器上（具體定義請自行查詢） 本機部署：實在前一篇文章偽分散式部署下進行操作的： 偽分佈部署連結：https://blog.csdn.net/weixin_39435629/article/details/84841252 前

    大資料學習系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive叢集搭建 圖文詳解

    引言 在之前的大資料學習系列中，搭建了Hadoop+Spark+HBase+Hive 環境以及一些測試。其實要說的話，我開始學習大資料的時候，搭建的就是叢集，並不是單機模式和偽分散式。至於為什麼先寫單機的搭建，是因為作為個人學習的話，單機已足以，好吧，

    Linux下基於Hadoop的大資料環境搭建步驟詳解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安裝與配置）

    Linux下基於Hadoop的大資料環境搭建步驟詳解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安裝與配置） 系統說明 搭建步驟詳述 一、節點基礎配置 二、H

    基於Docker的Zookeeper+Hadoop（HA）+hbase（HA）搭建

    公司要將監控資料存入opentsdb，而opentsdb使用了hbase作為儲存。所以想搭建一套高可用的分散式儲存來供opentsdb使用。 因為機器有限，所以測試過程中將三臺叢集的環境安裝在docker上。   一：宿主機版本和docker版本 　　宿主機：Centos7.2 &

    [虛擬機器VM][Ubuntu12.04]搭建Hadoop完全分散式環境（一）

    前言 大家都知道，Hadoop的部署方式可分為 單機模式 偽分散式 完全分散式 本篇主要講解的就是完全分散式。 搭建完全分散式的叢集環境，需要多臺的硬體裝置，作為初學者，為了搭建叢集去買多臺電腦，多少有點不現實，所以這裡我採用的是VM虛擬機器，模擬搭