2. 程式人生 > >Hadoop2.7.2之叢集搭建（高可用）

Hadoop2.7.2之叢集搭建（高可用）

阿新 • • 發佈：2019-01-10

叢集規劃

主機名 ip 安裝的軟體 程序
hadoop01 192.168.1.101 jdk、hadoop NN、DFSZKFailoverController
hadoop02 192.168.1.102 jdk、hadoop NN、DFSZKFailoverController
hadoop03 192.168.1.103 jdk、hadoop RM
hadoop04 192.168.1.104 jdk、hadoop、zookeeper DN、NM、journalnode
hadoop05 192.168.1.105 jdk、hadoop、zookeeper DN、NM、journalnode
hadoop06 192.168.1.106 jdk、hadoop、zookeeper DN、NM、journalnode

六臺主機

使用者名稱：hadoop
密碼：12345678

設定主機名對映（root使用者）

將本機的主機名和IP建立對映關係

vi /etc/hosts

加入如下檔案：

192.168.2.101 hadoop01
192.168.2.102 hadoop02
192.168.2.103 hadoop03
192.168.2.104 hadoop04
192.168.2.105 hadoop05
192.168.2.106 hadoop06

這裡寫圖片描述

拷貝/etc/hosts到其它主機

scp /etc/hosts hadoop02:/etc/
scp /etc/hosts hadoop03:/etc/
scp /etc/hosts hadoop04:/etc/
scp /etc/hosts hadoop05:/etc/
scp /etc/hosts hadoop06:/etc/

開放常用埠（root使用者）

#關閉防火牆
sudo systemctl stop firewalld.service
#關閉開機啟動
sudo systemctl disable firewalld.service

建立專有的使用者（root使用者）

一般是建專有的hadoop使用者，不在root使用者上面搭建

建立組和使用者

這裡每臺虛擬主機都應該有hadoop使用者

#先建立組cloud
groupadd cloud
#建立使用者並加入組cloud
useradd -g cloud hadoop
#修改使用者hadoop的密碼
passwd hadoop

將hadoop使用者加到sodu列表

1、檢視/etc/sudoers的許可權

ls -l /etc/sudoers

這裡寫圖片描述

可以看的是隻讀許可權，如果我們要修改就必須先改變該檔案的許可權

2、修改許可權

chmod 777 /etc/sudoers

這裡寫圖片描述

3、將hadoop新增root許可權

vim /etc/sudoers

這裡寫圖片描述

在root下加入下面hadoop使用者

4、還原許可權

chmod 440 /etc/sudoers

拷貝/etc/sudoers到其它主機

scp /etc/sudoers hadoop02:/etc/
scp /etc/sudoers hadoop03:/etc/
scp /etc/sudoers hadoop04:/etc/
scp /etc/sudoers hadoop05:/etc/
scp /etc/sudoers hadoop06:/etc/

配置免密碼登入（hadoop使用者）

切換hadoop使用者

su hadoop

進入到當前使用者的根目錄

cd ~

檢視所有檔案

ls –la

進入.ssh目錄

cd .ssh

生產公鑰和私鑰（四個回車）

ssh-keygen -t rsa

執行完這個命令後，會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰）

這裡寫圖片描述

將公鑰拷貝到要免登陸的機器上

ssh-copy-id 192.168.2.101
ssh-copy-id 192.168.2.102
ssh-copy-id 192.168.2.103
ssh-copy-id 192.168.2.104
ssh-copy-id 192.168.2.105
ssh-copy-id 192.168.2.106

這時會在192.168.2.102主機的.ssh/下產生一個名為authorized_keys的檔案，這時通過 ssh 192.168.2.102時可以直接免登陸進入主機
如下：

這裡寫圖片描述

同理可以給其他機器也設定免密碼登入。

準備軟體

在/home/hadoop/下建立cloud資料夾，用來安裝相關軟體，同時所用安裝包放在cloud下的soft-install資料夾下，如：

cd /home/hadoop
mkdir cloud
mkdir soft-install

在soft-install裡上傳我們需要的軟體：

這裡寫圖片描述

上傳我們所需要的軟體到這個目錄

安裝jdk

解壓

tar -zxvf jdk-8u91-linux-x64.tar.gz -C /home/hadoop/cloud/

配置環境變數

# 修改配置檔案
sudo vi /etc/profile
# 在最後下新增

export JAVA_HOME=/home/hadoop/cloud/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 重新整理配置檔案
source /etc/profile

將jdk和環境變數分別拷貝到其他主機上

可以直接將cloud資料夾複製過去

scp -r cloud/ hadoop02:/home/hadoop/
scp -r cloud/ hadoop03:/home/hadoop/
scp -r cloud/ hadoop04:/home/hadoop/
scp -r cloud/ hadoop05:/home/hadoop/
scp -r cloud/ hadoop06:/home/hadoop/

將環境變數拷貝到其他主機下

sudo scp /etc/profile hadoop02:/etc/
sudo scp /etc/profile hadoop03:/etc/
sudo scp /etc/profile hadoop04:/etc/
sudo scp /etc/profile hadoop05:/etc/
sudo scp /etc/profile hadoop06:/etc/

重新整理環境變數

source /etc/profile

安裝zookeeper

安裝

前面我們已經安裝的jdk，現在我們在hadoop04、hadoop05、hadoop06上安裝Zookeeper

1、解壓

tar -zxvf zookeeper-3.4.8.tar.gz -C /home/hadoop/cloud/

2、修改Zookeeper的預設配置 conf/zoo_sample.cfg

mv zoo_sample.cfg zoo.cfg
vi zoo.cfg

配置如下：

#修改dataDir指向我們資料
dataDir=/home/hadoop/cloud/zookeeper-3.4.8/data
#並在最後新增
server.1=hadoop04:2888:3888
server.2=hadoop05:2888:3888
server.3=hadoop06:2888:3888

3、在/home/hadoop/cloud/zookeeper-3.4.8/目錄下建立data資料夾

mkdir data

4、在data資料夾下建立myid檔案指明本機id

vim myid

id 分別對應為hadoop04為1，hadoop05為2，hadoop06為3 後面我們再統一拷貝

5、複製zookeeper-3.4.8到105、106機器上並修改相應的myid

scp -r zookeeper-3.4.8/ hadoop04:/home/hadoop/cloud/
scp -r zookeeper-3.4.8/ hadoop05:/home/hadoop/cloud/
scp -r zookeeper-3.4.8/ hadoop06:/home/hadoop/cloud/

啟動Zookeeper

分別在hadoop04、hadoop05、hadoop06上啟動Zookeeper

#執行/home/hadoop/cloud/zookeeper-3.4.8/bin目錄下的指令碼啟動
./zkServer.sh start

檢視zookeeper的狀態

./zkServer.sh status

在bin/目錄下執行，執行結果如下說明成功（此時至少執行2臺）

這裡寫圖片描述

其實我們可以找到leader 然後stop，會發現Zookeeper會立即切換Leader

安裝hadoop

安裝（現在hadoop01安裝，然後複製其他機器）

解壓

tar -zxvf hadoop-2.7.2.tar.gz -C /home/hadoop/cloud/

配置環境變數

# 修改配置檔案
sudo vi /etc/profile
# 在最後下新增

export HADOOP_HOME=/home/hadoop/cloud/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin

# 重新整理配置檔案
source /etc/profile

測試：

which hadoop

這裡寫圖片描述

修改配置檔案(6個)

hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/home/hadoop/cloud/jdk1.8.0_91

core-site.xml

<configuration>

    <!-- 指定hadoop執行時產生檔案的儲存路徑 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/cloud/hadoop-2.7.2/tmp</value>
    </property>

    <!-- 指定hdfs的nameservice為ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>

    <!-- 指定zookeeper地址，多個用,分割 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop04:2181,hadoop05:2181,hadoop06:2181</value>
    </property>

</configuration>

hdfs-site.xml

<configuration>
    <!-- dfs.nameservices 名稱空間的邏輯名稱，多個用,分割 -->
    <property>
      <name>dfs.nameservices</name>
      <value>ns1</value>
    </property>

    <!-- 指定ns1下有兩個namenode，分別是nn1,nn2 -->
    <property>
      <name>dfs.ha.namenodes.ns1</name>
      <value>nn1,nn2</value>
    </property>

    <!-- 指定nn1的RPC通訊地址 -->
    <property>
      <name>dfs.namenode.rpc-address.ns1.nn1</name>
      <value>hadoop01:8020</value>
    </property>

    <!-- 指定nn1的HTTP通訊地址 -->
    <property>
      <name>dfs.namenode.http-address.ns1.nn1</name>
      <value>hadoop01:50070</value>
    </property>

    <!-- 指定nn2的RPC通訊地址 -->
    <property>
      <name>dfs.namenode.rpc-address.ns1.nn2</name>
      <value>hadoop02:8020</value>
    </property>

    <!-- 指定nn2的HTTP通訊地址 -->
    <property>
      <name>dfs.namenode.http-address.ns1.nn2</name>
      <value>hadoop02:50070</value>
    </property>

    <!-- 指定namenode的元資料存放的Journal Node的地址，必須基數，至少三個 -->
    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns1</value>
    </property>

    <!--這是JournalNode程序保持邏輯狀態的路徑。這是在linux伺服器檔案的絕對路徑-->
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/home/hadoop/cloud/hadoop-2.7.2/journal/</value>
    </property>

    <!-- 開啟namenode失敗後自動切換 -->
    <property>
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>
    </property>

    <!-- 配置失敗自動切換實現方式 -->
    <property>
      <name>dfs.client.failover.proxy.provider.ns1</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 配置隔離機制方法，多個機制用換行分割 -->
    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>
        sshfence
        shell(/bin/true)
      </value>
    </property>

    <!-- 使用sshfence隔離機制時需要ssh免登陸 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>

    <!-- 配置sshfence隔離機制超時時間30秒 -->
    <property>
       <name>dfs.ha.fencing.ssh.connect-timeout</name>
       <value>30000</value>
    </property>
</configuration>

mapred-site.xml.template
需要重新命名： mv mapred-site.xml.template mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <!-- 指定YARN的老大（RM）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop03</value>
    </property>

    <!-- reducer取資料的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

slaves

hadoop04
hadoop05
hadoop06

並在 hadoop-2.7.2檔案下 建立tmp檔案：

mkdir tmp

將配置好的檔案拷貝到其他主機

將hadoop-2.5.2拷貝到其他主機下

scp -r hadoop-2.7.2 hadoop02:/home/hadoop/cloud/
scp -r hadoop-2.7.2 hadoop03:/home/hadoop/cloud/
scp -r hadoop-2.7.2 hadoop04:/home/hadoop/cloud/
scp -r hadoop-2.7.2 hadoop05:/home/hadoop/cloud/
scp -r hadoop-2.7.2 hadoop06:/home/hadoop/cloud/

將環境變數拷貝到其他主機下

sudo scp /etc/profile hadoop02:/etc/
sudo scp /etc/profile hadoop03:/etc/
sudo scp /etc/profile hadoop04:/etc/
sudo scp /etc/profile hadoop05:/etc/
sudo scp /etc/profile hadoop06:/etc/

重新整理環境變數

source /etc/profile

啟動

啟動的時候注意啟動順序

1、啟動zookeeper（在hadoop04、05、06 )

2、啟動journal node（在hadoop04、05、06）

#hadoop-2.7.2/sbin下
./sbin/hadoop-daemon.sh start journalnode

3、格式化HDFS（namenode）第一次要格式化（在hadoop01、02中任意一臺）（這裡直接複製會有問題，最好手動輸入）

./bin/hdfs namenode –format

並把/home/hadoop/cloud/hadoop-2.7.2/tmp 資料夾拷貝到另一臺namenode的目錄下

scp -r /home/hadoop/cloud/hadoop-2.7.2/tmp hadoop@hadoop02:/home/hadoop/cloud/hadoop-2.7.2/

4、格式化 zk（在hadoop01即可）（這裡直接複雜會有問題，最好手動輸入）

./bin/hdfs zkfc –formatZK

5、啟動zkfc來監控NN狀態（在hadoop01、02）

./sbin/hadoop-daemon.sh start zkfc

6、啟動HDFS（namenode）（在hadoop01即可）

#hadoop-2.7.2/sbin下
./sbin/start-dfs.sh

7、啟動YARN（MR）（在hadoop03即可）

#hadoop-2.7.2/sbin下
./sbin/start-yarn.sh

檢視結果

如果上面的啟動沒有報錯的的話，這時在我們的虛擬主機上應該分別有自己的程序，如前文我們規劃的一樣。
檢視本機的java程序

jps

這裡寫圖片描述

這裡寫圖片描述

通過瀏覽器測試如下：

http://192.168.2.101:50070/

這裡寫圖片描述

可以看出hadoop01的namenode是處於一種standby狀態，那麼hadoop02應該是處於active狀態

檢視YARN的狀態

http://192.168.2.103:8088/

這裡寫圖片描述

相關推薦

Hadoop2.7.2之叢集搭建（高可用）

叢集規劃 主機名 ip 安裝的軟體 程序 hadoop01 192.168.1.101 jdk、hadoop NN、DFSZKFailoverController hadoop02 192.1

Hadoop2.7.2之叢集搭建（三臺）

叢集規劃 主機名 ip 安裝的軟體 程序 master 192.168.1.111 jdk、hadoop namenode ressourcemanager slave1 192.168.1.1

Hadoop2.7.2之叢集搭建（單機）

下載安裝Hadoop 1、下載地址 http://hadoop.apache.org/releases.html 我下載的是2.7.2，官網在2.5之後預設提供的就是64位的，這裡直接下載下來用即可 2、安裝Hadoop tar -

Hadoop2.7.3-HA 叢集搭建（傳智播客）

前期準備 1 修改Linux主機名 2 修改IP 3 修改主機名和IP的對映關係 /etc/hosts 4 關閉防火牆 5 ssh免登陸 6 安裝JDK，配置環境變數等 叢集規劃 主機名

hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的叢集搭建（單節點）（Ubuntu系統）

前言 關於幾個疑問和幾處心得！ a.用NAT，還是橋接，還是only-host模式？ b.用static的ip，還是dhcp的？ 答：static c.別認為快照和克隆不重要，小技巧，比別人靈活用，會很節省時間和大大減少錯誤。 d.重用起來指令碼語言的程式設計，如paython

hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz的叢集搭建（單節點）（CentOS系統）

前言 關於幾個疑問和幾處心得！ a.用NAT，還是橋接，還是only-host模式？ b.用static的ip，還是dhcp的？ 答：static c.別認為快照和克隆不重要，小技巧，比別人靈活用，會很節省時間和大大減少錯誤。 d.重用起來指令碼語言

圖文：Linux-DNS主備服務器搭建（高可用）

重啟 slave 配置文件 服務器 image http img -a 建立 DNS主服務器（master）：192.168.127.147從服務器（slave）：192.168.127.1481、首先在master和slave上安裝DNS包： 2、編輯master上的D

四節點搭建Hadoop HA（高可用）叢集模式

準備工作： 四個節點間的ssh互通，（至少兩個NN節點和其他節點ssh互通）； JDK 1.7+，環境變數配置，各節點保持一致； /etc/hosts 節點名對映，各節點保持一致； 保證各元件版本間相容性，推薦使用cdh的jar包 datas : 當做所

Redis詳解之-叢集方案：高可用（使用Redis Sentinel）（三）

對以前的內容進行一下總結和複習。 瞭解Redis的基本引數配置和使用。瞭解事件訂閱和持久化儲存方式（RDB和AOF）。Redis叢集方案：高可用（使用Redis Sentinel），官網Rdeis3.x推薦三主三從的方式，後面再介紹，參考（https://www.cnb

kubernetes學習：2.kubernetes叢集搭建（一）架構介紹

kubernetes叢集搭建：架構介紹 作為一個容器的編排管理工具，k8s的效能出眾而且社群力量強大，連docker官方也已經預設k8s為容器編排的首選工具。所以我們更有必要去學習和了解它。 k8s的整體架構主要分為兩個部分： master（控制節點）和

hadoop-2.6.0.tar.gz的叢集搭建（3節點）（不含zookeeper叢集安裝）

前言 關於幾個疑問和幾處心得！ a.用NAT，還是橋接，還是only-host模式？ b.用static的ip，還是dhcp的？ 答：static c.別認為快照和克隆不重要，小技巧，比別人靈活用，會很節省時間和大大減少錯誤。 d.重用起來指令碼語言的程式設計，如paython或s

VirtualBox5.0.18+CentOS7.2+Hadoop2.7.2配置與開發（2）用YARN完成WordCount作業

執行WordCount作業 步驟： 進入hadoop目錄，刪除input目錄和output目錄（如果有）； 啟動hdfs系統，ResourceManager和NodeManager。 $cd   /usr/hadoop-2.7.2 $sbin/start-dfs.sh $s

7-2 列車調度 （25 分）

alt 問題 opened ons max esp spa lose code 題目： 樣例輸入： 98 4 2 5 3 9 1 6 7 樣例輸出： 4 思路： 要想得到最少的調度序列，那就要找出最少的下降序列的個數。拿上邊的例子來說：有如下四個下降序列 8 4 2

Hadoop單機/偽分散式叢集搭建（新手向）

此文已由作者朱笑笑授權網易雲社群釋出。 歡迎訪問網易雲社群，瞭解更多網易技術產品運營經驗。 本文主要參照官網的安裝步驟實現了Hadoop偽分散式叢集的搭建，希望能夠為初識Hadoop的小夥伴帶來借鑑意義。 環境： （1）系統環境：CentOS 7.3.1611 64位 （2）J

轉：CDH5.7Hadoop叢集搭建（離線版）

用了一週多的時間終於把CDH版Hadoop部署在了測試環境（部分元件未安裝成功），本文將就這個部署過程做個總結。 一、Hadoop版本選擇。 Hadoop大致可分為Apache Hadoop和第三方發行第三方發行版Hadoop，考慮到Hadoop叢集部署的高效，叢集的穩定性，以及後期集中的配

mongodb叢集搭建（分片+副本）

原文地址：https://www.cnblogs.com/ityouknow/p/7344005.html   相關概念 先來看一張圖： 從圖中可以看到有四個元件：mongos、config server、shard、replica set。 mongos，資料庫叢集請求的入口，所有的

7-2 簡易連連看 （20 分）

軟體學院第十四次訓練 205 分 程式設計題共 9 小題，共計 205 分 剩餘時間: 712:22:51 剩餘時間: 712:22:51 程式設計題 7-2 簡易連連看 （20 分） 本題要求實現一個簡易連連看遊

hadoop2.7第一個python例項（超詳細）

沒有任何基礎，第一次跑hadoop例項，遇到不少問題，記錄下來以便自查和幫助同樣情況的hadoop學習者。 叢集組成：VMwawre14.1+CentOS6.5+hadoop2.7,  3個虛擬機器節點 hadoop安裝目錄：/opt/hadoop 例子：模仿 Wo

基於springBoot的zookeeper叢集搭建（dubbo2.*版本）

主機系統環境準備 Jdk1.7+，window系統（使用window10+window7），或者linux系統（本次測試使用centos7） 第一步：主機名稱到ip地址對映配置 zookeeper叢集中具有兩個關鍵的角色：leader和follower。 叢集中所有的結點

Redis-3.2.0叢集配置（redis cluster）

目錄 目錄 1 1. 前言 2 1. 前言 2. 部署計劃 依據官網介紹，部署6個redis節點，為3主3從。3臺物理機每臺都建立2個redis節點： 服務埠 IP地址 配置