2. 程式人生 > >HDFS高可用完全分散式搭建步驟

HDFS高可用完全分散式搭建步驟

阿新 • • 發佈：2018-11-11

一、準備階段

  • 分散式思想

HA分散式思想

  • 分散式叢集規劃

主機名 IP地址 NN-1 NN-2 DN ZK ZKFC JNN
Hadoop1 192.168.23.133 √ √ √
Hadoop2 192.168.23.130 √ √ √ √ √
Hadoop3 192.168.23.132 √ √ √
Hadoop4 192.168.23.131 √ √

二、操作步驟

1、搭建zookeeper叢集

(1)先在節點2上解壓zookeeper-3.4.10.tar.gz
(2)修改conf目錄下的zoo_sample.cfg的名稱，改為zoo.cfg

mv zoo_sample.cfg zoo.cfg

(3)在2、3、4節點上建立/var/hpe/zookeeper，修改zoo.cfg

dataDir=/var/hpe/zookeeper
server.1=Hadoop2:2888:3888
server.2=Hadoop3:2888:3888
server.3=Hadoop4:2888:3888

(4)在dataDir目錄下建立一個myid檔案，在這個檔案中寫上當前節點ID號
(5)將配置好的zookeeper安裝包傳送到Hadoop3 Hadoop4
(6)傳送完畢後，在各自節點上建立myid號，ID號要依次遞增

2、搭建HA完全分散式

(1)檢視每個節點的防火牆狀態，若防火牆服務啟動，則關閉防火牆服務

service iptables status	  				   //檢視防火牆狀態
iptables: Firewall is not running.         //說明沒有開啟
service iptables stop      			       //關閉防火牆服務。
chkconfig iptables off                     //禁止防火牆開機自啟。

(2)在每個節點上執行以下命令，用來存放所需檔案

mkdir -p /hpe/hadoop

(3)解壓Hadoop-2.4.5.gz、jdk.gz、zookeeper-3.4.10.tar.gz

tar -zxvf Hadoop-2.4.5.gz
tar -zxvf jdk.gz
tar -zxvf zookeeper-3.4.10.tar.gz

(4)分別配置四臺節點的Hadoop環境變數和jdk
輸入 vim ~/.bashrc在檔案中新增如下程式碼：

//配置Hadoop環境變數
export HADOOP_HOME=/hpe/hadoop/Hadoop-2.6.5
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

//配置JDK環境變數
export JAVA_HOME=/hpe/hadoop/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin

(5)為了不產生資料延遲首先使4個節點的時間同步
①各個節點安裝ntp :

yum install ntp

②安裝完成後每個節點都執行如下命令從而達到時間同步

/*ntp1.aliyun.com為阿里的時間伺服器*/
ntpdate ntp1.aliyun.com

(6)配置hosts檔案

vi /etc/hosts

// 實現主機名對映
192.168.23.133Hadoop1
192.168.23.130Hadoop2
192.168.23.132Hadoop3
192.168.23.131Hadoop4

(7)配置免密登入

Hadoop1->Hadoop1、Hadoop1->Hadoop2、Hadoop1->Hadoop3 Hadoop1->Hadoop4、Hadoop2->Hadoop1(主備切換)
①在所有節點執行以下命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

②在Hadoop1節點執行以下命令，將Hadoop1的公鑰加入到其他節點的白名單中

ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

③在Hadoop2節點執行以下命令，將Hadoop2的公鑰加入到Hadoop1節點的白名單中

ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

④驗證免密是否成功ssh Hadoop2
(8)修改hdfs-site.xml配置檔案

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>Hadoop1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value> Hadoop2:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value> Hadoop1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value> Hadoop2:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://Hadoop1:8485; Hadoop2:8485; Hadoop3:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/sxt/hadoop/ha/jn</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>  	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>

(9)修改core-site.xml配置檔案

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://mycluster</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>Hadoop2:2181,Hadoop3:2181,Hadoop4:2181</value> //設定zookeeper啟動的節點位置
</property>

(10)修改slaves配置檔案

Hadoop2
Hadoop3
Hadoop4

(11)在Hadoop1節點上將配置好的HDFS安裝包傳送到Hadoop2 Hadoop3 Hadoop4

scp -r hadoop-2.6.5 [email protected]:/opt/software/hadoop/
scp -r hadoop-2.6.5 [email protected]:/opt/software/hadoop/
scp -r hadoop-2.6.5 [email protected]:/opt/software/hadoop/

(12)格式化NameNode(建立目錄以及檔案)

  • ①在Hadoop1、Hadoop2、Hadoop3分別執行如下命令
1)	hadoop-daemon.sh start journalnode			 //啟動JNN

- ②隨機選擇一臺NameNode執行

1)	hdfs namenode -format
2)	hadoop-daemon.sh start namenode

- ③另外一臺NameNode節點執行

1)	hdfs namenode  -bootstrapStandby

(13)在Hadoop1和Hadoop2上分別執行以下命令，格式化zookeeper

hdfs zkfc -formatZK

(14)關閉所有節點上的程序

stop-dfs.sh

(15)啟動HDFSstart-dfs.sh
(16)在每臺節點上檢視程序
Hadoop1上啟動的程序
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
說明每個程序在節點上啟動成功。
若介面如下圖所示，則證明HA分散式搭建成功
在這裡插入圖片描述在這裡插入圖片描述
在這裡插入圖片描述

三、搭建過程中遇見的錯誤

(1)在搭建完全分散式的時候，防火牆狀態是臨時關閉的，所以系統重啟後，防火牆狀態又重新開啟，導致叢集內通訊出現問題。
(2)slaves檔案忘記配置。
(3)由於多次格式化的時候選擇覆蓋，出現clusterId不一致的問題，導致部分DataNode節點無法正常啟動。檢視clusterId後，修改為一致，即可解決。
(4)zookeeper叢集沒最先啟動便在節點一二上執行hdfs zkfc -formatZK，導致報錯。

相關推薦

HDFS高可用完全分散式搭建步驟

一、準備階段 分散式思想 分散式叢集規劃 主機名 IP地址 NN-1 NN-2 DN ZK ZKFC JNN

HDFS高可用完全分散式搭建

目錄 叢集規劃 關閉防火牆 時間同步 修改hosts檔案 配置免密登入 所有節點配置JDK 配置hadoop 搭建zookeeper叢集 格式化 驗證HA故障自動切換 需要注意的問題 叢集

大資料(六) --高可用完全分散式搭建

說明     搭建之前, 先根據HDFS三種模式一文將叢集的初始環境配置OK. 高可用完全分散式搭建 叢集規劃 NN(active) NN(standby) DN ZK ZKFC JNN node01 √ – – – √ √ node02

hadoop+zookeeper+yarn搭建高可用完全分散式環境詳細步驟

一、zookeeper叢集的安裝。 （我親自成功搭建過的一套叢集，涉及到很多的細節，但是有的細節地方我不一定能完全寫出，如果有遇到問題的可以留言） 前提準備3臺centos7.0虛擬機器 (1)首先設定每臺虛擬機器的網路連線方式為net方式，然後修改每臺虛

HDFS完全分散式搭建步驟

1.準備階段 分散式叢集規劃 準備4個Linux作業系統，並配置好IP地址，將NameNode在Hadoop1節點上啟動，SecondaryNameNode和DataNode在Hadoop2節點上啟動，其餘兩個DataNode分別在Hadoop3和Hadoop4節點

Hadoop完全分散式搭建步驟

請在搭建偽分散式的基礎上搭建完全分散式 1、克隆兩臺虛擬機器(點選藍色超連結有如何克隆虛擬機器)。 2、克隆完成之後首先在三臺機器上都分別輸入  $ ifconfig 檢視是否有eth0 如下：是正確的。 【 eth0     &nbs

Hbase偽分散式和完全分散式搭建步驟

hbase偽分散式以Linux檔案系統 儲存 使用自身、自帶ZooKeeper 1、基本環境    ip、網路、hosts列表、防火牆關閉... 2、安裝jdk   設定jdk環境變數 3、下載安裝包

高可用完全分散式

NN-1 NN-2 DN ZK ZKFC JNN node01 √ √ √

hadoop3.1.0 HA高可用完全分散式叢集的安裝部署（詳細教程）

1.環境介紹 伺服器環境：CentOS 7 5臺伺服器 兩臺namenode 三臺datanode 節點 IP NN DN ZK ZKFC

HDFS高可用的完全分散式搭建流程

HDFS高可用的完全分散式設計架構圖 HDFS的高可用指的是HDFS持續對各類客戶端提供讀、寫服務的能力，因為客戶端對HDFS的讀、寫操作之前都要訪問Namenode伺服器，客戶端只有從Namenode獲取元資料之後才能繼續進行讀、寫。所以HDFS的高可用的關

hadoop完全分散式搭建HA（高可用）

首先建立5臺虛擬機器（最少三臺），並且做好部署規劃ip地址 主機名 安裝軟體 程序 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 m

HDFS HA完全分散式搭建

叢集規劃 配置免密登入 node01->node01 node01->node02 node01->node03 node01->node04 node02->no

HDFS完全分散式搭建

目錄 前期配置 時間同步 配置免密登入 配置/etc/hosts（所有節點內） 修改hadoop配置檔案 將配置好的安裝包分發到其他節點上 JDK配置（所有節點） 格式化NameNode並啟動HDFS 可能遇到的問題

理解HDFS高可用性架構

共享存儲 src mage namenode 存儲系統 tro ima 會同 同時 在Hadoop1.x版本的時候，Namenode存在著單點失效的問題。如果namenode失效了，那麽所有的基於HDFS的客戶端——包括MapReduce作業均無法讀，寫或列文件，因為nam

Flume 學習筆記之 Flume NG高可用集群搭建

哈哈 process bind under hdf ora chan lsp max Flume NG高可用集群搭建： 架構總圖： 架構分配： 角色 Host 端口 agent1 hadoop3 52020 collect

HADOOP docker(二):HDFS 高可用原理

原來 gem relative 超時 proxy 問題 要求 his pro 1.環境簡述2.QJM HA簡述2.1為什麽要做HDFS HA？2.2 HDFS HA的方式2.2 HSFS HA的結構2.3 機器要求3.部署HDFS HA3.1 詳細配置3.2 部署H

高可用flume-ng搭建

flume一、概述1.通過搭建高可用flume來實現對數據的收集並存儲到hdfs上，架構圖如下：二、配置Agent1.cat flume-client.properties#name the components on this agent 聲明source、channel、sink的名稱 a1.sou

heartbeat v1(CRM)+DRBD實現數據庫服務器高可用集群搭建

drbd mariadb heartbeat 一. 方案簡介本方案采用Heartbeat雙機熱備軟件來保證數據庫的高穩定性和連續性，數據的一致性由DRBD這個工具來保證。默認情況下只有一臺mysql在工作，當主mysql服務器出現問題後，系統將自動切換到備機上繼續提供服務，當主數據庫修復完畢，又將

RabbitMQ 高可用集群搭建及電商平臺使用經驗總結

喜歡 inf 分布式 一個 ipo 匹配模式 ide 總結 hosts配置 面向EDA（事件驅動架構）的方式來設計你的消息 AMQP routing key的設計 RabbitMQ cluster搭建 Mirror queue policy設置 兩個不錯的RabbitMQ

MHA MySQL 高可用集群搭建

配置文件 manage 獲取 getopt server rsa 安裝 ref == 軟件版本MySQL: 5.7MHA: 0.56CentOS: 7.4 MySQL服務器Master: 192.168.1.224 mysql01Slave1: 192.168.1.22