hadoop高可用機制配置

阿新 • • 發佈：2018-12-19

在這裡插入圖片描述

hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA

注意：apache提供的hadoop-2.4.1的安裝包是在32位作業系統編譯的，因為hadoop依賴一些C++的本地庫，所以如果在64位的操作上安裝hadoop-2.4.1就需要重新在64作業系統上重新編譯（建議第一次安裝用32位的系統，我將編譯好的64位的也上傳到群共享裡了，如果有興趣的可以自己編譯一下）

前期準備就不詳細說了，課堂上都介紹了 1.修改Linux主機名 2.修改IP 3.修改主機名和IP的對映關係 ######注意######如果你們公司是租用的伺服器或是使用的雲主機（如華為用主機、阿里雲主機等） /etc/hosts裡面要配置的是內網IP地址和主機名的對映關係 4.關閉防火牆 5.ssh免登陸 6.安裝JDK，配置環境變數等

叢集規劃：

主機名		IP				安裝的軟體					執行的程序
weekend01	192.168.1.201	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
weekend02	192.168.1.202	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
weekend03	192.168.1.203	jdk、hadoop					ResourceManager
weekend04	192.168.1.204	jdk、hadoop					ResourceManager
weekend05	192.168.1.205	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
weekend06	192.168.1.206	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
weekend07	192.168.1.207	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain

說明： 1.在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態，另一個處於standby狀態。Active NameNode對外提供服務，而Standby NameNode則不對外提供服務，僅同步active namenode的狀態，以便能夠在它失敗時快速進行切換。 hadoop2.0官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這裡我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元資料資訊，一條資料只要成功寫入多數JournalNode即認為寫入成功。通常配置奇數個JournalNode 這裡還配置了一個zookeeper叢集，用於ZKFC（DFSZKFailoverController）故障轉移，當Active NameNode掛掉了，會自動切換Standby NameNode為standby狀態 2.hadoop-2.2.0中依然存在一個問題，就是ResourceManager只有一個，存在單點故障，hadoop-2.4.1解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態由zookeeper進行協調安裝步驟： 1.安裝配置zooekeeper叢集（在weekend05上） 1.1解壓 tar -zxvf zookeeper-3.4.5.tar.gz -C /weekend/ 1.2修改配置 cd /weekend/zookeeper-3.4.5/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改：dataDir=/weekend/zookeeper-3.4.5/tmp 在最後新增： server.1=weekend05:2888:3888 server.2=weekend06:2888:3888 server.3=weekend07:2888:3888 儲存退出然後建立一個tmp資料夾 mkdir /weekend/zookeeper-3.4.5/tmp 再建立一個空檔案 touch /weekend/zookeeper-3.4.5/tmp/myid 最後向該檔案寫入ID echo 1 > /weekend/zookeeper-3.4.5/tmp/myid 1.3將配置好的zookeeper拷貝到其他節點(首先分別在weekend06、weekend07根目錄下建立一個weekend目錄：mkdir /weekend) scp -r /weekend/zookeeper-3.4.5/ weekend06:/weekend/ scp -r /weekend/zookeeper-3.4.5/ weekend07:/weekend/

注意：修改weekend06、weekend07對應/weekend/zookeeper-3.4.5/tmp/myid內容 weekend06： echo 2 > /weekend/zookeeper-3.4.5/tmp/myid weekend07： echo 3 > /weekend/zookeeper-3.4.5/tmp/myid

2.安裝配置hadoop叢集（在weekend01上操作）

2.1解壓

 	tar -zxvf hadoop-2.4.1.tar.gz -C /weekend/

2.2配置HDFS（hadoop2.0所有的配置檔案都在$HADOOP_HOME/etc/hadoop目錄下）

#將hadoop新增到環境變數中 vim /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_55 export HADOOP_HOME=/weekend/hadoop-2.4.1 export PATH= $PATH:$ JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置檔案全部在$HADOOP_HOME/etc/hadoop下 cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop

2.2.1修改hadoo-env.sh export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55

2.2.2修改core-site.xml

fs.defaultFS hdfs://ns1/ hadoop.tmp.dir /home/hadoop/app/hadoop-2.4.1/tmp

<!-- 指定zookeeper地址 -->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>weekend05:2181,weekend06:2181,weekend07:2181</value>
</property>

2.2.3修改hdfs-site.xml

	<configuration>
	<!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通訊地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>weekend01:9000</value>
	</property>
	<!-- nn1的http通訊地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>weekend01:50070</value>
	</property>
	<!-- nn2的RPC通訊地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>weekend02:9000</value>
	</property>
	<!-- nn2的http通訊地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>weekend02:50070</value>
	</property>
	<!-- 指定NameNode的元資料在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://weekend05:8485;weekend06:8485;weekend07:8485/ns1</value>
	</property>
	<!-- 指定JournalNode在本地磁碟存放資料的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
	</property>
	<!-- 開啟NameNode失敗自動切換 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 配置失敗自動切換實現方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔離機制時需要ssh免登陸 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	<!-- 配置sshfence隔離機制超時時間 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>

2.2.4修改mapred-site.xml

<configuration>
			<!-- 指定mr框架為yarn方式 -->
			<property>
				<name>mapreduce.framework.name</name>
				<value>yarn</value>
			</property>
		</configuration>

2.2.5修改yarn-site.xml

<configuration>
						<!-- 開啟RM高可用 -->
						<property>
						   <name>yarn.resourcemanager.ha.enabled</name>
						   <value>true</value>
						</property>
						<!-- 指定RM的cluster id -->
						<property>
						   <name>yarn.resourcemanager.cluster-id</name>
						   <value>yrc</value>
						</property>
						<!-- 指定RM的名字 -->
						<property>
						   <name>yarn.resourcemanager.ha.rm-ids</name>
						   <value>rm1,rm2</value>
						</property>
						<!-- 分別指定RM的地址 -->
						<property>
						   <name>yarn.resourcemanager.hostname.rm1</name>
						   <value>weekend03</value>
						</property>
						<property>
						   <name>yarn.resourcemanager.hostname.rm2</name>
						   <value>weekend04</value>
						</property>
						<!-- 指定zk叢集地址 -->
						<property>
						   <name>yarn.resourcemanager.zk-address</name>
						   <value>weekend05:2181,weekend06:2181,weekend07:2181</value>
						</property>
						<property>
						   <name>yarn.nodemanager.aux-services</name>
						   <value>mapreduce_shuffle</value>
						</property>
				</configuration>

2.2.6修改slaves(slaves是指定子節點的位置，因為要在weekend01上啟動HDFS、在weekend03啟動yarn，所以weekend01上的slaves檔案指定的是datanode的位置，weekend03上的slaves檔案指定的是nodemanager的位置)

			weekend05
			weekend06
			weekend07

2.2.7配置免密碼登陸

#首先要配置weekend01到weekend02、weekend03、weekend04、weekend05、weekend06、weekend07的免密碼登陸
				#在weekend01上生產一對鑰匙
				ssh-keygen -t rsa
				#將公鑰拷貝到其他節點，包括自己
				ssh-coyp-id weekend01
				ssh-coyp-id weekend02
				ssh-coyp-id weekend03
				ssh-coyp-id weekend04
				ssh-coyp-id weekend05
				ssh-coyp-id weekend06
				ssh-coyp-id weekend07
				#配置weekend03到weekend04、weekend05、weekend06、weekend07的免密碼登陸
				#在weekend03上生產一對鑰匙
				ssh-keygen -t rsa
				#將公鑰拷貝到其他節點
				ssh-coyp-id weekend04
				ssh-coyp-id weekend05
				ssh-coyp-id weekend06
				ssh-coyp-id weekend07
				#注意：兩個namenode之間要配置ssh免密碼登陸，別忘了配置weekend02到weekend01的免登陸
				在weekend02上生產一對鑰匙
				ssh-keygen -t rsa
				ssh-coyp-id -i weekend01

2.4將配置好的hadoop拷貝到其他節點

	scp -r /weekend/ weekend02:/
	scp -r /weekend/ weekend03:/
	scp -r /weekend/hadoop-2.4.1/ [email protected]:/weekend/
	scp -r /weekend/hadoop-2.4.1/ [email protected]:/weekend/
	scp -r /weekend/hadoop-2.4.1/ [email protected]:/weekend/
	scp -r /weekend/hadoop-2.4.1/ [email protected]:/weekend/
	###注意：嚴格按照下面的步驟

2.5啟動zookeeper叢集（分別在weekend05、weekend06、tcast07上啟動zk）

cd /weekend/zookeeper-3.4.5/bin/ ./zkServer.sh start #檢視狀態：一個leader，兩個follower ./zkServer.sh status

2.6啟動journalnode（分別在在weekend05、weekend06、tcast07上執行）

cd /weekend/hadoop-2.4.1
			sbin/hadoop-daemon.sh start journalnode
			#執行jps命令檢驗，weekend05、weekend06、weekend07上多了JournalNode程序

2.7格式化HDFS

#在weekend01上執行命令:
			hdfs namenode -format
			#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個檔案，這裡我配置的是/weekend/hadoop-2.4.1/tmp，然後將/weekend/hadoop-2.4.1/tmp拷貝到weekend02的/weekend/hadoop-2.4.1/下。
			scp -r tmp/ weekend02:/home/hadoop/app/hadoop-2.4.1/
			##也可以這樣，建議hdfs namenode -bootstrapStandby

2.8格式化ZKFC(在weekend01上執行即可)

hdfs zkfc -formatZK

2.9啟動HDFS(在weekend01上執行)

sbin/start-dfs.sh

2.10啟動YARN(#####注意#####：是在weekend03上執行start-yarn.sh，把namenode和resourcemanager分開是因為效能問題，因為他們都要佔用大量資源，所以把他們分開了，他們分開了就要分別在不同的機器上啟動)

sbin/start-yarn.sh

到此，hadoop-2.4.1配置完畢，可以統計瀏覽器訪問:

http://192.168.1.201:50070
		NameNode 'weekend01:9000' (active)
		http://192.168.1.202:50070
		NameNode 'weekend02:9000' (standby)

驗證HDFS HA

		首先向hdfs上傳一個檔案
		hadoop fs -put /etc/profile /profile
		hadoop fs -ls /
		然後再kill掉active的NameNode
		kill -9 <pid of NN>
		通過瀏覽器訪問：http://192.168.1.202:50070
		NameNode 'weekend02:9000' (active)
		這個時候weekend02上的NameNode變成了active
		在執行命令：
		hadoop fs -ls /
		-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
		剛才上傳的檔案依然存在！！！
		手動啟動那個掛掉的NameNode
		sbin/hadoop-daemon.sh start namenode
		通過瀏覽器訪問：http://192.168.1.201:50070
		NameNode 'weekend01:9000' (standby)

驗證YARN：

	    執行一下hadoop提供的demo中的WordCount程式：
	    		hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

OK，大功告成！！！

測試叢集工作狀態的一些指令： bin/hdfs dfsadmin -report 檢視hdfs的各節點狀態資訊

bin/hdfs haadmin -getServiceState nn1 獲取一個namenode節點的HA狀態

sbin/hadoop-daemon.sh start namenode 單獨啟動一個namenode程序

./hadoop-daemon.sh start zkfc 單獨啟動一個zkfc程序

hadoop高可用機制配置

叢集規劃：

2.安裝配置hadoop叢集（在weekend01上操作）

hadoop高可用機制配置

SpringCloud系列四：Eureka 服務發現框架（定義 Eureka 服務端、Eureka 服務信息、Eureka 發現管理、Eureka 安全配置、Eureka-HA(高可用) 機制、Eureka 服務打包部署）

zookeeper簡易配置及hadoop高可用安裝

Hadoop高可用配置檔案hdfs-site.xml之dfs.ha.fencing.methods說明

Hadoop(25)-高可用叢集配置,HDFS-HA和YARN-HA

Hadoop 2.7.2 HA 自動切換高可用叢集配置詳解

Hadoop框架：HDFS高可用環境配置

HaProxy+Keepalived+Mycat高可用群集配置

Hadoop 高可用

Redis + keepalived 高可用行配置檢測腳本

Redis + keepalived 高可用行配置檢測指令碼

Hadoop高可用叢集

zookeeper叢集、kafka叢集、Hadoop高可用

centos7搭建hadoop高可用(ha)叢集

Hadoop高可用原理及叢集的搭建

Hadoop高可用集群

第二十天-- zookeeper -- hadoop高可用搭建 -- hadoop高可用恢復原資料

從零搭建hadoop高可用叢集，hbase

hadoop高可用HA的搭建

基於zookeeper的Spark高可用叢集配置

hadoop高可用機制配置

叢集規劃：

2.安裝配置hadoop叢集（在weekend01上操作）

相關推薦