大數據平臺Hadoop的分布式集群環境搭建
本文章介紹大數據平臺Hadoop的分布式環境搭建、以下為Hadoop節點的部署圖，將NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分別部署一個DataNode節點
NN=NameNode（名稱節點）
SND=SecondaryNameNode（NameNode的輔助節點）
DN=DataNode（數據節點）
2 前期準備
（1）準備五臺服務器
如：master1、master2、slave1、slave2、slave3
（2）關閉所有服務器的防火墻
$ systemctl stop firewalld
（3）分別修改各服務器的/etc/hosts文件，內容如下：
192.168.56.132 master1
192.168.56.133 master2
192.168.56.134 slave1
192.168.56.135 slave2
192.168.56.136 slave3
註：對應修改個服務器的/etc/hostname文件，分別為 master1、master2、slave1、slave2、slave3
（4）分別在各臺服務器創建一個普通用戶與組
$ groupadd hadoop #增加新用戶組
$ useradd hadoop -m -g hadoop #增加新用戶
切換至hadoop用戶：su hadoop
（5）各服務器間的免密碼登錄配置，分別在各自服務中執行一次
$ ssh-keygen -t rsa #一直按回車，會生成公私鑰
$ ssh-copy-id hadoop@master1 #拷貝公鑰到master1服務器
$ ssh-copy-id hadoop@master2 #拷貝公鑰到master2服務器
$ ssh-copy-id hadoop@slave1 #拷貝公鑰到slave1服務器
$ ssh-copy-id hadoop@slave2 #拷貝公鑰到slave2服務器
$ ssh-copy-id hadoop@slave3 #拷貝公鑰到slave3服務器
（6）下載hadoop包，hadoop-2.7.5.tar.gz
官網地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/
3 開始安裝部署
（1）創建hadoop安裝目錄
$ mkdir -p /home/hadoop/app/hadoop/{tmp,hdfs/{data,name}}
（2）將安裝包解壓至/home/hadoop/app/hadoop下
$tar zxf tar -zxf hadoop-2.7.5.tar.gz -C /home/hadoop/app/hadoop
（3）配置hadoop的環境變量，修改/etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
HADOOP_HOME=/home/hadoop/app/hadoop/hadoop-2.7.5
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH
（4）刷新環境變量
$source /etc/profile
4 配置Hadoop
（1）配置core-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/core-site.xml
<configuration>
<property>
大數據平臺Hadoop的分布式集群環境搭建