Mac-搭建Hadoop叢集
You have to work very hard to believe that you are really powerless.
Mac-搭建Hadoop叢集
我用到了：VMware Fusion、CentOS7、FileZilla、jdk-8u181-linux-x64.tar.gz和hadoop-2.7.6.tar.gz
1、叢集部署規劃
NameNode單點部署：
| 節點名稱 | NN1 | NN2 | DN | RM | NM | 規劃IP | other |
| tjt01 | NameNode | DataNode | NodeManager | 172.16.114.130 | hive/hdfs | ||
| tjt02 | SecondaryNameNode | DataNode | ResourceManager | NodeManager | 172.16.114.131 | hbase/kms | |
| tjt03 | DataNode | NodeManager | 172.16.114.132 | mysql/spark |
2、三臺客戶機相關準備
2.1、安裝VMware虛擬機器
在虛擬機器中安裝CentOS映象，由初始安裝的CentOS7版本的映象，完整克隆出另外兩臺虛擬機器
2.2、修改主機名
[root@tjt01 tjt]# vi /etc/hostname
分別修改三臺虛擬機器主機名：tjt01、tjt02、tjt03
2.3、修改host檔案
配置主機host：
[root@tjt01 tjt]# vi /etc/hosts
將配置傳送到其他的主機，同時在其他主機上配置：
scp -r /etc/hosts root@tjt02:/etc/ scp -r /etc/hosts root@tjt03:/etc/
測試host檔案修改結果：
ping tjt01 ping tjt02 pint tjt03
2.4、設定SSH免密登入
每兩臺主機之間設定免密碼，自己的主機與自己的主機之間也要求設定免密碼；
輸入：ssh-keygen -t rsa
然後按下四次回車，之後在把密匙發到其他主機上，輸入：ssh-copy-id tjt01 並按提示輸入密碼，然後是ssh-copy-id 02和ssh-copy-id 03同樣的操作；
之後，在另外兩臺虛擬機器上也執行相同的步驟：
ssh-keygen -t rsa ssh-copy-id tjt01 ssh-copy-id tjt02 ssh-copy-id tjt03
測試SSH免密登入：
ssh tjt01、ssh tjt02、ssh tjt03
2.5、安裝配置JDK
虛擬機器預設安裝了一個openjdk，解除安裝掉：
rpm -qa | grep jdk
可以檢視已經安裝了的openjdk
yum remove *openjdk*
幹掉openjdk
yum remove copy-jdk-configs-3.3-10.el7_5.noarch幹掉jdk-configs
將JDK安裝包上傳到/opt下，可以通過XShell的rz上傳，也可以用FileZilla：
到/opt 目錄下解壓：tar xzvf jdk-8u181-linux-x64.tar.gz
設定JAVA_HOME：
輸入：vi /etc/profile，在profile檔案中的編輯模式下加上下方export配置：
export JAVA_HOME=/opt/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
修改好之後使檔案生效：source /etc/profile
複製JDK到另外兩個節點：
在這之前要先把另外兩臺虛擬機器上的openjdk也幹掉：
yum remove *openjdk* yum remove copy-jdk-configs-3.3-10.el7_5.noarch
然後複製jdk到另外兩個虛擬機器上：
scp -r /opt/jdk1.8.0_181 root@tjt02:/opt/ scp -r /opt/jdk1.8.0_181 root@tjt03:/opt/
向其他節點複製profile檔案：
scp /etc/profile root@tjt02:/etc/ scp /etc/profile root@tjt03:/etc/
然後每個節點分別執行 source /etc/profile ，使profile生效下，並通過java-version簡單測試下，jdk複製是否成功：
tjt02:
tjt03:
3、安裝Hadoop
3.1、上傳並解壓Hadoop
解壓：tar zxvf hadoop-2.7.6.tar.gz
3.2、搭建Hadoop叢集
配置檔案在 hadoop2.7.6/etc/hadoop/ 下，修改設定 hadoop2.7.6 目錄下的可執行許可權
3.2.1、修改 core-site.xml
[root@tjt01 hadoop]# vi core-site.xml
然後在core-site.xml檔案中編輯如下：
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://tjt01:9000</value> </property> <!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop-2.7.6/data/full/tmp</value> </property>
3.2.2、修改hadoop-env.sh
[root@tjt01 hadoop]# vi hadoop-env.sh
修改JAVA_HOME：
3.2.3 修改 hdfs-site.xml
[root@tjt01 hadoop]# vi hdfs-site.xml
修改 hdfs-site.xml 的配置如下：
<configuration> <!-- 設定dfs副本數，不設定預設是3個 --> <property> <name>dfs.replication</name> <value>2</value> </property> <!-- 設定secondname的埠 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>tjt02:50090</value> </property> </configuration>
3.2.4 修改 slaves
[root@tjt01 hadoop]# vi slaves
增加slaves 配置如下：
tjt01 tjt02 tjt03
3.2.5 修改 mapred-env.sh
[root@tjt01 hadoop]# vi mapred-env.sh
修改其JAVA_HOME如下：
export JAVA_HOME=/opt/jdk1.8.0_181
3.2.6 修改 mapred-site.xml
[root@tjt01 hadoop]# mv mapred-site.xml.template mapred-site.xml [root@tjt01 hadoop]# vi mapred-site.xml
修改其configuration如下：
<configuration> <!-- 指定mr執行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
3.2.7 修改 yarn-env.sh
[root@tjt01 hadoop]# vi yarn-env.sh
修改其JAVA_HOME如下：
export JAVA_HOME=/opt/jdk1.8.0_181
3.2.8 修改 yarn-site.xml
[root@tjt01 hadoop]# vi yarn-site.xml
修改配置如下：
<configuration> <!-- reducer獲取資料的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>tjt02</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> <description>Whether virtual memory limits will be enforced for containers</description> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description> </property> </configuration>
3.3 分發 hadoop 到各個節點
[root@tjt01 hadoop]# scp -r /opt/hadoop-2.7.6/ root@tjt02:/opt
[root@tjt01 hadoop]# scp -r /opt/hadoop-2.7.6/ root@tjt03:/opt
3.4 配置環境變數
[root@tjt01 hadoop]# vi /etc/profile
修改配置如下：
export HADOOP_HOME=/opt/hadoop-2.7.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile 使profile檔案生效；
[root@tjt01 hadoop]# source /etc/profile
3.5 分發 profile 到各個節點
[root@tjt01 hadoop]# scp /etc/profile root@tjt02:/etc/
[root@tjt01 hadoop]# scp /etc/profile root@tjt03:/etc/
到各自的服務節點上是profile 生效：
[root@tjt02 ~]# source /etc/profile
[root@tjt03 ~]# source /etc/profile
4 啟動驗證叢集
4.1 啟動叢集
當看到19/05/03 03:45:47 INFO common.Storage: Storage directory /opt/hadoop-2.7.6/data/full/tmp/dfs/name has been successfully formatted. 就格式化OK了；
到此為止，上面存在有一個錯誤，不能在hdfs-site.xml檔案中這麼寫註釋【#tjt】：
如果Namenode和ResourceManager不是同一臺虛擬機器的話，不能在NameNode上啟動yarn，應該在ResourceManager所在的機器上啟動yarn；我的yarn配置在tjt02伺服器上，一次需要到tjt02機器上啟動yarn
[root@tjt02 hadoop]# start-yarn.sh
4.1.4 jps 檢視程序
[root@tjt01 hadoop]# jps
[root@tjt02 hadoop]# jps
[root@tjt03 hadoop]# jps
在虛擬機器tjt01上訪問：http://172.16.114.130:50070
Datanode:
在虛擬機器tjt02上訪問：http://172.16.114.131:8088/cluster
4.2、Hadoop停止啟動方式
1）各個服務元件逐一啟動
分別啟動hdfs 元件：
hadoop-deamon.sh start | stop namenode | datnode | secondarynamenode
啟動yarn：
yarn-deamon.sh start | stop resourcemanager | nodemanager
2) 各個模組分開啟動(常用)
start | stop-dfs.sh start | stop-yarn.sh
3) 全部啟動
start | stop-all.sh
其他
1、關閉防火牆
//臨時關閉 systemctl stop firewalld //禁止開機啟動 systemctl disable firewalld
2、建立使用者，設定檔案許可權
建立使用者，修改密碼：
[root@tjt01 ~]# useradd tjt [root@tjt01 ~]# passwd tjt
設定 tjt 使用者具有 root 許可權 修改 /etc/sudoers 檔案，找到下面一行，在 root 下面新增一行，如下所示:
修改完畢，現在可以用 tjt 帳號登入，然後用命令 su - ，即可獲得 root 許可權進行操作。
其實，當Web頁面訪問：http://172.16.114.130:50070，可以看到hadoop頁面時Hadoop叢集就成功構建好了。