1 虛擬機器配置

2 叢集網路配置

2.1 修改主機名

主節點名字為master,另外2個節點名字分別為slave1和slave2

[email protected]:~# vim /etc/hostname
master

2.2 新增對映

未了方便後續操作，3個節點都新增IP和主機名的對映

[email protected]:~# vim /etc/hosts
192.168.0.122   master
192.168.0.123   slave1
192.168.0.124   slave2

3 叢集ssh免密登入配置

3.1 生成公鑰和私鑰

在3個節點上都生成ssh key

[email protected]:ssh-keygen -t rsa

3.2 將公鑰複製到遠端機器中

在master上執行下面3行命令

[email protected]:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub master
[email protected]
 
:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
[email protected]:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

3.3免密ssh登陸測試

[email protected]:~$ ssh master
[email protected]:~$ ssh slave1
[email protected]:~$ ssh slave2

4 在主節點安裝JDK和Hadoop

4.1 安裝jdk

[email protected]: tar -zxvf java.tar.gz -C ~/app  	//解壓
//設定JVM環境變數
 
[email protected]:echo 'export JAVA_HOME=/home/hadoop/app/java' >> ~/.bashrc
[email protected]:echo 'PATH=${JAVA_HOME}/bin:$PATH' >> ~/.bashrc
[email protected]:source .bashrc 	//重新整理

4.2 安裝hadoop

[email protected]:tar -zxvf hadoop-2.6.0-cdh5.9.3.tar.gz -C ~/app
[email protected]:mv app/hadoop-2.6.0-cdh5.9.3 ~/app/hadoop
#設定hadoop環境變數
[email protected]:echo 'export HADOOP_HOME=/home/hadoop/app/hadoop' >> ~/.bashrc
[email protected]:echo 'PATH=${HADOOP_HOME}/bin:$PATH' >> ~/.bashrc
[email protected]:source ~/.bashrc	//重新整理

5 Hadoop叢集主節點配置

5.1 配置環境變數

[email protected]:~/app/hadoop/etc/hadoop$ vim hadoop-env.sh   
將export JAVA_HOME=${JAVA_HOME}替換為
export JAVA_HOME= /home/hadoop/app/java

5.2 開放埠號和指定臨時資料夾

[email protected]:~/app/hadoop/etc/hadoop$ vim core-site.xml	
新增：
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://master:8020</value>
  </property>
</configuration>

5.3 配置副本數和儲存位置

//預設副本系數為3
[email protected]:~/app/hadoop/etc/hadoop$ vim hdfs-site.xml  
新增：
<configuration>
<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>/home/hadoop/app/tmp/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>/home/hadoop/app/tmp/dfs/data</value>
　　</property> 
</configuration>

5.4 配置yarn

[email protected]:~/app/hadoop/etc/hadoop$ vim yarn-site.xml
<configuration>
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
    <property>
　　　　<name>yarn.resourcemanager.hostname</name>
　　　　<value>master</value>
　　</property>
</configuration>

5.5 設定提交的 Yarn job 只執行在分散式模式

[email protected]:~/app/hadoop/etc/hadoop$ vim mapred-site.xml
<configuration>
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
</configuration>

5.6 配置datanode執行位置

[email protected]:~/app/hadoop/etc/hadoop$ vim slaves
將localhost替換為：
master
slave1
slave2

6 Hadoop叢集從節點的配置

6.1 拷貝配置

將第4和5步配置拷貝到slave1和slave2上

[email protected]:~$ scp -r /home/hadoop/app/ [email protected]:~/
[email protected]:~$ scp -r /home/hadoop/app/ [email protected]:~/
[email protected]:~$ scp  /home/hadoop/.bashrc  [email protected]:~/.bashrc
[email protected]:~$ scp  /home/hadoop/.bashrc  [email protected]:~/.bashrc

6.2重新整理slave1和slave2配置檔案

[email protected]:~$ source .bashrc
[email protected]:~$ source .bashrc

6.4驗證3個節點JDK和Hadoop是否按裝成功

在3個節點分別檢視是否能輸出配置資訊

[email protected]: echo `java -version	 //輸出java版本資訊
[email protected]:hadoop version	//輸出hadoop版本資訊

7 Hadoop叢集的啟停

7.1 初始化

首次啟動時，只在master節點格式化檔案系統。執行完後可以看到在~/app/tmp/ dfs/下面會自動生成一個叫name的資料夾

[email protected]:~/app/hadoop/bin$ ./hdfs namenode -format

7.2 啟動hadoop叢集

[email protected]:~/app/hadoop/sbin$ ./start-all.sh

7.3 驗證叢集是否啟動成功

方法1：檢視程序數

[email protected]:~/app/hadoop/sbin$ jps:
在主節點上可以看到下面5個程序
2678 ResourceManager
2810 NodeManager
2350 DataNode
2191 NameNode
2543 SecondaryNameNode

從節點只有2個
1665 DataNode
1805 NodeManager

方法2：在瀏覽器訪問console頁面

訪問hadoop頁面：
http://192.168.0.122:50070

訪問yarn頁面：
http://192.168.0.122:8088/cluster

7.4停止hadoop叢集

[email protected]:~/app/hadoop/sbin$ ./stop-all.sh

8 提交MapeReduce Job

8.1 在HDFS上建立資料夾

[email protected]:~/app/data$ hadoop fs -mkdir /data

8.2 建立資料來源wordcont.txt

[email protected]:~ /app/data$ vim wordcont.txt
新增：
hello hadoop
hello spark

8.3 將wordcond.txt提交到HDFS

[email protected]:~/app/data$ hadoop fs -put wordcount.txt /data

8.4 檢視是否新增成功

[email protected]:~/app/data$ hadoop fs -ls -R  /

8.5 執行MR程式

[email protected]:~/app/hadoop/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar wordcount /data /result

其中 wordcount為程式的主類名， /data 輸入目錄， /result 輸出目錄，且輸出目錄不能存在，否則會報錯

8.6 檢視統計結果

[email protected]:~/app/data$ hadoop fs -ls -R /result

[email protected]:~/app/data$ hadoop fs -cat /result/part-r-00000

9 Hadoop shell指令小結

[email protected]:~$ hadoop fs + 命令

常見命令：
-ls -R /  遞迴顯示/下所有資料夾
-get /hello.txt 將hdfs的檔案下載到本地
-put ~/data/hello.txt /input/wc 講本地檔案上傳到hdfs
-cat  /hello.txt 檢視文字內容
-mkdir /text 建立資料夾
-rm /hello.txt 刪除檔案
-rm -R /text 刪除資料夾