大資料之hadoop 環境搭建從零開始——實戰訓練
這裡的前提是要先安裝一個乾淨的CentOS系統，我這裡用的是CentOS6.6，安裝教程參考另一篇部落格：https://blog.csdn.net/gaofengyan/article/details/85054337
目錄
hadoop 環境搭建
注意下面Linux環境搭建和jdk安裝的部分順序，有提示（為了方便，少操作步驟，安裝完jdk再克隆就少兩次jdk安裝）。
1. 概念
叢集概念圖：我們將專案A整體按照規劃好的方式拆分多個模組到不同的伺服器部署，這些伺服器的網址是受到保護的，為了安全，不向外洩露。因此，客戶為了訪問到專案A的所有內容又不能分不同網址訪問不同伺服器上的內容，所以用一個虛擬的PC統一管理專案的釋出地址，並做安全防護，使用者就可以通過中間虛擬PC的連結訪問整個內容。而所有的部署了專案伺服器就形成一個叢集。
1.1 理論
1）叢集：指的是多臺裝置構成一個完整的應用，構成該應用的這些裝置就構成了一個叢集。
2）Hadoop：只是叢集中的一種，Hadoop叢集本身也包含兩種叢集。
Hadoop=hdfs + 運算框架。
Hadoop的運算框架有兩種：mapreduce（第一代運算框架）和yarn（第二代運算框架）
3）hdfs：
hdfs = hadoop dfs ; d->分散式，fs->filesystem(檔案系統，物理儲存)
4）mapreduce
hadoop第一代運算框架：hadoop的底層運算框架。
5）yarn
hadoop第二代運算框架：yarn 必須在第一代運算框架啟動後才能使用。
1.2 術語
1）m/s
m/s指的是master(主)/slave(從)結構，即主從結構
一個管理者（master）多個工作者（slave）。master負責分配與派發任務，slave負責執行任務。
在hadoop配置和命令中，主機是namenode，從機是datanode。
2）公鑰
公鑰是一對加密程式碼（MD5加密檔案），A節點將A的公鑰傳送給其他裝置後，A節點就能免密登陸其他裝置。
3）免密登陸
叢集節點之間通訊不需要輸入密碼也能互相登陸傳送資訊。實現方式是通過公鑰實現的。
2. Hadoop叢集搭建
2.1 叢集配置方案
以下是叢集裝置配置方案（這裡我給的是一個示例，以三臺裝置來實戰練習）：
角色 網路使用者名稱 使用者名稱 使用者組 ip 子網掩碼 閘道器 DNS
master node1 hduser hadoop 192.168.3.55 255.255.255.0 192.168.3.1 192.168.3.1
slave node2 hduser hadoop 192.168.3.56 255.255.255.0 192.168.3.1 192.168.3.1
slave node3 hduser hadoop 192.168.3.57 255.255.255.0 192.168.3.1 192.168.3.1
2.2 Linux環境搭建
1）建立使用者與使用者組（root賬號使用者）
使用者：hduser 使用者組：hadoop
[[email protected] ~]$ su root
密碼：
[[email protected] liang]$ groupadd hadoop
[[email protected] liang]$ useradd -g hadoop hduser
[[email protected] liang]$ passwd hduser
更改使用者 hduser 的密碼 。
新的 密碼：
無效的密碼： 過於簡單化/系統化
無效的密碼： 過於簡單
重新輸入新的 密碼：
passwd： 所有的身份驗證令牌已經成功更新。
[[email protected] liang]# 2）修改網路使用者名稱，所在網絡卡位置：（/etc/sysconfig/network）
[[email protected] liang]$ cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=localhost.localdomain
NTPSERVERARGS=iburst
[[email protected] liang]$ vi /etc/sysconfig/network修改hostname 值為 node1
3）修改本地主機名（網路使用者名稱）解析記錄
為了更好學習使用叢集，我們把Windows主機網路連線更改成靜態繫結ip，使用區域網，這樣我們可以訪問外網，但外網不能訪問內部，繫結ip如下：
開啟hosts配置檔案
$>vi /etc/hosts
在檔案中增加如下內容：
192.168.3.55 node1
192.168.3.56 node2
192.168.3.57 node3
4）更改使用者 hduser 擁有超級使用者角色（ /etc/sudoers )
檢視許可權：
$>ls -l /etc/sudoers -r--r----- 許可權碼是440
① 修改sudoers許可權為可變編輯
$>chmod 777 /etc/sudoers
② 開啟sudoers檔案增加內容：
$>vi /etc/sudoers
③ 增加內容：
在root ALL=(ALL) ALL 下面增加 hduser ALL=(ALL) ALL
④ 增加完以上內容再將sudoers許可權改回440，一定要改回去，不改回去整改系統都會崩掉不能用。
$>chmod 440 /etc/sudoers
5）配置ip 子網掩碼 閘道器 dns
刪除完後新增，新建：
更改連線名字，方法改為手動，新增自動分配的ip，子網掩碼，閘道器，DNS伺服器，更改好後應用，退出聯網。
此時ip地址還沒有更改：
解決方法：
6）jdk 安裝 root賬號（/usr/java）
解除安裝已安裝的jdk
解壓 tar
配置環境變數
生效配置檔案
------------------------------------------------------------------jdk安裝開始----------------------------------------------------------------------------
A. jdk安裝及配置
1. yum解除安裝系統以有（預設安裝）安裝的jdk
$>yum list installed | grep java 檢視系統內自帶的Java-jdk程式
$>yum remove -y 程式名稱
2. 獲取jdk的 tar安裝包 jdk-8u171-linux-x64.tar.gz 複製到Linux桌面
3. 建立目錄 $>mkdir /usr/java 
4. 將解壓到 /usr/java 路徑下
$>tar -zxvf /(補全路徑）/ jdk-8u**.tar.gz -C /usr/java/
B.jdk 配置環境變數（/etc/profile)
① 先開啟vi /etc/profile
② 在文件最後追加內容：
export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH
C.生效環境變數
$>source /etc/profile
D.測試
$>java -version
安裝成功！
------------------------------------------------------------jdk安裝結束---------------------------------------------------------------------------
7）防火牆服務關閉（root）jdk安裝完後再關閉
$>service iptables stop
$>chkconfig iptables off
--------------------------------------------------------以上是叢集中的每一臺都要的配置---------------------------------------------------------
8）克隆兩臺裝置 分別是 CentOS03 , CentOS04
D:\xuexi\vm\v3
D:\xuexi\vm\v4
克隆完啟動虛擬機器，賬戶名選擇新建的使用者名稱操作：
克隆完後，之前設定的 終端快捷鍵 和 手動分配的ip，子網掩碼，閘道器，DNS伺服器都恢復了初始狀態，需要重新設定：
克隆完後一定要再次檢查並手動修改node1 node2 node3 的 IP 與網路使用者名稱（如果連不上，先把外網斷了，再連線Linux網路，ifconfig後網址更改後再連線外網即可）：
1. 克隆完後再檢查網路連線：
這裡手動更改跟上面的步驟一樣：
更改完後重新連線網路，再檢查一次：
2. 更改好網路配置後，進入克隆的虛擬機器，將克隆的系統的使用者名稱node1改為node2 / node3 記得要用該使用者（hduser）的超級使用者許可權進入修改：
$>sudo vi /etc/sysconfig/network
3. 改完之後重啟系統：$>sudo reboot
重複上面的操作將另一個克隆的和被克隆的也改過來。刪除之前的使用者liang：$>sudo userdel liang
9）叢集裝置之間免密碼登陸（hduser賬戶操作）
a. 在node1上生成公鑰
$>ssh-keygen -t rsa
b. 將 node1 的公鑰派發給 node2
$>ssh-copy-id node2
c. 將 node1 的公鑰派發給 node3
$>ssh-copy-id node3
d. 將 node1 的公鑰派發給 node1
$>ssh-copy-id node1
e. 將 node1 的公鑰派發給 node1的localhost
$>ssh-copy-id localhost
f. 將 node1 的公鑰派發給 node1的127.0.0.1
$>ssh-copy-id 127.0.0.1
h. 測試：ssh node2 / node3..... exit退出
2.3 Hadoop 叢集搭建
1. 安裝hadoop
1.) 獲取hadoop 的 tar安裝包並解壓（先只安裝node1）
2.) 解壓到 /home/hduser/下 ，解壓後更改資料夾名為hadoop。
//解壓到當前使用者下
[[email protected] ~]$ tar -zxvf /home/hduser/hadoop-2.6.5.tar.gz -C /home/hduser/3.) 解壓完後更改包名：
//解壓完後更改包名
[[email protected] ~]$ mv /home/hduser/hadoop-2.6.5/ /home/hduser/hadoop
4.) 以上步驟完成後我們獲取hadoop主目錄 /home/hduser/hadoop
[[email protected] ~]$ cd /home/hduser/hadoop/2. 更改hadoop 配置檔案（hadoop主目錄/etc/hadoop/）其中的配置，在手動配置過程中千萬不要有錯，不然在格式化後就麻煩了，所有機子都會出問題，嚴重的就直接重灌系統開始做。
進入hadoop主目錄/etc/hadoop/ 後用 ll 檢視目錄：
1） hadoop-env.sh （hadoop hdfs執行環境檔案）
更改配置檔案中JAVA_HOME 如下：
[[email protected] hadoop]$ vi etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_171
2） mapred-env.sh （hadoop mapreduce運算框架執行環境檔案）
[[email protected] hadoop]$ vi etc/hadoop/mapred-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171
3） yarn-env.sh （hadoop yarn預算框架執行環境檔案）
[[email protected] hadoop]$ vi etc/hadoop/yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171
4） slaves （工作者節點資訊）
[[email protected] hadoop]$ vi etc/hadoop/slaves
修改工作者資訊如下：
node2
node3
檢視：
[[email protected] hadoop]$ cat etc/hadoop/slaves
node2
node3
5） core-site.xml （hadoop核心配置檔案）
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>fs,defaultFS:該屬性配置的dfs的訪問入口 hdfs:// 這是hdfs檔案系統的訪問協議
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hduser/hadoop/tmp</value>
</property>hadoop.tmp.dir:hadoop 本地臨時資料夾 file:/ 是訪問本地檔案的協議格式
這裡的tmp 檔案需要後面手動建立
6） hsfs-site.xml （hdfs的配置檔案）
<!-- namenode備份節點 訪問地址 -->
<property>
<name>dfs.namenode.secordary.http-address</name>
<value>node1:50090</value>
</property>
<!-- namenode 資料存放目錄 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/hadoop/dfs/name</value>
</property>
<!-- datanode 資料存放目錄 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/hadoop/dfs/data</value>
</property>
<!-- 資料備份個數-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- dfs.webhdfs.enabled ：可以通過web訪問 完全分散式。-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
7） mapred-site.xml （mapreduce 配置檔案）
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> mapreduce.framework.name ：配置作業運算框架使用yarn框架
[[email protected] hadoop]$ cp ~/桌面/mapred-site.xml ~/hadoop/etc/hadoop/ （上面的這些配置檔案資訊，特別是第5.6.7.8個，要麼全部手動輸入完成，但必須要正確，不正確，後面格式化後就回報一連串的錯誤，所有機子都用不了，得重頭開始做一遍；要麼就是之前有的檔案，拷貝到主機的桌面像我這樣複製到相應檔案即可；最簡單的就是用 Xshell 工具在Windows直接複製到相應的目錄下。）
8） yarn-site.xml （yarn配置檔案）
[[email protected] hadoop]$ cp ~/桌面/yarn-site.xml ~/hadoop/etc/hadoop/
建立以上第5.6步需要的三個檔案：
/home/hduser/hadoop/tmp
/home/hduser/hadoop/dfs/name
/home/hduser/hadoop/dfs/data
[[email protected] hadoop]$ mkdir /home/hduser/hadoop/tmp
[[email protected] hadoop]$ mkdir -p /home/hduser/hadoop/dfs/name
[[email protected] hadoop]$ mkdir /home/hduser/hadoop/dfs/data將node1 的 hadoop 資料夾複製到node2 與 node3 的 hduser 對應的資料夾下。
$> scp -r /home/hduser/hadoop [email protected]:/home/hduser/
$> scp -r /home/hduser/hadoop [email protected]:/home/hduser/9） 配置hadoop環境變數：
A. 先開啟vi /etc/profile
在文件最後追加內容：
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH B. 生效環境變數
$>source /etc/profile
C. 測試
$>hadoop version
3. 格式化與啟動
1）格式化（只能格式化一次）
利用hadoop主目錄下的bin目錄下的hadoop命令格式化
$>hadoop namenode -format
[[email protected] hadoop]$ bin/hadoop namenode -format
2）啟動（這裡注意一下，hadoop非常脆弱，每次開關機都要用命令執行，並且先啟動的後關閉原則）
利用hadoop主目錄下的sbin目錄
啟動分散式檔案系統
$>sbin/start-dfs.sh
啟動運算框架
$>sbin/start-yarn.sh
3）關閉
利用hadoop主目錄下的sbin目錄
關閉運算框架
$>sbin/stop-yarn.sh
關閉分散式檔案系統
$>sbin/stop-dfs.sh
4) 瀏覽器 開啟：http://node1:50070 web訪問分散式系統
3. hdfs 命令
1） 訪問hdfs 根目錄（/）
$>bin/hadoop dfs -ls
[[email protected] hadoop]$ bin/hadoop dfs -ls
2） 在hdfs 新建目錄 /test
$>bin/hadoop dfs -mkdir /test
[[email protected] hadoop]$ bin/hadoop dfs -mkdir /test
建立後檢視是否成功：
[[email protected] hadoop]$ bin/hadoop dfs -ls / 
3） 從本地上傳檔案a.txt到hdfs /test/下
$>bin/hadoop dfs -put ***/a.txt /test/
4） 將hdfs /test/下a.txt 下載到本地桌面並命名為b.txt
$>bin/hadoop dfs -get /test/a.txt /home/hduser/hadoop/桌面/b.txt
[[email protected] hadoop]$ bin/hadoop dfs -get /test/a.txt /home/hduser/桌面/b.txt
5） 刪除hdfs 上 /test 目錄
$>bin/hadoop dfs -rmr /test
4. 安裝eclipse
新下載 eclipse 需要安裝外掛，外掛名如下：
1*） 這裡因為提前準備好了，所以直接將eclipse.tar.gz包解壓到 /usr/下（hduser使用者操作，需要root使用者修改 /usr/資料夾許可權）
更改許可權：[[email protected] hadoop]# chmod 777 /usr/
解壓安裝：[[email protected] hadoop]$ tar -zxvf ~/桌面/eclipse.tar.gz -C /usr/
更改許可權：[[email protected] hadoop]# chmod 755 /usr/
1） 這裡為了許可權統一併和上面的hadoop安裝相同，就直接安裝到/home/hduser/目錄下 這樣就不用更改許可權那麼麻煩。
解壓安裝：
[[email protected] ~]$ tar -zxvf ~/桌面/eclipse.tar.gz -C /home/hduser/檢視：
[[email protected] ~]$ ls
eclipse hadoop 公共的 模板 視訊 圖片 文件 下載 音樂 桌面 2） eclipse 需要hadoop-eclipse-plugin-2.6.4.jar 外掛，將該外掛複製到 eclipse/plugin/下（這裡在安裝之前的tar包已經插入了，這一步我這裡就省掉了，沒有的這裡一定要加上去）。
3） 用命令啟動eclipse eclipse目錄/eclipse -clean
切換目錄：
[[email protected] ~]$ cd eclipse/檢視目錄下檔案（plugins）：
[[email protected] eclipse]$ ls
artifacts.xml dropins eclipse.ini icon.xpm plugins
configuration eclipse features p2 readme檢視plugins/下是否有hadoop-eclipse-plugin-2.6.4.jar 外掛：
[[email protected] eclipse]$ ls -l plugins/hadoop-eclipse-plugin-2.6.4.jar
-rwxr--r--. 1 hduser hadoop 31494436 12月 8 18:04 plugins/hadoop-eclipse-plugin-2.6.4.jar啟動eclipse:
[[email protected] eclipse]$ ./eclipse -clean 
4） 啟動後改變顯示檢視：
windows -> show view -> project Explorer
5） 在命令啟動的eclipse後，配置hadoop環境
eclipse -> windows -> preference -> Hadoop mapreduce 右側配置：hadoop installation direction: /home/hduser/hadoop
6） 開啟mappreduce 選項卡
eclipse -> windows ->show view -> others -> 搜尋並開啟 map/Reduce Tools
7） 在新開啟的map/Reduce 選項卡中 右鍵點選 new Hadoop location 新增 map/Reduce Location ,彈出配置介面
8） 彈出的配置介面做以下配置：
name: xxxx（例如：firsthadoop）取名字
DFS:node1 9000
map/Reduce:node1 9001
8） 儲存
9） eclipse 工作空間左側project explore 選項卡中，點選 DFS Locations 能看到我們剛配置的分散式檔案xxxx.
10） 點選xxxx 展開 分散式檔案系統目錄結構
11）使用完後退出eclipse 但要記得關閉hadoop：
[[email protected] eclipse]$ /home/hduser/hadoop/sbin/stop-yarn.sh
[[email protected] eclipse]$ /home/hduser/hadoop/sbin/stop-dfs.sh
5） 測試
1. wordcount 單詞計數作業
1） node1 本地( /home/hduser/桌面 )建立1個 2個記事本 1.txt 2.txt
$>vi /home/hduser/桌面/1.txt 增加以下內容：
1.txt:
this is a hadoop text .hadoop is a application .
this is a example .
$>vi /home/hduser/桌面/2.txt 增加以下內容：
2.txt:
java
mysql
hadoop
mybatis
在分散式hdfs 建立兩個資料夾 /input 和 /output
$>bin/hadoop dfs -mkdir /input
$>bin/hadoop dfs -mkdir /output2） 將node1 本地的1.txt , 2.txt 分別上傳到 hdfs /input/下
$>bin/hadoop dfs -put /home/hduser/桌面/1.txt /input/
$>bin/hadoop dfs -put /home/hduser/桌面/2.txt /input/3） 在hdfs上新建一個資料夾 /output/ 用於存放計算的結果集。
4） 利用hadoop 自帶樣例jar 包執行單詞計數器運算。
自帶樣例：hadoop/share/hadoop/mapreduce/hadoop-mapreduce--examples-2.6.5.jar
語法：hadoop jar hadoop-mapreduce--examples-2.6.5.jar wordcout 被運算的資源位置 結果輸出位置
$>hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /input/* /output/wc1
[[email protected] ~]$ hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input/* /output/wc1
19/01/07 14:55:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/01/07 14:55:29 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.3.55:8032
19/01/07 14:55:31 INFO input.FileInputFormat: Total input paths to process : 2
19/01/07 14:55:31 INFO mapreduce.JobSubmitter: number of splits:2
19/01/07 14:55:32 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1546823348160_0001
19/01/07 14:55:32 INFO impl.YarnClientImpl: Submitted application application_1546823348160_0001
19/01/07 14:55:33 INFO mapreduce.Job: The url to track the job: http://node1:8088/proxy/application_1546823348160_0001/
19/01/07 14:55:33 INFO mapreduce.Job: Running job: job_1546823348160_0001
19/01/07 14:55:45 INFO mapreduce.Job: Job job_1546823348160_0001 running in uber mode : false
19/01/07 14:55:45 INFO mapreduce.Job: map 0% reduce 0%
19/01/07 14:56:01 INFO mapreduce.Job: map 100% reduce 0%
19/01/07 14:56:12 INFO mapreduce.Job: map 100% reduce 100%
19/01/07 14:56:13 INFO mapreduce.Job: Job job_1546823348160_0001 completed successfully
19/01/07 14:56:14 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=162
FILE: Number of bytes written=323858
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=283
HDFS: Number of bytes written=95
HDFS: Number of read operations=9
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Launched map tasks=2
Launched reduce tasks=1
Data-local map tasks=2
Total time spent by all maps in occupied slots (ms)=27047
Total time spent by all reduces in occupied slots (ms)=8817
Total time spent by all map tasks (ms)=27047
Total time spent by all reduce tasks (ms)=8817
Total vcore-milliseconds taken by all map tasks=27047
Total vcore-milliseconds taken by all reduce tasks=8817
Total megabyte-milliseconds taken by all map tasks=27696128
Total megabyte-milliseconds taken by all reduce tasks=9028608
Map-Reduce Framework
Map input records=6
Map output records=19
Map output bytes=171
Map output materialized bytes=168
Input split bytes=188
Combine input records=19
Combine output records=13
Reduce input groups=12
Reduce shuffle bytes=168
Reduce input records=13
Reduce output records=12
Spilled Records=26
Shuffled Maps =2
Failed Shuffles=0
Merged Map outputs=2
GC time elapsed (ms)=431
CPU time spent (ms)=2170
Physical memory (bytes) snapshot=461422592
Virtual memory (bytes) snapshot=6173335552
Total committed heap usage (bytes)=256724992
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=95
File Output Format Counters
Bytes Written=95
檢視/output下面是否有wc1:
[[email protected] ~]$ hadoop fs -ls /output/
19/01/07 14:57:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x - hduser supergroup 0 2019-01-07 14:56 /output/wc1檢視/output/wc1/下面是否有檔案:
[[email protected] ~]$ hadoop fs -ls /output/wc1
19/01/07 14:57:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r--r-- 2 hduser supergroup 0 2019-01-07 14:56 /output/wc1/_SUCCESS
-rw-r--r-- 2 hduser supergroup 95 2019-01-07 14:56 /output/wc1/part-r-00000檢視兩個檔案的運算結果集：
[[email protected] ~]$ hadoop fs -cat /output/wc1/*
19/01/07 14:58:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
. 2
.hadoop 1
a 3
application 1
example 1
hadoop 2
is 3
java 1
mybatis 1
mysql 1
text 1
this 2 結果：
this 2
is 3
hadoop 3