Hadoop離線計算（一）之安裝並配置Hadoop
一、準備linux環境
1.0 配置好各虛擬機器的網路（採用NAT聯網模式）
第一種：通過Linux圖形介面進行修改(桌面版本Centos)進入Linux圖形介面 -> 右鍵點選右上方的兩個小電腦 -> 點選Edit connections-> 選中當前網路System eth0 -> 點選edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點選add按鈕 -> 新增IP：192.168.25.161 子網掩碼：255.255.255.0 閘道器：192.168.25.2-> apply
第二種：修改配置檔案方式
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
UUID=37e6d2fd-3efb-4a33-aebf-fc8e7be64e45
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
HWADDR=00:50:56:25:E7:80
IPADDR=192.168.25.161
PREFIX=24
GATEWAY=192.168.25.2
DNS1=192.168.25.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
1.1修改各個虛擬機器主機名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node1
1.2修改主機名和IP的對映關係
vi /etc/hosts
192.168.25.161 node1
192.168.25.162 node2
192.168.25.163 node3
1.3關閉防火牆
#檢視防火牆狀態
service iptables status
#關閉防火牆
service iptables stop
#檢視防火牆開機啟動狀態
chkconfig iptables --list
#關閉防火牆開機啟動
chkconfig iptables off
1.4.配置ssh免登陸
生成ssh免登陸金鑰
ssh-keygen -t rsa #（四個回車） 執行完這個命令後，會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰） 將公鑰拷貝到要免密登陸的目標機器上（叢集有多少臺就需配置多少臺，包括本身機器，可用指令碼處理）
ssh-copy-id node2
1.5 同步叢集時間
常用的手動進行時間的同步 date -s “2018-03-03 03:03:03” 或者網路同步：
yum install ntpdate
ntpdate cn.pool.ntp.org
二、安裝JDK
2.1上傳jdk
rz jdk-8u65-linux-x64.tar.gz
2.2解壓jdk
tar -zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps
2.3將java新增到環境變數中
vim /etc/profile
#在檔案最後新增
export JAVA_HOME=/export/server/jdk1.8.0_144
export PATH=PATH:JAVA_HOME/bin
export CLASSPATH=.:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/tools.jar
#重新整理配置
source /etc/profile
三、安裝hadoop2.7.4
上傳hadoop的安裝包到伺服器(此處的路徑為自行建立的資料夾/export/server) hadoop-2.7.4-with-centos-6.7.tar.gz 解壓安裝包
tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz
注意：hadoop2.x的配置檔案目錄：$HADOOP_HOME/etc/hadoop
四、配置Hadoop（重點）
4.1配置hadoop
在hadoop叢集中的主節點機器上，跳轉到hadoop安裝的目錄，進入/export/server/hadoop-2.7.4/etc/hadoop目錄，修改6個配置檔案。
此配置主要是為了保證hadoop執行的環境，其實已經配置了javahome，也是可以不配的，但建議配置
vi hadoop-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_144
第二個：core-site.xml(注：在標籤中新增)
<!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存目錄,預設/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/export/data/hddata</value>
</property>
第三個：hdfs-site.xml
<!-- 指定HDFS副本的數量 不配置的話,預設為3個-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--祕書地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50090</value>
</property>
第四個：mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<!-- 指定mr執行時框架，這裡指定在yarn上，預設是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五個：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<!-- NodeManager上執行的附屬服務。需配置成mapreduce_shuffle，才可執行MapReduce程式預設值："" -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
第六個：slaves檔案，裡面寫上從節點所在的主機名字
vi slaves
node1
node2
node3
4.2將hadoop新增到環境變數
vim /etc/profile
#在/etc/profile檔案中新增以下程式碼
#hadoop
export HADOOP_HOME=/export/server/hadoop-2.7.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#重新載入資源
source /etc/profile
附加：上兩節的配置需要同步到其他叢集機器中，可以使用scp命令處理，如拷貝hadoop到node2
#拷貝hadoop到node2
scp -r /export/server/hadoop-2.7.4 [email protected]:/export/server
#拷貝環境變數檔案到node2（其他節點機器配置相同）
scp -r /etc/profile [email protected]:/etc
4.3格式化namenode（本質是對namenode進行初始化）
hdfs namenode -format #(或者hadoop namenode -format)
4.4啟動hadoop
#在hadoop的安裝目錄下/export/server/hadoop-2.7.4，先啟動HDFS
sbin/start-dfs.sh
#再啟動YARN
sbin/start-yarn.sh
4.5驗證是否啟動成功
使用jps命令驗證
[[email protected] hadoop-2.7.4]# jps
3729 DataNode
3985 ResourceManager
4085 NodeManager
4699 Jps
3613 NameNode
在瀏覽器輸入以下網址驗證
五、Hadoop初體驗
5.1 hdfs使用
#簡單命令
#查詢根目錄
hdfs dfs -ls /
#建立新資料夾/hello
hdfs dfs -mkdir /hello
#將檔案/root/test.txt放入資料夾/hello中
hdfs dfs -put /root/test.txt /hello
5.2 mapreduce測試
官方提供了一個jar包可以進行測試，這個包放在/export/server/hadoop-2.7.4/share/hadoop/mapreduce資料夾中，進入該目錄中，執行命令即可測試
#計算圓周率
# Number of Maps = 20
# Samples per Map = 50
hadoop jar hadoop-mapreduce-examples-2.7.4.jar pi 20 50
