hadoop2.2.0偽分佈安裝
一、安裝虛擬機器
安裝過程可以在網上查詢。
二、安裝Linux系統
系統可以Redhat、CentOS。這裡用的是CentOS。安裝過程可以網上檢視。
三、偽分散式安裝
3.1準備Linux環境
★輔助工具
PieTTY、WinSCP FileZilla、secureCRT
★連通Linux（客戶機）和Windows(宿主機)使它們能夠進行通訊
在windows系統下，開啟 “控制面板” --->開啟“網路和共享中心”--->“更改介面卡設定”--->點選“VMnet1”，右鍵選擇“屬性”--->點選“Internet協議版本4”--->點選右下角"屬性"--->選擇“使用下面的IP地址”，在IP位址列裡寫入一個IP，比如192.168.80.1，要保證Linux的IP也處在相同的網段，子網掩碼寫入255.255.255.0--->選擇“使用下面的DNS伺服器地址”，在首選DNS伺服器欄裡寫入192.168.80.1--->點選“確定”，退出
在Linux系統下，
☞將虛擬機器的網路連線模式改為host-only模式。在虛擬軟體上 --->My Computer ---> 選中虛擬機器 ---> 右鍵 ---> settings ---> network adapter -> host only
☞修改主機名。
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop1 ###
☞修改IP。有兩種方式：
（1）通過Linux圖形介面進行修改（強烈推薦）
進入Linux圖形介面 -> 右鍵點選右上方的兩個小電腦 -> 點選Edit connections -> 選中當前網路System eth0 -> 點選edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點選add按鈕 -> 新增IP：192.168.
（2）修改配置檔案方式（屌絲程式猿專用）
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.80.100" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.
☞修改主機名與IP的對映關係
vim /etc/hosts
192.168.80.100
hadoop1
☞關閉防火牆
#檢視防火牆狀態
service iptables status
#關閉防火牆
service iptables stop
#檢視防火牆開機啟動狀態
chkconfig iptables --list
#關閉防火牆開機啟動
chkconfig iptables off
☞重啟Linux使配置生效
reboot
★安裝jdk
☞使用FileZilla將下載好的jdk上傳到Linux中，這裡用的是32位1.7版本的
☞解壓jdk
#建立資料夾
mkdir /usr/java
#解壓
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
☞將jdk新增到環境變數中
vim /etc/profile
#在檔案最後新增
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin
#重新整理配置
source /etc/profile
★安裝hadoop2.2.0
☞使用FileZilla將下載好的hadoop2.2.0上傳到Linux中
☞解壓hadoop安裝包
mkdir /cloud
#解壓到/cloud/目錄下
tar -zxvf hadoop-2.2.0.tar.gz -C
/cloud/
☞修改配置檔案（5個）
先進入cd /cloud/hadoop-2.2.0/etc/hadoop/
(1)
vim hadoop-env.sh
#在27行修改
export JAVA_HOME=/usr/java/jdk1.7.0_55
(2)
vim core-site.xml
<configuration>
<!-- 指定HDFS老大（namenode）的通訊地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-2.2.0/tmp</value>
</property>
</configuration>
(3)
vim hdfs-site.xml
<configuration>
<!-- 設定hdfs副本數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(4)
先 重命名： mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
（5）
vim yarn-site.xml
<configuration>
<!-- reducer取資料的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
☞將hadoop2.2.0新增到環境變數
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/cloud/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
☞格式化HDFS（namenode）第一次使用時要格式化
hadoop namenode -format
☞啟動hadoop
先啟動HDFS
sbin/start-dfs.sh
再啟動YARN
sbin/start-yarn.sh
☞驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
★配置ssh免密碼登入
生成ssh免登陸金鑰
cd ~，進入到我的home目錄
cd .ssh/
ssh-keygen -t rsa （四個回車）
執行完這個命令後，會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰）
將公鑰拷貝到要免登陸的機器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
或
ssh-copy-id -i localhost