(一) 設定靜態IP地址

cd /etc/sysconfig/network-scripts
vim ifcfg-ens33

• 修改IPADDR,NETMASK,GATEWAY為對應的值
• 修改BOOTPROTO為none
• 儲存並退出
• 重啟網絡卡

service network restart

(二) 修改主機名

 vim /etc/hosts

• 新增靜態ip地址及要修改的主機名

vim /etc/hostname

• 新增要修改的主機名
• 重啟Linux

(三) 設定ssh免密登入

cd ~/.ssh

若提示沒有此目錄則先手動執行一次

ssh 本機主機名

再進行切換目錄

ssh-keygen -t rsa
ssh-copy-id 本機主機名或者ip地址
 

輸入yes並輸入密碼 任意目錄下執行命令

ssh 本機主機名ip地址

檢查是否能直接登入

(四) 解壓安裝包

在要安裝的目錄下解壓jdk,hadoop

tar -zxvf 安裝包位置

(五) 配置環境變數

vim /etc/profile

新增

JAVA_HOME=jdk目錄
HADOOP_HOME=hadoop目錄
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

• 儲存並退出
• 重新整理配置檔案 source /etc/profile
• 測試jdk 在任意目錄下執行javac命令,檢查配置是否成功

(六) 配置hadoop檔案

• 切換到$HADOOP_HOME目錄下
• 建立hdfs目錄並在其目錄下分別建立name和data兩個目錄
• 切換到$HADOOP_HOME/etc/hadoop目錄下

vim hadoop-env.sh

• 修改JAVA_HOME值為jdk所在目錄

• 再分別修改其餘四個配置檔案,在每個檔案<configuration></configuration>標籤中對應新增如下內容
• 每個檔名對應下的xml為新增內容,其中涉及到ip地址的部分填自己本機設定的ip地址
• 分別修改 core-site.xml hdfs-site.xml mapred-site.xml(需要先將mapred-site.xml.template改為此名) yarn-site.xml

core-site.xml

<property>
	<name>fs.default.name</name>
	<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/simple/hadoop-2.4.1/tmp</value>
</property>

hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.name.dir</name>
	<value>/simple/hadoop-2.4.1/hdfs/name</value>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>/simple/hadoop-2.4.1/hdfs/data</value>
</property>

mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

yarn-site.xml

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>169.254.25.128</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

(七) 格式化namenode和啟動hadoop

• 格式化namenode

hdfs namenode -format

• 格式化完成後啟動hadoop

start-all.sh

( 或分別啟動

start-dfs.sh
start-yarn.sh

)

• 啟動完成後,在任意目錄下執行jps命令驗證程序是否正常啟動

(八) 測試hdfs和yarn

• 在linux的瀏覽器中輸入:

169.254.25.128:50070

• 進入HDFS管理頁面,ip地址為本機ip地址,埠不變

169.254.25.128:8088

• 進入MR管理頁面,ip地址為本機ip地址,埠不變