三:下載解壓 hadoop 到某個目錄(例如 /usr/loacl/hadoop)

四:賬號建立:
即為hadoop叢集專門設定一個使用者組及使用者,這部分比較簡單,參考示例如下:
groupadd hadoop //設定hadoop使用者組
useradd –s /bin/bash –d /home/hadoop –m hadoop –g hadoop –G admin
//新增一個hadoop 使用者,此使用者屬於hadoop使用者組,且具有admin許可權。
passwd xxxxx//設定使用者hadoop登入密碼
su hadoop //切換到hadoop

五:配置hosts

配置hosts檔案的作用:用於確定每個結點的IP地址,方便後續master結點能快速查到並訪問各個結點。
配置hosts需要確定每個結點的IP地址,可以使用ifconfig命令進行檢視當前虛機結點的IP地址,例如:這裡寫圖片描述
如果IP地址不對,可以通過ifconfig命令更改結點的物理IP地址:ifconfig eth1 1912.168.xxx.xxx
(這裡可以使用VMware吧虛擬機器的Ip設定死,這樣比較方便)

hosts配置示例:
192.168.128.128 master
192.168.128.132 study_node_1
192.168.128.130 study_node_2

六:修改環境變數以及hadoop的配置檔案了,即各種site檔案,檔案存放在/hadoop/etc下(這個不同版本的hadoop目錄好像不一樣,我這邊是2.7.3是在etc下)。

修改 /etc/profile

export HADOOP_HOME=/xxx/xxx/hadoop-2.7.3
export PATH=PATH:HADOOP_HOME/bin

source /etc/profile

配置core-site.xml、hdfs-site.xml、mapred-site.xml這三個檔案。
core-site.xml:
這裡寫圖片描述

hdfs-site.xml:
這裡寫圖片描述

mapred-site.xml
這裡寫圖片描述

更多配置參考相關文件或者文章

配置hadoop-env.sh檔案
這個需要根據實際情況來配置。
配置jdk目錄
export JAVA_HOME=/usr/java/jdk1.8.0_101
更多配置參考相關文件或者文章

七:配置slaves檔案
這裡寫圖片描述

八:啟動

第一次啟動得格式化

./bin/hdfs namenode -format

啟動dfs: ./sbin/start-dfs.sh

啟動yarn: ./sbin/start-yarn.sh

檢視:master
這裡寫圖片描述

檢視 slave
這裡寫圖片描述

至此叢集環境搭建完成

10:開發環境搭建(idea,可以直接參考該文章:http://blog.csdn.net/uq_jin/article/details/52235121
1:下載hadoop 解壓到本地目錄,並配置環境變數
這裡寫圖片描述
2:建立maven工程,加入hadoop原來
3:配置core-site.xml
這裡寫圖片描述
這裡寫圖片描述

備註:
1:如果使用克隆虛擬機器的方式生成slave節點,需要修改克隆機器名,編輯/etc/hostname,檔案內容改為剛才slaves檔案中配置的值。

2.在master上ssh連線slave1和slave2,測試免密碼登陸是否成功,執行
ssh study_node_1 (即主機名稱)

3.在master上啟動hadoop,執行
start-all.sh

注意事項:
1.hadoop使用者必須有/usr/local/hadoop資料夾讀寫許可權