【大資料技術】1.hadoop叢集搭建
近年來，大資料技術越來越吃香，也是追求高薪的必備技能之一。
近些日子，打算技術轉型，開始研究大資料技術，基於對JAVA、LINUX系統有一定的基礎，完成hadoop叢集搭建（1個master和1個slave）。
一、準備工具
VMvare、centOS6.3、SSH Secure客戶端（具體安裝過程這裡不做描述）
hadoop2.X壓縮包與jdk安裝包，我這裡準備的JDK和Hadoop軟體包如下所示。
二、Linux環境下靜態IP配置
通過虛擬網路NAT模式進行聯網，因為NAT模式是根據本機虛擬出來的網段，在設定IP後，無需更改靜態IP；而橋接模式的靜態IP需要設定在和本主機相同的網段下，若更換網路，也需要更改靜態IP。
輸入命令ifconfig，檢視自己的網絡卡，如果查不到，可輸入命令ifconfig -a，有可能網絡卡名稱是eth0、eth1、eth2等等，看哪個存在就修改哪個
1.進入ip配置介面 命令:cd /etc/sysconfig/network-scripts/資料夾下，輸入命令ls，查詢資料夾所有檔案。
2.輸入命令vi ifcfg-eth0修改檔案內容
需要注意的是:
DNS改成8.8.8.8，以免換了網路由於DNS不對而連不上網，其中MAC地址也要與之對應，包括DEVICE的名稱，也要與之前查到的網絡卡名對應，BOOTPROTO=“static”，表示靜態地址，閘道器號可在虛擬網路編輯器中的NAT設定中檢視。
3.IP配置好後，輸入命令service network restart,重啟網路，再檢視下自己的網路是否配置完成
4.通過輸入命令curl www.baidu.com或ping 本機IP地址來測試網路連通性。
5.修改主機名，並設定hadoop叢集
編輯檔案修改主機名 vi /etc/sysconfig/network
編輯檔案設定叢集 vi /etc/hosts，設定各主機地址與對應主機名
同理配置另一臺虛擬機器的IP,並設定主機名與hadoop叢集，即再執行一次第5步操作
三. JDK安裝與環境配置
1.設定共享資料夾
選中第一臺虛擬機器，啟用共享資料夾，共享資料夾中儲存的是我的jdk和hadoop軟體安裝包。
2.輸入命令：cd /mnt/hgfs/ ,並檢視共享的資料夾，在上圖我設定的共享資料夾名稱為dev_centos
輸入命令：cp * /user/local/src/,拷貝jdk資料夾至/user/local/src/下,並檢查是否已拷貝進來。
3.準備設定java環境
解壓jdk，輸入命令：tar -zxvf ./jdk-6u45-linux-x64.bin
設定環境變數，輸入命令：vi /etc/profile ,按“i”進入編輯內容，按“wq”儲存並退出
檢視檔案路徑：命令:pwd
編輯配置檔案 vi /etc/profile
配置JAVA_HOME路徑，也可在hadoop安裝完成後配置環境
但需注意的是 /etc/profile配置環境檔案修改完成後，要輸入命令source /etc/profile，更新配置檔案
若修改的檔案內容有錯誤，會導致各種linux命令無效，可輸入命令/bin/vi /etc/profile，把配置檔案改回來。
四. hadoop2.6.1安裝與環境配置
進入src檔案目錄下進行解壓，輸入命令tar hadoop-2.6.1.tar.gz
注意：解壓完成後修改/etc/profile 環境配置檔案，即配置JAVA_HOME,HADOOP_HOME,PATH,並更新（命令：source /etc/profile）
隨後，在hadoop-2.6.1資料夾下建立臨時資料夾tmp，命令mkdir tmp
接下來就是hadoop配置檔案的設定,在當前目錄下進入 /etc/hadoop/ 資料夾
如果進入不了，就進入全路徑 命令cd /usr/local/src/hadoop-2.6.1/etc/hadoop
此時裡面有幾個配置檔案需要修改:masters,slaves, mapred-site.xml, hdfs-site.xml, hadoop-env.sh, core-site.xml， yarn-site.xml,共七個檔案。
1.編輯檔案vi masters ；
編輯內容master；
2.編輯檔案vi slaves ；（本文叢集為一主一從）
編輯內容slave1；也可以換行增加
3.編輯檔案vi mapred-site.xml,；
編輯內容如下：
4.編輯檔案vi hdfs-site.xml
編輯內容如下:
5.編輯檔案vi hadoop-env.sh
編輯內容：
6.編輯檔案vi core-site.xml
編輯內容：
7.編輯檔案 vi yarn-site.xml
編輯內容：
所有檔案配置好後，可在/etc/hadoop/資料夾下 輸入命令ls -rlt,檢視已修改的檔案
五. 啟動Hadoop
1 啟動之前要先格式化namenode節點, 執行命令：hadoop namenode -format
2 進入/hadoop-2.6.1/sbin/資料夾
執行命令：./start-all.sh 啟動hadoop
提示： 一般不建議用上述命令啟動，可以start-dfs.sh和start-yarn.sh來啟動HDFS系統和Yarn計算程序
啟動完成後，輸入命令jps檢視程序是否正常啟動
歡迎大家提出問題並指正，繼續改善，謝謝。