Hadoop單機版、偽分佈、叢集安裝教程推薦連結：

http://dblab.xmu.edu.cn/blog/page/2/?s=Hadoop

注：vmware6.5及以上，執行命令基本相同，除了編輯檔案時“vi”指令替換為“vim”指令

一、下載安裝所需檔案

         1.vmware10中文版

         2.centos6.4

         3.jdk1.8-Linux-32位

         4.Hadoop2.7.1（要求jdk版本為1.7及以上）

         5.spark2.2.1（要求hadoop版本為2.7）

 

二、安裝虛擬機器

         1.安裝vmware（具體細節可百度vmware安裝）。

         2.新建虛擬機器

                   開啟解壓過的centos/centos.vmx

         3.克隆虛擬機器

                   選中虛擬機器/右鍵/管理/克隆

         4.檢視虛擬機器版本

                   檢視centos版本命令：rpm -q centos-release

                   檢視系統是32位還是64位：getconf LONG_BIT

        

三、hadoop偽分佈安裝（選centos虛擬機器安裝）

         1.root使用者名稱登陸，密碼hadoop

                   之後已將主機名修改為hadoop 密碼 hadoop    IP 192.168.0.253

         2.設定IP、主機名、繫結主機名和關閉防火牆

                   （1）設定靜態IP

                            桌面右上角連線  右鍵 編輯連線

                            IPv4 method：從automatic（DCHCP）動態分配IP調整為Manual靜態IP

                            設定與主機在同一個網段 可以用ipconfig和ping IP實現

                            本機IP     192.168.0.221

                            vmware vmnet1 192.168.0.251                vmnet8    192.168.0.252

         service network restart //重啟網絡卡

                   （2）修改主機名

                            hostname         //檢視當前主機名

                            hostname hadoop   //對於當前介面修改主機名

                            vi /etc/sysconfig/network 進入配置檔案下 修改主機名為hadoop

                            reboot -h now //重啟虛擬機器

                            //執行vi讀寫操作          按a修改 修改完之後   Esc   輸入 :wq 回車 儲存退出

3.hostname和主機繫結

                   vi /etc/hosts    //在前兩行程式碼下新增第三行192.168.0.253 hadoop

                   之後 ping hadoop驗證即可

   

 

4.關閉防火牆

                   service iptables stop        //關閉防火牆

                   service iptables status    //檢視防火牆狀態

                   chkconfig iptables off       //關閉防火牆自動執行

                   chkconfig --list | grep iptables          //驗證是否全部關閉

5.配置ssh免密碼登陸（centos預設安裝了SSH client、SSH server）

                   rpm -qa |grep ssh

                   //驗證是否安裝SSH，若已安裝，介面如下

         接著輸入ssh localhost

         輸入yes  會彈出以下窗體內容

         即每次登陸都需要密碼

                   exit            //退出ssh localhost

                   cd ~/.ssh/         //若不存在該目錄，執行一次ssh localhost

                   ssh-keygen -t rsa 之後多次回車

                   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys           //加入授權

                   chmod 600 ./authorized_keys             //修改檔案許可權

注：在 Linux 系統中，~ 代表的是使用者的主資料夾，即 "/home/使用者名稱" 這個目錄，如你的使用者名稱為 hadoop，則 ~ 就代表 "/home/hadoop/"。 

操作完成之後輸入ssh localhost驗證 出現Last login

6.安裝java環境

                   （1）將本機已下載的jdk1.8上傳到centos伺服器下：

                            方法一：下載Xshell5，點選新建檔案傳輸

之後按要求下載Xftp，下載安裝之後根據主機IP及使用者名稱和密碼登入虛擬機器

                            IP 192.168.0.253 使用者名稱root 密碼hadoop

                            然後將本機已下載好的jdk檔案拖拽到虛擬機器（可在虛擬機器根目錄中輸入 / ）到根目錄下的opt資料夾

                            方法二：右鍵點選虛擬機器，設定/選項/共享資料夾/總是啟用         之後新建資料夾share存放在本機中，此資料夾也可在虛擬機器根目錄中顯示              將jdk放入共享資料夾之後copy即可

                   （2）解壓jdk

                            終端輸入命令         rpm -ivh jdk-8u151-linux-i586.rpm            //解壓jdk安裝包

                            解壓之後預設存放在/usr/java/目錄下 輸入cd /usr/java            再輸入ls即可看到解壓好的jdk

（3）配置環境變數

                            vi /etc/profile            //修改檔案

                            在最末尾加入以下內容，用於設定環境變數

                            JAVA_HOME=/usr/java/jdk1.8.0_151

                            JRE_HOME=/usr/java/jdk1.8.0_151/jre

                            PATH=$PATH:$JAVA_HOME/bin

                            CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

                            export JAVA_HOME JRE_HOME PATH CLASSPATH

之後輸入 source /etc/profile         //使設定立即生效

                   （4）驗證

                            依次輸入java          java -version    javac 檢視

7.安裝hadoop

                   （1）解壓hadoop

                   將下載好的hadoop2.7.1copy到虛擬機器（/mnt目錄下）中

                   tar -zxf /mnt/hadoop2.7.1.tar.gz -C /usr/local        //將hadoop安裝包解壓到/usr/local/

                   會有短暫停頓

                   cd /usr/local              ls之後可看到hadoop2.7.1

                   重新命名資料夾         mv ./hadoop2.7.1/  ./hadoop  （已跳轉到該目錄下執行該指令）

                   也可從computer進入找到資料夾右鍵重新命名

                   chmod 600 ./hadoop   //修改檔案許可權

                   （2）驗證

                   cd /usr/local/hadoop

                   ./bin/hadoop version

（3）hadoop偽分佈配置

                            a)設定hadoop環境變數

                                     gedit ~/.bashrc         //      用記事本開啟檔案

                                     然後在檔案末尾新增如下9行程式碼

                                     export HADOOP_HOME=/usr/local/hadoop

                                     export HADOOP_INSTALL=$HADOOP_HOME

                                     export HADOOP_MAPRED_HOME=$HADOOP_HOME

                                     export HADOOP_COMMON_HOME=$HADOOP_HOME

                                     export HADOOP_HDFS_HOME=$HADOOP_HOME

                                     export YARN_HOME=$HADOOP_HOME

                                     export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

                                     export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

                                     export JAVA_HOME=/usr/java/jdk1.8.0_151

之後點選上方save儲存關閉即可

                                     然後source ~/.bashrc     //使配置生效  source+檔案

                            b)修改兩個配置檔案

                                     首先跳轉到配置資料夾下

                                     cd /usr/local/hadoop/etc/hadoop

然後gedit core-site.xml          //記事本開啟檔案

                                    在<configuration>            </configuration>內新增如下程式碼

                                     <property>

                                               <name>hadoop.tmp.dir</name>

                                               <value>file:/usr/local/hadoop/tmp</value>

                                               <description>Abase for other temporary dir

                            etcories.</description>  

                                     </property>

                                     <property>

                                               <name>fs.defaultFS</name>

                                               <value>hdfs://localhost:9000</value>

                                     </property>

點選上方save儲存退出即可

                                     接著gedit hdfs-site.xml

                                     同樣在<configuration>            </configuration>內新增如下程式碼

                                     <property>

                                               <name>dfs.replication</name>

                                               <value>1</value>

                                     </property>

 

                                     <property>

                                               <name>dfs.namenode.name.dir</name>

                                               <value>file:/usr/local/hadoop/tmp/dfs/name</value>

                                     </property>

 

                                     <property>

                                              <name>dfs.datanode.data.dir</name>

                                               <value>file:/usr/local/hadoop/tmp/dfs/data</value>

                                     </property>

注：也可通過檔案路徑找到這兩個檔案，然後右鍵記事本方式開啟編輯

         點選上方save儲存退出

                            c)執行namenode格式化

                                     cd /usr/local/hadoop/etc/hadoop

                                     hdfs namenode -format            //格式化

執行成功後會有以下兩點提示

                                               成功格式化     退出狀態為0（若為1則說明未執行）

d)開啟namenode和datanode守護程序

                                     首先跳轉到sbin資料夾下

                                     cd /usr/local/hadoop/sbin

                                     然後輸入start-dfs.sh

之後會提示開啟第二個namenode節點

e)驗證

                                     輸入jps會出現如下程序

開啟瀏覽器，訪問web介面

                                     http://localhost:50070可檢視namenode和datanode節點資訊

四、安裝hadoop叢集

         1.網路配置

                   （1）將已經安裝好hadoop的虛擬機器（centos）克隆出來兩個相同的虛擬機器（centos2，          centos3）

                  並設定好相關IP及埠（設定完IP需重啟）

	本機	vmnet1	vmnet8	centos	centos2	centos3
IP	192.168.0.221	192.168.0.251	192.168.0.252	192.168.0.253	192.168.0.254	192.168.0.245
埠	255.255.255.0	255.255.255.0	255.255.255.0	255.255.255.0	255.255.255.0	255.255.255.0
閘道器	192.168.0.1	192.168.0.1	192.168.0.1	192.168.0.1	192.168.0.1	192.168.0.1
節點				主節點 Master	從節點 Slave1	從節點 Slave2

                  （2）將一臺機器選定為master（centos），兩臺機器為slave（centos2,entos3），在                 主節點上開啟hadoop，然後右鍵點選虛擬機器/設定/網路介面卡，將三個節點改為                         橋接模式，確定退出

                   （3）將主節點主機名改為Master，兩個從節點改為Slave1,Slave2

                            vi /etc/sysconfig/network        //修改主機名

（4）修改對映關係

                            vi /etc/hosts    //新增對映關係

                            192.168.0.253 Master

                            192.168.0.254 Slave1

                            192.168.0.245 Slave2

注：（3）（4）兩步均需要在各個節點上操作，切操作略有差異

                   （5）驗證

                            首先重啟虛擬機器reboot -h 之後會看到主機名已分別為Master和Slave1,Slave2

                            然後測試各節點是否互通，在各節點上輸入

                            ping Master -c 3       //ping3次

                            ping Slave1 -c 3

                            ping Slave2 -c 3

                            若連線成功則應為

2.SSH無密碼登陸

                   為使Master節點可以無密碼SSH登陸到各個Slave節點上

                   （1）在Master節點上生成公鑰

                            cd ~/.ssh           //若沒有該目錄則執行 ssh localhost（肯定有，克隆過來的）

                            rm ./id_rsa*     //刪除之前生成的公鑰 輸入yes後回車

                            ssh-keygen -t rsa     //生成公鑰，一直回車就行

                            cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

                            chmod 600 ~/.ssh/authorized_keys         //修改檔案許可權

                            //讓Master節點能無密碼SSH本機

                            輸入ssh Master驗證     執行成功後應為

（2）將公鑰copy到各從節點

                            先exit返回原來終端（.ssh）

                            scp ~/.ssh/id_rsa.pub [email protected]:/home/hadoop/

                            //將Master節點上公鑰傳輸到各個從節點

                            scp ~/.ssh/id_rsa.pub [email protected]:/home/hadoop/

（3）在各個從節點上將ssh公鑰加入授權

                            cd /home/hadoop             //若不存在該資料夾則執行mkdir ~/.ssh

                            cat /home/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys

                            各節點需輸入ssh Master或者ssh Slave1,2等重新建立（yes即可）

                   （4）驗證

                            在Master節點上分別輸入ssh Slave1,之後輸入ssh Slave2若成功則應為

即root使用者後面主機名隨之變化為從節點主機名

                            然後exit退出即可

         3.配置變數

                   由於已經在單機版中配置過，所以直接跳過即可

         4.修改配置檔案

                   首先cd /usr/local/hadoop/etc/hadoop          

                   ls      需要修改的檔名均可看到

                   修改檔案都用gedit操作比vi更可見 修改完之後儲存關閉（儲存需要幾秒鐘）

                   （1）修改檔案slaves檔案

                   內容寫從節點主機名，一行一個

（2）修改core-site.xml檔案

                   <configuration>                 </configuration>內新增如下程式碼

                   <property>

                   <name>hadoop.tmp.dir</name>

                   <value>file:/usr/local/hadoop/tmp</value>

                   <description>Abase for other temporary diretcories.</description>

         </property>

         <property>

                   <name>fs.defaultFS</name>

                   <value>hdfs://Master:9000</value>

         </property>

（3）修改hdfs-site.xml.檔案

                   同樣在configuration內新增如下程式碼

         <property>

                   <name>dfs.namenode.secondary.http-address</name>

                   <value>Master:50090</value>

         </property>

         <property>

                   <name>dfs.replication</name>

                   <value>2</value>

         </property>

 

         <property>

                   <name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

         </property>

 

         <property>

         <name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

         </property>

注：dfs.replication下value值為節點個數（包含主節點namenode在內），一般設定為3

（4）修改mapred-site.xml檔案

                   configuration內新增如下程式碼

         <property>

                   <name>mapreduce.framework.name</name>

                   <value>yarn</value>

         </property>

         <property>

                   <name>mapreduce.jobhistory.address</name>

                   <value>Master:10020</value>

         </property>

         <property>

                   <name>mapreduce.jobhistory.webapp.address</name>

                   <value>Master:19888</value>

         </property>

相關推薦