1. 程式人生 > >Hadoop2.6.0在CentOS 7中的叢集搭建

Hadoop2.6.0在CentOS 7中的叢集搭建

我這邊給出我的叢集環境是由一臺主節點master和三臺從節點slave組成:

master     192.168.1.2

slave1       192.168.1.3

slave2       192.168.1.4

slave3       192.168.1.5

申明:我搭建的這個叢集不是在普通使用者,所以一下操作都是在超級使用者root上。

一、虛擬機器的安裝

a)         我們從centos官網下載CentOS7(下載DVD IOS映象就行了)

b)         在VMware Workstation 11上安裝四臺虛擬機器,這裡的具體的安裝步驟,我就不再贅述。

二、虛擬機器前期配置

a)         裝好四臺虛擬機器後,我們設定虛擬機器為靜態IP,並修改一下虛擬機器的主機名和IP地址,還需要增加IP與主機對映:

1)  修改主機名(分別在四臺虛擬機器修改為:master、slave1、slave2和slave3):

vi /etc/hostname

2)  修改IP地址並設定為靜態IP:

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736(虛擬機器的網絡卡一般預設都是ifcfg-eno16777736)

增加以下內容:

BOOTPROTO=static  #設定為靜態IP

ONBOOT=yes    #開啟網絡卡

IPADDR=192.168.1.2        #設定IP,對應上面給出的四個IP地址,這裡是master的IP

NETMASK=255.255.255.0         #設定子網掩碼

GATEWAY=192.168.1.1     #設定閘道器

DNS1=8.8.8.8   #設定DNS,這裡是Google的兩個域名解析

DNS2=8.8.4.4

3)  增加IP與主機對映:

vi /etc/hosts

增加以下內容:

192.168.1.2       master

192.168.1.3      slave1

192.168.1.4     slave2

192.168.1.5     slave3

                            4)在完成以上步驟後reboot重啟四臺虛擬機器:

                               reboot

三、ssh免密碼登入

         a)      在每臺虛擬機器的根目錄root下,建立ssh公鑰:

                   1)  ssh-keygen –t rsa   #連續回車,系統自動生成圖形公鑰

                   2)  在master中,進入.ssh目錄,並將公鑰寫到authorized_keys:

                            cd .ssh/

                            ssh master cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

                            ssh slave1 cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

                            ssh slave2 cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

ssh slave3 cat id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

3)  更改authorized_keys屬性,使之不能被修改:

                            chmod 600 authorized_keys

4)  在master的.ssh目錄下,將生成的known_hosts和authorized_keys複製到各個從節點:

                            scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼

                            scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼

                            scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼

                            scp known_hosts [email protected]:/root/

                            scp known_hosts [email protected]:/root/

                            scp known_hosts [email protected]:/root/

                   5)      驗證ssh的免密碼登入:

在master中輸入:ssh slave1、ssh slave2和ssh slave3是否需要密碼,如果不需要,則ssh免密碼配置成功。

四、jdk安裝

五、scala安裝

六、Hadoop2.6的解壓安裝

b)         在master節點中,解壓Hadoop壓縮包到/root/app/中:

tar –xzvf hadoop-2.6.0-cdh5.4.0.tar.gz

七、叢集環境Hadoop的配置

在master中,進入到Hadoop的配置目錄:

cd hadoop-2.6.0-cdh5.4.0 /etc/hadoop

a)         slaves的配置:

vi slaves

刪除localhost,增加三個從節點:

slave1

slave2

slave3

b)         core-site.xml的配置:

在此之前,需要在Hadoop目錄下建立data/tmp

mkdir data

cd data

mrdir tmp

mkdir dfs

cd dfs

mkdir data

mkdir name

在hadoop-2.6.0-cdh5.4.0 /etc/hadoop下:

vi core-site.xml

在core-site.xml中增加:

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp</value>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:8020</value>

    </property>

c)         hdfs-site.xml的配置:

vi hdfs-site.xml

在hdfs-site.xml增加:

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>master:50090</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/data</value>

    </property>

d)         mapred-site.xml的配置:

vi mapred-site.xml

在mapred-site.xml增加:

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

               </property>

e)         yarn-site.xml的配置:

vi yarn-site.xml

在yarn-site.xml增加:

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>master</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

f)    在hadoop-env.sh檔案的最後加:

export JAVA_HOME=/usr/local/jdk(Java安裝環境)

g)          配置好master中的Hadoop後,將Hadoop複製到各個節點對應位置上:

scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave1:/root/app/

scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave2:/root/app/

scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave3:/root/app/

八、啟動hadoop

a)在主節點master的hadoop的目錄下:

bin/hdfs namenode –format

sbin/start-dfs.sh

sbin/start-yarn.sh

然後在主節點master輸入jps可以檢視到NameNode、SecondaryNameNode、Jps和ResourceManager四個程序。

從節點slave輸入jps可以檢視到Jps、NodeManager和DataNode三個程序。

b)         出現以上程序提示,恭喜你,你的hadoop的環境搭建完成!