Hadoop分散式叢集搭建

• 建立虛擬機器（用VmWare工具,centos6）
• 克隆三臺機器

master

slaver1

slaver2

• 分別在每臺機器上安裝jdk >= 1.7版本

vim  /etc/profile

四、同步三臺虛擬機器的時間（時間同步）每臺機器都要做同樣的操作

1、yum install ntp

2、輸入“cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime”

3、輸入“ntpdate pool.ntp.org”

注意：如果電腦可以上網，但是虛擬機器不可以上網，可以如下操作

編輯   vim /etc/resolv.conf

新增如下兩行指令

nameserver 202.106.0.20

nameserver 8.8.8.8

• 設定主機名

10.1.13.103（IP號） 設定這臺機器的主機名為master

10.1.13.104（IP號） 設定這臺機器的主機名為slaver1

10.1.13.105（IP號） 設定這臺機器的主機名為slaver2

在10.1.13.103（IP號）機器上執行如下操作

1. adduser master
2. passwd master  提示輸入密碼和再次確定
3. 修改主機名  vim /etc/sysconfig/network

1. 給master使用者root許可權

chmod +w /etc/sudoers

vim  /etc/sudoers

1. 重啟虛擬機器，選擇master使用者登入

注意:另外兩臺機器也做同上的操作（名字分別為slaver1和slaver2）

• 修改主機對映（三臺機器都是一樣的操作）

1. vim  /etc/hosts

把hosts中的內容都刪除，然後新增如下

1. 

• 配置靜態ip

1、vim /etc/udev/rules.d/70**-net.rules

改完的效果

2、vim /etc/sysconfig/network-scripts/ifcfg-eth0

原來的樣子

          修改後的樣子

1. 重啟網絡卡

service network restart

成功後，提示如下

1. 剩下的兩臺機器，做同上操作（ip和mac地址是不一樣）

• 配置三臺機器之間的免密登入（必須在主機master上操作）

ssh-keygen -t rsa  然後四個回車

ssh-copy-id  master  提示輸入密碼

ssh-copy-id  slaver1  提示輸入密碼

ssh-copy-id  slaver2  提示輸入密碼

測試：  ssh  slaver1  就不需要輸入密碼   然後在exit到當前使用者，可以執行下一次測試

• 下載hadoop壓縮包，解壓（以下的所有操作都在主機上           進行）  溫馨提示：最好在官網下載，src的原始碼，然後在自己的機器上編譯，這樣就不會出現找不到jar包的異常

1. 把hadoop解壓到/usr/local/目錄下

tar -zxvf hadoop-2.8.4.tar.gz -C /usr/local

1. 把hadoop-2.8.4改名為hadoop

進入到/usr/local/下執行  

mv  hadoop-2.8.4  hadoop

• 配置hadoop環境變數（也在主機下執行）

vim  /etc/profile

立即讓配置檔案生效

source  /etc/profile

此時，可以直接使用hadoop指令了

eg:   hadoop version

• 關閉防火牆（三臺機器都要關閉）

service iptables status

service iptables stop(臨時關閉，不需要重啟虛擬機器)

chkconfig iptables off(永久關閉，需要重啟機器生效)

• 修改主機的配置檔案

進入到/uer/local/hadoop資料夾

然後mkdir namenode

          mkdir datanode

 mkdir tmp

進入到 /usr/loacal/hadoop/etc/hadoop檔案然後如下編輯

1、vim  hadoop-env.sh

原來

該後

2、vim core-site.xml

在configuretion中新增

        <property>

           <name>fs.defaultFS</name>

           <value>hdfs://master:9000</value>

        </property>

        <property>

           <name>hadoop.tmp.dir</name>

           <value>/usr/local/hadoop/tmp</value>

         </property>

效果 

3、vim  hdfs-site.xml

  <property>

          <name>dfs.replication</name>

           <value>2</value>

 </property>

  <property>

               <name>dfs.namenode.secondary.http-address</name>

               <value>master:50090</value>

        </property>

        <property>

                 <name>dfs.name.dir</name>

                <value>/usr/local/hadoop/namenode</value>

         </property>

         <property>

                 <name>dfs.data.dir</name>                                                      

                 <value>/usr/local/hadoop/datanode</value>

          </property>

效果

4、vim mapred-site.xml（沒有mapred-site.xml但是有一個 mapred-site.xml.template

5、我們可以把名字改一下就可以了）

1. mv  mapred-site.xml.template mapred-site.xml
2. vim mapred-site.xml  然後新增

 <property>

           <name>mapreduce.framework.name</name>

             <value>yarn</value>

        </property>

效果

6、yarm-site.xml

<property>

           <name>yarn.resourcemanager.hostname</name>

            <value>master</value>

</property>

<property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value> 

</property>

<property>

              <name>yarn.log-aggregation-enable</name>

               <value>true</value> 

</property>

<property>             

               <name>yarn.log-aggregation.retain-seconds</name>

               <value>604800</value>

</property>

 <property>

               <name>yarn.nodemanager.resource.memory-mb</name>

               <value>2000</value>

 </property>

<property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>2000</value>                                                   

</property>

<property>

        <name>yarn.scheduler.minimum-allocation-mb</name>

        <value>500</value>

</property>                                                                                

<property>

        <name>mapreduce.reduce.memory.mb</name>

        <value>2000</value>

 </property>

 <property>

              <name>mapreduce.map.memory.mb</name>

              <value>2000</value>                                         

</property>

<property>

         <name>yarn.nodemanager.vmem-pmem-ratio</name>

         <value>2.1</value>    

</property>

<property>

           <name>yarn.resourcemanager.address</name>

          <value>hadoop1:8032</value>

 </property>          

 <property>

           <name>yarn.resourcemanager.scheduler.address</name>

           <value>hadoop1:8030</value>

</property>                       

<property>

        <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>hadoop1:8031</value>

</property>

效果

7、slaver

vim slavers

master

slaver1

slaver2

效果

• 下發配置檔案到分機上   

下發hadoop到分機

1. scp -r /usr/local/hadoop [email protected]:/usr/local/
2. scp -r /usr/local/hadoop [email protected]:/usr/local/

   下發環境變數配置檔案到分機

1. scp -r /etc/profile [email protected]:/etc/
2. scp -r /etc/profile [email protected]:/etc/

• 第一次執行的時候在主機下格式化namenode

hadoop namenode  -format

格式化成功

• 啟動hadoop叢集

1. start-all.sh  

• 關閉叢集

1. stop-all.sh

• 測試叢集是否可用

1. 訪問10.1.13.103:50070

1. 訪問10.1.13.103:8088

1. 測試mapreduce來實現對pi的計算

1. 進入到/usr/local/hoaddop/shared/hadoop/mapreduce

2、執行

    hadoop jar hadoop-mapreduce-examples-2.8.4.jar  pi 20  50

恭喜你成功了：如果你遇到如下問題

1、啟動時提示檔案不是安全的，可以做如下操作

                 到hadoop的bin目錄下

執行：./hadoop  dfsadmin  -safemode leave命令。

如果輸入hadoop沒有提示，那麼可以執行  source  /etc/profile