這篇教程我將會教大家如何一步步從零開始搭建好我們的大資料完全分散式實驗平臺

實驗環境：1.由於實驗環境是在linux系統中，所以我們需要用虛擬機器摸擬linux作業系統，作業系統的版本我們選 centOS 7，需要建立的虛擬機器的臺數根據自己的電腦的配置來決定，一般為了較好的完成實驗，我們需要3臺或3臺以上，一臺master主機，其於為slave從機，虛擬機器可以使用vmware或者oracl VirtualBox，這裡不再講解虛擬機器的搭建

                   2.軟體：本課程第一節將講基礎環境hadoop的搭建，只有把hadoop搭好了並且把hdfs（hadoop distributed file systemhadoop

分散式檔案儲存系統）配置好，才可以使我們hadoop生態圈的其他的元件得以執行，比如我們的大資料環境下的資料庫有hbase、mongodb等，包括hbase所依賴的zookeeper環境，以及不同於mapreduce計算框架的spark和storm計算框架的搭建都會在後續中講解

                                                  java環境：jdk-8u151-linux-x64.tar.gz，

                                                                    hadoop-2.7.4.tar.gz（hdfs，mapreduce計算框架

,yarn架構等都是在hadoop進行配置）

軟體我們使用官方版本而不是cdh5版本，下面給出cdh5版本地址：http://archive.cloudera.com/cdh5/cdh/5/

三臺虛擬機器配置，網絡卡配置使用NAT方式，這樣主機會給虛擬機器自動分配IP，開啟虛擬機器時，進入設定，點開“網路”，把有線連線開啟就行了
                master 192.168.1.103
                slave1 192.168.1.105
                slave2 192.168.1.106
                slave3 192.168.1.107
 

用SecureCRT遠端連線虛擬機器，方便上傳檔案。

先修改四臺主機的主機名並配置主機名和ip地址的對映，依次修改為master,slave1,slave2,slave3因為我們的hadoop叢集是根據是主機名通訊的

修改etc/hosts下的hosts的檔案新增對映，centos下可以用gedit直接大開編輯

在每臺機器的home目錄下建一個softwares用於儲存軟體，tar用於儲存安裝包

在SecureCRT使用檔案上傳命令把tar包上傳的虛擬機器

先進入master機器的tar目錄下

然後執行rz命令，選擇檔案上傳（雙擊要選擇的tar包）

上傳完成之後，在虛擬機器裡就可以看到我們的tar包了

或者我們可以直接進入/home/tar目錄用ls命令檢視

配置主機與從機的ssh免密碼連線，在主機根目錄上(cd ~可以進入根目錄)執行命令  ssh-keygen -t rsa

然後連續輸入回車

生成的祕鑰位於 ~/.ssh資料夾下。可進入檢視

在master上，匯入authorized_keys，進入~/.ssh目錄，執行 cat id_rsa.pub >> authorized_keys命令

遠端無密碼登入(把master上的authorized_keys拷貝到其他主機的相應目錄下)注意，你的從機上可能沒有.ssh目錄，所以在三個從機上cd ~,然後mkdir .ssh建立.ssh目錄

把master上的authorized_keys拷貝到其他主機的相應目錄下

scp authorized_keys [email protected]:~/.ssh/

主意以下幾點：root為你的slave1機器 linux系統的使用者名稱，slave1是從機1的主機名，同理其他兩臺從機也是類似的方似

第一次連線需要輸入密碼，但是在linux下密碼不會顯示出來，所以別以為你沒敲上

所有機器的~/.ssh目錄下，均執行命令：chmod 600 authorized_keys

驗證ssh連線，在master上 輸入ssh slave1,測試已連上slave1

解壓軟體

在master上，進入/home/tar 執行 tar -zxf jdk-8u151-linux-x64.tar.gz -C /home/softwares解壓jdk

使用命令把master上的jdk發到其他三臺機器，以slave1為例

scp -r /home/softwares/jdk1.8.0_151 [email protected]:/home/softawres

然後配置環境變數,可直接在虛擬機器裡用gedit開啟/etc/profile新增如下  三個機器上都配置

#java

export JAVA_HOME=/home/softwares/jdk1.8.0_151
exprot PATH=$JAVA_HOME/bin:$PATH

在master上，進行/home/tar 執行 tar -zxf hadoop-2.7.4.tar.gz -C /home/softwares解壓hadoop

然後配置環境變數,可直接在虛擬機器裡用gedit開啟/etc/profile新增如下 master機器上配置

#hadoop  
export HADOOP_HOME=/home/softwares/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/sbin  
export PATH=$PATH:$HADOOP_HOME/bin 

然後用source命令重新整理一下/etc/profile檔案使配置生效

修改hadoop的一些重要配置檔案

修改/home/softwares/hadoop-2.7.4/etc/hadoop下的七個配置檔案

3)配置檔案：hadoop-env.sh

修改JAVA_HOME值（export JAVA_HOME=/home/softwares/jdk1.8.0_151）  2)配置檔案：yarn-env.sh

修改JAVA_HOME值（export JAVA_HOME=/home/softwares/jdk1.8.0_151）

3)配置檔案：slaves 這就是配置從節點

slave1

slave2

slave3

core-site.xml

<configuration>  
    <property>  
        <name>fs.defaultFS</name>  
        <value>hdfs://master:9000</value>  
    </property>  
    <property>  
        <name>io.file.buffer.size</name>  
        <value>131072</value>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>file:/home/softwares/hadoop-2.7.4/tempdir</value>  
        <description>Abase for other temporary   directories.</description>  
    </property>  
</configuration> 

 其中第三個屬性需要我們建立一個資料夾，如果不建立它預設是在/tmp/hadoop-${user.name}

我們手動在/home/softwares/hadoop-2.7.4建一個tempdir

hdfs-site.xml

<configuration>  
       <property>  
                <name>dfs.namenode.secondary.http-address</name>  
               <value>master:9001</value>  
       </property>  
     <property>  
             <name>dfs.namenode.name.dir</name>  
             <value>file:/home/softwares/hadoop/hadoop-2.7.4/namenode</value>  
       </property>  
      <property>  
              <name>dfs.datanode.data.dir</name>  
              <value>file:/home/softwares/hadoop/hadoop-2.7.4/datanode</value>  
       </property>  
       <property>  
               <name>dfs.replication</name>  
               <value>3</value>  
        </property>  
        <property>  
                 <name>dfs.webhdfs.enabled</name>  
                  <value>true</value>  
         </property>  
</configuration>

 其中第二三個屬性需要我們建立一個資料夾，如果不建立它預設是在/tmp/hadoop-${user.name}

我們手動在/home/softwares/hadoop-2.7.4建一個namenode和一個datanode

mapred-site.xml

先建立然後編輯

把mapred-site.xml.template複製一份改為mapred-site.xml

<configuration>  
          <property>                                                                    
　　　　　　　　<name>mapreduce.framework.name</name>  
                <value>yarn</value>  
           </property>  
          <property>  
                  <name>mapreduce.jobhistory.address</name>  
                  <value>master:10020</value>  
          </property>  
          <property>  
                <name>mapreduce.jobhistory.webapp.address</name>  
                <value>master:19888</value>  
       </property>  
</configuration> 

yarn-site.xml

<configuration>  
        <property>  
               <name>yarn.nodemanager.aux-services</name>  
               <value>mapreduce_shuffle</value>  
        </property>  
        <property>                                                                  
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
        </property>  
        <property>  
               <name>yarn.resourcemanager.address</name>  
               <value>master:8032</value>  
       </property>  
       <property>  
               <name>yarn.resourcemanager.scheduler.address</name>  
               <value>master:8030</value>  
       </property>  
       <property>  
            <name>yarn.resourcemanager.resource-tracker.address</name>  
             <value>master:8031</value>  
      </property>  
      <property>  
              <name>yarn.resourcemanager.admin.address</name>  
               <value>master:8033</value>  
       </property>  
       <property>  
               <name>yarn.resourcemanager.webapp.address</name>  
               <value>master:8088</value>  
       </property>  
</configuration> 

到此配置完成，把master上的hadoop傳送slave上，以slave1為例

scp -r /home/softwares/hadoop-2.7.4 [email protected]:/home/softwares

在master

source /etc/profile

進入/home/softwares.hadoop-2.7.4

執行

bin/hdfs namenode -format
sbin/start-all.sh

啟動後分別在master, slave下輸入jps檢視程序，如下則啟動正確

master

slave1

slave2

slave3