1. 網路配置

1.1 檢視當前機器名稱
     #hostname

1.2 修改當前機器名稱

1.3 修改當前機器IP

1.4 配置hosts檔案（必須）
    192.168.3.111  hadoopserver01
    192.168.3.112  hadoopserver02
    192.168.3.113  hadoopserver03

1.5 VSFTP上傳

2. SSH無密碼驗證配置
2.1 SSH無密碼原理
Master（NameNode | JobTracker）作為客戶端，要實現無密碼公鑰認證，連線到伺服器Salve（DataNode | Tasktracker）上時，需要在Master上生成一個金鑰對，包括一個公鑰和一個私鑰，而後將公鑰複製到所有的Slave上。當Master通過SSH連線Salve時，Salve就會生成一個隨機數並用Master的公鑰對隨機數進行加密，併發送給Master。Master收到加密數之後再用私鑰解密，並將解密數回傳給Slave，Slave確認解密數無誤之後就允許Master進行連線了。這就是一個公鑰認證過程，其間不需要使用者手工輸入密碼。重要過程是將客戶端Master複製到Slave上。


2.2 Master機器上生成密碼對
    #ssh-keygen –t rsa –P ''


    接著在Master節點上做如下配置，把id_rsa.pub追加到授權的key裡面去。
    #cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


    在驗證前，需要做兩件事兒。第一件事兒是修改檔案"authorized_keys"許可權（許可權的設定非常重要，因為不安全的設定安全設定，會讓你不能使用RSA功能），另一件事兒是用root使用者設定"/etc/ssh/sshd_config"的內容。使其無密碼登入有效


    修改檔案"authorized_keys"
    #chmod 600 ~/.ssh/authorized_keys


    設定SSH配置， 用root使用者登入伺服器修改SSH配置檔案"/etc/ssh/sshd_config"的下列內容
    #vim /etc/ssh/sshd_conf
    >RSAAuthentication yes # 啟用 RSA 認證
    >PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
    >AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑（和上面生成的檔案同）


    設定完之後記得重啟SSH服務，才能使剛才設定有效。
    #service sshd restart


    使用hadoop普通使用者驗證是否成功。
    #ssh localhost


    把公鑰複製所有的Slave機器上
    #scp ~/.ssh/id_rsa.pub

[email protected]:~/


    在slave"/home/hadoop/"下建立".ssh"資料夾
    #mkdir ~/.ssh


    修改資料夾".ssh"的使用者許可權，把他的許可權修改為"700" (注意這裡是700)
    #chmod 700 ~/.ssh


    追加到授權檔案"authorized_keys"
    #cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
    #chmod 600 ~/.ssh/authorized_keys


    用root使用者修改"/etc/ssh/sshd_config"
    #vim /etc/ssh/sshd_conf
    >RSAAuthentication yes # 啟用 RSA 認證
    >PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
    >AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑（和上面生成的檔案同）


    最後記得把"/home/hadoop/"目錄下的"id_rsa.pub"檔案刪除掉


2.3 配置所有Slave無密碼登入Master
    和Master無密碼登入所有Slave原理一樣，就是把Slave的公鑰追加到Master的".ssh"資料夾下的"authorized_keys"中，記得是追加（>>）


3 Java環境安裝
   所有的機器上都要安裝JDK，現在就先在Master伺服器安裝，然後其他伺服器按照步驟重複進行即可。安裝JDK以及配置環境變數，需要以"root"的身份進行


3.1 下載JDK http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html


3.2 首先用root身份登入"Master.Hadoop"後在"/usr"下建立"java"資料夾,
    #mkdir /usr/java
    #cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/


3.3 配置環境變數, 編輯"/etc/profile"檔案，在後面新增Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"內容
    #vim     /etc/profile


    ># set java environment
    >export JAVA_HOME=/usr/java/jdk1.8.0_131/
    >export JRE_HOME=/usr/java/jdk1.8.0_131/jre
    >export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
    >export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin


    或者


    ># set java environment
    >export JAVA_HOME=/usr/java/jdk1.8.0_131
    >export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    >export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin


    儲存並退出，執行下面命令使其配置立即生效。
    #source /etc/profile


3.4 驗證安裝成功
    #java -version


4 Zookeeper安裝(3.3.6)
    Apache ZooKeeper是一個為分散式應用所設計的開源協調服務，其設計目的是為了減輕分散式應用程式所承擔的協調任務。它可以為使用者提供同步、配置管理、分組和命名等服務


4.1 下載並解壓ZooKeeper-3.4.6.tar.gz
    #cd /opt
    #tar -zxvf zookeeper-3.4.6.tar.gz


    #cp zoo_sample.cfg zoo.cfg
    >dataDir=/data/zookeeper/zkdata
    >dataLogDir=/data/zookeeper/zkdatalog
    >server.1=master:2888:3888
    >server.2=slave1:2888:3888
    >server.3=slave2:2888:3888


    #mkdir -p /data/zookeeper/zkdata
    #mkdir -p /data/zookeeper/zkdatalog
    #cd /data/zookeeper/zkdata
    #touch myid
    #echo "1" > myid


    設定日誌
    #vim conf/log4j.properties
    ># Define some default values that can be overridden by system properties
    >zookeeper.root.logger=INFO, ROLLINGFILE


    ># Add ROLLINGFILE to rootLogger to get log file output
    >#    Log DEBUG level and above messages to a log file
    >log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender (暫不做該項修改)


    #vim bin/zkEvn.sh
    >if [ "x${ZOO_LOG_DIR}" = "x" ]
    >then
    >    ZOO_LOG_DIR="$ZOOBINDIR/../logs"
    >fi
    >if [ "x${ZOO_LOG4J_PROP}" = "x" ]
    >then
    >    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
    >fi


4.2 從master節點分發檔案到其他節點


    #scp -r zookeeper-3.4.6 slave1:~/
    #scp -r zookeeper-3.4.6 slave2:~/
    #scp -r data slave1:~/
    #scp -r data slave2:~/


    在slave1節點的/opt/目錄, vi ./data/zookeeper/zkdata/myid 修改為 2
    在slave2節點的/opt/目錄, vi ./data/zookeeper/zkdata/myid 修改為 3


4.3 在每個節點配置環境變數/etc/profile
    #Set ZOOKEEPER_HOME ENVIRONMENT
    >export ZOOKEEPER_HOME=/opt/zookeeper
    >export PATH=$PATH:$ZOOKEEPER_HOME/bin


4.4 啟動
    關閉防火牆
    #sudo ufw disable


    在每個節點上$ZOOKEEPER_HOME目錄下，執行 （這裡的啟動順序為 master >  slave1 >  slave2 ）
    #bin/zkServer.sh start
    並通過jps可以看到：啟動了QuorumpeerMain程序
    #jps


    並用命令檢視啟動狀態
    這裡需要注意點，只有當至少啟動了三個節點之後，該命令才會產生結果。否則會顯示：zookeeper Error contacting service. It is probably not running錯誤
    #bin/zkServer.sh status




5 Hadoop叢集安裝
5.1 安裝hadoop
    首先用root使用者登入"Master.Hadoop"機器，檢視我們之前用FTP上傳至"/home/Hadoop"上傳的"hadoop-1.0.0.tar.gz"


    #cp /home/hadoop/hadoop-1.0.0.tar.gz /usr
    #cd /usr
    #tar –zxvf hadoop-1.0.0.tar.gz
    #mv hadoop-1.0.0 hadoop
    #chown –R hadoop:hadoop hadoop
    #rm –rf hadoop-1.0.0.tar.gz


    最後在"/usr/hadoop"下面建立tmp資料夾，把Hadoop的安裝路徑新增到"/etc/profile"中，修改"/etc/profile"檔案（配置java環境變數的檔案），將以下語句新增到末尾，並使其有效


    #mkdir /usr/hadoop/tmp


    #vim /etc/profile


    ># set hadoop path
    >export HADOOP_HOME=/usr/hadoop
    >export PATH=$PATH:$HADOOP_HOME/bin


    重啟"/etc/profile"
    #source /etc/profile


5.2 配置hadoop (2.8)
    5.2.1 配置hadoop-env.sh
        該"hadoop-env.sh"檔案位於"/usr/hadoop/conf"目錄下, 在檔案的末尾新增下面內容
        ># set java environment
        >export JAVA_HOME=/usr/java/jdk1.6.0_31


        #vim etc/hadoop/core-site.xml
        在<configuration></configuration>中加入
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoopserver01:9000</value>
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/hadoop/tmp</value>
            </property>
            <property>
                <name>io.file.buffer.size</name>
                <value>131702</value>
            </property>
            <property>
                <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
            </property>
            <property>
                <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
            </property>


        #vim etc/hadoop/hdfs-site.xml
        在<configuration></configuration>中加入
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/hadoop/hdfs/name</value>
            </property>
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/root/hadoop/hdfs/data</value>
            </property>
            <property>
                <name>dfs.replication</name>
                <value>3</value>
            </property>
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoopserver01:9001</value>
            </property>
            <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
            </property>


            #vim etc/hadoop/mapred-site.xml
            在<configuration></configuration>中加入
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
                <property>
                    <name>mapreduce.jobhistory.address</name>
                    <value>hadoopserver01:10020</value>
                </property>
                <property>
                    <name>mapreduce.jobhistory.webapp.address</name>
                    <value>hadoopserver01:19888</value>
                </property>


            #vim etc/hadoop/yarn-site.xml
            在<configuration></configuration>中加入
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
                <property>
                    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.address</name>
                    <value>hadoopserver01:8032</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.scheduler.address</name>
                    <value>hadoopserver01:8030</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.resource-tracker.address</name>
                    <value>hadoopserver01:8031</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.admin.address</name>
                    <value>hadoopserver01:8033</value>
                </property>
                <property>
                    <name>yarn.resourcemanager.webapp.address</name>
                    <value>hadoopserver01:8088</value>
                </property>
                <property>
                    <name>yarn.nodemanager.resource.memory-mb</name>
                    <value>6078</value>
                </property>


            #vim etc/hadoop/yarn-env.sh
            中找到 export JAVA_HOME 去掉註釋
            編輯java地址 export JAVA_HOME=/usr/java/jdk1.8.0_121


            找到JAVA_HEAP_MAX=-Xmx1000m
            改為 JAVA_HEAP_MAX=-Xmx1024m


            #vim etc/hadoop/slaves
            清空新增 hadoopserver01