1、安裝SSH、配置SSH無密碼登陸

      一般來說linux上的ssh是預設安裝的，如果沒有安裝，可以輸入以下命令安裝。

        sudo yum install openssh-clients

        sudo yum install openssh-server

安裝完成以後， 可以嘗試登入以下    ssh localhost   然後輸入密碼。

         確認以上步驟無誤後，進行下一步，生成祕鑰，並儲存。          exit                           # 退出剛才的 ssh localhost          cd ~/.ssh/

                     # 若沒有該目錄，請先執行一次ssh localhost          ssh-keygen -t rsa              # 會有提示，都按回車就可以          cat id_rsa.pub >> authorized_keys  # 加入授權          chmod 600 ./authorized_keys    # 修改檔案許可權

2、安裝jdk。

      安裝jdk屬於比較通用得操作，網上教程也很多，就不贅述了。簡單來說就是下載包，解壓，配置環境變數，檢查安裝結果。

3、安裝hadoop

      首先是下載，解壓。不多說。可以執行以下例項看看hadoop包能不能正常執行，命令如下:

          cd /xxxx/hadoop-x.x.x                        # 進入hadoop檔案目錄           mkdir ./input           cp ./etc/hadoop/*.xml ./input              # 將配置檔案作為輸入檔案           ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

          cat ./output/*                                      # 檢視執行結果

     

      這樣就算可以程式沒問題了。（溫馨提示:測完記得刪除）

      程式沒問題就可以配置環境變量了。

          export HADOOP_HOME=/xxxx/hadoop-x.x.x

          export HADOOP_INSTALL=$HADOOP_HOME

          export HADOOP_MAPRED_HOME=$HADOOP_HOME

          export HADOOP_COMMON_HOME=$HADOOP_HOME

          export HADOOP_HDFS_HOME=$HADOOP_HOME

          export YARN_HOME=$HADOOP_HOME

          export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

          export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

          source /etc/profile              #記得載入新修改得環境變數

      修改好環境變數以後，修改hadoop配置

core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/usr/local/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>

</configuration>

     配置完成以後格式化名稱節點，然後開啟守護程序（用jps命令來檢查啟動結果）

./bin/hdfs namenode -format

./sbin/start-dfs.sh

4、啟動yarn

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

先使用模版的配置檔案，然後編輯配置檔案

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

執行以下命令啟動yarn

./sbin/start-yarn.sh $ 啟動YARN

./sbin/mr-jobhistory-daemon.sh start historyserver # 開啟歷史伺服器，才能在Web中檢視任務執行情況

最後送兩個url