大家好，這是我的第一篇技術部落格，也是第一篇部落格，請大家多多支援。我寫部落格的初衷無非是對所學知識的回顧和總結，同時能與廣大的讀者一起探討，共同進步，這是一件非常令人開心的事。
    部落格的內容大都是大資料技術相關，今天要說的是hadoop，以後會可能還會更新，hive，Hbase，flume，spark，storm等。希望大家多多批評和指正，我一定虛心接受。
    hadoop大致可分為三個部分：
    1、分散式儲存，HDFS（Hadoop Distributed File System）；
    2、分散式計算，MapReduce；
    3、資源管理系統，Yarn。
    下面直接進入正題：偽分散式叢集的搭建。
    環境：
        ① Vmvare workStation、
        ② Linux（CentOS，Ubuntu等，我用的是CentOS_6.5版本下載）
        ③ Jdk（7或7以上均可）
        ④ Hdaoop2.6.5安裝包
    以上檔案下載地址：

https://pan.baidu.com/s/1o9Eu6nC
    安裝步驟：
    ① 安裝jdk,解壓即可，安裝之後配置環境變數，修改/etc/profile檔案，為什麼要修改這個檔案？是因為hadoop可以通過配置找到jdk，根本因為hadoop是java語言編寫，也需要在jvm中執行。完成以後，配置ip/主機名對映，修改/etc/hosts檔案。
        [[email protected] ~]# rpm -i jdk-8u151-linux-x64.rpm
        [[email protected] ~]# vi /etc/profile
        在profile檔案底部新增：
        export JAVA_HOME=/usr/java/jdk1.8.0_151
        export PATH=$PATH:$JAVA_HOME/bin
        [

[email protected] ~]# vi /etc/hosts
        在hosts檔案底部新增(主機名安裝作業系統時可自定義,但不能出現像"."、“_”、“/”這樣的字元，後面格式化的時候會出錯)
        192.168.201.77 xiaoku
    ② 設定免密碼登入
        設定免密碼登入的目的是為了實現hadoop的自動化操作，搭建好集群后，各個節點之間通過ssh的方式進行通訊，只需要各節點持有的公鑰相同即可完成認證，也保障了通訊的安全性。
        [[email protected] ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
        [

[email protected] ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    ③ 安裝hadoop2.6.5
        [[email protected] ~]# tar xf hadoop-2.6.5.tar.gz
        解壓成功後會出現hadoop-2.6.5檔案，將其複製到新的資料夾下
        建立新目錄/opt/source(可自定義),用來存放安裝包
        [[email protected] ~]# mkdir /opt/source
        [[email protected] ~]# mv hadoop-2.6.5 /opt/source
        新增環境變數：修改/etc/profile檔案底部新增：
        export HADOOP_PREFIX=/opt/source/hadoop-2.6.5
        同時PATH後新增：
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
        此時環境變數配置完了，載入到記憶體
        [[email protected] ~]# . /etc/profile
        載入完成後，hadoop的命令就會生效了。
    ④ 修改指令碼檔案和配置檔案
        [[email protected] source]# cd hadoop-2.6.5/etc/hadoop/
        [[email protected] source]# cat $JAVA_HOME
        會得到一個目錄/usr/java/jdk1.8.0_151,即當前jdk所在目錄，複製
        修改hadoop目錄下的hadoop-env.sh、mapred-env.sh、yarn-env.sh
        [[email protected] source]# vi hadoop-env.sh
        [[email protected] source]# vi mapred-env.sh
        [[email protected] source]# vi yarn-env.sh
        開啟檔案找到export JAVA_HOME=${JAVA_HOME}，如果前面有#的說明被註釋了，將其開啟即可，
        然後將${JAVA_HOME}替換為複製的jdk目錄。
        為什麼要這麼做呢？是為搭建真分散式叢集做準備，如果通過本地節點，可以獲取到${JAVA_HOME}的值為當前jdk所在目錄，如果通過ssh遠端呼叫的時候，就獲取不到值，程式就會報錯。
        下面修改配置檔案core-site.xml、hdfs-site.xml和slaves
        [[email protected] source]# vi core-site.xml
        新增如下配置,是為了啟動namenode的時候，能夠找到預設的namenode主機節點
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://xiaoku:9000</value>
                </property>
            </configuration>
        同時必須新增一個如下配置：
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/var/xiaoku/hadoop/local</value>（可自定義，在/var目錄下建立均可）
            </property>
        在hadoop預設配置中，hadoop.tmp.dir指向的是linux的/tmp/hadoop-${user.name},此目錄在節點宕機等情況發生時會被清空，此時hadoop的資料將被清空。

        預設配置參考官方文件：http://hadoop.apache.org/docs/r2.6.5/做選單欄下的Configuration

        [[email protected] source]# vi hdfs-site.xml
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>//新增塊的副本數，偽分散式叢集只有一個節點，為1；分散式節點為多個
            </property>
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>xiaoku:50090</value>//配置secondaryNamenode的ip和埠（預設50090），參考官檔
            </property>
        </configuration>
        [[email protected] source]# vi slaves
        將localhost修改成當前節點主機名即可。slaves存放的是datanode各個節點的主機名或ip，目前主機名為當前節點，真分散式則有多個
    ⑤ 格式化檔案系統，進行hdfs叢集的部署，啟動叢集
        [[email protected] source]# hdfs namenode -format
        格式化成功的標誌是沒有報錯，並在日誌中出現successfully formatted字樣，格式化之後會在/var生成/xiaoku/hadoop/local...的目錄。
        格式化之後會在/var/xiaoku/hadoop/local/dfs/name/current/下的VERSION中存放一個clusterId，叢集啟動後也會在/var/xiaoku/hadoop/local/dfs/data/current/下的VERSION中存放一個clusterId
        只有當兩個clusterId相同時，節點才會正常，否則datanode在啟動一段時間之後會自動消失，原因就是datanode會通過clusterId來尋找對應的主機。
        [[email protected] source]# start-dfs.sh
        此時會逐漸啟動namenode、datanode和secondaryNamenode
        [[email protected] source]# jps

        列印java程序，檢視個節點是否啟動成功

如果程序中有上面四個，就說明啟動成功

    ⑥ hdfs webUI介面
        在瀏覽器輸入ip：50070或namenode主機名：50070
        如果出現下面的介面就說明成功了：
        

        下拉可以檢視Live nodes，即slaves的有效節點數。
        到此，為分散式叢集搭建結束。