1. 程式人生 > >centos6.5安裝單機版hadoop2.6.0

centos6.5安裝單機版hadoop2.6.0

安裝hadoop之前,首先要安裝 jdk1.8.0_181(我使用的版本) 並配置jdk環境變數,接下來開始安裝hadoop

1. hadoop2.6.0下載

下載地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/

2 .解壓安裝包

tar -zxvf hadoop-2.6.0.tar.gz -C /opt/soft/

3 .配置hadoop環境變數

     vim  /etc/profile

export HADOOP_HOME=/opt/soft/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

     更新環境變數

     source /etc/profile

4.修改hadoop 配置檔案

 (1)修改/opt/soft/hadoop-2.6.0/etc/hadoop/hadoop-env.sh  將JAVA_HOME加進去

export JAVA_HOME=/opt/soft/jdk1.8.0_181

(2)修改/opt/soft/hadoop-2.6.0/etc/hadoop/core-site.xml 檔案,

<configuration>
    <!-- 指定HDFS(namenode)的通訊地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop執行時產生檔案的儲存路徑 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/data/hadoop/tmp</value>
    </property>
</configuration>

   fs.defaultFS直接用localhost就行,如果重新命名了主機名,也可以用重新命名的。

(3)修改/opt/soft/hadoop-2.6.0/etc/hadoop/hdfs-site.xml 

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/opt/data/hadoop/hdfs/name</value>
        <description>namenode上儲存hdfs名字空間元資料 </description> 
    </property>
 
    <property>
        <name>dfs.data.dir</name>
        <value>/opt/data/hadoop/hdfs/data</value>
        <description>datanode上資料塊的物理儲存位置</description>
    </property>
 
 
    <!-- 設定hdfs副本數量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5.配置本機ssh免密碼登入

ssh-keygen -t rsa  命令後一路回車,不輸入任何東西
然後執行 cat ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys  配置本機可免密登入
測試 ssh localhost 是否成功

6.hdfs啟動與停止

  第一次啟動hdfs需要格式化,之後啟動就不需要了

cd /opt/soft/hadoop-2.6.0/bin
./hdfs namenode -format

 啟動命令:

cd /opt/soft/hadoop-2.6.0/sbin
./start-dfs.sh

  停止命令:

cd /opt/soft/hadoop-2.6.0/sbin
./stop-dfs.sh

hdfs啟動完成後,瀏覽器輸入:http://192.168.2.14:50070 


7.接下來配置yarn檔案. 配置/opt/soft/hadoop-2.6.0/etc/hadoop/mapred-site.xml   這裡注意一下,hadoop裡面預設是mapred-site.xml.template 檔案,如果配置yarn,把mapred-site.xml.template   重新命名為mapred-site.xml 。如果不啟動yarn,把重新命名還原。

 mv mapred-site.xml.template mapred-site.xml

 vim  mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8.配置/opt/soft/hadoop-2.6.0/etc/hadoop/yarn-site.xml檔案,

 vim  yarn-site.xml

<configuration>
    <!-- reducer取資料的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

9.啟動yarn
  啟動命令:

cd /opt/soft/hadoop-2.6.0/sbin
./start-yarn.sh

  停止命令:

cd /opt/soft/hadoop-2.6.0/sbin
./stop-yarn.sh

  可以用jps命令檢視都啟動了什麼程序:

[[email protected] hadoop]# jps
4754 Jps
4163 ResourceManager
3848 DataNode
4024 SecondaryNameNode
4254 NodeManager
3759 NameNode

yarn啟動完成後,瀏覽器輸入:http://192.168.2.14:8088   (8088是預設埠,如果被佔用,先把佔用的埠殺掉 )


 

到這裡,hdfs和yarn就啟動成功了