1. 程式人生 > >(1)Hadoop筆記:Hadoop2.X搭建和配置

(1)Hadoop筆記:Hadoop2.X搭建和配置

注:
1.環境為linux CentOS release 6.6 (Final),非虛擬機器。
2.Hadoop版本2.8.3
3.JDK版本1.8.0_111
4.Hadoop的搭建分為三種形式:單機模式、偽分佈模式、完全分佈模式,本文為偽分佈模式。

tar -xvf hadoop-2.8.3.tar.gz

如下。
這裡寫圖片描述

2.相關檔案配置
配置core-site.xml (路徑Hadoop根目錄/etc/hadoop)

vim core-site.xml 
i 開始編輯
...
ESC 退出編輯模式
shift+q
x 
回車 結束編輯

修改為如下形式,同時新建/usr/local/hadoop/tmp 資料夾。
hdfs://xx.xx.xx.xx:9002 的ip為伺服器ip,或者可以改成任意的字串,例如
hdfs://test1:9002 。因為我用的伺服器上9000埠被佔用所以用了9002,自己配置時可以用9000。
這裡寫圖片描述

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
</property>
<property>
        <name>fs.default.name</name
>
<value>hdfs://xx.xx.xx.xx:9002</value> </property> </configuration>

配置hadoop-env.sh (路徑Hadoop根目錄/etc/hadoop)
修改如下,將JAVA_HOME改為自己的JDK路徑。
這裡寫圖片描述

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-0.b15.el6_8.x86_64/jre

配置hdfs-site.xml (路徑Hadoop根目錄/etc/hadoop)
修改如下,並新建usr/local/hadoop/dfs/name 和 data 資料夾。
注dfs.permissions 此處設定為false表示 允許不要檢查許可權就生成dfs上的檔案。只是為了測試方便,實際使用時請設定為true,並使用ssh。
這裡寫圖片描述

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

配置mapred-site.xml (路徑Hadoop根目錄/etc/hadoop)
如果不存在就用同目錄下的mapred-site.xml.template檔案複製重新命名一個mapred-site.xml檔案
修改如下,並新建/usr/local/hadoop/var資料夾
xx.xx.xx.xx:9001 也可以像前面core-site.xml 配置時一樣,將ip改為字串,例如:
test1:9001
這裡寫圖片描述

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>xx.xx.xx.xx:9001</value>
</property>
<property>
    <name>mapred.local.dir</name>
    <value>/usr/local/hadoop/var</value>
</property>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

至此配置完成

3.Hadoop啟動
首先第一次啟動Hadoop需要初始化
進入Hadoop根目錄/bin
執行

./hadoop  namenode  -format

初始化成功後,可以在usr/local/hadoop/dfs/name 目錄(core-site.xml中配置的路徑)下看到有幾個新建的檔案,表明初始化已完成。
這裡寫圖片描述

啟動HDFS和YARN
進入Hadoop根目錄/sbin

啟動HDFS
執行,會提示輸入密碼,一共3,4次左右。

./start-dfs.sh

啟動YARN
執行,會提示輸入密碼。

./start-yarn.sh

Hadoop2.8.3搭建完畢。