1. 程式人生 > >Hadoop環境搭建(為分散式)

Hadoop環境搭建(為分散式)

安裝前準備(centos):

1)設定普通使用者以及設定sudo許可權-----------

-----useadd hadoop

-----passwd hadoop

--[root]--visudo

2)關閉防火牆

---- service iptables stop 

3)設定主機名稱

----hostaname hadoop01

----(永久化)--vi /etc/sysconfig/network  [修改HOSTNAME=Hadoop01]

4)IP與主機名稱進行繫結

---------vi /host

新增一行 IP地址 hadoop01

 

安裝JDK環境(JDK1.8)

1.安裝檔案上傳到Linux下

2.對其解壓   tar -zvxf 檔名 -C/解壓到此路徑下

3.配置環境變數

--- vi /etc/profile

最後一行開始新增

#JAVA_HOME

export  JAVA_HOME=/opt/app/jdk---[jdk所在路徑】---

export PATH=$JAVA_HOME/bin:$PATH

-----source  /etc/profile  (讓其生效)

---Java -version  驗證一下

 

 

安裝hadoop

1.下載Hadoop安裝包

2.進到安裝包所在路徑解壓  tar -zvxf hadoop-2.7.2.tar.gz -C /路徑

3.配置檔案

修改許可權sudo -chown -R hadoop:hadoop /opt/hadoop-2.7.2/

檔案 etc/hadoop/hadoop-env.sh

修改:export JAVA_HOME=/opt/app/jdk-1.8(路徑)

 

檔案:etc/hadoop/core-site.xml:

  <property>

        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:8020</value>
    </property>

檔案:etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化 bin/hadoop namenode -format


namenode 啟動

sbin/hadoop-daemon.sh start namenode
用jps 命令檢視是否啟動成功
datanode啟動
sbin/hadoop-daemon.sh start node


配置yarn
檔案 修改etc/hadoop/mapred-site.xml.template為:etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


檔案:etc/hadoop/yarn-site.xml:
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

啟動resourcemanager
sbin/yarn-deamon.sh start resourcemanager
啟動nodemanager
sbin/yarn-deamon.sh start nodemanager