1. 程式人生 > >Hadoop叢集中需要更改的配置檔案

Hadoop叢集中需要更改的配置檔案

一、core-site.xml

<configuration>
<!-- 指定HDFS 中 NameNode 的地址 -->
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop01:9000</value>
  </property>

<!-- 指定 hadoop 執行時產生檔案的儲存目錄 -->
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/hadoop/install/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
  </property>
  </configuration>

二、hadoop-env.sh

export JAVA_HOME=/home/hadoop/install/jdk1.8.0_152/

三、hdfs-site.xml

<configuration>
  <property>
     <name>dfs.replication</name>
     <value>3</value>
  </property>

  <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop03:50090</value>
  </property>
</configuration>

四、slaves

hadoop01
hadoop02
hadoop03

五、yarn-env.sh

export JAVA_HOME=/home/hadoop/install/jdk1.8.0_152/

六、yarn-site.xml

<configuration>

<!-- reducer 獲取資料的方式 -->
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>

<!-- 指定 YARN 的 ResourceManager 的地址 -->
  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop03</value>
  </property>
</configuration>

七、mapred-env.sh

export JAVA_HOME=/home/hadoop/install/jdk1.8.0_152/

八、mapred-site.xml(此檔案原來是mapred-site.xml)
應該先修改檔名:

mv mapred-site.xml.template mv mapred-site.xml
<configuration>
<!-- 指定 mr 執行在 yarn 上 -->
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
</configuration>