1. 程式人生 > >偽分散式執行Hadoop例項之yarn執行MapReduce例項

偽分散式執行Hadoop例項之yarn執行MapReduce例項

一、配置叢集

  1. 配置yarn-env.sh檔案
    配置一下JAVA_HOME
  2. 配置yarn-site.xml
<!-- reducer獲取資料的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
  1. 配置:mapred-env.sh檔案
    配置一下JAVA_HOME
  2. 配置: (對mapred-site.xml.template重新命名為) mapred-site.xml
<!-- 指定mr執行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

二、啟動叢集

  1. 啟動resourcemanager
    sbin/yarn-daemon.sh start resourcemanager
  2. 啟動nodemanager
    sbin/yarn-daemon.sh start nodemanager
    在這裡插入圖片描述

三、操作叢集

  1. yarn的瀏覽器頁面檢視
    http://192.168.23.101:8088/cluster
    在這裡插入圖片描述
  2. 刪除檔案系統上的output檔案
    bin/hdfs dfs -rm -R /user/atguigu/output
  3. 執行mapreduce程式
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input  /user/atguigu/output

在這裡插入圖片描述
4. 檢視執行結果
bin/hdfs dfs -cat /user/atguigu/output/*

在這裡插入圖片描述