1. 程式人生 > >用hadoop自帶的wordcount測試

用hadoop自帶的wordcount測試

1、建立檔案example.txt,並將其拷貝到hdfs的/user/root中

./hadoop fs -put /root/example.txt /user/root

2、執行hadoop-mapreduce-examples-2.8.0.jar

./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /user/root/example.txt /output

3、按照搭建叢集這篇配置/opt/hadoop-2.8.0/etc/hadoop/mapred-site.xml,wordcunt會卡在INFO mapreduce.Job: map 0% reduce 0%

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property

按照如上配置,則使用yarn來進行計算,那麼必須啟動nodemanager,

如果不使用yarn,進行mapreduce.job.tracker配置,也可以用MRv2來執行job,這樣就不需要啟動nodemanager:

<property>
        <name
>
mapreduce.job.tracker</name> <value>hdfs://hserver2:8001</value> <final>true</final> <property>

這裡寫圖片描述

修改後,重新執行wordcunt
這裡寫圖片描述
4、檢視輸出的統計

./hadoop fs -cat /output/part-r-00000

這裡寫圖片描述

至此,wordcunt測試完成。