用hadoop自帶的wordcount測試
阿新 • • 發佈:2019-01-04
1、建立檔案example.txt,並將其拷貝到hdfs的/user/root中
./hadoop fs -put /root/example.txt /user/root
2、執行hadoop-mapreduce-examples-2.8.0.jar
./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /user/root/example.txt /output
3、按照搭建叢集這篇配置/opt/hadoop-2.8.0/etc/hadoop/mapred-site.xml,wordcunt會卡在INFO mapreduce.Job: map 0% reduce 0%
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property
按照如上配置,則使用yarn來進行計算,那麼必須啟動nodemanager,
如果不使用yarn,進行mapreduce.job.tracker配置,也可以用MRv2來執行job,這樣就不需要啟動nodemanager:
<property>
<name >mapreduce.job.tracker</name>
<value>hdfs://hserver2:8001</value>
<final>true</final>
<property>
修改後,重新執行wordcunt
4、檢視輸出的統計
./hadoop fs -cat /output/part-r-00000
至此,wordcunt測試完成。