1. 程式人生 > >Hadoop本地執行模式下執行官方案例(Grep和WordCount)

Hadoop本地執行模式下執行官方案例(Grep和WordCount)

官方Grep案例

#1,在hadoop-2.7.2檔案下建立input資料夾
[[email protected] hadoop-2.7.2]$ mkdir input
[[email protected] hadoop-2.7.2]$ ll
總用量 56
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 bin
drwxr-xr-x. 3 isea isea  4096 5月  22 2017 etc
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 include
drwxrwxr-x. 2 isea isea  4096 11月 14 19:24 input
drwxr-xr-x. 3 isea isea  4096 5月  22 2017 lib
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 libexec
-rw-r--r--. 1 isea isea 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 isea isea   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 isea isea  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 sbin
drwxr-xr-x. 4 isea isea  4096 5月  22 2017 share

#2,將hadoop的配置檔案cp到input下,作為輸入檔案
[
[email protected]
hadoop-2.7.2]$ cp etc/hadoop/*.xml input/ #3,執行share目錄下的mapreduce程式 [[email protected] hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+' #4,檢查是否多了一個目錄output,並檢視該目錄下的內容 [[email protected] hadoop-2.7.2]$ ll 總用量 60 drwxr-xr-x. 2 isea isea 4096 5月 22 2017 bin drwxr-xr-x. 3 isea isea 4096 5月 22 2017 etc drwxr-xr-x. 2 isea isea 4096 5月 22 2017 include drwxrwxr-x. 2 isea isea 4096 11月 14 19:24 input drwxr-xr-x. 3 isea isea 4096 5月 22 2017 lib drwxr-xr-x. 2 isea isea 4096 5月 22 2017 libexec -rw-r--r--. 1 isea isea 15429 5月 22 2017 LICENSE.txt -rw-r--r--. 1 isea isea 101 5月 22 2017 NOTICE.txt drwxrwxr-x. 2 isea isea 4096 11月 14 19:28 output -rw-r--r--. 1 isea isea 1366 5月 22 2017 README.txt drwxr-xr-x. 2 isea isea 4096 5月 22 2017 sbin drwxr-xr-x. 4 isea isea 4096 5月 22 2017 share [
[email protected]
hadoop-2.7.2]$ cat output/ cat: output/: 是一個目錄 [[email protected] hadoop-2.7.2]$ cat output/* 1 dfsadmin [[email protected] hadoop-2.7.2]$

官方WordCount案例

#1,在hadoop的目錄下建立一個wcinput,並建立wc.input 並寫入內容
[[email protected] hadoop-2.7.2]$ mkdir wcinput
[[email protected]
hadoop-2.7.2]$ cd wcinput/ [[email protected] wcinput]$ vim wc.input you know that i sea you sea you isea you isea i sea you #2,回到hadoop目錄,執行countword程式 [[email protected] wcinput]$ cd .. [[email protected] hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput * * * #3,檢視結果 [[email protected] hadoop-2.7.2]$ cat wcoutput/part-r-00000 i 2 isea 2 know 1 sea 3 that 1 you 5 [[email protected] hadoop-2.7.2]$ cd wcoutput/ [[email protected] wcoutput]$ ll 總用量 4 -rw-r--r--. 1 isea isea 37 11月 14 19:38 part-r-00000 -rw-r--r--. 1 isea isea 0 11月 14 19:38 _SUCCESS