1. 程式人生 > >hadoop-2.7.3的WordCount測試

hadoop-2.7.3的WordCount測試

測試hadoop的 WordCount

1、建立兩個文字

[[email protected] /]# mkdir input
[[email protected] /]# cd input
[[email protected] input]# echo "hello world" >test1.txt
[[email protected] input]# echo "hello hadoop" >test2.txt

2、將兩個txt文字copy到hadoop下

./代表input目錄下所有文字 /input代表hadoop根目錄吧  我也不清楚

[[email protected] input]# hadoop fs -put ./ /input 

3、檢視copy到hadoop的文字

[[email protected] input]# hadoop fs -ls /input
Found 2 items
-rw-r--r--   1 root supergroup         12 2017-05-10 04:09 /input/test1.txt
-rw-r--r--   1 root supergroup         13 2017-05-10 04:09 /input/test2.txt

4、檢視文字內容

[[email protected]
input]# hadoop fs -cat /input/test1.txt hello world

5、執行wordcount的jar包,並輸出結果到/output

[[email protected] hadoop-2.7.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/ /output

6、檢視執行結果

[[email protected] hadoop-2.7.3]# hadoop fs -ls /output
Found 2 items
-rw-r--r--   1 root supergroup          0 2017-05-10 08:03 /output/_SUCCESS
-rw-r--r--   1 root supergroup         25 2017-05-10 08:03 /output/part-r-00000
[
[email protected]
hadoop-2.7.3]# hadoop fs -cat /output/part-r-00000 hadoop 1 hello 2 world 1


相關推薦

hadoop 2.7.7 安裝(測試環境部署) hadoop2.x部署

hadoop 2.7.7 安裝(測試環境部署) hadoop2.x部署 系統環境(censtos 6.5 ): 172.16.57.97 namenodeyw 172.16.57.98 datanodeyw1 172.16.57.238 datanodeyw2

Hadoop 2.7.3 安裝配置及測試

[[email protected] local]# su hadoop [[email protected] local]$ cd /usr/local/hadoop/etc/hadoop/ [[email protected] hadoop]$ hdfs namenode -

hadoop-2.7.3的WordCount測試

測試hadoop的 WordCount 1、建立兩個文字 [[email protected] /]# mkdir input [[email protected] /]# cd input [[email protected] input

Hadoop 2.7.0在centos7分散式叢集上的部署與測試

Author: Wingter Wu 1 環境說明 VitualBox 5.0.24 CentOS-7-x86_64-Minimal-1611:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_6

【轉載】Hadoop 2.7.3 和Hbase 1.2.4安裝教程

啟動 運行 property new rop net 文本文 .tar.gz cor 轉載地址:http://blog.csdn.net/napoay/article/details/54136398 目錄(?)[+] 一、機器環境

hadoop 2.7.3基本操作

dir 不出 管理 查看 運行 oca 好的 nbsp 資源管理 ./bin/hdfs dfs -mkdir -p input 新建文件夾 YARN 有個好處是可以通過 Web 界面查看任務的運行情況:http://localhost:8088/cluster 但 Y

Ububtu 14.04 安裝 Hadoop 2.7.3

restart mar 說明 def rep 1.7 目前 other true 1.首先安裝java,配置java開發環境   下載jdk:http://www.oracle.com/technetwork/java/javase/archive-139210.html選

How to install Hadoop 2.7.3 cluster on CentOS 7.3

大數據############################# #ENV #spark01 192.168.51.6 #spark02 192.168.51.18 #spark03 192.168.51.19 #spark04 192.168.51.21 #spark05 192.168.51.24 ###

Hadoop 2.7.3 完全分布式部署

sbin oot oop .com body acl border tool user 本次測試環境如下 IP host JDK linux hadop role 172.16.101.55 sht-sgmhadoopnn-01 1.8.0_111

Linux鞏固記錄(3) hadoop 2.7.4 環境搭建

修改 spa efault ram 是否 ado rmi down pan 由於要近期使用hadoop等進行相關任務執行,操作linux時候就多了 以前只在linux上配置J2EE項目執行環境,無非配置下jdk,部署tomcat,再通過docker或者jenkins自動部署

Linux鞏固記錄(5) hadoop 2.7.4下自己編譯代碼並運行MapReduce程序

parser mod pill self add let tokenize org cto 程序代碼為 ~\hadoop-2.7.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.4-sourc

Hadoop 2.7.4 + HBase 1.2.6 + ZooKeeper 3.4.10

配置文件 title 2.6 ase keep itl 配置 oop hadoop 1: Hadoop 環境準備 2: hadoop的配置文件設置(非HA) 3: ZooKeeper 安裝與配置Hadoop 2.7.4 + HBase 1.2.6 + ZooKeeper 3

Hadoop 2.7.3 分布式集群安裝

app privacy 產生 script ipv star oca ace eth0 1. 集群規劃:192.167.1.252 palo252 Namenode+Datanode192.167.1.253 palo253 Yarn

超詳細 Hadoop 2.7.4 Installation Procedure

pub 建立 最好 組合 新手 def keys atan sysconf ∑工作快兩年了,一直沒有個自己的技術博客啥的,感到很慚愧,每次遇到問題都是百度大神的文章,今天是周日,我也想寫點我一直學習成長中遇到的問題和 解決方法,今天我就拿這個hadoop2.7.4開刀吧,至

Hadoop-2.7.5完全分布式搭建

start export file image 相關配置 war ava -s 網絡 1、在虛擬機上安裝Hadoop完全分布式準備工作 1)這裏使用的是VMWare軟件,在VMWare上安裝一個CentOS6.5,並再克隆兩個機器配置相關MAC地址,以及配置機器名

Idea+Centos+hadoop-2.7.3源碼環境搭建

tar.gz mar 點擊 技術 baidu str mage tar follow Idea+Centos7+hadoop-2.7.3源碼閱讀環境搭建 1.環境準備 安裝maven 3.5.4 下載地址: http://mirrors.shu.edu.cn/apache

hadoop-2.7.6 完全分散式的安裝

準備環境           CentOS 7           jdk1.8 (這裡建議使用1.8版本的jdk 連結:https://www.oracle.com/technetwork/ja

Hadoop-2.7.3 HA高可用搭建

0.zookeeper叢集的搭 略,自行百度 1.hadoop2.7.3下載 http://hadoop.apache.org/releases.html 2.tar 解壓,mv到 /data,並將資料夾改為hadoop(也可以不改,

ubuntu 1804 安裝hadoop 2.7.7及配置檔案說明

建立hadoop使用者同時指定使用 /bin/bash 作為 hadoop的shell: useradd -m hadoop -s /bin/bash 為hadoop 設定密碼。 sudo passwd hadoop 為 hadoop 使用者增加管理員許可權,方便部署 sudo adduser ha

在Windows 7中編譯Hadoop 2.7.7

一、下載Hadoop2.7.7原始碼 解壓後,檢視BUILDING.txt檔案,其中詳細描述了在windows下編譯hadoop需要的條件和步驟,具體見下: -------------------------------------------------------------------