1. 程式人生 > >Hadoop3.0.3叢集自帶WordCount程式測試MapRedece

Hadoop3.0.3叢集自帶WordCount程式測試MapRedece

Hadoop3.0.3自帶的例項程式路徑在
/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar

在HDFS目錄中建立input目錄

[[email protected]]# hdfs dfs -mkdir /input
[[email protected] hadoop]# hdfs dfs -rm -r /input  #刪除HDFS中的input目錄

1.把測試檔案上傳到HDFS目錄中

此處以/usr/local/hadoop/README.txt為例,把README.txt檔案上傳到HDFS的/input

目錄中

[[email protected] hadoop]# hdfs dfs -put README.txt /input

上傳後可用如下命令看到。

[[email protected] hadoop]# hdfs dfs -ls /input
2018-11-26 20:05:11,067 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
-rw-
r--r-- 3 root supergroup 1366 2018-11-26 20:02 /input/README.txt [[email protected] hadoop]#

也可在Web端看到。
34

2.把測試檔案上傳到HDFS目錄中

[[email protected] hadoop]# hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /input /output

3.列出輸出目錄

[[email protected] ~
]# hadoop fs -ls /output 2018-11-27 14:44:13,654 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 2 items -rw-r--r-- 3 root supergroup 0 2018-11-27 14:27 /output/_SUCCESS -rw-r--r-- 3 root supergroup 1306 2018-11-27 14:27 /output/part-r-00000 [[email protected] ~]# hdfs dfs -ls /output #或此命令

4.列出輸出結果

[[email protected] ~]# hdfs dfs -cat /output/part-r-00000
[[email protected] ~]# hadoop fs -cat /output/part-r-00000

434

5.Hadoop常用命令

hadoop fs -mkdir /tmp/input              在HDFS上新建資料夾
hadoop fs -put input1.txt /tmp/input  把本地檔案input1.txt傳到HDFS/tmp/input目錄下
hadoop fs -get  input1.txt /tmp/input/input1.txt  把HDFS檔案拉到本地
hadoop fs -ls /tmp/output                  列出HDFS的某目錄
hadoop fs -cat /tmp/ouput/output1.txt  檢視HDFS上的檔案
hadoop fs -rmr /home/less/hadoop/tmp/output  刪除HDFS上的目錄
hadoop dfsadmin -report 檢視HDFS狀態,比如有哪些datanode,每個datanode的情況
hadoop dfsadmin -safemode leave  離開安全模式
hadoop dfsadmin -safemode enter  進入安全模式

相關推薦

Hadoop3.0.3叢集WordCount程式測試MapRedece

Hadoop3.0.3自帶的例項程式路徑在 /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar中

Hbase2.1.0 on Hadoop3.0.3叢集(基於CentOS7.5)

完全分散式叢集搭建請移步: 在CentOS7.5上搭建Hadoop3.0.3完全分散式叢集 當前CentOS,JDK和Hadoop版本: [[email protected] ~]# cat /etc/redhat-release CentOS Linux rel

Ubuntu16.04環境下搭建Hadoop3.0.3偽分散式叢集

    最近剛好趕上雙11騰訊促銷,於是搶購了一個8核16G記憶體的雲伺服器,加上業務上需要用到hadoop,hive,於是想搭建搭建一個hadoop分散式叢集,但是限於自己手頭上伺服器數量不多,因此打算先搭建一個hadoop偽分散式叢集。   首先介紹一下我的安裝

Hadoop3.1.1執行例子wordcount發生的錯誤

 錯誤 1 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml con

HadoopWordCount.java程式

位置:{Hadoop_HOME}\hadoop-0.20.1\src\examples\org\apache\hadoop\examples\WordCount.java 其中{Hadoop_HOME}是安裝後的Hadoop所在的目錄 Hadoop自帶WordCount程式

Zabbix4.0.1使用模板監控Linux主機基本選項(CPU、記憶體、硬碟、網絡卡)

zabbix_agent 端            ip : 192.168.1.206      hostname:  www.test3.com   1、新增主機  

opencv 單目相機標定 例子程式的使用

<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/

flink安裝以及執行wordcount示例(單機版,無hadoop環境)

1、下載安裝包到/opt目錄 2、解壓安裝包 tar zxf flink-1.6.1-bin-hadoop26-scala_2.11.tgz  3、啟動flink cd /opt/flink-1

CentOS 裝hadoop3.0.3 版本踩坑

java_home sbin mission authorize wan could not secondary 解決 進入   1、but there is no HDFS_NAMENODE_USER defined. Aborting operation.    [ro

Windows下用Python 3.4+的venv模組建立虛擬環境

Python 3.4+自帶了venv模組,用於建立虛擬環境,每個虛擬環境都可以安裝一套獨立的第三方模組。 本文在Windows 10上操作。  原文:http://www.cnblogs.com/animalize/p/5868763.html 1、建立一個虛擬環境: D:\>mkdir test_

spark叢集搭建與叢集上執行wordcount程式

Spark 配置 1、master 機器 Spark 配置 進入 Spark 安裝目錄下的 conf 目錄, 拷貝 spark-env.sh.template 到 spark-env.sh。 cp spark-env.sh.template spark-e

hadoop3.0.3版本Linux單機測試版配置

本篇為結合其它博主和個人總結所得。 全篇為複製貼上Linxu虛擬機器上配置所來,所有的檔案路徑視自身而定,僅作參考。 配置檔案在目錄/etc/hadoop下 core-site.xml: <configuration>        <prope

Centos7上搭建hadoop3.0.3完全分散式 (.tar.gz)

這裡搭建的是3個節點的完全分散式,即1個nameNode,2個dataNode,分別如下: master    nameNode    192.168.0.249 node1    dataNode    192.168.0.251 node2    dataNode 

Win7+Qt5.10.0 +MSVC2013 bit64(此編譯器為Qt5.10.0安裝包)+opencv3.0.0配置

 筆記目的:最近想實現VS2013中和Qt中都能使用OpenCV,由於之前都是在MinGW編譯器下使用的OpenCV3.0.0。由於MinGW編譯器和MSVC2013 bit64編譯器對於OpenCV庫的呼叫是不一樣的,Mingw編譯器使用OpenCV時需要使用CMake工具將OpenCV進行重新編譯(另一

PHP測試與優化-- Apache的壓力測試工具ab(apache bench) - 簡單使用

一、測試工具: Apache 壓力測試工具ab ab是針對apache的效能測試工具,可以只安裝ab工具。 ubuntu安裝ab apt-get install apache2-utils centos安裝ab yum install httpd-tools 命令:

mysql的壓力測試工具

mysqlslap 是 Mysql 自帶的壓力測試工具,可以模擬出大量客戶端同時操作資料庫的情況,通過結果資訊來了解資料庫的效能狀況 mysqlslap 的一個主要工作場景就是對資料庫伺服器做基準測試 例如我們拿到了一臺伺服器,準備做為資料庫伺服器,那麼這臺伺服器的硬體資源能夠支援多

使用Apacheab工具測試WebService介面

進入<APACHE_HOME>/bin/目錄下,執行ab可以看到如下結果:D:\Apache2.2\bin>ab -h Usage: ab [options] [http://]hostname[:port]/path Options are:     -

將Ubuntu 10.042.6.32核心升級成3.0核心圖文教程

1、完成如下實踐工作,並截圖說明實踐步驟:1)下載安裝虛擬機器VMWare Workstation;2)在虛擬機器中安裝Linux2.x ;3)通過自行編譯,將Linux 2.x核心升級到Linux 3.x。 1)     安裝VMware Workstation 11.1

Ubuntu16.04 上執行 Hadoop2.7.3 example wordCount摸索記錄

首先最最重要的寫在最前面,也是我覺得個人踩得最深的坑,剛接觸hadoop的人,缺少的認識: hdfs的理解:它是一個檔案系統,跟linux的檔案系統是類似的結構,擁有類似的語法,大概就是你在linux上ls檢視檔案列表,那麼hdfs的無非就是hadoop fs -ls。ha

IOS6.0下拉刷新控件UIRefreshControl

ont wid 下拉刷新控件 ble ref 分享 select popu ng- 1.UIRefreshControl必需要在IOS6.0以後才幹使用,同一時候他僅僅能在UITableViewController類中才幹夠使用 2.使用比較簡單 self.r