2. 程式人生 > >Hadoop工作原理圖-WordCount示例

Hadoop工作原理圖-WordCount示例

阿新 • • 發佈：2019-01-08
importorg.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;/**
 * author: test * date: 2015/1/25. */public class RunJob {    public static void main(String[] args) {        Configuration conf = new Configuration();//裝在src或者classPath下的所有配置檔案try {            Job job = Job.getInstance();            job.setJarByClass(RunJob.class);            job.setJobName("WordCount"
);            job.setMapperClass(WordCountMapper.class);            job.setReducerClass(WordCountReducer.class);            job.setMapOutputKeyClass(Text.class);            job.setMapOutputValueClass(IntWritable.class);            FileSystem fs = FileSystem.get(conf);            FileInputFormat.addInputPath
(job, new Path("D:/hadoop/input/input"));            Path output = new Path("D:/hadoop/output/wc");            if (fs.exists(output)) {                fs.delete(output, true);//遞迴刪除}            FileOutputFormat.setOutputPath(job, output);            if (job.waitForCompletion(true)) {                System.out.println("Job Done!");            }        } catch (Exception e) {            e.printStackTrace();        }    } }

相關推薦

Hadoop工作原理圖-WordCount示例

importorg.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;

Hadoop MapReduce 官方教程 -- WordCount示例

get pre red oop hadoop apache tor ria pac Hadoop MapReduce 官方教程 -- WordCount示例： http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.h

線程池的工作原理及使用示例

影響 cti run padding 返回值 read mina 容器 原理 . 為什麽要使用線程池？ 我們現在考慮最簡單的服務器工作模型：服務器每當接收到一個客戶端請求時就創建一個線程為其服務。這種模式理論上可以工作的很好，但實際上會存在一些缺陷，服務器應用程序中經常出

Spark Executor內幕徹底解密：Executor工作原理圖、ExecutorBackend註冊源碼解密、Executor實例化內幕、Executor具體工作內幕

ID 註冊 AD https ima .cn ora 成員 其他 本課主題 Spark Executor 工作原理圖 ExecutorBackend 註冊源碼鑒賞和 Executor 實例化內幕 Executor 具體是如何工作的 Spark Executor 工作

Optaplanner規劃引擎的工作原理及簡單示例(1)

生成 -c move 在哪裏 遺傳算法 如果 order by 實現 功能 　　在之前的文章中，老猿已介紹過APS及規劃的相關內容，也對Optaplanner相關的概念和一些使用示例進行過介紹，接下來的文章中，我會自己做一個規劃小程序 - 一個關於把任務分配到不同的機臺上進

Struts 體系結構與工作原理(圖)

   Struts 體系結構是目前基於java的 web系統設計中廣泛使用的mvc構架。 基本概念 　　 　　Struts是Apache 基金會Jakarta 專案組的一個Open Source 專案，它採用模型-檢視

講解變頻電源的工作原理圖

直流電 等等 部分 我的文章 功能 -o nag 系列 做到 其實，像三相變頻電源，單相變頻電源，還有60HZ-50HZ變頻電源，包括大功率變頻電源的原理跟上面講述的這些都大同小異，只不過三相變頻電源和大功率變頻電源他們的內部核心部件比單相變頻電源的多。三相大功率變頻電源的

JAVA NIO工作原理及程式碼示例

簡介：本文主要介紹了JAVA NIO中的Buffer, Channel, Selector的工作原理以及使用它們的若干注意事項，最後是利用它們實現伺服器和客戶端通訊的程式碼例項。 歡迎探討，如有錯誤敬請指正 1. ByteBuffer 1.1直接緩衝區和非直接緩衝區 下面是建立ByteBuffer物件的

Hadoop 工作原理

•Primary Avatar對外提供服務，設定了NFS目錄，將FSImage和EditLog遠端儲存。Standby Avatar將NFS目錄中的FSImage和EditLog讀取過來進行同步，並且設定Standby Avatar一直處於safemode狀態，不影響正常操作。這樣Standby Avatar

淺談hadoop工作原理

Hadoop 是一個開源的可運行於大規模叢集上的分散式並行程式設計框架，由於分散式儲存對於分散式程式設計來說是必不可少的，這個框架中還包含了一個分散式檔案系統 HDFS( Hadoop Distributed File System )。也許到目前為止，Hadoop 還不

MT6139射頻處理器工作原理圖/晶片主要功能介紹

Receiver 接收機包括四波段低噪聲放大器(LNAs)、射頻正交混頻器、片上通道濾波器、可程式設計增益放大器(PGA)和直流偏置校準(DCOC)環路.加法一次工廠AM校準程式提前，MT 6139的IIP 2可以達到至少50 dBm的所有波段。完全整合的通道濾波器可以消除干擾，阻塞訊號，不需要

hadoop工作原理

什麼是hadoop? Hadoop無非就是：HDFS(檔案系統)，yarn(任務調配)，mapReduce(程式設計模型，大資料並行運算)，我們安裝完hadoop就已經包括了以上； Hadoop叢集其實就是HDFS叢集，說到HDFS,下面來談談什麼是HDFS HDF

Tomcat 系統架構與設計模式，第 1 部分: 工作原理圖 1.Tomcat 的總體結構

public synchronized void start() throwsLifecycleException {    ………    if( !initialized ) {        try {            init();        } catch( Exception ex )

hadoop的NAMENODE的管理機制，工作機制和DATANODE的工作原理

占用 最大 狀態 inux 自動 conda 文件大小 open() 格式 1：分布式文件系統（Distributed File System）： （1）：數據量越來越多，在一個操作系統管轄的範圍存不下了，那麽就分配到更多的操作系統管理的磁盤中，但是不方便管理和維護

Hadoop基礎-MapReduce的工作原理第二彈

原理 data 行數據 一個 mapreduce 不同的 選擇 alt 註釋 　　　　　　　　　　　　　　　　　　　　　　Hadoop基礎-MapReduce的工作原理第二彈 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

hadoop之hdfs及其工作原理

con 小型 poi 處理器 出了 目前 命令 append 數據塊 hadoop之hdfs及其工作原理 （一）hdfs產生的背景 　　隨著數據量的不斷增大和增長速度的不斷加快，一臺機器上已經容納不下，因此就需要放到更多的機器中，但這樣做不方便維護和管理，因此需要一種文件系

HADOOP中HDFS工作原理

轉載：http://www.weixuehao.com/archives/596 http://www.cnblogs.com/iloveyouforever/p/4303903.html http://www.cnblogs.com/iloveyouforever/p/430435

感測器工作原理動態圖

感測器是能夠感受規定的被測量並按一定規律轉換成可用輸出訊號的器件或裝置的總稱，通常被測量是非電物理量，輸出訊號一般為電量。當今世界正面臨一場新的技術革命，這場革命的主要基礎是資訊科技，而感測器技術被認為是資訊科技三大支柱之一，一些發達國家都把感測器技術列為與通訊技術和計算機技術同等位置。

一張圖理清SpringMVC工作原理

一、首先，我們先來認識一下SpringMVC的主要元件 前端控制器（DisatcherServlet）:接收請求，響應結果，返回可以是json,String等資料型別，也可以是頁面（Model）。 處理

Hadoop基礎 - Hadoop核心元件之HDFS工作原理

HDFS 1.HDFS是Hadoop的儲存元件是一個檔案系統，用於儲存和管理檔案，通過統一的名稱空間（類似於本地檔案系統的目錄樹）。是分散式的，伺服器叢集中各個節點都有自己的角色和職責。HDFS為高吞吐量做了優化，尤其在讀寫大檔案（GB級別或更大）時執行最佳。為了維持高吞吐量，HDFS利用超大資