2. 程式人生 > >MapReduce的本地執行模式（debug除錯）

MapReduce的本地執行模式（debug除錯）

阿新 • • 發佈：2018-11-20

（1）mapreduce程式是被提交給LocalJobRunner在本地以單程序的形式執行。在本地執行mapreduce程式可以更快地執行，並且可以使用debug進行跟蹤程式碼，方便查錯，在本地執行主要是看mapreduce的業務邏輯是不是正確，如果在本地執行錯誤的話，那麼在叢集上肯定也是錯的
（2）處理的資料及輸出結果可以在本地檔案系統，也可以在hdfs上
（3）本地模式非常便於進行業務邏輯的debug，只要在eclipse中打斷點即可
（4）怎樣實現本地執行？寫一個程式，不要帶叢集的配置檔案（本質是你的mr程式的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname引數）

如果在windows下想執行本地模式來測試程式邏輯，需要在windows中配置環境變數：
％HADOOP_HOME％ = d:/hadoop-2.6.1
%PATH% = ％HADOOP_HOME％\bin
並且要將d:/hadoop-2.6.1的lib和bin目錄替換成windows平臺編譯的版本

無jar版windows平臺hadoop-2.6.1.zip
https://pan.baidu.com/s/1uu8tKq3FvoemccoUiBob0Q

在linux下編譯的hadoop:
https://pan.baidu.com/s/1qtXrWnKjk_klRdPj8DaSYA

只需要替換一下就可以正常使用了

        Configuration conf = new Configuration();
		
		//是否執行為本地模式，就是看這個引數值是否為local，預設就是local
		conf.set("mapreduce.framework.name", "local");
		
		//本地模式執行mr程式時，輸入輸出的資料可以在本地，也可以在hdfs上
		//到底在哪裡，就看以下兩行配置你用哪行，預設就是file:///
		/*conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
		conf.set("fs.defaultFS", "file:///");

conf什麼都不寫，就是使用預設的配置，預設的配置就是在本地。
可以看一下預設的配置

預設的配置檔案：
https://pan.baidu.com/s/1xKT7_SPv8qsSQmbze8O6wQ
可以自己在原始碼中分別找到這些配置檔案：

在這裡插入圖片描述

開啟mapred-default.xml這個配置檔案：
在這裡插入圖片描述

開啟core-default.xml這個配置檔案：
在這裡插入圖片描述

所以可以直接在本地執行

在本地執行的效果：
在這裡插入圖片描述

在本地跟叢集執行的效果是一樣的。
在這裡插入圖片描述

input: 裡面的檔案都是隨便輸入的
在這裡插入圖片描述

output:
在這裡插入圖片描述

最終輸出的結果：
在這裡插入圖片描述

程式碼地址：
https://gitee.com/tanghongping/hadoopMapReduce/tree/master/src/com/thp/bigdata/wcdemo

我們可以打幾個斷電除錯一下：
在這裡插入圖片描述

在這裡插入圖片描述

在這裡插入圖片描述
看這map方法的引數：

Name Value
key 0
value we are family
context [email protected]fa

然後就是接下的一行的資料
map裡面的引數：

Name Value
key 15
value hello sa
context [email protected]fa

之後的input檔案的每一行的資料都會經歷這個過程

看debug模式下下面控制面板的變化：
在這裡插入圖片描述

現在還是處在map階段

此時output會生成這麼一個臨時性的檔案
在這裡插入圖片描述

當input資料夾裡面的第一個檔案處理完畢，接下來就會處理第二個檔案:
在這裡插入圖片描述

在這裡插入圖片描述

我們的input資料夾裡面總共是有7個檔案的，這7個檔案都是同一個檔案：

2018-11-14 09:12:17,123 INFO  [localfetcher#1] reduce.LocalFetcher (LocalFetcher.java:copyMapOutput(141)) - localfetcher#1 about to shuffle output of map attempt_local1550344450_0001_m_000005_0 decomp: 211 len: 215 to MEMORY
2018-11-14 09:12:17,128 INFO  [localfetcher#1] reduce.InMemoryMapOutput (InMemoryMapOutput.java:shuffle(100)) - Read 211 bytes from map-output for attempt_local1550344450_0001_m_000005_0
2018-11-14 09:12:17,131 INFO  [localfetcher#1] reduce.MergeManagerImpl (MergeManagerImpl.java:closeInMemoryFile(315)) - closeInMemoryFile -> map-output of size: 211, inMemoryMapOutputs.size() -> 1, commitMemory -> 0, usedMemory ->211
2018-11-14 09:12:17,138 INFO  [localfetcher#1] reduce.LocalFetcher (LocalFetcher.java:copyMapOutput(141)) - localfetcher#1 about to shuffle output of map attempt_local1550344450_0001_m_000002_0 decomp: 211 len: 215 to MEMORY
2018-11-14 09:12:17,140 INFO  [localfetcher#1] reduce.InMemoryMapOutput (InMemoryMapOutput.java:shuffle(100)) - Read 211 bytes from map-output for attempt_local1550344450_0001_m_000002_0
2018-11-14 09:12:17,141 INFO  [localfetcher#1] reduce.MergeManagerImpl (MergeManagerImpl.java:closeInMemoryFile(315)) - closeInMemoryFile -> map-output of size: 211, inMemoryMapOutputs.size() -> 2, commitMemory -> 211, usedMemory ->422
2018-11-14 09:12:17,159 INFO  [localfetcher#1] reduce.LocalFetcher (LocalFetcher.java:copyMapOutput(141)) - localfetcher#1 about to shuffle output of map attempt_local1550344450_0001_m_000006_0 decomp: 211 len: 215 to MEMORY
2018-11-14 09:12:17,160 INFO  [localfetcher#1] reduce.InMemoryMapOutput (InMemoryMapOutput.java:shuffle(100)) - Read 211 bytes from map-output for attempt_local1550344450_0001_m_000006_0
2018-11-14 09:12:17,161 INFO  [localfetcher#1] reduce.MergeManagerImpl (MergeManagerImpl.java:closeInMemoryFile(315)) - closeInMemoryFile -> map-output of size: 211, inMemoryMapOutputs.size() -> 3, commitMemory -> 422, usedMemory ->633
2018-11-14 09:12:17,170 INFO  [localfetcher#1] reduce.LocalFetcher (LocalFetcher.java:copyMapOutput(141)) - localfetcher#1 about to shuffle output of map attempt_local1550344450_0001_m_000003_0 decomp: 211 len: 215 to MEMORY
2018-11-14 09:12:17,172 INFO  [localfetcher#1] reduce.InMemoryMapOutput (InMemoryMapOutput.java:shuffle(100)) - Read 211 bytes from map-output for attempt_local1550344450_0001_m_000003_0
2018-11-14 09:12:17,173 INFO  [localfetcher#1] reduce.MergeManagerImpl (MergeManagerImpl.java:closeInMemoryFile(315)) - closeInMemoryFile -> map-output of size: 211, inMemoryMapOutputs.size() -> 4, commitMemory -> 633, usedMemory ->844
2018-11-14 09:12:17,180 INFO  [localfetcher#1] reduce.LocalFetcher (LocalFetcher.java:copyMapOutput(141)) - localfetcher#1 about to shuffle output of map attempt_local1550344450_0001_m_000000_0 decomp: 211 len: 215 to MEMORY
2018-11-14 09:12:17,181 INFO  [localfetcher#1] reduce.InMemoryMapOutput (InMemoryMapOutput.java:shuffle(100)) - Read 211 bytes from map-output for attempt_local1550344450_0001_m_000000_0
2018-11-14 09:12:17,182 INFO  [localfetcher#1] reduce.MergeManagerImpl (MergeManagerImpl.java:closeInMemoryFile(315)) - closeInMemoryFile -> map-output of size: 211, inMemoryMapOutputs.size() -> 5, commitMemory -> 844, usedMemory ->1055
2018-11-14 09:12:17,189 INFO  [localfetcher#1] reduce.LocalFetcher (LocalFetcher.java:copyMapOutput(141)) - localfetcher#1 about to shuffle output of map attempt_local1550344450_0001_m_000001_0 decomp: 211 len: 215 to MEMORY
2018-11-14 09:12:17,190 INFO  [localfetcher#1] reduce.InMemoryMapOutput (InMemoryMapOutput.java:shuffle(100)) - Read 211 bytes from map-output for attempt_local1550344450_0001_m_000001_0
2018-11-14 09:12:17,190 INFO  [localfetcher#1] reduce.MergeManagerImpl (MergeManagerImpl.java:closeInMemoryFile(315)) - closeInMemoryFile -> map-output of size: 211, inMemoryMapOutputs.size() -> 6, commitMemory -> 1055, usedMemory ->1266
2018-11-14 09:12:17,196 INFO  [localfetcher#1] reduce.LocalFetcher (LocalFetcher.java:copyMapOutput(141)) - localfetcher#1 about to shuffle output of map attempt_local1550344450_0001_m_000004_0 decomp: 211 len: 215 to MEMORY
2018-11-14 09:12:17,197 INFO  [localfetcher#1] reduce.InMemoryMapOutput (InMemoryMapOutput.java:shuffle(100)) - Read 211 bytes from map-output for attempt_local1550344450_0001_m_000004_0
2018-11-14 09:12:17,197 INFO  [localfetcher#1] reduce.MergeManagerImpl (MergeManagerImpl.java:closeInMemoryFile(315)) - closeInMemoryFile -> map-output of size: 211, inMemoryMapOutputs.size() -> 7, commitMemory -> 1266, usedMemory ->1477
2018-11-14 09:12:17,198 INFO  [EventFetcher for fetching Map Completion Events] reduce.EventFetcher (EventFetcher.java:run(76)) - EventFetcher is interrupted.. Returning

在這裡插入圖片描述

當所有的map都執行完成，那麼就要走到reduce階段，

protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		int count = 0;
		for(IntWritable value : values) {
			count += value.get();  // 這個count 最後就是某一個單詞的彙總的值
		}
		context.write(key, new IntWritable(count));
	}

reduce的引數：

Name Value
key are
values o[email protected]6e4a6525
context [email protected]cda784
count 0

接下來的階段就是不斷地重複這個過程，但是需要注意的一點是這個reduce的過程是已經排序了的過程，按照字典排序好的。

相關推薦

MapReduce的本地執行模式（debug除錯）

（1）mapreduce程式是被提交給LocalJobRunner在本地以單程序的形式執行。在本地執行mapreduce程式可以更快地執行，並且可以使用debug進行跟蹤程式碼，方便查錯，在本地執行主要是看mapreduce的業務邏輯是不是正確，如果在本地執行錯誤的話，那麼在叢集上肯定也是錯

Tomcat8開啟APR執行模式（centos6.5）

Tomcat有三種運營模式：bio、nio、apr，不同模式下Tomcat的執行效率差別比較大。 一、bio(blockingIO) 阻塞式IO，Tomcat6及以前版本預設執行模式，效能非常低下，沒有經過任何優化處理。 二、nio(noblocking IO) 非阻塞

hadoop初識之三：搭建hadoop環境（配置HDFS，Yarn及mapreduce 執行在yarn）上及三種執行模式（本地模式，偽分散式和分散式介）

--===============安裝jdk（解壓版）================== --root 使用者登入 --建立檔案層級目錄    /opt下分別 建 modules/softwares/datas/tools 資料夾 --檢視是否安裝jdk    rpm -

Hadoop本地執行模式下執行官方案例（Grep和WordCount）

官方Grep案例 #1,在hadoop-2.7.2檔案下建立input資料夾 [[email protected] hadoop-2.7.2]$ mkdir input [[email protected] hadoop-2.7.2]$ ll 總用量 56 drwx

VS中生成、清理專案、除錯、開始執行（不除錯）、Debug 和 Release等之間的差別

一、生成和又一次生成 “生成”的時候僅僅對你修改過的檔案又一次生成沒有修改過的檔案不會又一次生成。 “又一次生成”是對全部的檔案都又一次生成。 以cpp為例當你僅僅修改某些.cpp之類的檔案的時候能夠用生成省了編譯沒有修改的那些些檔案的時間；可是修改了某些.h之類的檔案最好用又

shell指令碼除錯模式（debug模式）

linux shell的除錯模式在實際應用中有很大作用，其啟用方式有多種，總結如下 1. 在呼叫指令碼的時候使用      sh  +引數   +指令碼名 sh -x shell.script [[email&

MapReduce 程式執行演示（示例PI程式 wordcount程式）

你說的9000埠應該指的是fs.default.name或fs.defaultFS（新版本）這一配置屬性吧，這個屬性是描述叢集中NameNode結點的URI(包括協議、主機名稱、埠號) 50070其實是在hdfs-site.xml裡面的配置引數dfs.namenode.http-address，

npm run build 打包後，如何執行在本地檢視效果（Nginx服務）

        這段時間，有點時間，研究了一下vue 打包的很慢的問題。但是當我 npm run build 打包後，在本地檢視效果的時候，活生生被我老大鄙視了，因為我打開了XAMPP。他說：你怎麼不用Nginx啊？用這個一堆的路徑問題！！！！！！ 然後我就去研究了N

Hadoop系列005-Hadoop執行模式（下）

本人微信公眾號，歡迎掃碼關注！ Hadoop執行模式（下） 2.3、完全分散式部署Hadoop 1）分析： 1）準備3臺客戶機（關閉防火牆、靜態ip、主機名稱） 2）安裝jdk 3）配置環境變數 4）安裝hadoop 5）配置環境變數

Hadoop系列004-Hadoop執行模式（上）

title: Hadoop系列004-Hadoop執行模式（上） date: 2018-11-20 14:27:00 updated: 2018-11-20 14:27:00 categories: Hadoop tags: [Hadoop,框架,執行模式] 本人微信公眾號，歡迎掃碼關注！

Tomcat Connector三種執行模式（BIO, NIO, APR）的比較和優化

                  Java Blocking Connector   Java Nio Blocking Connector   APR/native Connector                              BIO                         NIO

Unity在執行時（程式碼中）設定材質的渲染模式（RenderingMode）

public enum RenderingMode { Opaque, Cutout, Fade, Transparent, } public static void SetMaterialRenderingMode (Material material, Render

Spark執行模式（一）－－－－－Spark獨立模式

除了可以在Mesos或者YARN叢集管理器上執行Spark外，Spark還提供了獨立部署模式。你可以通過手動啟動一個master和workers,或者使用提供的指令碼來手動地啟動單獨的叢集模式。你也可以在一臺單獨的機器上啟動這些程序用來測試。 以獨立模式安裝Spark叢集

npm run build 打包後（直接打包白屏），如何執行在本地檢視效果（Apache服務）

轉載： https://www.cnblogs.com/qiu-Ann/p/7477593.html 目前，使用vue-cli腳手架寫了一個前端專案，之前一直是使用npm run dev 在8080埠上進行本地除錯。專案已經進行一半了，今天有時間突然想使用npm run build

kernel debug（核心除錯）

1.yum -y install ncurses-devel.x86_64 elfutils-libelf-devel.x86_64 elfutils-libelf-devel.x86_64 2.dow

解決 無法啟動除錯。繫結控制代碼無效 開始執行（不除錯） 錯誤

【摘要】VS.NET"試圖執行專案時出錯：無法啟動除錯。繫結控制代碼無效"解決辦法 不要急著重灌.在選單欄裡面選擇"除錯">>"開始執行（不除錯）" 試試，如果這樣能成功，就不需要重灌 【全文】VS.NET"試圖執行專案時出錯：無法啟動除錯。繫結控制代碼無效"解決辦法 不要急著重灌.

iOS後臺執行模式（background execution mode）

參考網址：https://developer.apple.com/library/prerelease/ios/documentation/iPhone/Conceptual/iPhoneOSProgrammingGuide/BackgroundExecution/Bac

MapTask並行度決定機制、FileInputFormat切片機制、map並行度的經驗之談、ReduceTask並行度的決定、MAPREDUCE程式執行演示（來自學筆記）

maptask的並行度決定map階段的任務處理併發度，進而影響到整個job的處理速度那麼，mapTask並行例項是否越多越好呢？其並行度又是如何決定呢？1.3.1mapTask並行度的決定機制一個job的map階段並行度由客戶端在提交job時決定而客戶端對map階段並行度的規

php常見的四種執行模式（SAPI）

SAPI:Server Application Programming Interface 伺服器端應用程式設計埠。它就是PHP與其它應用互動的介面，PHP指令碼要執行有很多種方式，通過Web伺服器，或者直接在命令列下，也可以嵌入在其他程式中。 SAPI提供了一個和外部通

java Remote Debug（遠端除錯）

新接手的專案採用的是Maven作為編譯管理工具，專案內容則是按子模組Module來劃分。由於模組太多，且都比較大（基本上都能獨立執行並負責處理一方面的業務），並採用Socket來進行模組之間的資料通訊，結果就導致一個略顯臃腫的系統產生了。最重要的是，不知道mav