2. 程式人生 > >MapReduce job Shuffle 過程的ERROR

MapReduce job Shuffle 過程的ERROR

阿新 • • 發佈：2019-02-02

1.錯誤描述

error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#43
at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1550)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)
Caused by: java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.io.BoundedByteArrayOutputStream.<init>(BoundedByteArrayOutputStream.java:56)
at org.apache.hadoop.io.BoundedByteArrayOutputStream.<init>(BoundedByteArrayOutputStream.java:46)
at org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.<init>(InMemoryMapOutput.java:63)
at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.unconditionalReserve(MergeManagerImpl.java:297)
at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:287)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:414)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:343)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:166)

2.問題解決

           從error的stack資訊可以看出是mapreduce 的job shuffle過程中發生的OOM，map的輸出資料在reduce節點load的過多導致的OOM，所以將reduce的shuffle.input 由預設的0.7 改為0.6，該引數的變化需要根據實際情況確定。 
  conf.set("mapreduce.reduce.shuffle.input.buffer.percent", "0.6");

3.相關引數

  • mapreduce.reduce.shuffle.input.buffer.percent ：
the percentage of the reducer's heap memory to be allocated for the circular buffer to store the intermedite outputs copied from multiple mappers.
  • mapreduce.reduce.shuffle.memory.limit.percent：
the maximum percentage of the above memory buffer that a single shuffle (output copied from single Map task) should take. The shuffle's size above this size will not be copied to the memory buffer, instead they will be directly written to the disk of the reducer.
  • mapreduce.reduce.shuffle.merge.percent：
the threshold percentage by where the in-memory merger thread will run to merge the available shuffle contents on the memory buffer into a single file and immediately spills the merged file into the disk.

相關推薦

MapReduce job Shuffle 過程的ERROR

1.錯誤描述 error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetc

MapReduce中shuffle過程

mapr 提前 bin run prope 內存 pat appdata 設置 shuffle是MapReduce的核心，map和reduce的中間過程。 Map負責過濾分發，reduce歸並整理，從map輸出到reduce輸入就是shuffle過程。 實現的功能 分區 決

Hadoop Mapreduce的shuffle過程詳解

1、map task讀取資料時預設呼叫TextInputFormat的成員RecoreReader，RecoreReader呼叫自己的read()方法，進行逐行讀取，返回一個key、value; 2、返回的key、value交給自定義的map方法，輸出的context.write(key,value)，再交

MapReduce內部shuffle過程詳解（Combiner的使用）

Maptask呼叫一個元件FileInputFormat FileInputFormat有一個最高層的介面 --> InputFormat 我們不需要去寫自己的實現類，使用的就是內部預設的元件：TextInputFormat maptask先呼叫TextInputFormat,

Hadoop MapReduce的Shuffle過程

一、概述 理解Hadoop的Shuffle過程是一個大資料工程師必須的，筆者自己將學習筆記記錄下來，以便以後方便複習檢視。 二、 MapReduce確保每個reducer的輸入都是按鍵排序的。系統執行排序、將map輸出作為輸入傳給reducer的過程稱為Shuffle。 2.1 map端 map函式開始產生輸

MapReduce優化----Shuffle過程剖析及效能優化

MapReduce確保每個reducer的輸入都按鍵排序。 Shuffle：系統執行排序的過程—將map輸出作為輸入傳給reducer（如圖1、圖2）。 圖1 圖2 如圖1、圖2所示，從map輸出到reduce輸入就是shuffle階段。但實際執行過程遠比上圖所示覆雜。 S

MapReduce: Job提交過程

初學Hadoop，準備用幾篇日誌來陳述MapReduce job的生命週期中job提交、task分發和task執行，以及JT scheduling策略，job效能參考等方面的知識。通過程式碼及參考資料想了解job執行的大致細節，期望在以後job效能調優時有所依據。與細節相關

MapReduce-shuffle過程詳解

等待 通知 10個 線程數 硬盤 res .sh 現在 溢出 Shuffle map端 map函數開始產生輸出時，並不是簡單地將它寫到磁盤。這個過程很復雜，它利用緩沖的方式寫到內存並出於效率的考慮進行預排序。每個map任務都有一個環形內存緩沖區用於存儲任務輸出。在默認

MapReduce和spark的shuffle過程詳解

存在 位置 方式 傳遞 第一個 2個 過濾 之前 第三方 面試常見問題，必備答案。 參考：https://blog.csdn.net/u010697988/article/details/70173104 mapReducehe和Spark之間的最大區別是前者較偏向於離

【MapReduce詳解及原始碼解析（一）】——分片輸入、Mapper及Map端Shuffle過程

title: 【MapReduce詳解及原始碼解析（一）】——分片輸入、Mapper及Map端Shuffle過程 date: 2018-12-03 21:12:42 tags: Hadoop categories: 大資料 toc: true 點選檢視我的部落格：Josonlee’

hadoop概念-MapReduce各個執行階段及Shuffle過程詳解

MapReduce各個執行階段 （1）MapReduce框架使用InputFormat模組做Map前的預處理，比如驗證輸入的格式是否符合輸入定義；然後，將輸入檔案切分為邏輯上的多個InputSplit，InputSplit是MapReduce對檔案進行處理和運算的輸入單位

MapReduce任務Shuffle Error錯誤

1、錯誤描述 在執行MapReduce任務的時候，出現如下錯誤： Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1      

Hadoop 學習研究(四)：MapReduce shuffle過程剖詳解及引數配置調優

MapReduce簡介    在Hadoop  MapReduce中，框架會確保reduce收到的輸入資料是根據key排序過的。資料從Mapper輸出到Reducer接收，是一個很複雜的過程，框架

MapReduce shuffle過程詳解

一、MapReduce計算模型 我們知道MapReduce計算模型主要由三個階段構成：Map、shuffle、Reduce。 Map是對映，負責資料的過濾分法，將原始資料轉化為鍵值對；Reduce是合併，將具有相同key值的value進行處理後再輸出新的鍵值

MapReduce階段原始碼分析以及shuffle過程詳解

MapReducer工作流程圖： 1. MapReduce階段原始碼分析 1）客戶端提交原始碼分析 解釋：   - 判斷是否列印日誌   - 判斷是否使用新的API，檢查連線   - 在檢查連線時，檢查輸入輸出路徑，計算切片，將jar、配置檔案複製到HDFS   - 計算切片時，計算最小切片數（預設為1

MapReduce階段源碼分析以及shuffle過程詳解

不同 小文件 需要 因此 輸入輸出 map 定義 shu mas MapReducer工作流程圖： 1. MapReduce階段源碼分析 1）客戶端提交源碼分析 解釋：   - 判斷是否打印日誌   - 判斷是否使用新的API，檢

MapReduce程式設計模板及shuffle過程簡介

MapReduce執行流程(7步)： 作業啟動>>>作業初始化>>>任務排程(Yarn)>>>map>>>shuffle>>>reduce>>>作業完成 Map

MapReduce Shuffle過程深入理解

MapReduce執行過程 1、設定input，告訴程式輸入的資料在那兒。 通過InputFormat介面子類（FileInputFormat, TextInputFormat）， （1）讀取資料 （2）將資料轉換成key-value形式交給Mapp

MapReduce:詳解Shuffle過程

/**  * author : 冶秀剛  * mail     : [email protected]  */          Shuffle過程是MapReduce的核心，也被稱為奇蹟發生的地方。要想理解MapReduce， Shuffle是必須要了解的。我看

九、用圖講解MapReduce Shuffle 過程

  Map Shuffle 主要做了哪些事？哪些可以設定及如何設定？ 環形記憶體緩衝區預設為100MB，當超過80%，則進行spill到磁碟。記憶體中會進行分割槽、排序、combine(可選)。磁碟中將多個溢寫的檔案進行合併，壓縮（可選）。 設定： 1) partitio