2. 程式人生 > >MapReduce過程詳解及其效能優化

MapReduce過程詳解及其效能優化

阿新 • • 發佈：2018-12-25
 1、這裡的merge和map端的merge動作類似，只是陣列中存放的是不同map端copy來的數值。Copy過來的資料會先放入記憶體緩衝區中，然後當使用記憶體達到一定量的時候才spill磁碟。這裡的緩衝區大小要比map端的更為靈活，它基於JVM的heap size設定。這個記憶體大小的控制就不像map一樣可以通過io.sort.mb來設定了，而是通過另外一個引數mapreduce.reduce.shuffle.input.buffer.percent（default 0.7f 原始碼裡面寫死了） 來設定，這個引數其實是一個百分比，意思是說，shuffile在reduce記憶體中的資料最多使用記憶體量為：0.7 × maxHeap of reduce task。JVM的heapsize的70%。記憶體到磁碟merge的啟動門限可以通過mapreduce.reduce.shuffle.merge.percent
（default0.66）配置。也就是說，如果該reduce task的最大heap使用量（通常通過mapreduce.admin.reduce.child.java.opts來設定，比如設定為-Xmx1024m）的一定比例用來快取資料。預設情況下，reduce會使用其heapsize的70%來在記憶體中快取資料。假設 mapreduce.reduce.shuffle.input.buffer.percent 為0.7，reducetask的max heapsize為1G，那麼用來做下載資料快取的記憶體就為大概700MB左右。這700M的記憶體，跟map端一樣，也不是要等到全部寫滿才會往磁碟刷的，而是當這700M中被使用到了一定的限度（通常是一個百分比），就會開始往磁碟刷（刷磁碟前會先做sortMerge）。這個限度閾值也是可以通過引數 mapreduce.reduce.shuffle.merge.percent
（default0.66）來設定。與map 端類似，這也是溢寫的過程，這個過程中如果你設定有Combiner，也是會啟用的，然後在磁碟中生成了眾多的溢寫檔案。這種merge方式一直在執行，直到沒有map端的資料時才結束，然後啟動磁碟到磁碟的merge方式生成最終的那個檔案。

相關推薦

MapReduce過程詳解及其效能優化

 1、這裡的merge和map端的merge動作類似，只是陣列中存放的是不同map端copy來的數值。Copy過來的資料會先放入記憶體緩衝區中，然後當使用記憶體達到一定量的時候才spill磁碟。這裡的緩衝區大小要比map端的更為靈活，它基於JVM的heap size設定。這個記憶體大小的控制就不像map一樣可

C語言實現八大排序演算法詳解及其效能之間的

概述 排序是資料結構中的重要一節，也是演算法的重要組成部分。主要分為內部排序以及外部排序，今天我們講內部排序，也就是八大排序。 插入排序 直接插入排序 演算法思想 演算

大資料技術學習筆記之Hadoop框架基礎3-網站日誌分析及MapReduce過程詳解

一、回顧     -》Hadoop啟動方式         -》單個程序             sbin/h

高手詳解SQL效能優化十條經驗

1.查詢的模糊匹配 儘量避免在一個複雜查詢裡面使用 LIKE '%parm1%'—— 紅色標識位置的百分號會導致相關列的索引無法使用，最好不要用. 解決辦法: 其實只需要對該指令碼略做改進，查詢速度便會提高近百倍。改進方法如下： a、修改前臺程式——把查詢條件的供

hadoop細節---Mapreduce過程詳解

一.先回顧一下hadoop api中的資料型別：                BooleanWritable:標準布林型數值              ByteWritable:單位元組數值              DoubleWritable:雙位元組數值      

MapReduce-shuffle過程詳解

等待 通知 10個 線程數 硬盤 res .sh 現在 溢出 Shuffle map端 map函數開始產生輸出時，並不是簡單地將它寫到磁盤。這個過程很復雜，它利用緩沖的方式寫到內存並出於效率的考慮進行預排序。每個map任務都有一個環形內存緩沖區用於存儲任務輸出。在默認

MapReduce和spark的shuffle過程詳解

存在 位置 方式 傳遞 第一個 2個 過濾 之前 第三方 面試常見問題，必備答案。 參考：https://blog.csdn.net/u010697988/article/details/70173104 mapReducehe和Spark之間的最大區別是前者較偏向於離

Hadoop Mapreduce的shuffle過程詳解

1、map task讀取資料時預設呼叫TextInputFormat的成員RecoreReader，RecoreReader呼叫自己的read()方法，進行逐行讀取，返回一個key、value; 2、返回的key、value交給自定義的map方法，輸出的context.write(key,value)，再交

MapReduce內部shuffle過程詳解（Combiner的使用）

Maptask呼叫一個元件FileInputFormat FileInputFormat有一個最高層的介面 --> InputFormat 我們不需要去寫自己的實現類，使用的就是內部預設的元件：TextInputFormat maptask先呼叫TextInputFormat,

《軟體效能測試--過程詳解和例項》筆記

一，軟體效能測試的基本概念 1，什麼是軟體效能 1.1  使用者關注軟體效能：使用者感受到系統的響應時間。 1.2  管理員關注的軟體效能：伺服器的資源使用狀況是否合理，系統是否能實現擴充套件，系統的吞吐量和併發使用者數，系統性能可能的瓶頸在哪裡，更換那些裝置能夠提高系統性能，系

大資料基礎課之Hadoop MapReduce執行過程詳解

述一下mapreduce的流程（shuffle的sort，partitions，group） 首先是 Mapreduce經過SplitInput 輸入分片 決定map的個數在用Record記錄 key value。然後分為以下三個流程： Map： 輸入 key

hadoop概念-MapReduce各個執行階段及Shuffle過程詳解

MapReduce各個執行階段 （1）MapReduce框架使用InputFormat模組做Map前的預處理，比如驗證輸入的格式是否符合輸入定義；然後，將輸入檔案切分為邏輯上的多個InputSplit，InputSplit是MapReduce對檔案進行處理和運算的輸入單位

歸併排序演算法詳解及其優化

歸併排序演算法： 思想：分治法 每個遞迴過程涉及三個步驟 第一, 分解: 把待排序的 n 個元素的序列分解成兩個子序列, 每個子序列包括 n/2 個元素. 第二, 治理: 對每個子序列分別呼叫歸併排序__MergeSort, 進行遞迴操作 第三

MapReduce On yarn執行過程詳解

老的MapReduce主要包括Job Tracker和Task Tracker，YARN中主要是三個元件：Resource Manager、Node Manager和Application Master。Resource Manager負責全域性資源分配，Applicatio

DNS原理總結及其解析過程詳解（遞迴查詢+迭代查詢）

一、域名系統 1、域名系統概述         域名系統DNS(Domain Name System)是因特網使用的命名系統，用來把便於人們使用的機器名字轉換成為IP地址。域名系統其實就是名字系統。為什麼不叫“名字”而叫“域名”呢？這是因為在這種因特網的命名系統中使用了許多的“域(domain)”，因此就出

Hadoop Mapreduce分割槽、分組、二次排序過程詳解[轉]

徐海蛟 教學用途 1、MapReduce中資料流動    （1）最簡單的過程：  map - reduce    （2）定製了partitioner以將map的結果送往指定reducer的過程：　map - partition - reduce    （3）增加了在本地先進性一次reduce（優化）過程：　

MapReduce shuffle過程詳解

一、MapReduce計算模型 我們知道MapReduce計算模型主要由三個階段構成：Map、shuffle、Reduce。 Map是對映，負責資料的過濾分法，將原始資料轉化為鍵值對；Reduce是合併，將具有相同key值的value進行處理後再輸出新的鍵值

MapReduce階段原始碼分析以及shuffle過程詳解

MapReducer工作流程圖： 1. MapReduce階段原始碼分析 1）客戶端提交原始碼分析 解釋：   - 判斷是否列印日誌   - 判斷是否使用新的API，檢查連線   - 在檢查連線時，檢查輸入輸出路徑，計算切片，將jar、配置檔案複製到HDFS   - 計算切片時，計算最小切片數（預設為1

MapReduce階段源碼分析以及shuffle過程詳解

不同 小文件 需要 因此 輸入輸出 map 定義 shu mas MapReducer工作流程圖： 1. MapReduce階段源碼分析 1）客戶端提交源碼分析 解釋：   - 判斷是否打印日誌   - 判斷是否使用新的API，檢

對《軟體效能測試過程詳解與案例剖析》的看法

  這本書我看了有一段時間了，最近一直比較忙，就什麼也沒寫。 今天想來想去還是寫寫自己的感觸： 一直不太喜歡，有些沒有任何的分析就誇書寫的好，或者罵書寫的不好之類的人。 這本書我看了兩遍的。為什麼書我看了兩遍才會想寫點東西呢。我認為不管什麼書，看第一遍總是在受著作者的影響，每