2. 程式人生 > >Hadoop實戰：*********MapReduce的效能調優（一）*********

Hadoop實戰：*********MapReduce的效能調優（一）*********

阿新 • • 發佈：2019-01-23
        下面來談談重頭戲，那就是mapred中的這些NB的引數。前置知識我相信大家都已經瞭解了（如果你還不瞭解mapred的執行機制，看這個也無意義...），首先資料要進行map，然後merge，然後reduce程序進行copy，最後進行reduce，其中的merge和copy總稱可以為shuffle。在你起一個job前，hadoop需要知道你要啟動多少個map，多少個renduce程序，如果你進行預設引數啟動，那麼預設只有一個map執行緒。（reduce也許也是一個..）這個速度是很慢的。設定map啟動個數的引數是mapred.map.tasks，reduce則是mapred.reduce.tasks。
這兩個引數可以說是對整個叢集的效能起主導型作用的引數，除錯也基本上圍繞這兩個引數。那大家要問就兩個引數有什麼好來回修改的呢？其實，這兩個引數的設定配比也直接影響到其他的引數的設定。首當其衝的就是mapred.tasktracker.map.tasks.maximum以及 mapred.tasktracker.reduce.tasks.maximum。因為這兩個引數設定了一臺伺服器上最多能同時執行的map和reduce數。現在我們來假設一個叢集有一個namenode以及8個datanode，這是一個很客觀的叢集。我們假設上面的資料都是三備份，那麼本地資料率為3/8。假設你設定的map.tasks=128，reuce.tasks=64，那麼你的對應的兩個maximum就應該分別為16以及8或是更高。因為這樣才能保證你的所有map和reduce的任務都是分別同時啟動的，如果你的設定reduce的maximum為7，那麼你將得到非常糟糕的結果，因為這樣8臺機器同時可以執行的reduce數量為56了，比你設定的64差8個程序，這八個程序將會處於pending狀態，直到某些正在執行的reduce完成它才能補上執行，勢必大幅度的增加了執行時間。當然，這也不是越大越好，因為map有很長的一段時間是和reduce程序共存的，共存的時間取決於你設定的
mapred.reduce.slowstart.completed.maps，如果你設定為0.6.那麼reduce將在map完成60%後進入執行態。所以說，如果你設定的map和reduce引數都很大，勢必造成map和reduce爭搶資源，造成有些程序飢餓，超時出錯，最大的可能就是socket.timeout的出錯，網路過於繁忙。所以說，這些需要根據叢集的效能，適當除錯新增和減少，以達到最好的效果。那麼，map和reduce之間是怎樣的配比比較好呢？apache官網給了我們一些建議，比如設定reduce與map，他們之間有一個具體的公式。但是實際情況總是不能用公式來套用的（否則就不需要系統工程師了...）。一般情況下，當你設定好map和reduce程序數後，你可以通過hadoop的mapred的頁面入口（http://namenode:50030/jobdetai.jps）檢視map和reduce進度，
如果你發現reduce在33%時，map正好提早一點點到100%，那麼這將是最佳的配比，因為reduce是在33%的時候完成了copy階段，也就是說，map需要再reduce到達33%之前完成所有的map任務，準備好資料。千萬不能讓reduce在等待，但是可以讓map先完成。

相關推薦

Hadoop實戰：*********MapReduce的效能調優（一）*********

        下面來談談重頭戲，那就是mapred中的這些NB的引數。前置知識我相信大家都已經瞭解了（如果你還不瞭解mapred的執行機制，看這個也無意義...），首先資料要進行map，然後merge，然後reduce程序進行copy，最後進行reduce，其中的merge和copy總稱可以為shuffle

mysql效能調優（一）——查詢資料庫狀態

所謂效能調優，首先要發現問題，才能知道怎麼進行效能調優噻，所以我們先從發現問題開始 1、show status  查詢資料庫狀態      其中監控伺服器狀態比較重要的幾個引數是： Queries 進行多少次查

Qt連線MySQL程式設計及資料庫效能調優（一）

之前整理過一篇Qt下資料庫程式設計基礎 ：最近在進行單元測試，所以把遇到的一些問題整理出來，主要是關於資料庫的 1.遠端連線資料庫 連線語句是： mysql -h 192.168.xx.xx(IP地址) -P 3306（埠） -u remoteuser(登入使用

Mysql SQL查詢效能調優（一）

MYSQL效能調優 varchar型別的欄位在編寫SQL時，一定要加單引號，否則如果該欄位是索引的話，則不起作用，在大數量查詢時，效能很差 PS：大坑 建立必要的索引提高SQL查詢效能 ​ 主鍵（聚集）索引、非聚集索引（普通索引，唯一索引，全

mysql簡單效能調優（一）

以前都是做小專案，資料庫表的資料一般都不超過十萬條。最近接手一考試專案，個別表的資料已經超過四百萬的資料量。資料庫一直沒有優化過，所幸表字段不多，並沒有照成很大的隱患。藉此機會學習一下mysql的效能調優。 mysql讀取sql語句順序 一條sql語句經過機器解析，會分成若干

CUDA效能調優（一）--合併訪問&迴圈展開

1  合併訪問         當同一個warp中的所有執行緒都執行同一條指令訪問全域性儲存器中連續的單元時，就獲得最有利的訪問模式。硬體檢測到同一個warp中的這些執行緒訪問全域性儲存器中連續的儲存單元，並將這些單元結合成一個合併的訪問。      合併訪問可以提高DRA

十八般武藝玩轉GaussDB(DWS)效能調優（三）：好味道表定義

摘要：表結構設計是資料庫建模的一個關鍵環節，表定義好壞直接決定了叢集的有效容量以及業務查詢效能，本文從產品架構、功能實現以及業務特徵的角度闡述在GaussDB(DWS)的中表定義時需要關注的一些關鍵因素。 前言 GaussDB(DWS)是企業級的大規模並行處理關係型資料庫，採用Shared-nothing架構

mysql效能調優（四）——聚簇索引、索引覆蓋

1、聚簇索引      這裡說的，聚簇索引是相對InnoDB資料庫引擎來說的，講的是聚簇索引隨機主鍵值的效率      對於InnoDB來說，主鍵儘量用整型，並且是遞增的比較好，因為新增的時候，如果是隨機主鍵插入，會存在節點分裂

mysql效能調優（三）——列選取原則

1、列型別選擇       1）整型 > data、time > char、varchar > blob            整型、date、time運算快 &nb

mysql效能調優（二）——查詢mysql程序狀態

除了可以檢視資料庫狀態，還可以觀察mysql程序狀態 用show processlist 或者開啟慢查詢，獲取有問題的sql（而用profiling以及explain分析sql語句我們暫時以後再說） mysql -uroot -e 'show processlist' 看資料庫狀

java效能調優（轉載）

1.用new關鍵詞建立類的例項時，建構函式鏈中的所有建構函式都會被自動呼叫。但如果一個物件實現了Cloneable介面，我們可以呼叫它的clone()方法。clone()方法不會呼叫任何類建構函式。  在使用設計模式（Design Pattern）的場合，如果用Fa

spark效能調優（四）調節堆外記憶體和等待時長

調節堆外記憶體！！！ executor堆外記憶體 spark底層shuffle使用netty傳輸，所以使用了堆外記憶體！1.2之前是NIO就是socket，之後預設使用netty 有時候，如果你的spark作業處理的資料量特別特別大，幾億資料量；然後spark作業一執行，時

spark效能調優（三）shuffle的map端記憶體緩衝reduce端記憶體佔比

效能優化 shuffle spark.shuffle.file.buffer，預設32k spark.shuffle.memoryFraction，0.2 map端記憶體緩衝，reduce端記憶體佔比；很多資料、網上視訊，都會說，這兩個引數， 是調節shuff

redis基礎、高階特性與效能調優（轉）

本文將從Redis的基本特性入手，通過講述Redis的資料結構和主要命令對Redis的基本能力進行直觀介紹。之後概覽Redis提供的高階能力，並在部署、維護、效能調優等多個方面進行更深入的介紹和指導。本文適合使用Redis的普通開發人員，以及對Redis進行選型、架構設計和效能調優的架構設計人員。目錄概述Re

Java效能調優之程式碼調優（一）

　下面是參考網路資源總結的一些在Java程式設計中儘可能要做到的一些地方。原文為網路資源，但因為許多網站都認為自己為原文，無法標示原文連結。 　　1. 儘量在合適的場合使用單例 　　使用單例可以減輕載入的負擔，縮短載入的時間，提高載入的效率，但並不是所有地方

JVM效能調優（1） —— JVM記憶體模型和類載入執行機制

一、JVM記憶體模型 執行一個 Java 應用程式，必須要先安裝 JDK 或者 JRE 包。因為 Java 應用在編譯後會變成位元組碼，通過位元組碼執行在 JVM 中，而 JVM 是 JRE 的核心組成部分。JVM 不僅承擔了 Java 位元組碼的分析和執行，同時也內建了自動記憶體分配管理機制。這個機制可以大

【轉載】Apache Spark Jobs 性能調優（一）

功能 dso brush 數據結構 nsf 必須 char dal 開始 當你開始編寫 Apache Spark 代碼或者瀏覽公開的 API 的時候，你會遇到各種各樣術語，比如 transformation，action，RDD 等等。 了解到這些是編寫 Spark 代碼

JVM調優（一）虛擬機器的記憶體模型

前言 Java虛擬機器記憶體模型是Java程式執行的基礎，JVM虛擬機器的記憶體模型如下圖： 程式計數器 程式計數器(Program Counter Register)是一塊很小的記憶體空間。由於java是支援多執行緒的語言，當執行緒數超過cpu的數量時，執行緒之間根據時間片輪詢搶

Spark 開發調優（一）

Spark效能優化 - 開發調優 優化一 避免建立重複的RDD 通常來說，我們在開發一個Spark作業時，首先是基於某個資料來源（比如Hive表或HDFS檔案）建立一個初始的RDD；接著對這個RDD執行某個運算元操作，然後得到下一個RDD；以此類推，迴

oracle：swap效能調優

目標：解決大量Log寫入佔用大量的File Cache，內容利用不充分導致swap 基本原則：儘量使用記憶體，減少swap，同時，儘早flush到外存，早點釋放記憶體給寫cache使用。---特別在持續的寫入操作中，此優化非常有效。 調優措施： vm.swapiness :60