2. 程式人生 > >Hadoop記憶體溢位(OOM)分類、引數調優化（程式碼模擬記憶體溢位型別並分析原因）

Hadoop記憶體溢位(OOM)分類、引數調優化（程式碼模擬記憶體溢位型別並分析原因）

阿新 • • 發佈：2018-12-31
從Java GC的角度解讀代碼：程式20行new的Person物件會首先會進入年輕代的Eden中（如果對象太大可能直接進入年老代）。在GC之前對象是存在Eden和from中的，進行GC的時候Eden中的對象被拷貝到To這樣一個survive空間（survive（倖存）空間：包括from和to，他們的空間大小是一樣的，又叫s1和s2）中（有一個拷貝演算法），From中的對象（演算法會考慮經過GC倖存的次數）到一定次數（閾值（如果說每次GC之後這個對象依舊在Survive中存在，GC一次他的Age就會加1，默認15就會放到Old Generation。但是實際情況比較復雜，有可能沒有到閾值就從Survive
區域直接到Old Generation區域。在進行GC的時候會對Survive中的對象進行判斷，Survive空間中有一些對象Age是一樣的，也就是經過的GC次數一樣，年齡相同的這樣一批對象的總和大於等於Survive空間一半的話，這組對象就會進入old Generation中，（是一種動態的調整））），會被複制到Old Generation，如果沒到次數From中的對象會被複制到To中，複製完成後To中儲存的是有效的對象，Eden和From中剩下的都是無效的對象，這個時候就把Eden和From中所有的對象清空。在複製的時候Eden中的對象進入To中，To可能已經滿了，這個時候Eden中的對象就會被直接複製到
OldGeneration中，From中的對象也會直接進入Old Generation中。就是存在這樣一種情況，To比較小，第一次複製的時候空間就滿了，直接進入old Generation中。複製完成後，To和From的名字會對調一下，因為Eden和From都是空的，對調後Eden和To都是空的，下次分配就會分配到Eden。一直循環這個流程。好處：使用對象最多和效率最高的就是在Young Generation中，通過From to就避免過於頻繁的產生Full GC（Old Generation滿了一般都會產生FullGC）虛擬機在進行MinorGC（新生代的GC）的時候，會判斷要進入Old Generation
區域對象的大小，是否大於Old Generation剩餘空間大小，如果大於就會發生Full GC。剛分配物件在Eden中，如果空間不足嘗試進行GC，回收空間，如果進行了MinorGC空間依舊不夠就放入Old Generation，如果OldGeneration空間還不夠就OOM了。比較大的對象，數組等，大於某值（可配置）就直接分配到老年代，（避免頻繁記憶體拷貝）年輕代和年老代屬於Heap空間的Permanent Generation（永久代）可以理解成方法區，（它屬於方法區）也有可能發生GC，例如類的實例對象全部被GC了，同時它的類加載器也被GC掉了，這個時候就會觸發永久代中對象的GC。如果OldGeneration滿了就會產生FullGC

相關推薦

Hadoop記憶體溢位(OOM)分類、引數調優化（程式碼模擬記憶體溢位型別並分析原因）

從Java GC的角度解讀代碼：程式20行new的Person物件會首先會進入年輕代的Eden中（如果對象太大可能直接進入年老代）。在GC之前對象是存在Eden和from中的，進行GC的時候Eden中的對象被拷貝到To這樣一個survive空間（survive（倖存）空間：包括from和to，他們的空間大小是

Android6.0以上應用在長時間在後臺，因為記憶體不足導致系統回收記憶體，當再次啟動應用出現Fragment重疊或者空白、異常解決方案（提供模擬記憶體不足導致系統回收記憶體的方案）。

  Android6.0以上應用在長時間在後臺，因為記憶體不足導致系統回收記憶體，當再次啟動應用出現Fragment重疊或者空白解決方案。首先提供一個方法模擬記憶體不足導致系統回收記憶體的方案：開啟Android Studio -->Tools-->Android

jvm工具、引數調優&除錯技巧-實用！

從百度文庫中下載的資料，覺得很實用，分享給大家。 目  錄 表格列表 一、  JVM工具 1.        jps：虛擬機器程序狀況工具  比較常用的引數：  (1) -q ：只顯示pid，不顯示class名稱，jar檔名

對映/子轉換、引數——kettle實戰（4）

kettle的一個坑 這個坑就是——因為螢幕解析度不夠大導致kettle的設定視窗顯示不完全。 如下圖 後來發現個解決辦法 那就是把工作列給拖拽到右邊去，強行把可操作空間擴大一個欄的寬度，貌似問題就可以解決了（=。= 以前畫板子的時候用al

ReactNative基礎（五）使用react-navigation實現頁面的跳轉、引數的傳遞（StackNavigator）

此部落格基於react-native-0.48.4 Navigator（導航欄） 在ReactNative v0.43之前的時候官方提供了Navigator元件，在v0.44版本之後官

Linux記憶體地址的分段、分頁機制（上）

在深入學習Linux核心原始碼之前，需要先對Linux執行的硬體基礎有個大概的認識，主要包括CPU中的暫存器和磁碟。 １．i386暫存器和系統指令 在Linux系統中使用的主要包括i386暫存器中的16位標誌暫存器，4個記憶體管理暫存器和4個控制暫存器及

Keras/Python深度學習中的網格搜尋超引數調優（附原始碼）

超引數優化是深度學習中的重要組成部分。其原因在於，神經網路是公認的難以配置，而又有很多引數需要設定。最重要的是，個別模型的訓練非常緩慢。在這篇文章中，你會了解到如何使用scikit-learn python機器學習庫中的網格搜尋功能調整Keras深度學習模型中的

ReactNative基礎（五）使用react-navigation實現頁面的跳轉、引數的傳遞（StackNavigator

作者：阿鍾 部落格：http://blog.csdn.net/a_zhon 此部落格基於react-native-0.48.4 Navigator（導航欄） 在ReactNative v0.43之前的時候官方提供了Navigator元件，在v0.44版本之後官方就把他廢棄了這是為什麼呢？原因就是有個比他

HIVE引數調優（彙總）

//設定自動mapjoin 為false set hive.auto.convert.join=false; set hive.ignore.mapjoin.hint=false //關閉嚴格模式 set hive.exec

程序員筆記|全面解析Oracle等待事件的分類、發現及優化

ref 網絡問題 消失 upload 重新 性能 技術分享 enc ota 一、等待事件由來 大家可能有些奇怪，為什麽說等待事件，先談到了指標體系。其實，正是因為指標體系的發展，才導致等待事件的引入。總結一下，Oracle的指標體系，大致經歷了下面三個階段： 以命中率為主

leetcode鏈表--14、add-two-numbers（兩鏈表相加 得到新鏈表）

logs 錯誤 align 描述 eight val str nodes sent 題目描述 You are given two linked lists representing two non-negative numbers. The digits are sto

GetWindow、GetTopWindow和GetNextWindow（視窗控制代碼獲取！！！）

GetWindow //uCmd 可選值:   GW_HWNDFIRST = 0; {同級別第一個}   GW_HWNDLAST  = 1; {同級別最後一個}   GW_HWNDNEXT  = 2; {同級別下一個}   GW_HWNDPREV  = 3;

提高C++效能的程式設計技術筆記：虛擬函式、返回值優化+測試程式碼

虛擬函式：在以下幾個方面，虛擬函式可能會造成效能損失：建構函式必須初始化vptr(虛擬函式表)；虛擬函式是通過指標間接呼叫的，所以必須先得到指向虛擬函式表的指標，然後再獲得正確的函式偏移量；內聯是在編譯時決定的，編譯器不可能把執行時才解析的虛擬函式設定為內聯。 無法內聯虛擬函式造成的效能損失

三種引數估計方法（MLE，MAP，貝葉斯估計）

以PLSA和LDA為代表的文字語言模型是當今統計自然語言處理研究的熱點問題。這類語言模型一般都是對文字的生成過程提出自己的概率圖模型，然後利用觀察到的語料資料對模型引數做估計。有了語言模型和相應的模型引數，我們可以有很多重要的應用，比如文字特徵降維、文字主題分析等等。本文

IOS開發（7）WKWebView載入本地HTML、CSS、JS檔案JS（解決html內訪問其他資源路徑問題）

這段時間開發IOS應用，自己本身是搞java web 和 android，搞ios應用後面還有好多坑要跳，所以學習一點就整理一點筆記。不敢保證內容都是對的，但至少，我嘗試過分析整理的。 UIWebVIew和WKWebView都是ios提供的web控制元件。但是

判斷迴文數、迴文字串（從左邊讀和從右邊讀一樣）

1.判斷一個數是不是迴文數,如："123321" #include <stdio.h> int main() {                  int m=1234;  //m是要判斷的數                  int n=0;  //n是反轉

static語句塊、構造語句塊（就是隻有大括號的那塊）以及建構函式的執行順序

class HelloA { public HelloA() { System.out.println("HelloA"); } { System.out.println("I'm A class"); }

ZigBee單播通訊原理、串列埠配置 （對於理解收發資料的過程非常重要）

ZigBee網路通訊學習方法： 1，剛開始，我們確實需要藉助官方模板，新增簡單的程式碼實驗，建立感性的認識 2，然後在官方程式碼基本實驗基礎上，瞭解相關概念，掌握通訊過程原理，結合自己的理解，自己動手做一個個性化的實驗    ，來驗證自己的理解。    ZigBee通訊方

CURL模擬表單post提交及相關常用引數的使用（包括提交表單同時上傳檔案）

<form action="doLogin" method="post"> <input type="text" name="username" value="admin"/> <input type="password" nam

作業系統缺頁中斷FIFO、LRU、OPT演算法實現（對於頁框數量可以由使用者調控）

在之前，筆者隨意的用針對固定的三個頁框的情況下寫了一份兒基本程式碼，也就是熟悉一下演算法原理，大家可以忽略。 這一次寫的是實現使用者對於頁框數量實現自由的調控。 注意的是筆者使用的是C/C++的陣列，所以為了避免麻煩，在程式碼開始寫了一個#define max 5,當然對