2. 程式人生 > >Java記憶體之本地記憶體分析神器： NMT 和 pmap

Java記憶體之本地記憶體分析神器： NMT 和 pmap

阿新 • • 發佈：2019-01-06

背景

其他團隊的一些同事經常問我一個問題：你的Java程序怎麼佔了那麼多Virtual Size和RSS？ 最近，我基本上可以回答清楚這個問題了。用NMT和pmap基本就就能搞清楚Java程序為什麼佔了那些Virtual Size和RSS。 NMT是Native Memory Tracking的縮寫，是Java7U40引入的HotSpot新特性。 pmap，眾所周知，就是Linux上用來看程序地址空間的。

結論

開門見山，我們先說分析結果，在pmap的輸出中，如下兩條就包含了Java的Heap空間。

START               SIZE     RSS     PSS   DIRTY          SWAP PERM MAPPING
00000000
 
d54aa000  92824K  92824K  92824K  92824K       0K  rw-p   [anon]
00000000daf50000  174784K 174784K 174784K 174784K       0K  rw-p   [anon]

從NMT的輸出中，我們可以得出地址空間[0xd5a00000, 0xe5a00000]正是對應了Java的Heap。0xd5a00000正好位於上面pmap輸出的第一條記錄中，0xe5a00000正好位於上面pmap輸出的第二條記錄中。更詳細的對應關係如下圖所示，

JavaNativeMemory

如圖所示， C到E就是對應到Java Heap; C到D就是對應到新生代（左邊的S0C, S1C, EC, OC是jstat -gc的輸出）；D到E就是對應到老年代。圖片底部給出了一些很有意思的計算結果。希望這個分析結果對你來說也用處。

下面我們分三步去分析清楚Java是如何佔用這些底層作業系統的記憶體的。（以下討論，假定要分析的Java程式的程序號為14179，其實這個程序號就是一個Tomcat執行例項，上面執行著我的應用。）

NMT的輸出

首先，你要在Java啟動項中，加入啟動項： -XX:NativeMemoryTracking=detail 然後，重新啟動Java程式。執行如下命令： jcmd 14179 VM.native_memory detail 你會在標準輸出得到類似下面的內容（本文去掉了許多與本文無關或者重複的資訊）： 

14179:

Native Memory Tracking:

Total: reserved=653853
 
KB, committed=439409KB
-                 Java Heap (reserved=262144KB, committed=262144KB)
                            (mmap: reserved=262144KB, committed=262144KB) 

-                     Class (reserved=82517KB, committed=81725KB)
                            (classes #17828)
                            (malloc=1317KB #26910) 
                            (mmap: reserved=81200KB, committed=80408KB) 

-                    Thread (reserved=20559KB, committed=20559KB)
                            (thread #58)
                            (stack: reserved=20388KB, committed=20388KB)
                            (malloc=102KB #292) 
                            (arena=69KB #114)

-                      Code (reserved=255309KB, committed=41657KB)
                            (malloc=5709KB #11730) 
                            (mmap: reserved=249600KB, committed=35948KB) 

-                        GC (reserved=1658KB, committed=1658KB)
                            (malloc=798KB #676) 
                            (mmap: reserved=860KB, committed=860KB) 

-                  Compiler (reserved=130KB, committed=130KB)
                            (malloc=31KB #357) 
                            (arena=99KB #3)

-                  Internal (reserved=5039KB, committed=5039KB)
                            (malloc=5007KB #20850) 
                            (mmap: reserved=32KB, committed=32KB) 

-                    Symbol (reserved=18402KB, committed=18402KB)
                            (malloc=14972KB #221052) 
                            (arena=3430KB #1)

-    Native Memory Tracking (reserved=2269KB, committed=2269KB)
                            (malloc=53KB #1597) 
                            (tracking overhead=2216KB)


-               Arena Chunk (reserved=187KB, committed=187KB)
                            (malloc=187KB) 

-                   Unknown (reserved=5640KB, committed=5640KB)
                            (mmap: reserved=5640KB, committed=5640KB) 
 . . .
Virtual memory map:

[0xceb00000 - 0xcec00000] reserved 1024KB for Class from
[0xced00000 - 0xcee00000] reserved 1024KB for Class from
. . .
[0xcf85e000 - 0xcf8af000] reserved and committed 324KB for Thread Stack from
[0xd4eaf000 - 0xd4f00000] reserved and committed 324KB for Thread Stack from
    [0xf687866e] Thread::record_stack_base_and_size()+0x1be
    [0xf68818bf] JavaThread::run()+0x2f
    [0xf67541f9] java_start(Thread*)+0x119
    [0xf7606395] start_thread+0xd5
[0xd5a00000 - 0xe5a00000] reserved 262144KB for Java Heap from
. . .
[0xe5e00000 - 0xf4e00000] reserved 245760KB for Code from
[0xf737f000 - 0xf7400000] reserved 516KB for GC from
[0xf745d000 - 0xf747d000] reserved 128KB for Unknown from
[0xf7700000 - 0xf7751000] reserved and committed 324KB for Thread Stack from
[0xf7762000 - 0xf776a000] reserved and committed 32KB for Internal from

上面的輸出也就兩大部分：Total和Virtual Memory Map. Total部分就是Java程序所使用的本地記憶體大小的一個分佈： Heap用了多少，所有的Class用了多少。其中，最重要的一個就是Heap大小，此處它的Reserved值為262144KB, 其實也就是256MB, 因為該Java啟動引數最大堆設為了256M:-Xmx256M。 Virtual Memory Map部分就是細節了，也就是Java程序的地址空間的每一段是用來幹什麼的，大小是多少。這些程序空間段按照用途分可以分為以下幾種：
 Reserved for Class (總共有76段)
例如：[0xceb00000 - 0xcec00000] reserved 1024KB for Class from
[0xced00000 - 0xcee00000] reserved 1024KB for Class from
大部分的為Class分配的程序空間都是1024KB的。
 Reserved for Heap ( 總共只有1段)
例如：[0xd5a00000 - 0xe5a00000] reserved 262144KB for Java Heap from
簡單演算一下：0xe5a00000-0xd5a00000=0x10000000=pow(2, 28)。很明顯2的28方個位元就是256MB.
 Reserved for Internal (總共只有1段)
例如：[0xf7762000 - 0xf776a000] reserved and committed 32KB for Internal from
 Reserved for Thread Stack(總共有57段)
例如：[0xcf85e000 - 0xcf8af000] reserved and committed 324KB for Thread Stack from
從輸出看，大部分的 Stack的地址空間都是324KB的，還有不少部分是516KB的。
 Reserved for Code( 總共有2段 )
例如：[0xe5e00000 - 0xf4e00000] reserved 245760KB for Code from
這個地方用了好大的程序空間。後面，我們會在pmap的輸出中找到它。它用了很大的Virtual Address Space, 但是RSS卻相對比較小。
 Reserved for Unknown( 總共有4 段)
例如： [0xf745d000 - 0xf747d000] reserved 128KB for Unknown from
 Reserved for GC (總共有2段)
例如： [0xf737f000 - 0xf7400000] reserved 516KB for GC from

pmap的輸出

使用命令列： pmap -p PID, 我們就可以得到對應程序的VSS&RSS資訊。
pmap輸出的中，我們把其中我們比較關心的部分列在下面：

START               SIZE     RSS     PSS   DIRTY    SWAP PERM MAPPING
0000000008048000      4K      4K      4K      0K      0K r-xp /usr/java/jre1.8.0_65/bin/java
0000000008049000      4K      4K      4K      4K      0K rw-p /usr/java/jre1.8.0_65/bin/java
000000000804a000  74348K  71052K  71052K  71052K      0K rw-p [heap]
…
00000000ced00000   1024K    976K    976K    976K      0K rw-p [anon]
…
00000000d4eaf000     12K      0K      0K      0K      0K ---p [anon]
00000000d4eb2000    312K     28K     28K     28K      0K rwxp [stack:21151]
00000000d4f00000   1024K   1024K   1024K   1024K      0K rw-p [anon]
00000000d5000000     32K     32K     32K      0K      0K r-xp /usr/java/jre1.8.0_65/jre/lib/i386/libmanagement.so
00000000d5008000      4K      4K      4K      4K      0K rw-p /usr/java/jre1.8.0_65/jre/lib/i386/libmanagement.so
00000000d500d000    324K     24K     24K     24K      0K rwxp [stack:18608]
00000000d505e000   4376K   4376K   4376K   4376K      0K rw-p [anon]
00000000d54a4000     24K      0K      0K      0K      0K ---p [anon]
00000000d54aa000  92824K  92824K  92824K  92824K      0K rw-p [anon]
00000000daf50000 174784K 174784K 174784K 174784K      0K rw-p [anon]
00000000e5a40000    544K    544K    544K    544K      0K rw-p [anon]
00000000e5ac8000   3296K      0K      0K      0K      0K ---p [anon]
00000000e5e00000  34656K  34300K  34300K  34300K      0K rwxp [anon]
00000000e7fd8000 211104K      0K      0K      0K      0K ---p [anon]
00000000f4e00000    100K     60K     60K      0K      0K r-xp /usr/java/jre1.8.0_65/jre/lib/i386/libzip.so
00000000f4e19000      4K      4K      4K      4K      0K rw-p /usr/java/jre1.8.0_65/jre/lib/i386/libzip.so
00000000f4e5e000    648K     68K     68K     68K      0K rwxp [stack:18331]
00000000f4f00000   1024K   1024K   1024K   1024K      0K rw-p [anon]
…
Total:           735324K 482832K 479435K 462244K      0K

我們對幾個重要部分的pmap輸出一一作出分析，

  • 000000000804a000： 該部分是Java程序的Heap區，此處的Heap指的不是Java那種特殊的Heap, 還是一個任何C/C++記憶體區域中Heap區。VSS和RSS差不多，都在70M上下。
  • 00000000ced00000： 該區域就是用來存放class的。在NMT輸出中可以找到對應項。Mapping那一欄是[anon], 因為pmap並不知道這部分割槽域是幹什麼用的，而直有JVM自己知道，所以, NMT的輸出可以看出該記憶體區域的用處。
  • 00000000d4eaf000 00000000d4eb2000: 這兩部分合起來就是一個324K大小的Java Thread Stack。NTM輸出中可以找到對應項。
  • 00000000d54aa000, 00000000daf50000: 這兩部分就非常重要的。它對應就是我們Java意義上的堆的那一部分。簡單地講，- 00000000daf50000那一塊就是老年代（Java記憶體分佈分析要以垃圾收集演算法為前提）。00000000d54aa000這一部分包含了新生代。結合jstat –gc的輸出可以得出這個結論。 在下一小節，你就可以看到jstat –gc 的輸出

jstat -gc的輸出

/jstat -gc 14179
Picked up JAVA_TOOL_OPTIONS: -XX:-UseLargePages
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT
8704.0 8704.0 2435.5  0.0   69952.0  29138.2   174784.0   146972.4  83736.0 82674.8  0.0    0.0      740    9.341  81      3.713   13.054

參照文章開頭給出的圖示，就可以把pmap的RSS和Java的Heap聯絡和對應起來。（注：筆者測試環境是Java 8, 所以你在jstat輸出中會看到MC和MU）。

結尾

以上，我們就得出了一些Java的VSS&RSS和Java Heap的簡單的對應關係。希望對大家有些用處。文中如有錯誤，還望讀者不吝賜教。

相關推薦

Java記憶體之本地記憶體分析神器： NMT 和 pmap

背景 其他團隊的一些同事經常問我一個問題：你的Java程序怎麼佔了那麼多Virtual Size和RSS？ 最近，我基本上可以回答清楚這個問題了。用NMT和pmap基本就就能搞清楚Java程序為什麼佔了那些Virtual Size和RSS。 NMT是Nativ

哪個更快：Java堆還是本地記憶體

使用Java的一個好處就是你可以不用親自來管理記憶體的分配和釋放。當你用new關鍵字來例項化一個物件時，它所需的記憶體會自動的在Java堆中分配。堆會被垃圾回收器進行管理，並且它會在物件超出作用域時進行記憶體回收。但是在JVM中有一個‘後門’可以讓你訪問不在堆中的本地

Java學習之棧記憶體與堆記憶體

堆：（物件） 引用型別的變數，其記憶體分配在堆上或者常量池（字串常量、基本資料型別常量），需要通過new等方式來建立。 堆記憶體主要作用是存放執行時建立(new)的物件。 （主要用於存放物件，存取速度慢，可以執行時動態分配記憶體，生存期不需要提前確定）

Java NIO之選擇器分析

目錄 簡介 選擇器Selector 選擇鍵SelectionKey 通過Selector選擇通道 案例   簡介 傳統的IO流請求都是一個請求需要一個執行緒來處理，如果請求數量比較龐大，那麼對於作業系統來說，執行緒佔用一定的記憶體，執行緒上下文切換開銷也

Java NIO之通道Channel分析

目錄 簡介 檔案通道FileChannel Socket通道 其他內容                              &n

Java NIO之緩衝區Buffer分析

目錄 Buffer介紹 ByteBuffer介紹 ByteBuffer案例 總結 Buffer介紹 1.Buffer簡介       緩衝區(Buffer)是中NIO中基礎的內容,存在於包java.nio下面.一個Buffer物件可以看做

java集合之----ArrayList原始碼分析（基於jdk1.8）

一、ArrayList 1、ArrayList是什麼： ArrayList就是動態陣列，用MSDN中的說法，就是Array的複雜版本，它提供了動態的增加和減少元素，實現了ICollection和IList介面，靈活的設定陣列的大小等好處，實現了Randomaccess介面，支援快速隨

java集合之----HashMap原始碼分析（基於JDK1.7與1.8）

一、什麼是HashMap 百度百科這樣解釋： 簡而言之，HashMap儲存的是鍵值對（key和value），通過key對映到value，具有很快的訪問速度。HashMap是非執行緒安全的，也就是說在多執行緒併發環境下會出現問題（死迴圈） 二、內部實現 （1）結構 HashM

JAVA中的集合原始碼分析一：ArrayList的內部實現原理

作為以java為語言開發的android開發者，集合幾乎天天都要打交道，無論是使用頻率最高的ArrayList還是HashSet，都頻繁的出現在平時的工作中。但是其中的原理之前卻一直沒深入探究，接下來記錄一下這次自己學習ArrayList原始碼的過程。 一.構造方法：

Java集合之Hashtable原始碼分析

概述 Hashtable也是基於雜湊表實現的, 與map相似, 不過Hashtable是執行緒安全的, Hashtable不允許 key或value為null. 成員變數 Hashtable的資料結構和HashMap一樣, 採用 陣列加連結串列的方式實現. 幾個成員變數與HashMap一樣:

Java集合之ArrayList原始碼分析

概述 ArrayList可以理解為動態陣列, 根據MSDN的說法, 就是Array的複雜版本. 與陣列相比, 它的容量能動態增長. ArrayList是List介面的可變陣列的實現. 實現了所有可選列表操作, 允許包括null在內的所有元素. 陣列的特點, 查詢快增刪慢. 每個ArrayList例項都有

Java集合之Vector原始碼分析

概述 Vector與ArrayLIst類似, 內部同樣維護一個數組, Vector是執行緒安全的. 方法與ArrayList大體一致, 只是加上 synchronized 關鍵字, 保證執行緒安全, 下面就不具體分析原始碼了, 具體可以檢視ArrayList中的原始碼分析. Vector原始碼分析 1.

Java集合之LinkedList原始碼分析

概述 LinkedLIst和ArrayLIst一樣, 都實現了List介面, 但其內部的資料結構不同, LinkedList是基於連結串列實現的(從名字也能看出來), 隨機訪問效率要比ArrayList差. 它的插入和刪除操作比ArrayList更加高效, 但還是要遍歷部分連結串列的指標才能移動到下標所指的

【本人禿頂程式設計師】Java併發之CAS原理分析

←←←←←←←←←←←← 快，點關注！ CAS,compare and swap的縮寫，中文翻譯成比較並交換 在java語言之前，併發就已經廣泛存在並在伺服器領域得到了大量的應用。所以硬體廠商老早就在晶片中加入了大量直至併發操作的原語，從而在硬體層面提升效率。在intel的CPU中，

java學習之代理（2）：靜態代理和動態代理

一，代理的概念 代理是一個物件，代理物件為其他物件提供一種代理，以控制對這個物件的訪問，代理物件起到中介作用，可以去掉或者增加額外的服務。 如：火車票代售點就是火車站售票處的一個代理物件，可通過訪問代售點進行業務處理。 二，靜態代理的2種實現方式：繼承和聚合 靜態代理中的代

Java集合之HashMap原始碼分析

  前面我們提到了集合，今天我們就具體來了解一下Java集合中具體的組成部分！   以下原始碼均為jdk1.7 HashMap概述 HashMap是基於雜湊表的Map介面的非同步實現. 提供所有可選的對映操作, 並允許使用null值和null健. 此類不

Java併發之AQS原始碼分析（二）

我在Java併發之AQS原始碼分析（一）這篇文章中，從原始碼的角度深度剖析了 AQS 獨佔鎖模式下的獲取鎖與釋放鎖的邏輯，如果你把

【java基礎之ConcurrentHashMap原始碼分析】

概述： ConcurrentHashMap這個類在java.lang.current包中，這個包中的類都是執行緒安全的。Conc

死磕 java集合之DelayQueue原始碼分析

問題 （1）DelayQueue是阻塞佇列嗎？ （2）DelayQueue的實現方式？ （3）DelayQueue主要用於

神奇的 SQL 之 MySQL 效能分析神器 → EXPLAIN，SQL 起飛的基石！

前言 　　開心一刻 　　　　某人養了一頭豬，煩了想放生，可是豬認識回家的路，放生幾次它都自己回來了。一日，這個人想了個狠辦法，開車帶著豬轉了好多路進山區放生，放生後又各種打轉，然後掏出電話給家裡人打了個電話，問道：“豬回去了嗎？”，家裡人：“早回來了，你在哪了，怎麼還沒