1. 程式人生 > >Linux 檢視程序消耗記憶體情況總結

Linux 檢視程序消耗記憶體情況總結

在Linux中,有很多命令或工具檢視記憶體使用情況,今天我們來看看如何檢視程序消耗、佔用的記憶體情況,Linux的記憶體管理和相關概念要比Windows複雜一些。在此之前,我們需要了解一下Linux系統下面有關記憶體的專用名詞和專業術語概念:

實體記憶體和虛擬記憶體 實體記憶體:就是系統硬體提供的記憶體大小,是真正的記憶體,一般叫做記憶體條。也叫隨機存取儲存器(random access memory,RAM)又稱作“隨機儲存器”,是與CPU直接交換資料的內部儲存器,也叫主存(記憶體)。

虛擬記憶體:相對於實體記憶體,在Linux下還有一個虛擬記憶體的概念,虛擬記憶體就是為了滿足實體記憶體的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯記憶體,用作虛擬記憶體的磁碟空間被稱為交換空間(Swap Space)。Linux會在實體記憶體不足時,使用虛擬記憶體,核心會把暫時不用的記憶體塊資訊寫到虛擬記憶體,這樣實體記憶體就得到了釋放,這塊兒記憶體就可以用於其他目的,而需要用到這些內容的時候,這些資訊就會被重新從虛擬記憶體讀入實體記憶體。

Linux的buffers與cached 在Linux中經常發現空閒的記憶體很少,似乎所有的記憶體都被消耗殆盡了,表面上看是記憶體不夠用了,很多新手看到記憶體被“消耗殆盡”非常緊張,其實這個是因為Linux系統將空閒的記憶體用來做磁碟檔案資料的快取。這個導致你的系統看起來處於記憶體非常緊急的狀況。但是實際上不是這樣。這個區別於Windows的記憶體管理。Linux會利用空閒的記憶體來做cached & buffers。

buffers是指用來給塊裝置做的緩衝大小(塊裝置的讀寫緩衝區),它只記錄檔案系統的metadata以及 tracking in-flight pages.

Buffers are associated with a specific block device, and cover caching of filesystem metadata as well as tracking in-flight pages. The cache only contains parked file data. That is, the buffers remember what’s in directories, what file permissions are, and keep track of what memory is being written from or read to for a particular block device. The cache only contains the contents of the files themselves.

cached是作為page cache的記憶體, 檔案系統的cache。你讀寫檔案的時候,Linux核心為了提高讀寫效能與速度,會將檔案在記憶體中進行快取,這部分記憶體就是Cache Memory(快取記憶體)。即使你的程式執行結束後,Cache Memory也不會自動釋放。這就會導致你在Linux系統中程式頻繁讀寫檔案後,你會發現可用實體記憶體會很少。其實這快取記憶體(Cache Memory)在你需要使用記憶體的時候會自動釋放,所以你不必擔心沒有記憶體可用

Cached is the size of the page cache. Buffers is the size of in-memory block I/O buffers. Cached matters; Buffers is largely irrelevant.

Cached is the size of the Linux page cache, minus the memory in the swap cache, which is represented by SwapCached (thus the total page cache size is Cached + SwapCached). Linux performs all file I/O through the page cache. Writes are implemented as simply marking as dirty the corresponding pages in the page cache; the flusher threads then periodically write back to disk any dirty pages. Reads are implemented by returning the data from the page cache; if the data is not yet in the cache, it is first populated. On a modern Linux system, Cached can easily be several gigabytes. It will shrink only in response to memory pressure. The system will purge the page cache along with swapping data out to disk to make available more memory as needed.

Buffers are in-memory block I/O buffers. They are relatively short-lived. Prior to Linux kernel version 2.4, Linux had separate page and buffer caches. Since 2.4, the page and buffer cache are unified and Buffers is raw disk blocks not represented in the page cache—i.e., not file data. The Buffers metric is thus of minimal importance. On most systems, Buffers is often only tens of megabytes.

Linux共享記憶體 共享記憶體是程序間通訊中最簡單的方式之一。共享記憶體允許兩個或更多程序訪問同一塊記憶體,就如同 malloc() 函式向不同程序返回了指向同一個實體記憶體區域的指標。當一個程序改變了這塊地址中的內容的時候,其它程序都會察覺到這個。其實所謂共享記憶體,就是多個程序間共同地使用同一段實體記憶體空間,它是通過將同一段實體記憶體對映到不同程序的虛擬空間來實現的。由於對映到不同程序的虛擬空間中,不同程序可以直接使用,不需要像訊息佇列那樣進行復制,所以共享記憶體的效率很高。共享記憶體可以通過mmap()對映普通檔案機制來實現,也可以System V共享記憶體機制來實現,System V是通過對映特殊檔案系統shm中的檔案實現程序間的共享記憶體通訊,也就是說每個共享記憶體區域對應特殊檔案系統shm中的一個檔案。

另外,我們還必須瞭解RSS、PSS、USS等相關概念:

VSS – Virtual Set Size 虛擬耗用記憶體(包含共享庫佔用的記憶體) RSS – Resident Set Size 實際使用實體記憶體(包含共享庫佔用的記憶體) PSS – Proportional Set Size 實際使用的實體記憶體(比例分配共享庫佔用的記憶體) USS – Unique Set Size 程序獨自佔用的實體記憶體(不包含共享庫佔用的記憶體) RSS(Resident set size),使用top命令可以查詢到,是最常用的記憶體指標,表示程序佔用的實體記憶體大小。但是,將各程序的RSS值相加,通常會超出整個系統的記憶體消耗,這是因為RSS中包含了各程序間共享的記憶體。

PSS(Proportional set size)所有使用某共享庫的程式均分該共享庫佔用的記憶體時,每個程序佔用的記憶體。顯然所有程序的PSS之和就是系統的記憶體使用量。它會更準確一些,它將共享記憶體的大小進行平均後,再分攤到各程序上去。

USS(Unique set size )程序獨自佔用的記憶體,它是PSS中自己的部分,它只計算了程序獨自佔用的記憶體大小,不包含任何共享的部分。

所以下面介紹的命令,有些檢視程序的虛擬記憶體使用,有些是檢視程序的RSS或實際實體記憶體。在講述的時候,我們會標註這些資訊。

top命令檢視 執行top命令後,執行SHIFT +F ,可以選擇按某列排序,例如選擇n後,就會按欄位%MEM排序 在這裡插入圖片描述 當然也可以使用shift+m 或大寫鍵M 讓top命令按欄位%MEM來排序,當然你也可以按VIRT(虛擬記憶體)、SWAP(程序使用的SWAP空間)、RES(實際使用實體記憶體,當然這裡由於涉及共享記憶體緣故,你看到的實際記憶體非常大)

%MEM — Memory usage (RES)

A task’s currently used share of available physical memory

VIRT — virtual memory

The total amount of virtual memory used by the task. It includes all code, data and shared libraries plus pages that have been swapped out. (Note: you can define the STATSIZE=1 environment variable and the VIRT will be calculated from the /proc/#/state VmSize field.)

VIRT = SWAP + RES

SWAP — Swapped size (kb)

The swapped out portion of a task’s total virtual memory image.

RES — Resident size (kb)

RES = CODE + DATA.

是否有人會覺得奇怪,為什麼%MEM這一列的值加起來會大於100呢? 這個是因為這裡計算的時候包含了共享記憶體的緣故,另外由於共享記憶體的緣故,你看到程序使用VIRT或RES都非常高。由於大部分的實體記憶體通常在多個應用程式之間共享,名為實際使用實體記憶體(RSS,對應top命令裡面的RES)的這個標準的記憶體耗用衡量指標會大大高估記憶體耗用情況。 在這裡插入圖片描述 ps命令檢視 使用ps命令找出佔用記憶體資源最多的20個程序(數量可以任意設定) 在這裡插入圖片描述 檢視程序佔用的實際實體記憶體(與smem看到實際實體記憶體大小有出入,這裡解釋一下:SIZE: 程序使用的地址空間, 如果程序映射了100M的記憶體, 程序的地址空間將報告為100M記憶體. 事實上, 這個大小不是一個程式實際使用的記憶體數. 所以這裡看到的記憶體跟smem看到的大小有出入) 在這裡插入圖片描述 smem命令檢視 關於smem命令,這裡不做介紹,直接參考連結Linux監控工具介紹系列——smem 在這裡插入圖片描述 pmap命令檢視 在這裡插入圖片描述 The -x option can be used to provide information about the memory allocation and mapping types per mapping. The amount of resident, non-shared anonymous, and locked memory is shown for each mapping。 在這裡插入圖片描述 python指令碼檢視 網上有個python指令碼計算程式或程序的記憶體使用情況,地址位於https://raw.githubusercontent.com/pixelb/ps_mem/master/ps_mem.py

python ps_mem.py 在這裡插入圖片描述 在這裡插入圖片描述 如果有對大資料感興趣的同學,可來我們的大資料技術學習QQ群:849904230,裡面免費送整套系統的大資料教程!我自己是一名從事了5年大資料探勘,分析開發的工程師,辭職目前在做線上教育講師,創了一個交流群,每晚都會在群內直播,今年年初我花了一個月整理了一份最適合2018年學習的大資料乾貨,包括資料採集。資料儲存和管理。資料處理和分析。資料隱私和安全。雲安全,雲技術,人工智慧等資料都有整理,送給每一位大資料小夥伴,這裡是大資料學習者聚集地,歡迎初學和進階中的小夥伴。