1. 程式人生 > >Linux內存管理機制

Linux內存管理機制

訪問性 內存操作 內存管理 保存 說明 容量 分隔 命令 font

一、首先大概了解一下計算機CPUCache、內存、硬盤之間的關系及區別。

1、 CPU也稱為中央處理器(CPU,Central Processing Unit)是一塊超大規模的集成電路,

是一臺計算機的運算核心(Core)和控制核心( Control Unit)。它的功能主要是解釋計算機指令以及處理計算機軟件中的數據。中央處理器主要由三核心部件組成,運算器、控制器和總線(BUS),運算器又主要由算術邏輯單元(ALU)和寄存器(RS)組成。

2、Cache即高速緩沖存儲器,是位於CPU與主內存間的一種容量較小但速度很高的存儲器。由於CPU的速度遠高於主內存,CPU直接從內存中存取數據要等待一定時間周期,Cache中保存著CPU剛用過或循環使用的一部分數據,當CPU再次使用該部分數據時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache),L1 Cache集成在CPU內部,L2 Cache早期一般是焊在主板上,現在也都集成在CPU內部,常見的容量有256KB或512KB L2 Cache。

3、內存是計算機中重要的部件之一,它是與CPU進行溝通的橋梁。計算機中所有程序的運行都是在內存中進行的,因此內存的性能對計算機的影響非常大。內存(Memory)也被稱為內存儲器,其作用是用於暫時存放CPU中的運算數據,以及與硬盤等外部存儲器交換的數據。內存包含的範圍非常廣,一般分為只讀存儲器(ROM)、隨機存儲器(RAM)和高速緩存存儲器(cache)。

4、硬盤是電腦主要的存儲媒介之一,由一個或者多個鋁制或者玻璃制的碟片組成。硬盤有固態硬盤(SSD 盤,新式硬盤)、機械硬盤(HDD 傳統硬盤)、混合硬盤(HHD 一塊基於傳統機械硬盤誕生出來的新硬盤)。

補充說明:

虛擬內存

是計算機系統內存管理的一種技術,它是從硬盤上劃分出一塊空間來充當虛擬內存使用。它使得應用程序認為它擁有連續的可用的內存(一個連續完整的地址空間),而實際上,它通常是被分隔成多個物理內存碎片,還有部分暫時存儲在外部磁盤存儲器上,在需要時進行數據交換。目前,大多數操作系統都使用了虛擬內存,如Windows家族的“虛擬內存”;Linux的“交換空間”等。

計算機存儲體系如下所示:

技術分享

大概理解:

  計算機硬盤存儲一個文件A,假如用戶去執行這個文件A,首先內存會從硬盤調取文件A的相關信息存入到內存中,內存去訪問硬盤這個過程需要等待(跑車速度),當CPU去訪問內存也需要等待(飛機速度),相對來說CPU <--- >內存<--- >硬盤這個過程是速度是挺快的。如果A文件放入到Cache,CPU直接去調取Cache(火箭速度),就等同於CPU不用再去訪問內存,直接就訪問Cache, 過程CPU<--- > 緩存,但Cache容量是非常小的,基本是存放一些經常被訪問的文件,也受到了限制。

二、淺談Linux系統內存管理機制

疑問:經常遇到一些剛接觸Linux的新手會問Linux系統也沒有運行太多的程序,但內存占用怎麽那麽多?使用top命令或都free命令都能看見如下所示:

技術分享

技術分享

解答:

  在Linux中經常發現空閑內存很少,似乎所有的內存都被系統占用了,表面感覺是內存不夠用了,其實不然。這是Linux內存管理的一個優秀特性,在這方 面,區別於Windows的內存管理。主要特點是,無論物理內存有多大,Linux 都將其充份利用,將一些程序調用過的硬盤數據讀入內存,利用內存讀寫的高速特性來提高Linux系統的數據訪問性能。而Windows是只在需要內存時, 才為應用程序分配內存,並不能充分利用大容量的內存空間。換句話說,每增加一些物理內存,Linux都將能充分利用起來,發揮了硬件投資帶來的好處,而 Windows只將其做為擺設,即使增加8GB甚至更大。

  Linux的這一特性,主要是利用空閑的物理內存,劃分出一部份空間,做為cache、buffers ,以此提高數據訪問性能。

  頁高速緩存(cache)是Linux內核實現的一種主要磁盤緩存。它主要用來減少對磁盤的I/O操作。具體地講,是通過把磁盤中的數據緩存到物理內存中,把對磁盤的訪問變為對物理 內存的訪問。

  磁盤高速緩存的價值在於兩個方面:第一,訪問磁盤的速度要遠遠低於訪問內存的速度,因此,從內存訪問數據比從磁盤訪問速度更快。第二,數據一旦被訪 問,就很有可能在短期內再次被訪問到

標註:CPU Cache(CPU高速緩存)和linux系統的Memory Cache(內存緩存)在系統裏指的不是同一個緩存,Linux系統通過free命令查看到的cache指的是Memory Cache(內存緩存)。是Linux系統引入內存機制的cache機制。

下面來了解下Linux內存管理機制:

1、物理內存和虛擬內存

  我們知道,直接從物理內存讀寫數據要比從硬盤讀寫數據要快的多,因此,我們希望所有數據的讀取和寫入都在內存完成,而內存是有限的,這樣就引出了物理內存與虛擬內存的概念。

  物理內存就是系統硬件提供的內存大小,是真正的內存,相對於物理內存,在linux下還有一個虛擬內存的概念,虛擬內存就是為了滿足物理內存的不足而提出的策略,它是利用磁盤空間虛擬出的一塊邏輯內存,用作虛擬內存的磁盤空間被稱為交換空間(Swap Space)。

  作為物理內存的擴展,linux會在物理內存不足時,使用交換分區的虛擬內存,更詳細的說,就是內核會將暫時不用的內存塊信息寫到交換空間,這樣以來,物理內存得到了釋放,這塊內存就可以用於其它目的,當需要用到原始的內容時,這些信息會被重新從交換空間讀入物理內存。

  Linux的內存管理采取的是分頁存取機制,為了保證物理內存能得到充分的利用,內核會在適當的時候將物理內存中不經常使用的數據塊自動交換到虛擬內存中,而將經常使用的信息保留到物理內存。

要深入了解linux內存運行機制,需要知道下面提到的幾個方面:

(1)、Linux系統會不時的進行頁面交換操作,以保持盡可能多的空閑物理內存,即使並沒有什麽事情需要內存,Linux也會交換出暫時不用的內存頁面。這可以避免等待交換所需的時間。

(2)、Linux 進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬內存,linux內核根據”最近最經常使用“算法,僅僅將一些不經常使用的頁面文件交換到虛擬 內存,有時我們會看到這麽一個現象:linux物理內存還有很多,但是交換空間也使用了很多。其實,這並不奇怪,例如,一個占用很大內存的進程運行時,需 要耗費很多內存資源,此時就會有一些不常用頁面文件被交換到虛擬內存中,但後來這個占用很多內存資源的進程結束並釋放了很多內存時,剛才被交換出去的頁面 文件並不會自動的交換進物理內存,除非有這個必要,那麽此刻系統物理內存就會空閑很多,同時交換空間也在被使用,就出現了剛才所說的現象了。關於這點,不 用擔心什麽,只要知道是怎麽一回事就可以了。

(3)、交換空間的頁面在使用時會首先被交換到物理內存,如果此時沒有足夠的物理內存來容納這些頁 面,它們又會被馬上交換出去,如此以來,虛擬內存中可能沒有足夠空間來存儲這些交換頁面,最終會導致linux出現假死機、服務異常等問題,linux雖 然可以在一段時間內自行恢復,但是恢復後的系統已經基本不可用了。

因此,合理規劃和設計Linux內存的使用,是非常重要的.

2、 Linux 內存的監控

  作為一名Linux系統管理員,監控內存的使用狀態是非常重要的,通過監控有助於了解內存的使用狀態,比如內存占用是否正常,內存是否緊缺等等,監控內存最常使用的命令有free、top等,下面是某個系統free的輸出:

技術分享

每個選項的含義:

第一行Mem:

total:表示物理內存總量。

used:表示總計分配給緩存(包含buffers 與cache )使用的數量,但其中可能部分緩存並未實際使用。

free:未被分配的內存。

shared:共享內存,一般系統不會用到,這裏不討論。

buffers:系統分配但未被使用的buffers 數量。

cached:系統分配但未被使用的cache 數量。

第二行-/+ buffers/cache:

used:實際使用的buffers 與cache 總量,也是實際使用的內存總量。

free:未被使用的buffers 與cache 和未被分配的內存之和,這就是系統當前實際可用內存。

第三行Swap:

total:交換空間總量。

used:已經使用的交換空間。

Free:未被使用的交換空間。

系統實際內存計算:(第二行-/+ buffers/cache)

(Linux系統已經使用的實際內存)used = (第一行)used 減去 (第一行)buffers 減去 (第一行)cache

(Linux系統未被使用的實際內存)free = (第一行)free 加上 (第一行)buffers 加上 (第一行)cache

free命令輸出的內存狀態,可以通過兩個角度來查看:一個是從內核的角度來看,一個是從應用層的角度來看的:

從內核的角度來查看內存的狀態

就是內核目前可以直接分配到,不需要額外的操作,即為上面free命令輸出中第二行Mem項的值,可以看出,此系統物理內存總量有32113M,已經使用的內存只有3 53M,我們來做一個這樣的計算:

32113 – 31759 = 353

其實就是總的物理內存減去已經使用的物理內存得到的就是空閑的物理內存大小,註意這裏的可用內存值353M並不包含處於buffers和cached狀態的內存大小。

如果你認為這個系統空閑內存太小,那你就錯了,實際上,內核完全控制著內存的使用情況,Linux會在需要內存的時候,或在系統運行逐步推進時,將buffers和cached狀態的內存變為free狀態的內存,以供系統使用。

從應用層的角度來看系統內存的使用狀態

也就是Linux上運行的應用程序可以使用的內存大小,即free命令第三行 -/+ buffers/cached 的輸出,可以看到,此系統已經使用的內存才7536M,而空閑的內存達到24576M,繼續做這樣一個計算:

353+(7+24215)=24576

通過這個等式可知,應用程序可用的物理內存值是Mem項的free值加上buffers和cached值之和,也就是說,這個free值是包括buffers和cached項大小的,對於應用程序來說,buffers/cached占有的內存是可用的,因為buffers/cached是為了提高文件讀取的性能,當應用程序需要用到內存的時候,buffers/cached會很快地被回收,以供應用程序使用。

buffers與cached的異同

緩存(cached是把讀取過的數據保存起來,重新讀取時若命中(找到需要的數據)就不要去讀硬盤了,若沒有命中就讀硬盤。其中的數據會根據讀取頻率進行組織,把最頻繁讀取的內容放在最容易找到的位置,把不再讀的內容不斷往後排,直至從中刪除

緩沖(buffers是根據磁盤的讀寫設計的,把分散的寫操作集中進行,減少磁盤碎片和硬盤的反復尋道,從而提高系統性能。

  在Linux 操作系統中,當應用程序需要讀取文件中的數據時,操作系統先分配一些內存,將數據從磁盤讀入到這些內存中,然後再將數據分發給應用程序;當需要往文件中寫 數據時,操作系統先分配內存接收用戶數據,然後再將數據從內存寫到磁盤上。然而,如果有大量數據需要從磁盤讀取到內存或者由內存寫入磁盤時,系統的讀寫性 能就變得非常低下,因為無論是從磁盤讀數據,還是寫數據到磁盤,都是一個很消耗時間和資源的過程,在這種情況下,Linux引入了buffers和 cached機制。

  cached是cpu與內存間的,buffer是內存與磁盤間的,cache和buffer都是Linux內核使用物理內存調配出去的容量,都是為了解決速度不對等的問題。buffers與cached都是內存操作,用來保存系統曾經打開過的文件以及文件屬性信息,這樣當操作系統需要讀取某些文件時,會首先在buffers 與cached內存區查找,如果找到,直接讀出傳送給應用程序,如果沒有找到需要數據,才從磁盤讀取,這就是操作系統的緩存機制,通過緩存,大大提高了操 作系統的性能。但buffers與cached緩沖的內容卻是不同的。

  buffers是用來緩沖塊設備做的,它只記錄文件系統的元數據(metadata)以及 tracking in-flight pages,而cached是用來給文件做緩沖。更通俗一點說:buffers主要用來存放目錄裏面有什麽內容,文件的屬性以及權限等等。而cached直接用來記憶我們打開過的文件和程序。

Linux內存管理機制