1. 程式人生 > >Linux和進程內存模型

Linux和進程內存模型

linux 根據 java程序 除了 strong 圖片 需要 自身 inux

一、Linux和進程內存模型

jvm是一個進程的身份運行在linux系統上,了解linux和進程的內存關系,是理解jvm和Linux內存關系的基礎。

硬件、系統、進程三個層面的內存之間的概要關系

1、從硬件上看,linux系統有兩部分組成:物理內存和SWAP(位於磁盤),物理內存是linux活動時使用的主要內存區域,當物理內存不夠使用時,linux會把一部分暫時不用的內存數據放在SWAP中,以便騰出更多的可用內存空間;而當需要使用位於SWAP的數據時,必須先將其換回到內存中。

2、從linux系統上看,除了引導系統的BIN區,整個內存空間主要被分為兩個部分:內核內存(Kernel space)、用戶內存(user space)。

內核內存是linux自身使用的內存空間,主要提供給程序調度、內存分配、連接硬件資源等程序邏輯使用。用戶內存是提供各個進程主要空間,Linux給各個進程提供相同的虛擬內存空間;這使的進程之間相互獨立、互不幹擾。實現的方法是采用虛擬內存技術:給每個進程分配一定的虛擬內存,如果虛擬內存使用完了,才分配物理內存,對於32的Linux系統來說,一般將0~3G的虛擬內存空間分配做為用戶空間,將3~4G的虛擬內存空間分配為內核空間;64位系統的劃分情況是類似的。

3、從進程的角度來看,進程能直接訪問的用戶內存(虛擬內存空間)被劃分為5個部分:代碼區、數據區、堆區、棧區、未使用區。

代碼區主要存放應用程序的機器代碼,運行過程中代碼不能被修改,具有只讀和固定大小的特點。

數據區存放了應用程序中的全局數據、靜態數據和一些常量字符串等,該區大小也是固定的。

堆是運行時程序動態申請的空間,屬於程序運行時直接申請、釋放的內存資源。

棧區用來存放函數的傳入參數、臨時變量,以及返回地址等數據。

未使用區是分配新內存空間的預備區域。

二、進程和jvm內存模型

JVM本質就是一個進程,因此其內存模型也有進程的一般特點。但是,JVM又不是一個普通的進程,其在內存模型上有許多嶄新的特點,主要原因有兩個:1.JVM將許多本來屬於操作系統管理範疇的東西,移植到了JVM內部,目的在於減少系統調用的次數;2. Java NIO,目的在於減少用於讀寫IO的系統調用的開銷,JVM進程與普通進程內存模型比較如下圖:

技術分享圖片

1、用戶內存

上圖特別強調了JVM進程模型的代碼區和數據區指的是JVM自身的,而非Java程序的。普通進程棧區,在JVM一般僅僅用做線程棧。JVM的堆區和普通進程的差別是最大的,下面具體詳細說明:

首先是永久代。永久代本質上是Java程序的代碼區和數據區。Java程序中類(class),會被加載到整個區域的不同數據結構中去,包括常量池、域、方法數據、方法體、構造函數、以及類中的專用方法、實例初始化、接口初始化等。這個區域對於操作系統來說,是堆的一個部分;而對於Java程序來說,這是容納程序本身及靜態資源的空間,使得JVM能夠解釋執行Java程序。

其次是新生代和老年代。新生代和老年代才是Java程序真正使用的堆空間,主要用於內存對象的存儲;但是其管理方式和普通進程有本質的區別。
普通進程在運行時給內存對象分配空間時,比如C++執行new操作時,會觸發一次分配內存空間的系統調用,由操作系統的線程根據對象的大小分配好空間後返回;同時,程序釋放對象時,比如C++執行delete操作時,也會觸發一次系統調用,通知操作系統對象所占用的空間已經可以回收。
JVM對內存的使用和一般進程不同。JVM向操作系統申請一整段內存區域(具體大小可以在JVM參數調節)作為Java程序的堆(分為新生代和老年代);當Java程序申請內存空間,比如執行new操作,JVM將在這段空間中按所需大小分配給Java程序,並且Java程序不負責通知JVM何時可以釋放這個對象的空間,垃圾對象內存空間的回收由JVM進行。

JVM的內存管理方式的優點是顯而易見的,包括:第一,減少系統調用的次數,JVM在給Java程序分配內存空間時不需要操作系統幹預,僅僅在Java堆大小變化時需要向操作系統申請內存或通知回收,而普通程序每次內存空間的分配回收都需要系統調用參與;第二,減少內存泄漏,普通程序沒有(或者沒有及時)通知操作系統內存空間的釋放是內存泄漏的重要原因之一,而由JVM統一管理,可以避免程序員帶來的內存泄漏問題。

最後是未使用區,未使用區是分配新內存空間的預備區域。對於普通進程來說,這個區域被可用於堆和棧空間的申請及釋放,每次堆內存分配都會使用這個區域,因此大小變動頻繁;對於JVM進程來說,調整堆大小及線程棧時會使用該區域,而堆大小一般較少調整,因此大小相對穩定。操作系統會動態調整這個區域的大小,並且這個區域通常並沒有被分配實際的物理內存,只是允許進程在這個區域申請堆或棧空間。

2、內核內存

應用程序通常不直接和內核內存打交道,內核內存由操作系統進行管理和使用;不過隨著Linux對性能的關註及改進,一些新的特性使得應用程序可以使用內核內存,或者是映射到內核空間。Java NIO正是在這種背景下誕生的,其充分利用了Linux系統的新特性,提升了Java程序的IO性能。

技術分享圖片

上圖給出了Java NIO使用的內核內存在linux系統中的分布情況。nio buffer主要包括:nio使用各種channel時所使用的ByteBuffer、Java程序主動使用ByteBuffer.allocateDirector申請分配的Buffer。而在PageCache裏面,nio使用的內存主要包括:FileChannel.map方式打開文件占用mapped、FileChannel.transferTo和FileChannel.transferFrom所需要的Cache(圖中標示 nio file)。

通過JMX可以監控到NIO Buffer和 mapped 的使用情況,如下圖所示。不過,FileChannel的實現是通過系統調用使用原生的PageCache,過程對於Java是透明的,無法監控到這部分內存的使用大小。

技術分享圖片

Linux和Java NIO在內核內存上開辟空間給程序使用,主要是減少不要的復制,以減少IO操作系統調用的開銷。例如,將磁盤文件的數據發送網卡,使用普通方法和NIO時,數據流動比較下圖所示:

技術分享圖片

將數據在內核內存和用戶內存之間拷貝是比較消耗資源和時間的事情,而從上圖我們可以看到,通過NIO的方式減少了2次內核內存和用戶內存之間的數據拷貝。這是Java NIO高性能的重要機制之一(另一個是異步非阻塞)。

從上面可以看出,內核內存對於Java程序性能也非常重要,因此,在劃分系統內存使用時候,一定要給內核留出一定可用空間。

Linux和進程內存模型