1. 程式人生 > >技術系列之 記憶體管理(二)

技術系列之 記憶體管理(二)

2、定長記憶體池。典型的實現有LOKI、BOOST。特點是為不同型別的資料結構分別建立記憶體池,需要記憶體的時候從相應的記憶體池中申請記憶體,優點是可以在使用完畢立即把記憶體歸還池中,可以更為細粒度的控制記憶體塊。
    與變長的相比,這種型別的記憶體池更加通用,另一方面對於大量不同的資料型別環境中,會浪費不少記憶體。但一般系統主要的資料結構都不會很多,並且都是重複申請釋放使用,這種情況下,定長記憶體池的這點小缺點可以忽略了。
(1)Loki::SmallObject。Andrei Alexandrescu的《Modern C++ Design》第四章節已經進行了詳細的描述,儘管和當前的loki版本實現有出入,還是瞭解Loki::SmallObject的最佳文字講解,結合最新的loki原始碼,足夠了。這裡我再羅唆一下。先舉例看下使用:

#include "loki/SmallObj.h"
class Small:public  Loki::SmallObject<>//繼承SmallObject即可,所有都使用預設策略
{
public:
 Small(
int data):data_(data){}
private:
 
int data_;
}
;
int main()
{
 Small 
*obj=new Small(8);
 delete obj;
}

使用valgrind執行可以證實new一個obj和多new幾次,申請的記憶體都是4192。可以看出loki在使用層面非常簡單。
    loki的記憶體池分4層,從低向上依次是chunk、FixedAllocator、SmallObjAllocator、SmallObject。
1)chunk:

每個chunk管理一定數量(最大255,char型儲存)的block,每個chunk中block的申請和釋放,時間複雜度都是o(1),非常快,實現演算法非常精巧,boost::pool中也是採用的相同演算法。
    這裡簡單說下這個演算法:首次申請一塊連續記憶體,pdata_指向該記憶體基址,依據block大小,劃分成多個連續的block,每個block開頭的第一個位元組儲存該block的順序號,第一個是1,第二個是2,依次類推。另有一位元組變數firstAvailableBlock_儲存上次分配出的block序號,開始是0。
    分配block:返回pdata_ +firstAvailableBlock_*blocksize,同時firstAvailableBlock_賦值為該塊的序列號。
    回收block:block指標假設為pblock,該塊序列號賦值為firstAvailableBlock_,firstAvailableBlock_賦值為(pblock-pdata_ )/blocksize即可。
2)FixedAllocator:
chunk中的block上限是255,不具有通用性,因此封裝了一層,稱為FixedAllocator,它儲存了一個vector<chunk>,消除了單個chunk中block數目的上限限制。
   FixedAllocator中的block申請:FixedAllocator中儲存活動的chunk(上次有空閒空間的chunk),申請block的時候如果活動chunk有空閒快,直接申請,否則掃描vector,時間複雜度o(N),同時更新活動chunk。
   FixedAllocator中的回收block:簡單想,給定block回收到FixedAllocator,自然要掃描vector,以確認block屬於哪個chunk,以便chunk回收。實際實現的時候,Loki針對應用場景進行了優化,一般使用都是批量使用,回收一般和申請順序相同或者相反,因此FixedAllocator儲存上次回收block的chunk指標,每次回收優先匹配這個chunk,匹配不上則以該chunk為中心,向兩側chunk順序檢測。
   FixedAllocator帶來的優點:上文提到的消除了block的上限限制。另一方面,可以以chunk為單位,把記憶體歸還給作業系統。實際實現中防止剛釋放的記憶體立即又被申請,是存在兩個空閒chunk的時候才回收一個。這個特點,這裡暫時歸結為優點吧。實際使用中,回收多餘記憶體個人認為是個缺點,意義並不是很大。
   FixedAllocator帶來的缺點:很明顯,就是申請回收block的時間複雜度。
3)SmallObjAllocator:截至到FixedAllocator層面blocksize都是定長。因此封裝一層適用於任意長度的記憶體申請。SmallObjAllocator儲存了一個FixedAllocator的陣列pool_,儲存擁有不同block長度的FixedAllocator。《Modern C++ Design》中描述該陣列下標和儲存的FixedAllocator的block長度無直接關係,從SmallObjAllocator申請以及回收block的時候二分查詢找到對應的FixedAllocator再呼叫相應FixedAllocator的申請或者回收。當前最新版本的loki,已經拋棄了這種做法。當前SmallObjAllocator的建構函式有3個引數:chunksize,maxblocksize,alignsize。陣列元素個數取maxblocksize除以alignsize的向上取整。每個FixedAllocator中實際的blocksize是(下標+1)*alignsize。
     SmallObjAllocator中block申請:依據block和alignsize的商直接取到陣列pool_下標,使用相應的FixedAllocator申請。
     SmallObjAllocator中回收block:根據block和alignsize的商直接找到相應的FixedAllocator回收。
     優點:差異化各種長度的物件申請,增強了易用性。
     缺點:《Modern C++ Design》中描述增加掃描的時間複雜度,當前版本的loki浪費記憶體。這也是進一步封裝,遮蔽定長申請的細節,帶來的負面效應。
4)SmallObject。暴露給外部使用的一層。該層面秉承了《Modern C++ Design》開始引入的以設計策略類為最終目的,讓使用者在編譯期選擇設計策略,而不是提供框架限制使用者的設計。這也是引入模版的一個層面。當前版本SmallObject有6個模版引數,第一個是執行緒策略,緊接著的三個正好是SmallObjAllocator層面的三個構造引數,下面的一個生存期策略,最後的是鎖方式。
    這裡說下SmallObjAllocator層面的三個預設引數值,分別是4096,256,4。意味著SmallObjAllocator層面有陣列(256+4-1)/4=64個,陣列儲存的FixedAllocator中的chunksize一般都是4096(當4096<=blocksize*255時候)位元組(第一個chunk的申請推遲到首次使用的時候),各FixedAllocator中的chunk的blocksize依次是4、8......256,大於256位元組的記憶體申請交給系統的malooc/new管理,陣列中FixedAllocator中單個chunk中的blocknum依次是4096/4=824>255取255、255......4096/256=16。如果這不能滿足需求,請呼叫的時候顯式賦值。
    當前loki提供了三種執行緒策略:

SingleThreaded 單執行緒
ObjectLevelLockable 物件級別,一個物件一個鎖
ClassLevelLockable 類級別,一個類一個鎖,該類的所有物件共用該鎖

目前只提供了一種鎖機制:Mutex
它的基類SmallObjectBase複寫了new/delete操作子,因此直接繼承SmallObject就可以象普通的類一樣new/delete,並且從記憶體池分配記憶體。
    SmalObject中block申請和釋放都從一個全域性的SmallObjAllocator單例進行。
評價:chunk層面限制了上限個數,導致了FixedAllocator層面出現,造成申請回收時間複雜度的提高,而以chunk為單位回收記憶體,在記憶體池的使用場景下意義並不是很大。SmallObjAllocator為了差異化變長記憶體的申請,對FixedAllocator進一步封裝,引入了記憶體的浪費,不如去掉這個層面,直接提供給使用者層面定長的介面。另一方面,loki已經進行了不少優化,儘可能讓block申請釋放的時間複雜度在絕大多數情況下都是O(1),而SmallObjAllocator中記憶體的浪費可以根據alignsize調整,即便是極端情況下,loki將chunk歸還給系統又被申請出來,根據chunk中block的最大值看,也比不使用記憶體池的情況動態申請釋放記憶體的次數減少了1/255。因此,loki是一個非常不錯的小巧的記憶體池。

相關推薦

技術系列 記憶體管理

2、定長記憶體池。典型的實現有LOKI、BOOST。特點是為不同型別的資料結構分別建立記憶體池,需要記憶體的時候從相應的記憶體池中申請記憶體,優點是可以在使用完畢立即把記憶體歸還池中,可以更為細粒度的控制記憶體塊。    與變長的相比,這種型別的記憶體池更加通用,另一方面對於

【原創】技術系列 記憶體管理

作者:CppExplore 地址:http://www.cppblog.com/CppExplore/(2)boost::pool系列。boost的記憶體池最低層是simple_segregated_storage,類似於Loki中的chunk,在其中申請釋放block(boost中把block稱為c

技術系列 記憶體管理

(2)boost::pool系列。boost的記憶體池最低層是simple_segregated_storage,類似於Loki中的chunk,在其中申請釋放block(boost中把block稱為chunk,暈死,這裡還是稱其為block)採用了和loki的chunk中同樣

【原創】技術系列 狀態機

與常規狀態機相比,它的FSM_STATE結構沒有default_func,多了 FSM_STATE_ID parent; FSM_STATE_ID default_child;兩個結構。狀態機初始化的時候可以指定預設狀態,為了防止指定的狀態非葉結點,增加fsm_init方法。該狀態機的事件處理演算

技術系列 網路模型

作者:CppExplore 網址:http://www.cppblog.com/CppExplore/本章主要列舉伺服器程式的各種網路模型,示例程式以及效能對比後面再寫。一、分類依據。伺服器的網路模型分類主要依據以下幾點(1)是否阻塞方式處理請求,是否多路複用,使用哪種多路複

技術系列 執行緒

為了後面寫的《網路模型(二)》,多寫一篇關於執行緒的。執行緒使用涉及的主要資料結構以及應用框架可以參考http://www.cppblog.com/CppExplore/archive/2008/01/15/41175.html。本文的主要目的是給出linux下實用的執行緒訊

CSS3學習系列選擇器

計算 選擇器 sky :focus ddr gree for 指定元素 學習 first-child選擇器和last-child選擇器 first-child指定第一個元素。last-child指定最後一個子元素。 例如: <!DOCTYPE html>

linux基本服務系列智慧DNS

一、前言 上一期講了利用BIND實現智慧DNS,是一個主域名伺服器,負責維護這個區域的所有域名資訊,是特定的所有資訊的權威資訊源。看過的人知道,儲存該區域的正本資料,是依靠zone檔案,維護zone檔案是比較繁瑣的,每次都要進入系統修改檔案並需要重啟bind服務,今天就來說說bind+mysql

【轉】【Linux 核心】記憶體管理夥伴演算法

        通常情況下,一個高階作業系統必須要給程序提供基本的、能夠在任意時刻申請和釋放任意大小記憶體的功能,就像malloc 函式那樣,然而,實現malloc 函式並不簡單,由於程序申請記憶體的大小是任意的,如果作業系統對malloc 函式的實現方法不對,將直接導致

【原創】技術系列 執行緒

作者:CppExplore 網址:http://www.cppblog.com/CppExplore/廢話不多說,詳細介紹使用執行緒的優點好處請參考baidu、google。一、執行緒使用場景。使用執行緒的方式大致有兩種:(1)流水線方式。根據業務特點,將一個流程的處理分割成多個執行緒,形成流水線的處

【原創】技術系列 狀態機

作者:CppExplore 網址:http://www.cppblog.com/CppExplore/一、狀態機描述狀態機理論最初的發展在數位電路設計領域。在數位電路方面,根據輸出是否與輸入訊號有關,狀態機可以劃分為Mealy型和Moore型狀態機;根據輸出是否與輸入訊號同步,狀態機可以劃分為非同步和

影象處理特徵不變運算元系列Harris運算元

           在前面的博文中,介紹了Moravec運算元,並對moravec運算元的不足也進行了簡單的描述,具體請參考:影象處理特徵運算元系列之Moravec運算元(一)。Harris運算元

初探jvm虛擬機器記憶體管理

本篇記錄一些概念性的東西,後續結合例項分析虛擬機器的記憶體機制。java虛擬機器在程式執行時將記憶體劃分為以下幾個區域,每個區域作用,生命週期各不相同程式計數器 虛擬機器棧 本地方法棧 方法區 堆程式計數器 執行緒執行的位元組碼行號指示器。 多執行緒是通過時間片輪轉法獲取cp

技術系列 網路模型基礎篇

全文針對linux環境。tcp/udp兩種server種,tcp相對較複雜也相對比較常用。本文就從tcp server開始講起。先從基本說起,看一個單執行緒的網路模型,處理流程如下: socket-->bind-->listen-->[accept-->

C#中的記憶體管理儲存區域劃分

首先,我們先了解一下資料在記憶體中的儲存方式,根據變數值的生存週期,可以分為靜態儲存區和動態儲存區。如下: 所謂靜態儲存區是指在程式執行期間分配固定的儲存空間的方式,而動態儲存區是指程式執行期間根據需要進行動態分配儲存空間的方式。 靜態變數和全域性變數儲存在靜態儲存區,在

技術系列 定時器

一、 基礎知識1、時間型別。Linux下常用的時間型別有4個:time_t,struct timeval,struct timespec,struct tm。(1)time_t是一個長整型,一般用來表示用1970年以來的秒數。(2)Struct timeval有兩個成員,一個

作業系統概念第八章 記憶體管理

分頁產生內部碎片,分段產生外部碎片。 分頁(paging) 分頁(paging)記憶體管理方案允許程序的實體地址空間可以使非連續的。分頁避免了將不同大小的記憶體塊匹配到交換空間上,前面敘述的記憶體管理方案都有這個問題,當位於記憶體中的程式碼和資料需要換出時,

黑馬程式設計師-----OC記憶體管理

---------------------- ASP.Net+Unity開發、.Net培訓、期待與您交流! ---------------------- OC記憶體管理1>記憶體管理原則 ①只要還有人在用某個物件,那麼這個物件就不會被回收;只要想用這個物件,就讓計數

Java虛擬機器記憶體管理--垃圾收集器及記憶體分配策略

概述     Java記憶體執行時區域的各個部分,其中程式計數器、虛擬機器棧、本地方法棧3個區域隨執行緒而生,隨執行緒而滅;棧中的棧幀隨著方法的進入和退出而有條不紊地執行著出棧和入棧操作。每一個棧幀中分配多少記憶體基本上是在類結構確定下來時就已知的(儘管在執行期會由JIT編

JAVA 虛擬機器記憶體管理

JMM ( Java Memory Model )概要 如圖:為java執行時資料區,在程式執行過程中對記憶體的分配、垃圾的回收都在執行時資料區中進行。 方法區和堆被執行緒所共享(藍色區塊) JVM棧、本地方法棧、程式計數器為執行緒所獨享(綠色區塊)