1. 程式人生 > >檔案記憶體對映mmap解決大檔案快速讀寫問題和程序間共享記憶體

檔案記憶體對映mmap解決大檔案快速讀寫問題和程序間共享記憶體

mmap函式主要用途有三個:

1、將一個普通檔案對映到記憶體中,通常在需要對檔案進行頻繁讀寫時使用,這樣用記憶體讀寫取代I/O讀寫,以獲得較高的效能;

2、將特殊檔案進行匿名記憶體對映,可以為關聯程序提供共享記憶體空間;

3、為無關聯的程序提供共享記憶體空間,一般也是將一個普通檔案對映到記憶體中。

 

Linux提供了記憶體對映函式mmap, 它把檔案內容對映到一段記憶體上(準確說是虛擬記憶體上), 通過對這段記憶體的讀取和修改, 實現對檔案的讀取和修改。

 

一、使用步驟

* 用open系統呼叫開啟檔案, 並返回描述符fd.

* 用mmap建立記憶體對映, 並返回對映首地址指標start.

* 對對映(檔案)進行各種操作, 顯示(printf), 修改(sprintf).

* 用munmap(void *start, size_t lenght)關閉記憶體對映.

* 用close系統呼叫關閉檔案fd.

 

二、mmap函式用法

* 標頭檔案:

          #include <unistd.h>

          #include <sys/mman.h>

* 函式:void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offsize);

 

引數start:指向欲對映的記憶體起始地址,通常設為 NULL,代表讓系統自動選定地址,對映成功後返回該地址。

 

引數length:代表將檔案中多大的部分對映到記憶體。

 

引數prot:對映區域的保護方式。可以為以下幾種方式的組合:

PROT_EXEC 對映區域可被執行

PROT_READ 對映區域可被讀取

PROT_WRITE 對映區域可被寫入

PROT_NONE 對映區域不能存取

 

引數flags:影響對映區域的各種特性。在呼叫mmap()時必須要指定MAP_SHARED 或MAP_PRIVATE。

MAP_FIXED 如果引數start所指的地址無法成功建立對映時,則放棄對映,不對地址做修正。通常不鼓勵用此旗標。

MAP_SHARED對對映區域的寫入資料會複製迴文件內,而且允許其他對映該檔案的程序共享。

MAP_PRIVATE 對對映區域的寫入操作會產生一個對映檔案的複製,即私人的“寫入時複製”(copy on write)對此區域作的任何修改都不會寫回原來的檔案內容。

MAP_ANONYMOUS建立匿名對映。此時會忽略引數fd,不涉及檔案,而且對映區域無法和其他程序共享(我感覺是可以的吧,不然怎樣實現的父子程序間通訊)。

MAP_DENYWRITE只允許對對映區域的寫入操作,其他對檔案直接寫入的操作將會被拒絕。

MAP_LOCKED 將對映區域鎖定住,這表示該區域不會被置換(swap)。

 

引數fd:要對映到記憶體中的檔案描述符。如果使用匿名記憶體對映時,即flags中設定了MAP_ANONYMOUS,fd設為-1。有些系統不支援匿名記憶體對映,則可以使用fopen開啟/dev/zero檔案,然後對該檔案進行對映,可以同樣達到匿名記憶體對映的效果。

 

引數offset:檔案對映的偏移量,通常設定為0,代表從檔案最前方開始對應,offset必須是分頁大小的整數倍。

 

返回值:

 

若對映成功則返回對映區的記憶體起始地址,否則返回MAP_FAILED(-1),錯誤原因存於errno 中。

 

錯誤程式碼:

 

EBADF 引數fd 不是有效的檔案描述詞

EACCES 存取許可權有誤。如果是MAP_PRIVATE 情況下檔案必須可讀,使用MAP_SHARED則要有PROT_WRITE以及該檔案要能寫入。

EINVAL 引數start、length 或offset有一個不合法。

EAGAIN 檔案被鎖住,或是有太多記憶體被鎖住。

ENOMEM 記憶體不足。

* 系統呼叫mmap()用於共享記憶體的兩種方式:

 

(1)使用普通檔案提供的記憶體對映:

 

適用於任何程序之間。此時,需要開啟或建立一個檔案,然後再呼叫mmap()

 

典型呼叫程式碼如下:

 

fd=open(name, flag, mode); if(fd<0) ...

 

ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);

 

通過mmap()實現共享記憶體的通訊方式有許多特點和要注意的地方,可以參看UNIX網路程式設計第二卷。

 

(2)使用特殊檔案提供匿名記憶體對映:

 

適用於具有親緣關係的程序之間。由於父子程序特殊的親緣關係,在父程序中先呼叫mmap(),然後呼叫 fork()。那麼在呼叫fork()之後,子程序繼承父程序匿名對映後的地址空間,同樣也繼承mmap()返回的地址,這樣,父子程序就可以通過對映區域進行通訊了。注意,這裡不是一般的繼承關係。一般來說,子程序單獨維護從父程序繼承下來的一些變數。而mmap()返回的地址,卻由父子程序共同維護。對於具有親緣關係的程序實現共享記憶體最好的方式應該是採用匿名記憶體對映的方式。此時,不必指定具體的檔案,只要設定相應的標誌即可。