1. 程式人生 > >淺談記憶體對齊--linux和windows平臺下記憶體分配的差異

淺談記憶體對齊--linux和windows平臺下記憶體分配的差異

一.記憶體對齊的初步講解 記憶體對齊可以用一句話來概括: “資料項只能儲存在地址是資料項大小的整數倍的記憶體位置上” 例如int型別佔用4個位元組,地址只能在0,4,8等位置上。 例1: #include <stdio.h>
struct xx{
        char b;
        int a;
        int c;
        char d;
}; int main()
{
        struct xx bb;
        printf("&a = %p\n", &bb.a);
        printf("&b = %p\n", &bb.b);
        printf("&c = %p\n", &bb.c);
        printf("&d = %p\n", &bb.d);
        printf("sizeof(xx) = %d\n", sizeof(struct xx));         return 0;
} 執行結果如下: &a = ffbff5ec
&b = ffbff5e8
&c = ffbff5f0
&d = ffbff5f4
sizeof(xx) = 16 會發現b與a之間空出了3個位元組,也就是說在b之後的0xffbff5e9,0xffbff5ea,0xffbff5eb空了出來,a直接儲存在了0xffbff5ec, 因為a的大小是4,只能儲存在4個整數倍的位置上。列印xx的大小會發現,是16,有些人可能要問,b之後空出了3個位元組,那也應該是13啊?其餘的3個 呢?這個往後閱讀本文會理解的更深入一點,這裡簡單說一下就是d後邊的3個位元組,也會浪費掉,也就是說,這3個位元組也被這個結構體佔用了. 可以簡單的修改結構體的結構,來降低記憶體的使用,例如可以將結構體定義為:
struct xx{
        char b; 
        char d;
        int a;          
        int c;                  
}; 這樣列印這個結構體的大小就是12,省了很多空間,可以看出,在定義結構體的時候,一定要考慮要記憶體對齊的影響,這樣能使我們的程式佔用更小的記憶體。 二.作業系統的預設對齊係數 每 個作業系統都有自己的預設記憶體對齊係數,如果是新版本的作業系統,預設對齊係數一般都是8,因為作業系統定義的最大型別儲存單元就是8個位元組,例如 long long(為什麼一定要這樣,在第三節會講解),不存在超過8個位元組的型別(例如int是4,char是1,long在32位編譯時是4,64位編譯時是 8)。當作業系統的預設對齊係數與第一節所講的記憶體對齊的理論產生衝突時,以作業系統的對齊係數為基準。 例如: 假設作業系統的預設對齊係數是4,那麼對與long long這個型別的變數就不滿足第一節所說的,也就是說long long這種結構,可以儲存在被4整除的位置上,也可以儲存在被8整除的位置上。 可以通過#pragma pack()語句修改作業系統的預設對齊係數,編寫程式的時候不建議修改預設對齊係數,在第三節會講解原因 例2: #include <stdio.h>
#pragma pack(4)
struct xx{
        char b;
        long long a;
        int c;
        char d;
};
#pragma pack() int main()
{
        struct xx bb;
        printf("&a = %p\n", &bb.a);
        printf("&b = %p\n", &bb.b);
        printf("&c = %p\n", &bb.c);
        printf("&d = %p\n", &bb.d);
        printf("sizeof(xx) = %d\n", sizeof(struct xx));         return 0;
}
列印結果為: &a = ffbff5e4
&b = ffbff5e0
&c = ffbff5ec
&d = ffbff5f0
sizeof(xx) = 20 發現佔用8個位元組的a,儲存在了不能被8整除的位置上,儲存在了被4整除的位置上,採取了作業系統的預設對齊係數。 三.記憶體對齊產生的原因
記憶體對齊是作業系統為了快速訪問記憶體而採取的一種策略,簡單來說,就是為了放置變數的二次訪問。作業系統在訪問記憶體 時,每次讀取一定的長度(這個長度就是作業系統的預設對齊係數,或者是預設對齊係數的整數倍)。如果沒有記憶體對齊時,為了讀取一個變數是,會產生匯流排的二 次訪問。 例如假設沒有記憶體對齊,結構體xx的變數位置會出現如下情況: struct xx{
        char b;         //0xffbff5e8
        int a;            //0xffbff5e9       
        int c;             //0xffbff5ed      
        char d;         //0xffbff5f1
}; 作業系統先讀取0xffbff5e8-0xffbff5ef的記憶體,然後在讀取0xffbff5f0-0xffbff5f8的記憶體,為了獲得值c,就需要將兩組記憶體合併,進行整合,這樣嚴重降低了記憶體的訪問效率。(這就涉及到了老生常談的問題,空間和效率哪個更重要?這裡不做討論)。 這樣大家就能理解為什麼結構體的第一個變數,不管型別如何,都是能被8整除的吧(因為訪問記憶體是從8的整數倍開始的,為了增加讀取的效率)!
記憶體對齊的問題主要存在於理解struct等複合結構在記憶體中的分佈。 首先要明白記憶體對齊的概念。
許多實際的計算機系統對基本型別資料在記憶體中存放的位置有限制,它們會要求這些資料的首地址的值是某個數k(通常它為4或8)的倍數,這就是所謂的記憶體對齊。 這個k在不同的cpu平臺下,不同的編譯器下表現也有所不同。比如32位字長的計算機與16位字長的計算機。這個離我們有些遠了。我們的開發主要涉及兩大平臺,windows和linux(unix),涉及的編譯器也主要是microsoft編譯器(如cl),和gcc。 記憶體對齊的目的是使各個基本資料型別的首地址為對應k的倍數,這是理解記憶體對齊方式的終極法寶。另外還要區分編譯器的分別。明白了這兩點基本上就能搞定所有記憶體對齊方面的問題。 不同編譯器中的k:
1、對於microsoft的編譯器,每種基本型別的大小即為這個k。大體上char型別為8,int為32,long為32,double為64。
2、對於linux下的gcc編譯器,規定大小小於等於2的,k值為其大小,大於等於4的為4。 明白了以上的說明對struct等複合結構的記憶體分佈就應該很清楚了。 下面看一下最簡單的一個型別:struct中成員都為基本資料型別,例如:
struct test1
{
char a;
short b;
int c;
long d;
double e;
}; 在windows平臺,microsoft編譯器下: 假設從0地址開始,首先a的k值為1,它的首地址可以使任意位置,所以a佔用第一個位元組,即地址0;然後b的k值為2,他的首地址必須是2的倍數,不能是1,所以地址1那個位元組被填充,b首地址為地址2,佔用地址2,3;然後到c,c的k值為4,他的首地址為4的倍數,所以首地址為4,佔用地址4,5,6,7;再然後到d,d的k值也為4,所以他的首地址為8,佔用地址8,9,10,11。最後到e,他的k值為8,首地址為8的倍數,所以地址12,13,14,15被填充,他的首地址應為16,佔用地址16-23。顯然其大小為24。 這就是 test1在記憶體中的分佈情況。我們建立一個test1型別的變數,a、b、c、d、e分別賦值2、4、8、16、32。然後從低地址依次打印出記憶體中每個位元組對應的16進位制數為:
2 0 4 0 8 0 0 0 10 0 0 0 0 0 0 0 0 0 0 0 0 0 40 40 驗證:
顯然推斷是正確的。 在linux平臺,gcc編譯器下:
假設從0地址開始,首先a的k值為1,它的首地址可以使任意位置,所以a佔用第一個位元組,即地址0;然後b的k值為2,他的首地址必須是2的倍數,不能是1,所以地址1那個位元組被填充,b首地址為地址2,佔用地址2,3;然後到c,c的k值為4,他的首地址為4的倍數,所以首地址為4,佔用地址4,5,6,7;再然後到d,d的k值也為4,所以他的首地址為8,佔用地址8,9,10,11。最後到e,從這裡開始與microsoft的編譯器開始有所差異,他的k值為不是8,仍然是4,所以其首地址是12,佔用地址12-19。顯然其大小為20。 驗證:
我們建立一個test1型別的變數,a、b、c、d、e分別賦值2、4、8、16、32。然後從低地址依次打印出記憶體中每個位元組對應的16進位制數為:
2 0 4 0 8 0 0 0 10 0 0 0 0 0 0 0 0 0 40 40 顯然推斷也是正確的。 接下來,看一看幾類特殊的情況,為了避免麻煩,不再描述記憶體分佈,只計算結構大小。 第一種:巢狀的結構
struct test2
{
char f;
struct test1 g;
}; 在windows平臺,microsoft編譯器下: 這種情況下如果把test2的第二個成員拆開來,研究記憶體分佈,那麼可以知道,test2的成員f佔用地址0,g.a佔用地址1,以後的記憶體分佈不變,仍然滿足所有基本資料成員的首地址都為其對應k的倍數這一原則,那麼test2的大小就還是24了。但是實際上test2的大小為32,這是因為:不能因為test2的結構而改變test1的記憶體分佈情況,所以為了使test1種各個成員仍然滿足對齊的要求,f成員後面需要填充一定數量的位元組,不難發現,這個數量應為7個,才能保證test1的對齊。所以test2相對於test1來說增加了8個位元組,所以test2的大小為32。 在linux平臺,gcc編譯器下: 同樣,這種情況下如果把test2的第二個成員拆開來,研究記憶體分佈,那麼可以知道,test2的成員f佔用地址0,g.a佔用地址1,以後的記憶體分佈不變,仍然滿足所有基本資料成員的首地址都為其對應k的倍數這一原則,那麼test2的大小就還是20了。但是實際上test2的大小為24,同樣這是因為:不能因為test2的結構而改變test1的記憶體分佈情況,所以為了使test1種各個成員仍然滿足對齊的要求,f成員後面需要填充一定數量的位元組,不難發現,這個數量應為3個,才能保證test1的對齊。所以test2相對於test1來說增加了4個位元組,所以test2的大小為24。 第二種:位段對齊 struct test3
{
unsigned int a:4;
unsigned int b:4;
char c;
};
或者
struct test3
{
unsigned int a:4;
int b:4;
char c;
}; 在windows平臺,microsoft編譯器下: 相鄰的多個同類型的數(帶符號的與不帶符號的,只要基本型別相同,也為相同的數),如果他們佔用的位數不超過基本型別的大小,那麼他們可作為一個整體來看待。不同型別的數要遵循各自的對齊方式。
如:test3中,a、b可作為一個整體,他們作為一個int型資料來看待,所以test3的大小為8位元組。並且a與b的值在記憶體中從低位開始依次排列,位於4位元組區域中的前0-3位和4-7位 如果test4位以下格式
struct test4
{
unsigned int a:30;
unsigned int b:4;
char c;
};
那麼test4的大小就為12個位元組,並且a與b的值分別分佈在第一個4位元組的前30位,和第二個4位元組的前4位。 如過test5是以下形式
struct test5
{
unsigned int a:4;
unsigned char b:4;
char c;
}; 那麼由於int和char不同型別,他們分別以各自的方式對齊,所以test5的大小應為8位元組,a與b的值分別位於第一個4位元組的前4位和第5個位元組的前4位。 在linux平臺,gcc編譯器下: struct test3
{
unsigned int a:4;
unsigned int b:4;
char c;
};
gcc下,相鄰各成員,不管型別是否相同,佔的位數之和超過這些成員中第一個的大小的時候,在結構中以k值為1對齊,在結構外k值為其基本型別的值。不超過的情況下在記憶體中依次排列。
如test3,其大小為4。a,b的值在記憶體中依次排列分別為第一個四位元組中的0-3和4-7位。 如果test4位以下格式
struct test4
{
unsigned int a:20;
unsigned char b:4;
char c;
};
test4的大小為4個位元組,並且a與b的值分別分佈在第一個4位元組的0-19位,和20-23位,c存放在第4個位元組中。
如過test5是以下形式
struct test5
{
unsigned int a:10;
unsigned char b:4;
short c;
}; 那麼test5的大小應為4位元組,a,b的值為0-9位和10-13位。c存放在後兩個位元組中。如果a的大小變成了20
那麼test5的大小應為8位元組。即 struct test6
{
unsigned int a:20;
unsigned char b:4;
short c;
}; 此時,test6的a、b共佔用0,1,2共3位元組,c的k值為2,其實可以4位首位置,但是在結構外,a要以int的方式對齊。也就是說連續兩個test6物件在記憶體中存放的話,a的首位置要保證為4的倍數,那麼c後面必須多填充2位。所以test6的大小為8個位元組。 關於位段結構的部分是比較複雜的。暫時我就知道這麼多。

相關推薦

記憶體--linuxwindows平臺記憶體分配差異

一.記憶體對齊的初步講解 記憶體對齊可以用一句話來概括: “資料項只能儲存在地址是資料項大小的整數倍的記憶體位置上” 例如int型別佔用4個位元組,地址只能在0,4,8等位置上。 例1: #include <stdio.h> struct xx{  

記憶體的初步講解--linuxwindows平臺記憶體分配差異

一.記憶體對齊的初步講解 記憶體對齊可以用一句話來概括: “資料項只能儲存在地址是資料項大小的整數倍的記憶體位置上” 例如int型別佔用4個位元組,地址只能在0,4,8等位置上。 例1: #include <stdio.h> struct xx{  

結構體(記憶體共用體—C語言

結構體 C語言學到現在,相信大家已經熟知了基本型別(整型、實型、字元型)的變數和一種構造型別資料(陣列),但是隻有這些資料型別是不夠的,因此我們接下來介紹C語言中可以將不同型別的定義自己的資料型別——結構體。 結構體與陣列的比較 由於結構體和陣列有很大的類似之處,所

c++結構體記憶體原理方法

假設我們同時宣告兩個變數:  char a;  short b;  用&(取地址符號)觀察變數a,  b的地址的話,我們會發現(以16位CPU為例):  如果a的地址是0x0000,那麼b的地址將會是0x0002或者是0x0004。  那麼就出現這樣一個問題:0x0001這個地址沒有被使用,那它幹

LinuxWindows平臺上操作MemoryMappedFile(簡稱MMF)

作業系統很早就開始使用記憶體對映檔案(Memory Mapped File)來作為程序間的共享儲存區,這是一種非常高效的程序通訊手段。.NET 4.0新增加了一個System.IO. MemoryMappedFiles名稱空間,其中添加了幾個類和相應的列舉型別,從而使我們可以很方便地建立記憶體對映檔案。Mon

LinuxWindows系統C++讀取資料夾檔名

參考部落格     我的開發環境為Ubuntu+Qt,讀取資料夾下檔名時會找不到io.h,通過查詢資料瞭解到Windows和Linux下的標頭檔案是不一樣的,下面首先介紹Linux系統下檔名的獲取 一、Linux系統下檔名獲取 (1)C語言版本 //LINUX/UNIX

記憶體與 struct型資料的記憶體佈局

當在C中定義了一個結構型別時,它的大小是否等於各欄位(field)大小之和?編譯器將如何在記憶體中放置這些欄位?ANSI   C對結構體的記憶體佈局有什麼要求?而我們的程式又能否依賴這種佈局?這些問題或許對不少朋友來說還有點模糊,那麼本文就試著探究它們背後的祕密。   首先,

國密SM3算法在linuxwindows平臺結果不一致問題

www 國密 from test star ipad define linu plus 什麽是sm3,是一種類似於sha256的哈希算法,是咱們國家的哈希標準算法; 最近在使用sm3算法時,同樣的一份數據,調用同樣的sm3接口,發現得到的結果是不一樣的;

LinuxWindows平臺 動態庫.so.dll文件的生成

調用dll 動態 工程 pragma 基本 重要 變量 運行 com Linux動態庫的生成 1、 純cpp文件打包動態庫 將所有cpp文件和所需要的頭文件放在同一文件夾,然後執行下面命令 gcc -shared - fpic *.c -o xxx.so; g++

python自身bug:file.tell()在Linuxwindow平臺返回不同的值

1)問題: 2)分析: 可以看到 window下和Linux下,file.tell()返回的值居然不同。 奇怪! 3)google之,得到結論:    參考:http://stackoverf

linuxwindows gcc g++ vc編譯器位元組

首先可以肯定的說,肯定和編譯器有關,vc編譯器和gcc,g++編譯器肯定不一樣,不說明是什麼編譯器什麼系統下問你結構體長度就是在耍流氓。 (1)vc編譯器下結構體成員首地址地址必須被該結構體成員長度整除,打個比方,double a的首地址如果為0x06, 那是不行的,再填2

C++ 記憶體 Windows系統記憶體分配對

C++中的class、struct、union首地址記憶體值對齊到第一個資料成員位元組大小的整數倍,如第一個是short(2位元組)則首地址是2位元組的整數倍,class、struct記憶體大小是對齊到最大位元組的整數倍。union的大小以大的成員為準。windows的vir

C語言中的記憶體

先看一下下面兩段程式碼: 1:#include int main(){       struct st{              short a;              int b,c;              char d;       };       printf("%d",sizeof(st

長連接keepalive套接字重用reuse高並發的影響

細節 並不會 rift 兩個 千萬 也會 keepalive 是否 sdk 做采集系統有兩年了,第一年主要的設計和代碼邏輯是別人寫的。但是問題很多。 第二年真正由我接手後,修復了大量的業務邏輯。 遇到的一個核心問題就是數據丟失。最近客戶也在問我采集上報的機制,是否使用長

記憶體

  對齊:是針對單個成員變數的; 補齊:是針對擺放的所有成員變數的整體而言要對齊; //4位元組的對齊粒度 #pragma  pack(4)       // #pragma pack(n) /* n = 1,

初夏小:結構體記憶體詳解

記憶體對齊?什麼是記憶體對齊? 對於這個問題我們先來看看這樣的一個結構體(在32位系統下) typedef struct Stu1 { char C1; int num1; short S1; }Stu1; 如果我們不知道記憶體對齊或者不清楚記憶體對齊時,我們可能這樣分析

pragma pack記憶體

概述 記憶體對齊和CPU有關係,可以認為記憶體對齊的大小就是CPU一次讀取記憶體的大小,例如32CPU一次讀取4位元組,那麼記憶體的對齊方式就4位元組,64位就是8位元組。本質上是保證CPU使用盡量少的次數將某一個變數取出來。關於結構體記憶體對齊的方式,只需要把握兩點即可:

Nginx學習之路(六)NginX中的記憶體管理之---Nginx中的記憶體記憶體分頁

Nginx由於極高的效能受到大家的追捧,而Nginx的高效能與它優秀的記憶體管理方式是分不開的,今天就來聊一聊Nginx中的記憶體對齊和記憶體分頁。先說下Nginx中的記憶體對齊,Nginx中的記憶體對齊機制是它高效能的關鍵因素之一,先說點基礎的東西,什麼是記憶體對齊呢? 記

linux系統windows系統關於記憶體溢位的錯誤總結:java.lang.OutOfMemoryError: PermGen space

看了這篇文章,這個問題不用再去任何部落格百度了,也不需要再去搜索這個問題的具體任何情況了,因為這是全網唯一的總結篇! 一、解決方法: 1、windows系統下(tomcat/bin/catalina.bat):         手動設定MaxP

C可變引數的應用記憶體

       可變引數提供了一個引數可供多種選擇        記憶體對齊可以最大限度保證速度,當然是在犧牲記憶體的前提下        1.  szieof