1. 程式人生 > >位元組對齊概念以及相關深入

位元組對齊概念以及相關深入

文章最後本人做了一幅圖,一看就明白了,這個問題網上講的不少,但是都沒有把問題說透。

  一、概念
  
   對齊跟資料在記憶體中的位置有關。如果一個變數的記憶體地址正好位於它長度的整數倍,他就被稱做自然對齊。比如在32位cpu下,假設一個整型變數的地址為0x00000004,那它就是自然對齊的。
  
  二、為什麼要位元組對齊
  
   需要位元組對齊的根本原因在於CPU訪問資料的效率問題。假設上面整型變數的地址不是自然對齊,比如為0x00000002,則CPU如果取它的值的話需要訪問兩次記憶體,第一次取從0x00000002-0x00000003的一個short,第二次取從0x00000004-0x00000005的一個short然後組合得到所要的資料,如果變數在0x00000003地址上的話則要訪問三次記憶體,第一次為char,第二次為short,第三次為char,然後組合得到整型資料。而如果變數在自然對齊位置上,則只要一次就可以取出資料。一些系統對對齊要求非常嚴格,比如sparc系統,如果取未對齊的資料會發生錯誤,舉個例:
  
  char ch[8];
  char *p = &ch[1];
  int i = *(int *)p;
  
  
  執行時會報segment error,而在x86上就不會出現錯誤,只是效率下降。
  
  三、正確處理位元組對齊
  
   對於標準資料型別,它的地址只要是它的長度的整數倍就行了,而非標準資料型別按下面的原則對齊:
  
  陣列 :按照基本資料型別對齊,第一個對齊了後面的自然也就對齊了。
  聯合 :按其包含的長度最大的資料型別對齊。
  結構體: 結構體中每個資料型別都要對齊。
  比如有如下一個結構體:
  
  struct stu{
   char sex;
   int length;
   char name[10];
  };
  struct stu my_stu;
  
  
  由於在x86下,GCC預設按4位元組對齊,它會在sex後面跟name後面分別填充三個和兩個位元組使length和整個結構體對齊。於是我們sizeof(my_stu)會得到長度為20,而不是15.
  
  四、__attribute__選項
  
  我們可以按照自己設定的對齊大小來編譯程式,GNU使用__attribute__選項來設定,比如我們想讓剛才的結構按一位元組對齊,我們可以這樣定義結構體
  
  struct stu{
   char sex;
   int length;
   char name[10];
  }__attribute__ ((aligned (1)));
  
  struct stu my_stu;
  
  
  則sizeof(my_stu)可以得到大小為15。
  
  上面的定義等同於
  
  struct stu{
   char sex;
   int length;
   char name[10];
  }__attribute__ ((packed));
  struct stu my_stu;
  
  
  __attribute__((packed))得變數或者結構體成員使用最小的對齊方式,即對變數是一位元組對齊,對域(field)是位對齊.
  
  五、什麼時候需要設定對齊
  
   在設計不同CPU下的通訊協議時,或者編寫硬體驅動程式時暫存器的結構這兩個地方都需要按一位元組對齊。即使看起來本來就自然對齊的也要使其對齊,以免不同的編譯器生成的程式碼不一樣.

一、快速理解

1. 什麼是位元組對齊?

在C語言中,結構是一種複合資料型別,其構成元素既可以是基本資料型別(如int、long、float等)的變數,也可以是一些複合資料型別(如陣列、結構、聯合等)的資料單元。在結構中,編譯器為結構的每個成員按其自然邊界(alignment)分配空間。各個成員按照它們被宣告的順序在記憶體中順序儲存,第一個成員的地址和整個結構的地址相同。

為了使CPU能夠對變數進行快速的訪問,變數的起始地址應該具有某些特性,即所謂的”對齊”. 比如4位元組的int型,其起始地址應該位於4位元組的邊界上,即起始地址能夠被4整除.

2. 位元組對齊有什麼作用?

位元組對齊的作用不僅是便於cpu快速訪問,同時合理的利用位元組對齊可以有效地節省儲存空間。

對於32位機來說,4位元組對齊能夠使cpu訪問速度提高,比如說一個long型別的變數,如果跨越了4位元組邊界儲存,那麼cpu要讀取兩次,這樣效率就低了。但是在32位機中使用1位元組或者2位元組對齊,反而會使變數訪問速度降低。所以這要考慮處理器型別,另外還得考慮編譯器的型別。在vc中預設是4位元組對齊的,GNU gcc 也是預設4位元組對齊。

3. 更改C編譯器的預設位元組對齊方式

在預設情況下,C編譯器為每一個變數或是資料單元按其自然對界條件分配空間。一般地,可以通過下面的方法來改變預設的對界條件:
· 使用偽指令#pragma pack (n),C編譯器將按照n個位元組對齊。
· 使用偽指令#pragma pack (),取消自定義位元組對齊方式。

另外,還有如下的一種方式:
· __attribute((aligned (n))),讓所作用的結構成員對齊在n位元組自然邊界上。如果結構中有成員的長度大於n,則按照最大成員的長度來對齊。
· __attribute__ ((packed)),取消結構在編譯過程中的優化對齊,按照實際佔用位元組數進行對齊。

4. 舉例說明

例1

struct test
{
char x1;
short x2;
float x3;
char x4;
};

由於編譯器預設情況下會對這個struct作自然邊界(有人說“自然對界”我覺得邊界更順口)對齊,結構的第一個成員x1,其偏移地址為0,佔據了第1個位元組。第二個成員x2為short型別,其起始地址必須2位元組對界,因此,編譯器在x2和x1之間填充了一個空位元組。結構的第三個成員x3和第四個成員x4恰好落在其自然邊界地址上,在它們前面不需要額外的填充位元組。在test結構中,成員x3要求4位元組對界,是該結構所有成員中要求的最大邊界單元,因而test結構的自然對界條件為4位元組,編譯器在成員x4後面填充了3個空位元組。整個結構所佔據空間為12位元組。

例2

#pragma pack(1) //讓編譯器對這個結構作1位元組對齊
struct test
{
char x1;
short x2;
float x3;
char x4;
};
#pragma pack() //取消1位元組對齊,恢復為預設4位元組對齊

這時候sizeof(struct test)的值為8。

例3

#define GNUC_PACKED __attribute__((packed))
struct PACKED test
{
char x1;
short x2;
float x3;
char x4;
}GNUC_PACKED;

這時候sizeof(struct test)的值仍為8。

二、深入理解

什麼是位元組對齊,為什麼要對齊?
TragicJun 發表於 2006-9-18 9:41:00 現代計算機中記憶體空間都是按照byte劃分的,從理論上講似乎對任何型別的變數的訪問可以從任何地址開始,但實際情況是在訪問特定型別變數的時候經常在特定的記憶體地址訪問,這就需要各種型別資料按照一定的規則在空間上排列,而不是順序的一個接一個的排放,這就是對齊。
      對齊的作用和原因:各個硬體平臺對儲存空間的處理上有很大的不同。一些平臺對某些特定型別的資料只能從某些特定地址開始存取。比如有些架構的CPU在訪問一個沒有進行對齊的變數的時候會發生錯誤,那麼在這種架構下程式設計必須保證位元組對齊.其他平臺可能沒有這種情況,但是最常見的是如果不按照適合其平臺要求對資料存放進行對齊,會在存取效率上帶來損失。比如有些平臺每次讀都是從偶地址開始,如果一個int型(假設為32位系統)如果存放在偶地址開始的地方,那麼一個讀週期就可以讀出這32bit,而如果存放在奇地址開始的地方,就需要2個讀週期,並對兩次讀出的結果的高低位元組進行拼湊才能得到該32bit資料。顯然在讀取效率上下降很多。
二.位元組對齊對程式的影響:

        先讓我們看幾個例子吧(32bit,x86環境,gcc編譯器):
設結構體如下定義:
struct A
{
        int a;
        char b;
        short c;
};
struct B
{
        char b;
        int a;
        short c;
};
現在已知32位機器上各種資料型別的長度如下:
char:1(有符號無符號同)   
short:2(有符號無符號同)   
int:4(有符號無符號同)   
long:4(有符號無符號同)   
float:4        double:8
那麼上面兩個結構大小如何呢?
結果是:
sizeof(strcut A)值為8
sizeof(struct B)的值卻是12

結構體A中包含了4位元組長度的int一個,1位元組長度的char一個和2位元組長度的short型資料一個,B也一樣;按理說A,B大小應該都是7位元組。
之所以出現上面的結果是因為編譯器要對資料成員在空間上進行對齊。上面是按照編譯器的預設設定進行對齊的結果,那麼我們是不是可以改變編譯器的這種預設對齊設定呢,當然可以.例如:
#pragma pack (2) /*指定按2位元組對齊*/
struct C
{
        char b;
        int a;
        short c;
};
#pragma pack () /*取消指定對齊,恢復預設對齊*/
sizeof(struct C)值是8。
修改對齊值為1:
#pragma pack (1) /*指定按1位元組對齊*/
struct D
{
        char b;
        int a;
        short c;
};
#pragma pack () /*取消指定對齊,恢復預設對齊*/
sizeof(struct D)值為7。
後面我們再講解#pragma pack()的作用.

三.編譯器是按照什麼樣的原則進行對齊的?

        先讓我們看四個重要的基本概念:


1.資料型別自身的對齊值:
      對於char型資料,其自身對齊值為1,對於short型為2,對於int,float,double型別,其自身對齊值為4,單位位元組。
2.結構體或者類的自身對齊值:其成員中自身對齊值最大的那個值。
3.指定對齊值:#pragma pack (value)時的指定對齊值value。
4.資料成員、結構體和類的有效對齊值:自身對齊值和指定對齊值中小的那個值。
有了這些值,我們就可以很方便的來討論具體資料結構的成員和其自身的對齊方式。有效對齊值N是最終用來決定資料存放地址方式的值,最重要。有效對齊N,就是表示“對齊在N上”,也就是說該資料的"存放起始地址%N=0".而資料結構中的資料變數都是按定義的先後順序來排放的。第一個資料變數的起始地址就是資料結構的起始地址。結構體的成員變數要對齊排放,結構體本身也要根據自身的有效對齊值圓整(就是結構體成員變數佔用總長度需要是對結構體有效對齊值的整數倍,結合下面例子理解)。這樣就不能理解上面的幾個例子的值了。
例子分析:
分析例子B;
struct B
{
        char b;
        int a;
        short c;
};
假設B從地址空間0x0000開始排放。該例子中沒有定義指定對齊值,在筆者環境下,該值預設為4。第一個成員變數b的自身對齊值是1,比指定或者預設指定對齊值4小,所以其有效對齊值為1,所以其存放地址0x0000符合0x0000%1=0.第二個成員變數a,其自身對齊值為4,所以有效對齊值也為4,所以只能存放在起始地址為0x0004到0x0007這四個連續的位元組空間中,複核0x0004%4=0,且緊靠第一個變數。第三個變數c,自身對齊值為2,所以有效對齊值也是2,可以存放在0x0008到0x0009這兩個位元組空間中,符合0x0008%2=0。所以從0x0000到0x0009存放的都是B內容。再看資料結構B的自身對齊值為其變數中最大對齊值(這裡是b)所以就是4,所以結構體的有效對齊值也是4。根據結構體圓整的要求,0x0009到0x0000=10位元組,(10+2)%4=0。所以0x0000A到0x000B也為結構體B所佔用。故B從0x0000到0x000B共有12個位元組,sizeof(struct B)=12;其實如果就這一個就來說它已將滿足位元組對齊了,因為它的起始地址是0,因此肯定是對齊的,之所以在後面補充2個位元組,是因為編譯器為了實現結構陣列的存取效率,試想如果我們定義了一個結構B的陣列,那麼第一個結構起始地址是0沒有問題,但是第二個結構呢?按照陣列的定義,陣列中所有元素都是緊挨著的,如果我們不把結構的大小補充為4的整數倍,那麼下一個結構的起始地址將是0x0000A,這顯然不能滿足結構的地址對齊了,因此我們要把結構補充成有效對齊大小的整數倍.其實諸如:對於char型資料,其自身對齊值為1,對於short型為2,對於int,float,double型別,其自身對齊值為4,這些已有型別的自身對齊值也是基於陣列考慮的,只是因為這些型別的長度已知了,所以他們的自身對齊值也就已知了.
同理,分析上面例子C:
#pragma pack (2) /*指定按2位元組對齊*/
struct C
{
        char b;
        int a;
        short c;
};
#pragma pack () /*取消指定對齊,恢復預設對齊*/
第一個變數b的自身對齊值為1,指定對齊值為2,所以,其有效對齊值為1,假設C從0x0000開始,那麼b存放在0x0000,符合0x0000%1=0;第二個變數,自身對齊值為4,指定對齊值為2,所以有效對齊值為2,所以順序存放在0x0002、0x0003、0x0004、0x0005四個連續位元組中,符合0x0002%2=0。第三個變數c的自身對齊值為2,所以有效對齊值為2,順序存放
在0x0006、0x0007中,符合0x0006%2=0。所以從0x0000到0x00007共八位元組存放的是C的變數。又C的自身對齊值為4,所以C的有效對齊值為2。又8%2=0,C只佔用0x0000到0x0007的八個位元組。所以sizeof(struct C)=8.

四.如何修改編譯器的預設對齊值?

1.在VC IDE中,可以這樣修改:[Project]|[Settings],c/c++選項卡Category的Code Generation選項的Struct Member Alignment中修改,預設是8位元組。
2.在編碼時,可以這樣動態修改:#pragma pack .注意:是pragma而不是progma.

五.針對位元組對齊,我們在程式設計中如何考慮?
        如果在程式設計的時候要考慮節約空間的話,那麼我們只需要假定結構的首地址是0,然後各個變數按照上面的原則進行排列即可,基本的原則就是把結構中的變數按照型別大小從小到大宣告,儘量減少中間的填補空間.還有一種就是為了以空間換取時間的效率,我們顯示的進行填補空間進行對齊,比如:有一種使用空間換時間做法是顯式的插入reserved成員:
             struct A{
               char a;
               char reserved[3];//使用空間換時間
               int b;
}

reserved成員對我們的程式沒有什麼意義,它只是起到填補空間以達到位元組對齊的目的,當然即使不加這個成員通常編譯器也會給我們自動填補對齊,我們自己加上它只是起到顯式的提醒作用.

六.位元組對齊可能帶來的隱患:

        程式碼中關於對齊的隱患,很多是隱式的。比如在強制型別轉換的時候。例如:
unsigned int i = 0x12345678;
unsigned char *p=NULL;
unsigned short *p1=NULL;

p=&i;
*p=0x00;
p1=(unsigned short *)(p+1);
*p1=0x0000;
最後兩句程式碼,從奇數邊界去訪問unsignedshort型變數,顯然不符合對齊的規定。
在x86上,類似的操作只會影響效率,但是在MIPS或者sparc上,可能就是一個error,因為它們要求必須位元組對齊.

七.如何查詢與位元組對齊方面的問題:

如果出現對齊或者賦值問題首先檢視
1. 編譯器的big little端設定
2. 看這種體系本身是否支援非對齊訪問
3. 如果支援看設定了對齊與否,如果沒有則看訪問時需要加某些特殊的修飾來標誌其特殊訪問操作

舉例:

[cpp] view plaincopyprint?
  1. #include <stdio.h>
  2. main()  
  3. {  
  4. struct A {  
  5. int a;  
  6. char b;  
  7. short c;  
  8. };  
  9. struct B {  
  10. char b;  
  11. int a;  
  12. short c;  
  13. };  
  14. #pragma pack (2) /*指定按2位元組對齊*/
  15. struct C {  
  16. char b;  
  17. int a;  
  18. short c;  
  19. };  
  20. #pragma pack () /*取消指定對齊,恢復預設對齊*/
  21. #pragma pack (1) /*指定按1位元組對齊*/
  22. struct D {  
  23. char b;  
  24. int a;  
  25. short c;  
  26. };  
  27. #pragma pack ()/*取消指定對齊,恢復預設對齊*/
  28. int s1=sizeof(struct A);  
  29. int s2=sizeof(struct B);  
  30. int s3=sizeof(struct C);  
  31. int s4=sizeof(struct D);  
  32. printf("%d\n",s1);  
  33. printf("%d\n",s2);  
  34. printf("%d\n",s3);  
  35. printf("%d\n",s4);  
  36. }  
#include <stdio.h>
main()
{
struct A {
    int a;
    char b;
    short c;
};

struct B {
    char b;
    int a;
    short c;
};

#pragma pack (2) /*指定按2位元組對齊*/
struct C {
    char b;
    int a;
    short c;
};
#pragma pack () /*取消指定對齊,恢復預設對齊*/



#pragma pack (1) /*指定按1位元組對齊*/
struct D {
    char b;
    int a;
    short c;
};
#pragma pack ()/*取消指定對齊,恢復預設對齊*/

int s1=sizeof(struct A);
int s2=sizeof(struct B);
int s3=sizeof(struct C);
int s4=sizeof(struct D);
printf("%d\n",s1);
printf("%d\n",s2);
printf("%d\n",s3);
printf("%d\n",s4);
}


輸出:

8

12

8

7

修改程式碼:

struct A {
   // int a;
    char b;
    short c;
};

struct B {
    char b;
   // int a;
    short c;
};

輸出:

4

4

輸出都是4,說明之前的int影響對齊!

看圖就明白了