1. 程式人生 > >詳解大端模式和小端模式

詳解大端模式和小端模式

一、大端模式和小端模式的起源

     關於大端小端名詞的由來,有一個有趣的故事,來自於Jonathan Swift的《格利佛遊記》:Lilliput和Blefuscu這兩個強國在過去的36個月中一直在苦戰。戰爭的原因:大家都知道,吃雞蛋的時候,原始的方法是打破雞蛋較大的一端,可以那時的皇帝的祖父由於小時侯吃雞蛋,按這種方法把手指弄破了,因此他的父親,就下令,命令所有的子民吃雞蛋的時候,必須先打破雞蛋較小的一端,違令者重罰。然後老百姓對此法令極為反感,期間發生了多次叛亂,其中一個皇帝因此送命,另一個丟了王位,產生叛亂的原因就是另一個國家Blefuscu的國王大臣煽動起來的,叛亂平息後,就逃到這個帝國避難。據估計,先後幾次有11000餘人情願死也不肯去打破雞蛋較小的端吃雞蛋。這個其實諷刺當時英國和法國之間持續的衝突。Danny Cohen一位網路協議的開創者,第一次使用這兩個術語指代位元組順序,後來就被大家廣泛接受。

二、什麼是大端和小端

舉一個例子,比如數字0x12 24 56 78在記憶體中的表示形式。

1) 大端模式:Big-Endian就是高位位元組排放在記憶體的低地址端,地位位元組排放在記憶體的高地址端。

   (其實大端模式才是我們直觀上認為的模式,和字串儲存的模式差類似)

  低地址 --------------->高地址

  0x12 | 0x34 | 0x56 | 0x78

2) 小端模式:Little-Endian就是低位位元組排放在記憶體的低地址端,高位位元組排放在記憶體的高地址端。

   低地址---------------->高地址

  0x78 | 0x56 | 0x34 | 0x12

3) 下面是兩個具體例子

16bit寬的數0x1234在Little-endian模式(以及Big-endian模式)CPU記憶體中的存放方式(假設從地址0x4000開始存放)為:

記憶體地址 小端模式存放內容 大端模式存放內容
0x4000 0x34 0x12
0x4001 0x12 0x34

32bit寬的數0x12345678在Little-endian模式以及Big-endian模式)CPU記憶體中的存放方式(假設從地址0x4000開始存放)為:

記憶體地址 小端模式存放內容 大端模式存放內容
0x4000 0x78 0x12
0x4001 0x56 0x34
0x4002 0x34 0x56
0x4003 0x12 0x78

4) 大端小端沒有誰優誰劣,各自優勢便是對方劣勢:

  小端模式:強制轉換資料不需要調整位元組內容,1、2、4位元組的儲存方式一樣。

  大端模式:符號位的判定固定為第一個位元組,容易判斷正負。

三、陣列在大端小端情況下的儲存:

以unsigned int value = 0x12345678為例,分別看看在兩種位元組序下其儲存情況,我們可以用unsigned char buf[4]來表示value:   Big-Endian: 低地址存放高位,如下: 高地址         ---------------         buf[3] (0x78) -- 低位         buf[2] (0x56)         buf[1] (0x34)         buf[0] (0x12) -- 高位         ---------------         低地址 Little-Endian: 低地址存放低位,如下: 高地址         ---------------         buf[3] (0x12) -- 高位         buf[2] (0x34)         buf[1] (0x56)         buf[0] (0x78) -- 低位         -------------- 低地址

四、為什麼會有大小端模式之分呢?

    這是因為在計算機系統中,我們是以位元組為單位的,每個地址單元都對應著一個位元組,一個位元組為8bit。但是在C語言中除了8bit的char之外,還有16bit的short型,32bit的long型(要看具體的編譯器),另外,對於位數大於8位的處理器,例如16位或者32位的處理器,由於暫存器寬度大於一個位元組,那麼必然存在著一個如果將多個位元組安排的問題。因此就導致了大端儲存模式和小端儲存模式。例如一個16bit的short型x,在記憶體中的地址為0x0010,x的值為0x1122,那麼0x11為高位元組,0x22為低位元組。對於大端模式,就將0x11放在低地址中,即0x0010中,0x22放在高地址中,即0x0011中。小端模式,剛好相反。我們常用的X86結構是小端模式,而KEIL C51則為大端模式。很多的ARM,DSP都為小端模式。有些ARM處理器還可以由硬體來選擇是大端模式還是小端模式。

五、如何判斷機器的位元組序

BOOL IsBigEndian()  
{  
    int a = 0x1234;  
    char b =  *(char *)&a;  //通過將int強制型別轉換成char單位元組,通過判斷起始儲存位置。即等於 取b等於a的低地址部分  
    if( b == 0x12)  
    {  
        return TRUE;  
    }  
    return FALSE;  
}

聯合體union的存放順序是所有成員都從低地址開始存放,利用該特性可以輕鬆地獲得了CPU對記憶體採用Little-endian還是Big-endian模式讀寫:

BOOL IsBigEndian()  
{  
    union NUM  
    {  
        int a;  
        char b;  
    }num;  
    num.a = 0x1234;  
    if( num.b == 0x12 )  
    {  
        return TRUE;  
    }  
    return FALSE;  
}

六、常見的位元組序

一般作業系統都是小端,而通訊協議是大端的。

  6.1 常見CPU的位元組序

    Big Endian: PowerPC、IBM、Sun

    Little Endian: x86、DEC

    ARM既可以工作在大端模式,也可以工作在小端模式。

  6.2 常見檔案的位元組序

     Adobe PS - Big Endian

     BMP  - Little Endian

     DXF(AutoCAD) - Variable

     GIF - Little Endian

     JPEG - Big Endian

     MacPaint - Big Endian

     RTF - Little Endian

 七、如何進行轉換

對於字資料(16位):(程式中的“\”表示當前行和下一行是同一行)

#define BigtoLittle16(A)   (( ((uint16)(A) & 0xff00) >> 8)    | \  
                                       (( (uint16)(A) & 0x00ff) << 8))  

對於雙字資料(32位):

#define BigtoLittle32(A)   ((( (uint32)(A) & 0xff000000) >> 24) | \  
                                       (( (uint32)(A) & 0x00ff0000) >> 8)   | \  
                                       (( (uint32)(A) & 0x0000ff00) << 8)   | \  
                                       (( (uint32)(A) & 0x000000ff) << 24))  

八、從軟體的角度理解端模式

     從軟體的角度上,不同端模式的處理器進行資料傳遞時必須要考慮端模式的不同。如進行網路資料傳遞時,必須要考慮端模式的轉換。在Socket介面程式設計中,以下幾個函式用於大小端位元組序的轉換。

#define ntohs(n)   //16位資料型別網路位元組順序到主機位元組順序的轉換

#define htons(n)    //16位資料型別主機位元組順序到網路位元組順序的轉換

#define ntohl(n)     //32位資料型別網路位元組順序到主機位元組順序的轉換

#define htonl(n)     //32位資料型別主機位元組順序到網路位元組順序的轉換

其中網際網路使用的網路位元組順序採用大端模式進行編址,而主機位元組順序根據處理器的不同而不同,如PowerPC處理器使用大端模式,而Pentuim處理器使用小端模式。

    大端模式處理器的位元組序到網路位元組序不需要轉換,此時ntohs(n)=n, ntohl=n;而小端模式處理器的位元組序到網路位元組必須要進行轉換,此時ntohs(n) = __swab16(n), ntohl = __swab32(n)。 __swab16與__swab32函式定義如下所示。

#define __swab16(x)
{
    __u16 __x = (x);
    ((__u16) {
            (((__u16)(__x) & (__u16)0x00ffU) << 8) |
            (((__u16)(__x) & (__u16)0xff00U) >> 8) ));
}

#define __swab32(x)
{
    __u32 __x = (x);
    ((__u32) {
                (((__u32)(__x) & (__u32)0x000000ffUL) << 24) |
                (((__u32)(__x) & (__u32)0x0000ff00UL) << 8) |
                (((__u32)(__x) & (__u32)0x00ff0000UL) >> 8) |
                (((__u32)(__x) & (__u32)0xff000000UL) >> 24) ));
}

    PowerPC處理器提供了lwbrx, lhbrx, stwbrx, sthbrx四條指令用於處理位元組序的轉換以優化__swab16和__swap32這類函式。此外PowerPC處理器中的rlwimi指令也可以用來實現__swab16和__swap32這類函式。

    在對普通檔案進行處理也需要考慮端模式問題。在大端模式的處理器下對檔案的32,16位讀寫操作所得到的結果與小端模式的處理器不同。單純從軟體的角度理解上遠遠不能真正理解大小端模式的區別。事實上,真正的理解大小端模式的區別,必須要從系統的角度,從指令集,暫存器和資料匯流排上深入理解,大小端模式的區別。

九、從系統的角度理解端模式

先補充兩個關鍵詞,MSB和LSB:     MSB:MoST Significant Bit ------- 最高有效位         LSB:Least Significant Bit ------- 最低有效位

      處理器在硬體上由於端模式問題在設計中有所不同。從系統的角度上看,端模式問題對軟體和硬體的設計帶來了不同的影響,當一個處理器系統中大小端模式同時存在時,必須要對這些不同端模式的訪問進行特殊的處理。

      PowerPC處理器主導網路市場,可以說絕大多數的通訊裝置都使用PowerPC處理器進行協議處理和其他控制資訊的處理,這也可能也是在網路上的絕大多數協議都採用大端編址方式的原因。因此在有關網路協議的軟體設計中,使用小端方式的處理器需要在軟體中處理端模式的轉變。而Pentium主導個人機市場,因此多數用於個人機的外設都採用小端模式,包括一些在網路裝置中使用的PCI匯流排,Flash等裝置,這也要求在硬體設計中注意端模式的轉換。

      本文提到的小端外設是指這種外設中的暫存器以小端方式進行儲存,如PCI裝置的配置空間,NOR FLASH中的暫存器等等。對於有些裝置,如DDR顆粒,沒有以小端方式儲存的暫存器,因此從邏輯上講並不需要對端模式進行轉換。在設計中,只需要將雙方資料匯流排進行一一對應的互連,而不需要進行資料匯流排的轉換。       如果從實際應用的角度說,採用小端模式的處理器需要在軟體中處理端模式的轉換,因為採用小端模式的處理器在與小端外設互連時,不需要任何轉換。而採用大端模式的處理器需要在硬體設計時處理端模式的轉換。大端模式處理器需要在暫存器,指令集,資料匯流排及資料匯流排與小端外設的連線等等多個方面進行處理,以解決與小端外設連線時的端模式轉換問題。在暫存器和資料匯流排的位序定義上,基於大小端模式的處理器有所不同。

      一個採用大端模式的32位處理器,如基於E500核心的MPC8541,將其暫存器的最高位msb(most significant bit)定義為0,最低位lsb(lease significant bit)定義為31;而小端模式的32位處理器,將其暫存器的最高位定義為31,低位地址定義為0。與此向對應,採用大端模式的32位處理器資料匯流排的最高位為0,最高位為31;採用小端模式的32位處理器的資料匯流排的最高位為31,最低位為0。                 大小端模式處理器外部匯流排的位序也遵循著同樣的規律,根據所採用的資料匯流排是32位,16位和8位,大小端處理器外部匯流排的位序有所不同。大端模式下32位資料匯流排的msb是第0位,MSB是資料匯流排的第0~7的欄位;而lsb是第31位,LSB是第24~31欄位。小端模式下32位匯流排的msb是第31位,MSB是資料匯流排的第31~24位,lsb是第0位,LSB是7~0欄位。大端模式下16位資料匯流排的msb是第0位,MSB是資料匯流排的第0~7的欄位;而lsb是第15位,LSB是第8~15欄位。小端模式下16位匯流排的msb是第15位,MSB是資料匯流排的第15~7位,lsb是第0位,LSB是7~0欄位。大端模式下8位資料匯流排的msb是第0位,MSB是資料匯流排的第0~7的欄位;而lsb是第7位,LSB是第0~7欄位。小端模式下8位匯流排的msb是第7位,MSB是資料匯流排的第7~0位,lsb是第0位,LSB是7~0欄位。        由上分析,我們可以得知對於8位,16位和32位寬度的資料匯流排,採用大端模式時資料匯流排的msb和MSB的位置都不會發生變化,而採用小端模式時資料匯流排的lsb和LSB位置也不會發生變化。        為此,大端模式的處理器對8位,16位和32位的記憶體訪問(包括外設的訪問)一般都包含第0~7欄位,即MSB。小端模式的處理器對8位,16位和32位的記憶體訪問都包含第7~0位,小端方式的第7~0欄位,即LSB。由於大小端處理器的資料匯流排其8位,16位和32位寬度的資料匯流排的定義不同,因此需要分別進行討論在系統級別上如何處理端模式轉換。在一個大端處理器系統中,需要處理大端處理器對小端外設的訪問。

  十、實際中的例子

  雖然很多時候,位元組序的工作已由編譯器完成了,但是在一些小的細節上,仍然需要去仔細揣摩考慮,尤其是在乙太網通訊、MODBUS通訊、軟體移植性方面。這裡,舉一個MODBUS通訊的例子。在MODBUS中,資料需要組織成資料報文,該報文中的資料都是大端模式,即低地址存高位,高地址存低位。假設有一16位緩衝區m_RegMW[256],因為是在x86平臺上,所以記憶體中的資料為小端模式:m_RegMW[0].low、m_RegMW[0].high、m_RegMW[1].low、m_RegMW[1].high…… 為了方便討論,假設m_RegMW[0] = 0x3456; 在記憶體中為0x56、0x34。        現要將該資料發出,如果不進行資料轉換直接傳送,此時傳送的資料為0x56,0x34。而Modbus是大端的,會將該資料解釋為0x5634而非原資料0x3456,此時就會發生災難性的錯誤。所以,在此之前,需要將小端資料轉換成大端的,即進行高位元組和低位元組的交換,此時可以呼叫步驟五中的函式BigtoLittle16(m_RegMW[0]),之後再進行傳送才可以得到正確的資料。