1. 程式人生 > >信息摘要算法之一:MD5算法解析及實現

信息摘要算法之一:MD5算法解析及實現

這一 代碼 mage baidu hello bsp 過程 多個 pre

MD5即Message-Digest Algorithm 5(信息-摘要算法5),用於確保信息傳輸完整一致。是計算機廣泛使用的雜湊算法之一(又譯摘要算法、哈希算法),主流編程語言普遍已有MD5實現。

1MD5算法簡介

MD5在90年代初由MIT的計算機科學實驗室和RSA Data Security Inc發明,經MD2、MD3和MD4發展而來。

MD5將任意長度的“字節串”變換成一個128bit的大整數,並且它是一個不可逆的字符串變換算法,換句話說就是,即使你看到源程序和算法描述,也無法將一個MD5的值變換回原始的字符串,從數學原理上說,是因為原始的字符串有無窮多個。

MD5的典型應用是對一段信息串 (Message)產生所謂的指紋 (fingerprint),以防止被“篡改”。比方說,你將一段話寫在一個文本文件中,並對這個文本文件產生一個MD5的值並記錄在案,然後你可以傳播這個文件給別人,別人如果修改了文件中的任何內容,你對這個文件重新計算MD5時就會發現。如果再有一個第三方的認證機構,用MD5還可以防止文件作者的“抵賴”,這就是所謂的數字簽名應用。

MD5還廣泛用於加密和解密技術上,在很多操作系統中,用戶的密碼是以MD5值(或類似的其它算法)的方式保存的,用戶Login的時候,系統是把用戶輸入的密碼計算成MD5值,然後再去和系統中保存的MD5值進行比較,而系統並不“知道”用戶的密碼是什麽。

2MD5算法分析

前面我們提到了MD5算法的主要應用領域,那麽究竟MD5算法具體是什麽樣的呢?接下來我們就對其原理進行一些說明。

1)待加密信息處理

顯而易見,我們要對一個字符串進行MD5計算,那麽肯定要從這個字符串的處理入手。我們知道一個字符的長度是一個字節,即8位(bit)的長度。MD5對待加密的字符串的處理是將一個字符串分割成每512位為一個分組,形如N*512+R,這裏的R是余下的位數。這個R分為幾種情況:

R=0時,需要補位,單補上一個512位的分組,因為還要加入最後64個位的字符串長度。

R<448時,則需要補位到448位,後面添加64位的字符串長度。

R>448時,除了補滿這一分組外,還要再補上一個512位的分組後面添加64位的字符串長度。

補位的形式是先填充一個1,再接無數個0,直到補足512位。

2MD5的鏈接變量及基本操作

MD5有四個32位的被稱作鏈接變量的整數參數,這是個參數我們定義為A、B、C、D其取值為:A=0x01234567,B=0x89abcdef,C=0xfedcba98,D=0x76543210。但考慮到內存數據存儲大小端的問題我們將其賦值為:A=0x67452301,B=0xefcdab89,C=0x98badcfe,D=0x10325476。

同時MD5算法規定了四個非線性操作函數(&是與,|是或,~是非,^是異或):

F(X,Y,Z) =(X&Y)|((~X)&Z)

G(X,Y,Z) =(X&Z)|(Y&(~Z))

H(X,Y,Z) =X^Y^Z

I(X,Y,Z)=Y^(X|(~Z))

這些函數是這樣設計的:如果X、Y和Z的對應位是獨立和均勻的,那麽結果的每一位也應是獨立和均勻的。

利用上面的四種操作,生成四個重要的計算函數。首先我們聲明四個中間變量a,b,c,d,賦值:a = A, b = B, c = C, d = D。然後定義這四個計算函數為:

FF(a, b, c, d, M[j], s, ti)表示 a = b + ((a + F(b, c, d) + Mj + ti) <<< s)

GG(a, b, c, d, M[j], s, ti)表示 a = b + ((a + G(b, c, d) + Mj + ti) <<< s)

HH(a, b, c, d, M[j], s, ti)表示 a = b + ((a + H(b, c, d) + Mj + ti) <<< s)

II(a, b, c, d, M[j], s, ti)表示 a = b + ((a + I(b, c, d) + Mj + ti) <<< s)

其中M[j]表示消息的第j個子分組(從0到15),<<表示循環左移s,常數ti是4294967296*abs(sin(i))的整數部分,i取值從1到64,單位是弧度。

3)循環計算

定義好上述的四個計算函數後,就可以實現MD5的真正循環計算了。這個循環的循環次數為512位分組的個數。每次循環執行64不計算,上述4個函數每個16次,具體如下:

//第一輪循環計算

FF(a,b,c,d,M[0],7,0xd76aa478);

FF(d,a,b,c,M[1],12,0xe8c7b756);

FF(c,d,a,b,M[2],17,0x242070db);

FF(b,c,d,a,M[3],22,0xc1bdceee);

FF(a,b,c,d,M[4],7,0xf57c0faf);

FF(d,a,b,c,M[5],12,0x4787c62a);

FF(c,d,a,b,M[6],17,0xa8304613);

FF(b,c,d,a,M[7],22,0xfd469501) ;

FF(a,b,c,d,M[8],7,0x698098d8) ;

FF(d,a,b,c,M[9],12,0x8b44f7af) ;

FF(c,d,a,b,M[10],17,0xffff5bb1) ;

FF(b,c,d,a,M[11],22,0x895cd7be) ;

FF(a,b,c,d,M[12],7,0x6b901122) ;

FF(d,a,b,c,M[13],12,0xfd987193) ;

FF(c,d,a,b,M[14],17,0xa679438e) ;

FF(b,c,d,a,M[15],22,0x49b40821);

//第二輪循環計算

GG(a,b,c,d,M[1],5,0xf61e2562);

GG(d,a,b,c,M[6],9,0xc040b340);

GG(c,d,a,b,M[11],14,0x265e5a51);

GG(b,c,d,a,M[0],20,0xe9b6c7aa) ;

GG(a,b,c,d,M[5],5,0xd62f105d) ;

GG(d,a,b,c,M[10],9,0x02441453) ;

GG(c,d,a,b,M[15],14,0xd8a1e681);

GG(b,c,d,a,M[4],20,0xe7d3fbc8) ;

GG(a,b,c,d,M[9],5,0x21e1cde6) ;

GG(d,a,b,c,M[14],9,0xc33707d6) ;

GG(c,d,a,b,M[3],14,0xf4d50d87) ;

GG(b,c,d,a,M[8],20,0x455a14ed);

GG(a,b,c,d,M[13],5,0xa9e3e905);

GG(d,a,b,c,M[2],9,0xfcefa3f8) ;

GG(c,d,a,b,M[7],14,0x676f02d9) ;

GG(b,c,d,a,M[12],20,0x8d2a4c8a);

//第三輪循環計算

HH(a,b,c,d,M[5],4,0xfffa3942);

HH(d,a,b,c,M[8],11,0x8771f681);

HH(c,d,a,b,M[11],16,0x6d9d6122);

HH(b,c,d,a,M[14],23,0xfde5380c) ;

HH(a,b,c,d,M[1],4,0xa4beea44) ;

HH(d,a,b,c,M[4],11,0x4bdecfa9) ;

HH(c,d,a,b,M[7],16,0xf6bb4b60) ;

HH(b,c,d,a,M[10],23,0xbebfbc70);

HH(a,b,c,d,M[13],4,0x289b7ec6);

HH(d,a,b,c,M[0],11,0xeaa127fa);

HH(c,d,a,b,M[3],16,0xd4ef3085);

HH(b,c,d,a,M[6],23,0x04881d05);

HH(a,b,c,d,M[9],4,0xd9d4d039);

HH(d,a,b,c,M[12],11,0xe6db99e5);

HH(c,d,a,b,M[15],16,0x1fa27cf8) ;

HH(b,c,d,a,M[2],23,0xc4ac5665);

//第四輪循環計算

II(a,b,c,d,M[0],6,0xf4292244) ;

II(d,a,b,c,M[7],10,0x432aff97) ;

II(c,d,a,b,M[14],15,0xab9423a7);

II(b,c,d,a,M[5],21,0xfc93a039) ;

II(a,b,c,d,M[12],6,0x655b59c3) ;

II(d,a,b,c,M[3],10,0x8f0ccc92) ;

II(c,d,a,b,M[10],15,0xffeff47d);

II(b,c,d,a,M[1],21,0x85845dd1) ;

II(a,b,c,d,M[8],6,0x6fa87e4f) ;

II(d,a,b,c,M[15],10,0xfe2ce6e0);

II(c,d,a,b,M[6],15,0xa3014314) ;

II(b,c,d,a,M[13],21,0x4e0811a1);

II(a,b,c,d,M[4],6,0xf7537e82) ;

II(d,a,b,c,M[11],10,0xbd3af235);

II(c,d,a,b,M[2],15,0x2ad7d2bb);

II(b,c,d,a,M[9],21,0xeb86d391);

4)結果輸出

處理完所有的512位的分組後,得到一組新的A,B,C,D的值,將這些值按ABCD的順序級聯,就得到了想要的MD5散列值。當然,輸出依然要考慮內存存儲的大小端問題。

3MD5算法實現

根據前面分算法分析,接下來我們來具體實現這一算法,我們暫時不考慮字符串的分組預處理,假設只有1組,就是說長度不會超過448位。多組的炒作也是一樣的,只需要增加循環計算的次數,所以我們實際從上述分析的第二步開始。

1)初始化操作

前面我們已經提到過了,在開始MD5需要定義算法規定的數組、操作函數以及初始化4個鏈接變量。操作函數我們使用宏定義來實現。關於鏈接變量的初始化操作需要在對消息加密前操作,我們定義如下的初始化函數:

技術分享圖片
 1 /*對MD5結構體進行初始化操作*/
 2 void MD5Start(MD5Contex *context)
 3 {
 4   context->count[0]=0;
 5   context->count[1]=0;
 6    
 7   //初始化鏈接變量
 8   context->state[0] = 0x67452301;
 9   context->state[1] = 0xEFCDAB89;
10   context->state[2] = 0x98BADCFE;
11   context->state[3] = 0x10325476;
12 }
技術分享圖片

2MD5值計算

接下來我們實現MD5值得計算及結構體的更新:

技術分享圖片
 1 /*將要加密的信息傳遞給初始化過的MD5結構體,無返回值               */
 2 /*context:初始化過了的MD5結構體                                   */
 3 /*input:需要加密的信息,可以任意長度                                */
 4 /*inputLen:指定input的長度                                          */
 5 void MD5Update(MD5Contex *context, uint8_t *input,uint32_t inputlen)
 6 {
 7   uint32_t i = 0,index = 0,partlen = 0;
 8   index = (context->count[0] >> 3) & 0x3F;
 9   partlen = 64 - index;
10   context->count[0] += inputlen << 3;
11   if(context->count[0] < (inputlen << 3))
12   {
13     context->count[1]++;
14   }
15   context->count[1] += inputlen >> 29;
16 
17   if(inputlen >= partlen)
18   {
19     memcpy(&context->buffer[index],input,partlen);
20     MD5Process(context->state,context->buffer);
21     for(i = partlen;i+64 <= inputlen;i+=64)
22     {
23       MD5Process(context->state,&input[i]);
24     }
25     index = 0;
26   }
27   else
28   {
29     i = 0;
30   }
31   memcpy(&context->buffer[index],&input[i],inputlen-i);
32 }
技術分享圖片

MD5的主體循環部分,我們實現如下:

技術分享圖片
 1 /*對512bits信息(即block緩沖區)進行一次處理,每次處理包括四輪            */
 2 /*uint32_t *state:MD5結構體中的state[4],用於保存信息加密的結果         */
 3 /*uint8_t *block:欲加密的512bits信息                                    */
 4 static void MD5Process(uint32_t *state, uint8_t *block)
 5 {
 6   uint32_t a = state[0];
 7   uint32_t b = state[1];
 8   uint32_t c = state[2];
 9   uint32_t d = state[3];
10   uint32_t x[64];
11 
12   MD5Decode(x,block,64);
13 
14   /*第一輪計算*/
15   FF(a, b, c, d, x[ 0], constMove[0],constTable[0][0]);
16   FF(d, a, b, c, x[ 1], constMove[1],constTable[0][1]);
17   FF(c, d, a, b, x[ 2], constMove[2],constTable[0][2]);
18   FF(b, c, d, a, x[ 3], constMove[3],constTable[0][3]);
19   FF(a, b, c, d, x[ 4], constMove[0],constTable[0][4]);
20   FF(d, a, b, c, x[ 5], constMove[1],constTable[0][5]);
21   FF(c, d, a, b, x[ 6], constMove[2],constTable[0][6]);
22   FF(b, c, d, a, x[ 7], constMove[3],constTable[0][7]);
23   FF(a, b, c, d, x[ 8], constMove[0],constTable[0][8]);
24   FF(d, a, b, c, x[ 9], constMove[1],constTable[0][9]);
25   FF(c, d, a, b, x[10], constMove[2],constTable[0][10]);
26   FF(b, c, d, a, x[11], constMove[3],constTable[0][11]);
27   FF(a, b, c, d, x[12], constMove[0],constTable[0][12]);
28   FF(d, a, b, c, x[13], constMove[1],constTable[0][13]);
29   FF(c, d, a, b, x[14], constMove[2],constTable[0][14]);
30   FF(b, c, d, a, x[15], constMove[3],constTable[0][15]);
31 
32   /*第二輪計算*/
33   GG(a, b, c, d, x[ 1], constMove[4],constTable[1][0]);
34   GG(d, a, b, c, x[ 6], constMove[5],constTable[1][1]);
35   GG(c, d, a, b, x[11], constMove[6],constTable[1][2]);
36   GG(b, c, d, a, x[ 0], constMove[7],constTable[1][3]);
37   GG(a, b, c, d, x[ 5], constMove[4],constTable[1][4]);
38   GG(d, a, b, c, x[10], constMove[5],constTable[1][5]);
39   GG(c, d, a, b, x[15], constMove[6],constTable[1][6]);
40   GG(b, c, d, a, x[ 4], constMove[7],constTable[1][7]);
41   GG(a, b, c, d, x[ 9], constMove[4],constTable[1][8]);
42   GG(d, a, b, c, x[14], constMove[5],constTable[1][9]);
43   GG(c, d, a, b, x[ 3], constMove[6],constTable[1][10]);
44   GG(b, c, d, a, x[ 8], constMove[7],constTable[1][11]);
45   GG(a, b, c, d, x[13], constMove[4],constTable[1][12]);
46   GG(d, a, b, c, x[ 2], constMove[5],constTable[1][13]);
47   GG(c, d, a, b, x[ 7], constMove[6],constTable[1][14]);
48   GG(b, c, d, a, x[12], constMove[7],constTable[1][15]);
49 
50   /*第三輪計算*/
51   HH(a, b, c, d, x[ 5], constMove[8],constTable[2][0]);
52   HH(d, a, b, c, x[ 8], constMove[9],constTable[2][1]);
53   HH(c, d, a, b, x[11], constMove[10],constTable[2][2]);
54   HH(b, c, d, a, x[14], constMove[11],constTable[2][3]);
55   HH(a, b, c, d, x[ 1], constMove[8],constTable[2][4]);
56   HH(d, a, b, c, x[ 4], constMove[9],constTable[2][5]);
57   HH(c, d, a, b, x[ 7], constMove[10],constTable[2][6]);
58   HH(b, c, d, a, x[10], constMove[11],constTable[2][7]);
59   HH(a, b, c, d, x[13], constMove[8],constTable[2][8]);
60   HH(d, a, b, c, x[ 0], constMove[9],constTable[2][9]);
61   HH(c, d, a, b, x[ 3], constMove[10],constTable[2][10]);
62   HH(b, c, d, a, x[ 6], constMove[11],constTable[2][11]);
63   HH(a, b, c, d, x[ 9], constMove[8],constTable[2][12]);
64   HH(d, a, b, c, x[12], constMove[9],constTable[2][13]);
65   HH(c, d, a, b, x[15], constMove[10],constTable[2][14]);
66   HH(b, c, d, a, x[ 2], constMove[11],constTable[2][15]);
67 
68   /*第四輪計算*/
69   II(a, b, c, d, x[ 0], constMove[12],constTable[3][0]);
70   II(d, a, b, c, x[ 7], constMove[13],constTable[3][1]);
71   II(c, d, a, b, x[14], constMove[14],constTable[3][2]);
72   II(b, c, d, a, x[ 5], constMove[15],constTable[3][3]);
73   II(a, b, c, d, x[12], constMove[12],constTable[3][4]);
74   II(d, a, b, c, x[ 3], constMove[13],constTable[3][5]);
75   II(c, d, a, b, x[10], constMove[14],constTable[3][6]);
76   II(b, c, d, a, x[ 1], constMove[15],constTable[3][7]);
77   II(a, b, c, d, x[ 8], constMove[12],constTable[3][8]);
78   II(d, a, b, c, x[15], constMove[13],constTable[3][9]);
79   II(c, d, a, b, x[ 6], constMove[14],constTable[3][10]);
80   II(b, c, d, a, x[13], constMove[15],constTable[3][11]);
81   II(a, b, c, d, x[ 4], constMove[12],constTable[3][12]);
82   II(d, a, b, c, x[11], constMove[13],constTable[3][13]);
83   II(c, d, a, b, x[ 2], constMove[14],constTable[3][14]);
84   II(b, c, d, a, x[ 9], constMove[15],constTable[3][15]);
85 
86   state[0] += a;
87   state[1] += b;
88   state[2] += c;
89   state[3] += d;
90 }
技術分享圖片

3)輸出轉換

最後我們將計算所得的MD5值進行輸出格式整理,時期按應有的順序輸出。

技術分享圖片
 1 /*獲得最終的MD5值,無返回值                                          */
 2 /*digest:保存最終的加密串                                             */
 3 /*context:你前面初始化並填入了信息的md5結構                          */
 4 void MD5Final(MD5Contex *context, uint8_t *digest)
 5 {
 6   uint32_t index = 0,padlen = 0;
 7   uint8_t bits[8];
 8   index = (context->count[0] >> 3) & 0x3F;
 9   padlen = (index < 56)?(56-index):(120-index);
10   MD5Encode(bits,context->count,8);
11   MD5Update(context,padding,padlen);
12   MD5Update(context,bits,8);
13   MD5Encode(digest,context->state,16);
14 }
技術分享圖片

4、結論

MD5作為一種檢驗手段被廣泛應用,特別在用戶密碼保存方面,因其不可逆和低碰撞的特性更是大受歡迎。我們使用自己編寫的MD5算法計算一下普通的“hello world 123456789”的MD5散列值:

技術分享圖片

在前面我們實現了MD5算法,但是我們如果仔細分析就會發現,具體的實現代碼是可以大幅度優化的,特別是在四輪計算過程中。我們如果將FF、GG、HH、II不采用宏定義,而是聲明為4個函數,很明顯這四個函數的聲明是一樣的。於是利用指針和數組可將四輪計算簡化為:

技術分享圖片
 1 for(i=0;i<4;i++)
 2 {
 3   for(j=0;j<4;j++)
 4   {
 5     pF[i](a, b, c, d, x[k[i][4*j]], constMove[4*i],constTable[i][4*j]);
 6     pF[i](d, a, b, c, x[k[i][4*j+1]], constMove[4*i+1],constTable[i][4*j+1]);
 7     pF[i](c, d, a, b, x[k[i][4*j+2]], constMove[4*i+2],constTable[i][4*j+2]);
 8     pF[i](b, c, d, a, x[k[i][4*j+3]], constMove[4*i+3],constTable[i][4*j+3]);
 9   }
10 }
技術分享圖片

當然,這一優化僅是對代碼層面的簡化,實際的計算依然是64次,所以對算法是沒有影響的。

對於中文字符的MD5散列值,則存在一個字符編碼的問題,比如對中文“中國”的編碼結果:

GB2312編碼下的結果:CF0832DEDF7457BBCBFA00BBD87B300A

UTF-8編碼下的結果:C13DCEABCB143ACD6C9298265D618A9F

信息摘要算法之一:MD5算法解析及實現