數據結構與算法之美專欄學習筆記-哈希算法(上）
哈希算法的定義和原理
將任意長度的二進制串映射為固定長度的二進制串。
這個映射的規則就是哈希算法，而通過原始數據映射之後得到的二進制串就是哈希值。
設計一個優秀的哈希算法需要滿足：
- 從哈希值不能反向推導出原始數據（所以哈希算法也叫單向哈希算法）；
- 對輸入數據非常敏感，哪怕原始數據只修改了一個 Bit，最後得到的哈希值也大不相同；
- 散列沖突的概率要很小，對於不同的原始數據，哈希值相同的概率非常小；
- 哈希算法的執行效率要盡量高效，針對較長的文本，也能快速地計算出哈希值。
MD5哈希算法
MD5的哈希值是128位的bit長度，為了方便轉換成了16進制編碼。
可以看出無論哈希值文本有多長多短，通過MD5哈希之後，得到的哈希值的長度都是一樣的，
而且得到的哈希值看起來像一堆隨機數完全沒有規律。
MD5(" 今天我來講哈希算法 ") = bb4767201ad42c74e650c1b6c03d78fa MD5("jiajia") = cd611a31ea969b908932d44d126d195b
哈希算法的應用
安全加密
加密算法
最常用於加密的哈希算法是MD5（MD5 Message-Digest Algorithm，MD5 消息摘要算法）和SHA（Secure Hash Algorithm，安全散列算法）。
對用於加密的哈希算法來說，有兩點格外重要：
- 很難根據哈希值反向推導出原始數據，
- 散列沖突的概率要很小。
實際上，不管是什麽哈希算法，我們只能盡量減
少碰撞沖突的概率，理論上是沒辦法做到完全不沖突的。
鴿巢理論
這裏就基於組合數學中一個非常基礎的理論，鴿巢原理（也叫抽屜原理）。
這個原理本身很簡單，它是說如果有 10 個鴿巢，有 11 只鴿子那肯定有 1 個鴿巢中的鴿子數量多於 1 個。
換句話說就是，肯定有 2 只鴿子在 1 個鴿巢內。
我們知道，哈希算法產生的哈希值的長度是固定且有限的。
哈希值是固定的 128 位二進制串，能表示的數據是有限的最多能表示 2^128 個數據。
基於鴿巢原理，如果我們對 2^128+1 個數據求哈希值，就必然會存在哈希值相同的情況。
唯一標識
在圖庫中搜索圖片
如果要在海量的圖庫中，搜索一張圖是否存在，我們不能單純地用圖片的元信息（比如圖片名稱）來比對。
因為有可能存在名稱相同但圖片內容不同，或者名稱不同圖片內容相同的情況。
我們可以給每一個圖片取一個唯一標識，或者說信息摘要。
比如，我們可以從圖片的二進制碼串開頭取 100 個字節，從中間取 100 個字節，從最後再取 100 個字節。
然後將這 300 個字節放到一塊，通過哈希算法（比如 MD5)得到一個哈希字符串，用它作為圖片的唯一標識。
通過這個唯一標識來判定圖片是否在圖庫中，這樣就可以減少很多工作量
性能提升
如果還想繼續提高效率，我們可以把每個圖片的唯一標識和相應的圖片文件在圖庫中的路徑信息，都存儲在散列表中。
當要查看某個圖片是不是在圖庫中的時候，我們先通過哈希算法對這個圖片取唯一標識，然後在散列表中查找是否存在這個唯一標識。
數據校驗
P2P文件快校驗
BT 下載的原理是基於 P2P 協議的。
我們從多個機器上並行下載一個 2GB 的電影，這個電影文件可能會被分割成很多文件塊（比如可以分成100 塊，每塊大約 20MB）。
等所有的文件塊都下載完成之後，再組裝成一個完整的電影文件就行了。
網絡傳輸是不安全的，下載的文件塊有可能是被宿主機器惡意修改過的，又或者下載過程中出現了錯誤，所以下載的文件塊可能不是完整的。
解決方法
我們通過哈希算法，對 100 個文件塊分別取哈希值並且保存在種子文件中。
當文件塊下載完成之後，我們可以通過相同的哈希算法，對下載好的文件塊逐一求哈希值，然後跟種子文件中保存的哈希值比對。
如果不同，說明這個文件塊不完整或者被篡改了，需要再重新從其他宿主機器上下載這個文件塊。
散列函數
散列函數是一種哈希算法
實際上，散列函數也是哈希算法的一種應用。
散列函數是設計一個散列表的關鍵。
它直接決定了散列沖突的概率和散列表的性能。
不過，相對哈希算法的其他應用，散列函數對於散列算法沖突的要求要低很多。
即便出現個別散列沖突，只要不是過於嚴重，我們都可以通過開放尋址法或者鏈表法解決。
散列函數追求平均分布
不僅如此，散列函數對於散列算法計算得到的值，是否能反向解密也並不關心。
散列函數中用到的散列算法，更加關註散列後的值是否能平均分布。
也就是一組數據是否能均勻地散列在各個槽中。
除此之外，散列函數執行的快慢，也會影響散列表的性能，
所以，散列函數用的散列算法一般都比較簡單，比較追求效率。
負載均衡
數據分片
分布式存儲
數據結構與算法之美專欄學習筆記-哈希算法(上）