1. 程式人生 > >使用SimHash進行海量文本去重[轉載]

使用SimHash進行海量文本去重[轉載]

示例 1的個數 表示 很快 方法 累加 查找數據結構 級別 紅色

閱讀目錄

  • 1. SimHash與傳統hash函數的區別
  • 2. SimHash算法思想
  • 3. SimHash流程實現
  • 4. SimHash簽名距離計算
  • 5. SimHash存儲和索引
  • 6. SimHash存儲和索引
  • 7. 參考內容

  在之前的兩篇博文分別介紹了常用的hash方法([Data Structure & Algorithm] Hash那點事兒)以及局部敏感hash算法([Algorithm] 局部敏感哈希算法(Locality Sensitive Hashing)),本文介紹的SimHash是一種局部敏感hash,它也是Google公司進行海量網頁去重使用的主要算法。

回到頂部

1. SimHash與傳統hash函數的區別

  傳統的Hash算法只負責將原始內容盡量均勻隨機地映射為一個簽名值,原理上僅相當於偽隨機數產生算法。傳統的hash算法產生的兩個簽名,如果原始內容在一定概率下是相等的;如果不相等,除了說明原始內容不相等外,不再提供任何信息,因為即使原始內容只相差一個字節,所產生的簽名也很可能差別很大。所以傳統的Hash是無法在簽名的維度上來衡量原內容的相似度,而SimHash本身屬於一種局部敏感哈希算法,它產生的hash簽名在一定程度上可以表征原內容的相似度。

  我們主要解決的是文本相似度計算,要比較的是兩個文章是否相識,當然我們降維生成了hash簽名也是用於這個目的。看到這裏估計大家就明白了,我們使用的simhash就算把文章中的字符串變成 01 串也還是可以用於計算相似度的,而傳統的hash卻不行。我們可以來做個測試,兩個相差只有一個字符的文本串,“你媽媽喊你回家吃飯哦,回家羅回家羅” 和 “你媽媽叫你回家吃飯啦,回家羅回家羅”。

  通過simhash計算結果為:

  1000010010101101111111100000101011010001001111100001001011001011

  1000010010101101011111100000101011010001001111100001101010001011

  通過傳統hash計算為:

  0001000001100110100111011011110

  1010010001111111110010110011101

  大家可以看得出來,相似的文本只有部分 01 串變化了,而普通的hash卻不能做到,這個就是局部敏感哈希的魅力。

回到頂部

2. SimHash算法思想

  假設我們有海量的文本數據,我們需要根據文本內容將它們進行去重。對於文本去重而言,目前有很多NLP相關的算法可以在很高精度上來解決,但是我們現在處理的是大數據維度上的文本去重,這就對算法的效率有著很高的要求。而局部敏感hash算法可以將原始的文本內容映射為數字(hash簽名),而且較為相近的文本內容對應的hash簽名也比較相近。SimHash算法是Google公司進行海量網頁去重的高效算法,它通過將原始的文本映射為64位的二進制數字串,然後通過比較二進制數字串的差異進而來表示原始文本內容的差異。

回到頂部

3. SimHash流程實現

  simhash是由 Charikar 在2002年提出來的,本文為了便於理解盡量不使用數學公式,分為這幾步:

  (註:具體的事例摘自Lanceyan的博客《海量數據相似度計算之simhash和海明距離》)

  • 1、分詞,把需要判斷文本分詞形成這個文章的特征單詞。最後形成去掉噪音詞的單詞序列並為每個詞加上權重,我們假設權重分為5個級別(1~5)。比如:“ 美國“51區”雇員稱內部有9架飛碟,曾看見灰色外星人 ” ==> 分詞後為 “ 美國(4) 51區(5) 雇員(3) 稱(1) 內部(2) 有(1) 9架(3) 飛碟(5) 曾(1) 看見(3) 灰色(4) 外星人(5)”,括號裏是代表單詞在整個句子裏重要程度,數字越大越重要。

  • 2、hash,通過hash算法把每個詞變成hash值,比如“美國”通過hash算法計算為 100101,“51區”通過hash算法計算為 101011。這樣我們的字符串就變成了一串串數字,還記得文章開頭說過的嗎,要把文章變為數字計算才能提高相似度計算性能,現在是降維過程進行時。

  • 3、加權,通過 2步驟的hash生成結果,需要按照單詞的權重形成加權數字串,比如“美國”的hash值為“100101”,通過加權計算為“4 -4 -4 4 -4 4”;“51區”的hash值為“101011”,通過加權計算為 “ 5 -5 5 -5 5 5”。

  • 4、合並,把上面各個單詞算出來的序列值累加,變成只有一個序列串。比如 “美國”的 “4 -4 -4 4 -4 4”,“51區”的 “ 5 -5 5 -5 5 5”, 把每一位進行累加, “4+5 -4+-5 -4+5 4+-5 -4+5 4+5” ==》 “9 -9 1 -1 1 9”。這裏作為示例只算了兩個單詞的,真實計算需要把所有單詞的序列串累加。

  • 5、降維,把4步算出來的 “9 -9 1 -1 1 9” 變成 0 1 串,形成我們最終的simhash簽名。 如果每一位大於0 記為 1,小於0 記為 0。最後算出結果為:“1 0 1 0 1 1”。

  整個過程的流程圖為:

技術分享

回到頂部

4. SimHash簽名距離計算

  我們把庫裏的文本都轉換為simhash簽名,並轉換為long類型存儲,空間大大減少。現在我們雖然解決了空間,但是如何計算兩個simhash的相似度呢?難道是比較兩個simhash的01有多少個不同嗎?對的,其實也就是這樣,我們通過海明距離(Hamming distance)就可以計算出兩個simhash到底相似不相似。兩個simhash對應二進制(01串)取值不同的數量稱為這兩個simhash的海明距離。舉例如下: 1010100110 從第一位開始依次有第一位、第四、第五位不同,則海明距離為3。對於二進制字符串的a和b,海明距離為等於在a XOR b運算結果中1的個數(普遍算法)。

回到頂部

5. SimHash存儲和索引

  經過simhash映射以後,我們得到了每個文本內容對應的simhash簽名,而且也確定了利用漢明距離來進行相似度的衡量。那剩下的工作就是兩兩計算我們得到的simhash簽名的漢明距離了,這在理論上是完全沒問題的,但是考慮到我們的數據是海量的這一特點,我們是否應該考慮使用一些更具效率的存儲呢?其實SimHash算法輸出的simhash簽名可以為我們很好建立索引,從而大大減少索引的時間,那到底怎麽實現呢?

  這時候大家有沒有想到hashmap呢,一種理論上具有O(1)復雜度的查找數據結構。我們要查找一個key值時,通過傳入一個key就可以很快的返回一個value,這個號稱查找速度最快的數據結構是如何實現的呢?看下hashmap的內部結構:

技術分享

  如果我們需要得到key對應的value,需要經過這些計算,傳入key,計算key的hashcode,得到7的位置;發現7位置對應的value還有好幾個,就通過鏈表查找,直到找到v72。其實通過這麽分析,如果我們的hashcode設置的不夠好,hashmap的效率也不見得高。借鑒這個算法,來設計我們的simhash查找。通過順序查找肯定是不行的,能否像hashmap一樣先通過鍵值對的方式減少順序比較的次數。看下圖:

技術分享

  存儲
  1、將一個64位的simhash簽名拆分成4個16位的二進制碼。(圖上紅色的16位)
  2、分別拿著4個16位二進制碼查找當前對應位置上是否有元素。(放大後的16位)
  3、對應位置沒有元素,直接追加到鏈表上;對應位置有則直接追加到鏈表尾端。(圖上的 S1 — SN)

  查找
  1、將需要比較的simhash簽名拆分成4個16位的二進制碼。
  2、分別拿著4個16位二進制碼每一個去查找simhash集合對應位置上是否有元素。
  3、如果有元素,則把鏈表拿出來順序查找比較,直到simhash小於一定大小的值,整個過程完成。

  原理
  借鑒hashmap算法找出可以hash的key值,因為我們使用的simhash是局部敏感哈希,這個算法的特點是只要相似的字符串只有個別的位數是有差別變化。那這樣我們可以推斷兩個相似的文本,至少有16位的simhash是一樣的。具體選擇16位、8位、4位,大家根據自己的數據測試選擇,雖然比較的位數越小越精準,但是空間會變大。分為4個16位段的存儲空間是單獨simhash存儲空間的4倍。之前算出5000w數據是 382 Mb,擴大4倍1.5G左右,還可以接受

回到頂部

6. SimHash存儲和索引

  1. 當文本內容較長時,使用SimHash準確率很高,SimHash處理短文本內容準確率往往不能得到保證;

  2. 文本內容中每個term對應的權重如何確定要根據實際的項目需求,一般是可以使用IDF權重來進行計算。

回到頂部

7. 參考內容

  1. 嚴瀾的博客《海量數據相似度計算之simhash短文本查找》

  2. 《Similarity estimation techniques from rounding algorithms》

使用SimHash進行海量文本去重[轉載]