BloomFilter–大規模資料處理利器(解決空查問題)尋找共同的URL
BloomFilter–大規模資料處理利器
Bloom Filter是由Bloom在1970年提出的一種多雜湊函式對映的快速查詢演算法。通常應用在一些需要快速判斷某個元素是否屬於集合，但是並不嚴格要求100%正確的場合。
一. 例項
為了說明Bloom Filter存在的重要意義，舉一個例項：
假設要你寫一個網路爬蟲程式（web
crawler）。由於網路間的連結錯綜複雜，爬蟲在網路間爬行很可能會形成“環”。為了避免形成“環”，就需要知道爬蟲程式已經訪問過那些
1. 將訪問過的URL儲存到資料庫。
2. 用HashSet將訪問過的URL儲存起來。那隻需接近O(1)的代價就可以查到一個URL是否被訪問過了。
3. URL經過MD5或SHA-1等單向雜湊後再儲存到HashSet或資料庫。
4. Bit-Map方法。建立一個BitSet，將每個URL經過一個雜湊函式對映到某一位。
方法1~3都是將訪問過的URL完整儲存，方法4則只標記URL的一個對映位。
以上方法在資料量較小的情況下都能完美解決問題，但是當資料量變得非常龐大時問題就來了。
方法
方法2的缺點：太消耗記憶體。隨著URL的增多，佔用的記憶體會越來越多。就算只有1億個URL，每個URL只算50個字元，就需要5GB記憶體。
方法3：由於字串經過MD5處理後的資訊摘要長度只有128Bit，SHA-1處理後也只有160Bit，因此方法3比方法2節省了好幾倍的記憶體。
方法4消耗記憶體是相對較少的，但缺點是單一雜湊函式發生衝突的概率太高。還記得資料結構課上學過的Hash表衝突的各種解決方法麼？若要降低衝突發生的概率到1%，就要將BitSet的長度設定為
二. Bloom Filter的演算法
廢話說到這裡，下面引入本篇的主角–Bloom Filter。其實上面方法4的思想已經很接近Bloom Filter了。方法四的致命缺點是衝突概率高，為了降低衝突的概念，Bloom Filter使用了多個雜湊函式，而不是一個。
Bloom Filter演算法如下：
建立一個m位BitSet，先將所有位初始化為0，然後選擇k個不同的雜湊函式。第i個雜湊函式對字串str雜湊的結果記為h（i，str），且h（i，str）的範圍是0到m-1 。
(1) 加入字串過程
下面是每個字串處理的過程，首先是將字串str“記錄”到BitSet中的過程：
對於字串str，分別計算h（1，str），h（2，str）…… h（k，str）。然後將BitSet的第h（1，str）、h（2，str）…… h（k，str）位設為1。
很簡單吧？這樣就將字串str對映到BitSet中的k個二進位制位了。
(2) 檢查字串是否存在的過程
下面是檢查字串str是否被BitSet記錄過的過程：
對於字串str，分別計算h（1，str），h（2，str）…… h（k，str）。然後檢查BitSet的第h（1，str）、h（2，str）…… h（k，str）位是否為1，若其中任何一位不為1則可以判定str一定沒有被記錄過。若全部位都是1，則“認為”字串str存在。
若一個字串對應的Bit不全為1，則可以肯定該字串一定沒有被Bloom Filter記錄過。（這是顯然的，因為字串被記錄過，其對應的二進位制位肯定全部被設為1了）
但是若一個字串對應的Bit全為1，實際上是不能100%的肯定該字串被Bloom Filter記錄過的。（因為有可能該字串的所有位都剛好是被其他字串所對應）這種將該字串劃分錯的情況，稱為false positive 。
(3) 刪除字串過程
字串加入了就被不能刪除了，因為刪除會影響到其他字串。實在需要刪除字串的可以使用Counting bloomfilter(CBF)，這是一種基本Bloom Filter的變體，CBF將基本Bloom Filter每一個Bit改為一個計數器，這樣就可以實現刪除字串的功能了。
Bloom Filter跟單雜湊函式Bit-Map不同之處在於：Bloom Filter使用了k個雜湊函式，每個字串跟k個bit對應。從而降低了衝突的概率。
三. Bloom Filter引數選擇
(1)雜湊函式選擇
雜湊函式的選擇對效能的影響應該是很大的，一個好的雜湊函式要能近似等概率的將字串對映到各個Bit。選擇k個不同的雜湊函式比較麻煩，一種簡單的方法是選擇一個雜湊函式，然後送入k個不同的引數。
(2) m,n,k值，我們如何取值
我們定義：
可能把不屬於這個集合的元素誤認為屬於這個集合（False Positive）
不會把屬於這個集合的元素誤認為不屬於這個集合（False Negative）。
雜湊函式的個數k、位陣列大小m、加入的字串數量n的關係。雜湊函式個數k取10，位陣列大小m設為字串個數n的20倍時，false positive發生的概率是0.0000889 ，即10萬次的判斷中，會存在9次誤判，對於一天1億次的查詢，誤判的次數為9000次。
演算法分析：
我們假設kn<m且各個雜湊函式是完全隨機的。當集合S={x1, x2,…,xn}的所有元素都被k個雜湊函式對映到m位的位陣列中時，這個位陣列中某一位還是0的概率是：
False Positive的概率是：
p’表示1的概率,k次方表示8次hash都為1的概率。
當 k = ln 2 * m/n 時，右邊的等式值最小，此時等式轉變成:
四. Bloom Filter實現程式碼（簡易版）
下面給出一個簡單的Bloom Filter的Java實現程式碼：
package org.magnus.utils;
import java.util.BitSet;
//傳統的Bloom filter 不支援從集合中刪除成員。
//Counting Bloom filter由於採用了計數，因此支援remove操作。
//基於BitSet來實現，效能上可能存在問題
public class SimpleBloomFilter {
//DEFAULT_SIZE為2的25次方
private static final int DEFAULT_SIZE = 2 << 24;
/* 不同雜湊函式的種子，一般應取質數,seeds資料共有7個值，則代表採用7種不同的HASH演算法 */
private static final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 };
//BitSet實際是由“二進位制位”構成的一個Vector。假如希望高效率地儲存大量“開－關”資訊，就應使用BitSet.
//BitSet的最小長度是一個長整數（Long）的長度：64位
private BitSet bits = new BitSet(DEFAULT_SIZE);
/* 雜湊函式物件 */
private SimpleHash[] func = new SimpleHash[seeds.length];
public static void main(String[] args) {
String value = "[email protected]";
//定義一個filter，定義的時候會呼叫建構函式，即初始化七個hash函式物件所需要的資訊。
SimpleBloomFilter filter = new SimpleBloomFilter();
//判斷是否包含在裡面。因為沒有呼叫add方法，所以肯定是返回false
System.out.println(filter.contains(value));
filter.add(value);
System.out.println(filter.contains(value));
}
//建構函式
public SimpleBloomFilter() {
for (int i = 0; i < seeds.length; i++) {
//給出所有的hash值，共計seeds.length個hash值。共7位。
//通過呼叫SimpleHash.hash(),可以得到根據7種hash函式計算得出的hash值。
//傳入DEFAULT_SIZE(最終字串的長度），seeds[i](一個指定的質數)即可得到需要的那個hash值的位置。
func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
}
}
// 將字串標記到bits中，即設定字串的7個hash值函式為1
public void add(String value) {
for (SimpleHash f : func) {
bits.set(f.hash(value), true);
}
}
//判斷字串是否已經被bits標記
public boolean contains(String value) {
//確保傳入的不是空值
if (value == null) {
return false;
}
boolean ret = true;
//計算7種hash演算法下各自對應的hash值，並判斷
for (SimpleHash f : func) {
//&&是boolen運算子，只要有一個為0，則為0。即需要所有的位都為1，才代表包含在裡面。
//f.hash(value)返回hash對應的位數值
//bits.get函式返回bitset中對應position的值。即返回hash值是否為0或1。
ret = ret && bits.get(f.hash(value));
}
return ret;
}
/* 雜湊函式類 */
public static class SimpleHash {
//cap為DEFAULT_SIZE的值，即用於結果的最大的字串長度。
//seed為計算hash值的一個給定key，具體對應上面定義的seeds陣列
private int cap;
private int seed;
public SimpleHash(int cap, int seed) {
this.cap = cap;
this.seed = seed;
}
//計算hash值的具體演算法,hash函式，採用簡單的加權和hash
public int hash(String value) {
//int的範圍最大是2的31次方減1，或超過值則用負數來表示
int result = 0;
int len = value.length();
for (int i = 0; i < len; i++) {
//數字和字串相加，字串轉換成為ASCII碼
result = seed * result + value.charAt(i);
//System.out.println(result+"--"+seed+"*"+result+"+"+value.charAt(i));
}
// System.out.println("result="+result+";"+((cap - 1) & result));
// System.out.println(414356308*61+'h'); 執行此運算結果為負數，為什麼？
//&是java中的位邏輯運算，用於過濾負數（負數與進算轉換成反碼進行）。
return (cap - 1) & result;
}
}
}
五：Bloom Filter的優點及應用。
1.2優缺點分析
1.2.1優點：
節約快取空間（空值的對映），不再需要空值對映。
減少資料庫或快取的請求次數。
提升業務的處理效率以及業務隔離性。
1.2.2缺點：
存在誤判的概率。
傳統的Bloom Filter不能作刪除操作。
1.3使用場景
適用於特定場景，能夠有效的解決資料庫空查問題。
以公司的某小表查詢為例，該表每天查詢量20億次左右，且資料庫中存在大量的下面的空查:
目前表中的記錄為8w,即n的值為8w, m=20*n=160w，佔用空間大小195KB。以type||CONTENT複合鍵作為key值，假設HASH次數k取值為6,誤判率為:0.0303%(10000次中存在3次誤判)。HASH次數的最優解為14，當k=14時，誤判率為：0.014%(10000次中存在1-2次誤判)。
測試過程及結果如下（原始碼見附件）：
|
測試場景1：m=1600000;n=80000;最優解k=14;m/n=20;k的次數為:6;對1000w資料進行判定:
測試結果： 2000w資料誤判的記錄為：3035，誤判率約為0.03035%（和理論值0.0303%相差不大）。判斷2000萬資料的時間為25秒。平均一次判斷時間為:2.5微秒。平均一次hash時間為0.417微秒。 |
測試場景2：m=1600000;n=80000;最優解k=14;m/n=20;k的次數為:6;對2000w資料進行判定:  測試結果：2000w資料誤判的記錄為：5839，誤判率約為0.029%（理論值為0.
0303%）。判斷1000萬資料的時間為51秒。平均一次判斷時間為:2.55微秒。平均一次hash時間為0.425微秒。 |
測試場景3：m=1600000;n=80000;最優解k=14;m/n=20;k的次數為:14;對1000w資料進行判定: 測試結果：1000w資料誤判的記錄為：605，誤判率約為0.00605%（和理論值0.
014%相差不大）。判斷1000萬資料的時間為37秒。平均一次判斷時間為:3.7微秒。平均一次hash時間為0.265微秒。 |
測試場景4：m=1600000;n=80000;最優解k=14;m/n=20;k的次數為:14;對2000w資料進行判定: 測試結果：2000w資料誤判的記錄為：1224，誤判率約為0.00612%（理論值為0.
|