1. Bloom-Filter演算法簡介

Bloom Filter（BF）是一種空間效率很高的隨機資料結構，它利用位陣列很簡潔地表示一個集合，並能判斷一個元素是否屬於這個集合。它是一個判斷元素是否存在集合的快速的概率演算法。Bloom Filter有可能會出現錯誤判斷，但不會漏掉判斷。也就是Bloom Filter判斷元素不再集合，那肯定不在。如果判斷元素存在集合中，有一定的概率判斷錯誤。因此，Bloom Filter不適合那些“零錯誤”的應用場合。而在能容忍低錯誤率的應用場合下，Bloom Filter

它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。

      Bloom Filter的詳細介紹：Bloom Filter

2、 Bloom-Filter的基本思想

       計算某元素x是否在一個集合中，首先能想到的方法就是將所有的已知元素儲存起來構成一個集合R，然後用元素x跟這些R中的元素一一比較來判斷是否存在於集合R中；我們可以採用連結串列等資料結構來實現。但是，隨著集合R中元素的增加，其佔用的記憶體將越來越大。試想，如果有幾千萬個不同網頁需要下載，所需的記憶體將足以佔用掉整個程序的記憶體地址空間。即使用MD5，UUID這些方法將URL轉成固定的短小的字串，記憶體佔用也是相當巨大的。

      於是，我們會想到用Hash table的資料結構，運用一個足夠好的Hash函式將一個URL對映到二進位制位陣列（點陣圖陣列）中的某一位。如果該位已經被置為1，那麼表示該URL已經存在。

      Hash存在一個衝突（碰撞）的問題，用同一個Hash得到的兩個URL的值有可能相同。為了減少衝突，我們可以多引入幾個Hash，如果通過其中的一個Hash值我們得出某元素不在集合中，那麼該元素肯定不在集合中。只有在所有的Hash函式告訴我們該元素在集合中時，才能確定該元素存在於集合中。這便是Bloom-Filter的基本思想。

原理要點：一是位陣列， 而是k個獨立hash函式。

1）位陣列：

假設Bloom Filter使用一個m位元的陣列來儲存資訊，

2）新增元素，k個獨立hash函式

       為了表達S={x₁, x₂,…,x_n}這樣一個n個元素的集合，Bloom Filter使用k個相互獨立的雜湊函式（Hash Function），它們分別將集合中的每個元素對映到{1,…,m}的範圍中。

         當我們往Bloom Filter中增加任意一個元素x時候，我們使用k個雜湊函式得到k個雜湊值，然後將陣列中對應的位元位設定為1。即第i個雜湊函式對映的位置hash_i(x)就會被置為1（1≤i≤k）。

 注意，如果一個位置多次被置為1，那麼只有第一次會起作用，後面幾次將沒有任何效果。在下圖中，k=3，且有兩個雜湊函式選中同一個位置（從左邊數第五位，即第二個“1“處）。  

 3）判斷元素是否存在集合

    在判斷y是否屬於這個集合時，我們只需要對y使用k個雜湊函式得到k個雜湊值，如果所有hash_i(y)的位置都是1（1≤i≤k），即k個位置都被設定為1了，那麼我們就認為y是集合中的元素，否則就認為y不是集合中的元素。下圖中y₁就不是集合中的元素（因為y1有一處指向了“0”位）。y₂或者屬於這個集合，或者剛好是一個false positive。

Bloom Filter的缺點：

1）Bloom Filter無法從Bloom Filter集合中刪除一個元素。因為該元素對應的位會牽動到其他的元素。所以一個簡單的改進就是 counting Bloom filter，用一個counter陣列代替位陣列，就可以支援刪除了。 此外，Bloom Filter的hash函式選擇會影響演算法的效果。

       2）還有一個比較重要的問題，如何根據輸入元素個數n，確定位陣列m的大小及hash函式個數，即hash函式選擇會影響演算法的效果。當hash函式個數k=(ln2)*(m/n)時錯誤率最小。在錯誤率不大於E的情況 下，m至少要等於n*lg(1/E) 才能表示任意n個元素的集合。但m還應該更大些，因為還要保證bit數組裡至少一半為0，則m應 該>=nlg(1/E)*lge ，大概就是nlg(1/E)1.44倍(lg表示以2為底的對數)。

舉個例子我們假設錯誤率為0.01，則此時m應大概是n的13倍。這樣k大概是8個。 

 注意：

         這裡m與n的單位不同，m是bit為單位，而n則是以元素個數為單位(準確的說是不同元素的個數)。通常單個元素的長度都是有很多bit的。所以使用bloom filter記憶體上通常都是節省的。 

       一般BF可以與一些key-value的資料庫一起使用，來加快查詢。由於BF所用的空間非常小，所有BF可以常駐記憶體。這樣子的話，對於大部分不存在的元素，我們只需要訪問記憶體中的BF就可以判斷出來了，只有一小部分，我們需要訪問在硬碟上的key-value資料庫。從而大大地提高了效率。

一個Bloom Filter有以下引數：

Bloom Filter的f滿足下列公式：

在給定m和n時，能夠使f最小化的k值為：

此時給出的f為：

根據以上公式，對於任意給定的f，我們有：

3、 擴充套件 CounterBloom Filter

CounterBloom Filter

BloomFilter有個缺點，就是不支援刪除操作，因為它不知道某一個位從屬於哪些向量。那我們可以給Bloom Filter加上計數器，新增時增加計數器，刪除時減少計數器。

但這樣的Filter需要考慮附加的計數器大小，假如同個元素多次插入的話，計數器位數較少的情況下，就會出現溢位問題。如果對計數器設定上限值的話，會導致Cache Miss，但對某些應用來說，這並不是什麼問題，如Web Sharing。

Compressed Bloom Filter

為了能在伺服器之間更快地通過網路傳輸Bloom Filter，我們有方法能在已完成Bloom Filter之後，得到一些實際引數的情況下進行壓縮。

將元素全部新增入Bloom Filter後，我們能得到真實的空間使用率，用這個值代入公式計算出一個比m小的值，重新構造Bloom Filter，對原先的雜湊值進行求餘處理，在誤判率不變的情況下，使得其記憶體大小更合適。

4、 Bloom-Filter的應用

        Bloom-Filter一般用於在大資料量的集合中判定某元素是否存在。例如郵件伺服器中的垃圾郵件過濾器。在搜尋引擎領域，Bloom-Filter最常用於網路蜘蛛(Spider)的URL過濾，網路蜘蛛通常有一個URL列表，儲存著將要下載和已經下載的網頁的URL，網路蜘蛛下載了一個網頁，從網頁中提取到新的URL後，需要判斷該URL是否已經存在於列表中。此時，Bloom-Filter演算法是最好的選擇。

1.key-value 加快查詢

       一般Bloom-Filter可以與一些key-value的資料庫一起使用，來加快查詢。

       一般key-value儲存系統的values存在硬碟，查詢就是件費時的事。將Storage的資料都插入Filter，在Filter中查詢都不存在時，那就不需要去Storage查詢了。當False Position出現時，只是會導致一次多餘的Storage查詢。

       由於Bloom-Filter所用的空間非常小，所有BF可以常駐記憶體。這樣子的話，對於大部分不存在的元素，我們只需要訪問記憶體中的Bloom-Filter就可以判斷出來了，只有一小部分，我們需要訪問在硬碟上的key-value資料庫。從而大大地提高了效率。如圖：

2 .Google的BigTable

        Google的BigTable也使用了Bloom Filter，以減少不存在的行或列在磁碟上的查詢，大大提高了資料庫的查詢操作的效能。

3. Proxy-Cache

      在Internet Cache Protocol中的Proxy-Cache很多都是使用Bloom Filter儲存URLs，除了高效的查詢外，還能很方便得傳輸交換Cache資訊。

4.網路應用

      1）P2P網路中查詢資源操作，可以對每條網路通路儲存Bloom Filter，當命中時，則選擇該通路訪問。

      2）廣播訊息時，可以檢測某個IP是否已發包。

      3）檢測廣播訊息包的環路，將Bloom Filter儲存在包裡，每個節點將自己新增入Bloom Filter。

     4）資訊佇列管理，使用Counter Bloom Filter管理資訊流量。

5. 垃圾郵件地址過濾

        像網易，QQ這樣的公眾電子郵件（email）提供商，總是需要過濾來自發送垃圾郵件的人（spamer）的垃圾郵件。

一個辦法就是記錄下那些發垃圾郵件的 email地址。由於那些傳送者不停地在註冊新的地址，全世界少說也有幾十億個發垃圾郵件的地址，將他們都存起來則需要大量的網路伺服器。

如果用雜湊表，每儲存一億個 email地址，就需要 1.6GB的記憶體（用雜湊表實現的具體辦法是將每一個 email地址對應成一個八位元組的資訊指紋，然後將這些資訊指紋存入雜湊表，由於雜湊表的儲存效率一般只有 50%，因此一個 email地址需要佔用十六個位元組。一億個地址大約要 1.6GB，即十六億位元組的記憶體）。因此存貯幾十億個郵件地址可能需要上百 GB的記憶體。

而Bloom Filter只需要雜湊表 1/8到 1/4 的大小就能解決同樣的問題。

BloomFilter決不會漏掉任何一個在黑名單中的可疑地址。而至於誤判問題，常見的補救辦法是在建立一個小的白名單，儲存那些可能別誤判的郵件地址。

5、 Bloom-Filter的具體實現

c語言實現：

stdafx.h：

#pragma once#include <stdio.h>  #include "stdlib.h"#include <iostream>#include <time.h>using namespace std;

#include "stdafx.h"#define ARRAY_SIZE 256 /*we get the 256 chars of each line*/#define SIZE 48000000 /* size should be 1/8 of max*/#define MAX  384000000/*the max bit space*/#define SETBIT(ch,n) ch[n/8]|=1<<(7-n%8)#define GETBIT(ch,n) (ch[n/8]&1<<(7-n%8))>>(7-n%8)unsigned int len(char *ch);/* functions to calculate the length of the url*/unsigned int RSHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int JSHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int PJWHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int ELFHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int BKDRHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int SDBMHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int DJBHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int DEKHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int BPHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int FNVHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int APHash(char* str, unsigned int len);/* functions to calculate the hash value of the url*/unsigned int HFLPHash(char* str,unsigned int len);/* functions to calculate the hash value of the url*/unsigned int HFHash(char* str,unsigned int len);/* functions to calculate the hash value of the url*/unsigned int StrHash( char* str,unsigned int len);/* functions to calculate the hash value of the url*/unsigned int TianlHash(char* str,unsigned int len);/* functions to calculate the hash value of the url*/int main(){ int i,num,num2=0; /* the number to record the repeated urls and the total of it*/ unsigned int tt=0; int flag;         /*it helps to check weather the url has already existed */    char buf[257];    /*it helps to print the start time of the program */    time_t tmp = time(NULL); char file1[100],file2[100]; FILE *fp1,*fp2;/*pointer to the file */ char ch[ARRAY_SIZE];   char *vector ;/* the bit space*/ vector = (char *)calloc(SIZE,sizeof(char)); printf("Please enter the file with repeated urls:\n"); scanf("%s",&file1);    if( (fp1 = fopen(file1,"rb")) == NULL) {  /* open the goal file*/   printf("Connot open the file %s!\n",file1); } printf("Please enter the file you want to save to:\n"); scanf("%s",&file2); if( (fp2 = fopen(file2,"w")) == NULL) {  printf("Connot open the file %s\n",file2); }    strftime(buf,32,"%Y-%m-%d %H:%M:%S",localtime(&tmp));    printf("%s\n",buf); /*print the system time*/ for(i=0;i<SIZE;i++) {  vector[i]=0;  /*set 0*/ } while(!feof(fp1)) { /* the check process*/   fgets(ch,ARRAY_SIZE,fp1);  flag=0;  tt++;  if( GETBIT(vector, HFLPHash(ch,len(ch))%MAX) ) {    flag++;  } else {   SETBIT(vector,HFLPHash(ch,len(ch))%MAX );  }   if( GETBIT(vector, StrHash(ch,len(ch))%MAX) ) {    flag++;  } else {   SETBIT(vector,StrHash(ch,len(ch))%MAX );  }    if( GETBIT(vector, HFHash(ch,len(ch))%MAX) )   {   flag++;  } else {   SETBIT(vector,HFHash(ch,len(ch))%MAX );  }  if( GETBIT(vector, DEKHash(ch,len(ch))%MAX) ) {   flag++;  } else {   SETBIT(vector,DEKHash(ch,len(ch))%MAX );  }     if( GETBIT(vector, TianlHash(ch,len(ch))%MAX) ) {   flag++;  } else {   SETBIT(vector,TianlHash(ch,len(ch))%MAX );  }        if( GETBIT(vector, SDBMHash(ch,len(ch))%MAX) )  {   flag++;  } else {   SETBIT(vector,SDBMHash(ch,len(ch))%MAX );  }  if(flag<6)   num2++;    else        fputs(ch,fp2);      /* printf(" %d",flag); */   } /* the result*/ printf("\nThere are %d urls!\n",tt); printf("\nThere are %d not repeated urls!\n",num2); printf("There are %d repeated urls!\n",tt-num2); fclose(fp1); fclose(fp2); return 0;}/*functions may be used in the main */unsigned int len(char *ch){ int m=0; while(ch[m]!='\0') {  m++; } return m;}unsigned int RSHash(char* str, unsigned int len) {   unsigned int b = 378551;   unsigned int a = 63689;   unsigned int hash = 0;   unsigned int i = 0;   for(i=0; i<len; str++, i++) {      hash = hash*a + (*str);      a = a*b;   }   return hash;}/* End Of RS Hash Function */unsigned int JSHash(char* str, unsigned int len){   unsigned int hash = 1315423911;   unsigned int i    = 0;   for(i=0; i<len; str++, i++) {      hash ^= ((hash<<5) + (*str) + (hash>>2));   }   return hash;}/* End Of JS Hash Function */unsigned int PJWHash(char* str, unsigned int len){   const unsigned int BitsInUnsignedInt = (unsigned int)(sizeof(unsigned int) * 8);   const unsigned int ThreeQuarters = (unsigned int)((BitsInUnsignedInt  * 3) / 4);   const unsigned int OneEighth = (unsigned int)(BitsInUnsignedInt / 8);   const unsigned int HighBits = (unsigned int)(0xFFFFFFFF) << (BitsInUnsignedInt - OneEighth);   unsigned int hash = 0;   unsigned int test = 0;   unsigned int i = 0;   for(i=0;i<len; str++, i++) {      hash = (hash<<OneEighth) + (*str);      if((test = hash & HighBits)  != 0) {         hash = ((hash ^(test >> ThreeQuarters)) & (~HighBits));      }   }   return hash;}/* End Of  P. J. Weinberger Hash Function */unsigned int ELFHash(char* str, unsigned int len){   unsigned int hash = 0;   unsigned int x    = 0;   unsigned int i    = 0;   for(i = 0; i < len; str++, i++) {      hash = (hash << 4) + (*str);      if((x = hash & 0xF0000000L) != 0) {         hash ^= (x >> 24);      }      hash &= ~x;   }   return hash;}/* End Of ELF Hash Function */unsigned int BKDRHash(char* str, unsigned int len){   unsigned int seed = 131; /* 31 131 1313 13131 131313 etc.. */   unsigned int hash = 0;   unsigned int i    = 0;   for(i = 0; i < len; str++, i++)   {      hash = (hash * seed) + (*str);   }   return hash;}/* End Of BKDR Hash Function */unsigned int SDBMHash(char* str, unsigned int len){   unsigned int hash = 0;   unsigned int i    = 0;   for(i = 0; i < len; str++, i++) {      hash = (*str) + (hash << 6) + (hash << 16) - hash;   }   return hash;}/* End Of SDBM Hash Function */unsigned int DJBHash(char* str, unsigned int len){   unsigned int hash = 5381;   unsigned int i    = 0;   for(i = 0; i < len; str++, i++) {      hash = ((hash << 5) + hash) + (*str);   }   return hash;}/* End Of DJB Hash Function */unsigned int DEKHash(char* str, unsigned int len){   unsigned int hash = len;   unsigned int i    = 0;   for(i = 0; i < len; str++, i++) {      hash = ((hash << 5) ^ (hash >> 27)) ^ (*str);   }   return hash;}/* End Of DEK Hash Function */unsigned int BPHash(char* str, unsigned int len){   unsigned int hash = 0;   unsigned int i    = 0;   for(i = 0; i < len; str++, i++) {      hash = hash << 7 ^ (*str);   }   return hash;}/* End Of BP Hash Function */unsigned int FNVHash(char* str, unsigned int len){   const unsigned int fnv_prime = 0x811C9DC5;   unsigned int hash      = 0;   unsigned int i         = 0;   for(i = 0; i < len; str++, i++) {      hash *= fnv_prime;      hash ^= (*str);   }   return hash;}/* End Of FNV Hash Function */unsigned int APHash(char* str, unsigned int len){   unsigned int hash = 0xAAAAAAAA;   unsigned int i    = 0;   for(i = 0; i < len; str++, i++) {      hash ^= ((i & 1) == 0) ? (  (hash <<  7) ^ (*str) * (hash >> 3)) :                               (~((hash << 11) + (*str) ^ (hash >> 5)));   }   return hash;}/* End Of AP Hash Function */unsigned int HFLPHash(char *str,unsigned int len){   unsigned int n=0;   int i;   char* b=(char *)&n;   for(i=0;i<strlen(str);++i) {     b[i%4]^=str[i];    }    return n%len;}/* End Of HFLP Hash Function*/unsigned int HFHash(char* str,unsigned int len){   int result=0;   char* ptr=str;   int c;   int i=0;   for (i=1;c=*ptr++;i++)   result += c*3*i;   if (result<0)      result = -result;   return result%len;}/*End Of HKHash Function */ unsigned int StrHash( char *str,unsigned int len) {    register unsigned int   h;    register unsigned char *p;     for(h=0,p=(unsigned char *)str;*p;p++) {         h=31*h+*p;     }      return h;  } /*End Of StrHash Function*/unsigned int TianlHash(char *str,unsigned int len){   unsigned long urlHashValue=0;   int ilength=strlen(str);   int i;   unsigned char ucChar;   if(!ilength)  {    return 0;   }   if(ilength<=256)  {      urlHashValue=16777216*(ilength-1);  } else {    urlHashValue = 42781900080;  }  if(ilength<=96) {   for(i=1;i<=ilength;i++) {    ucChar=str[i-1];          if(ucChar<='Z'&&ucChar>='A')  {     ucChar=ucChar+32;          }          urlHashValue+=(3*i*ucChar*ucChar+5*i*ucChar+7*i+11*ucChar)%1677216;      }  } else  {   for(i=1;i<=96;i++)   {    ucChar=str[i+ilength-96-1];    if(ucChar<='Z'&&ucChar>='A')    {     ucChar=ucChar+32;    }    urlHashValue+=(3*i*ucChar*ucChar+5*i*ucChar+7*i+11*ucChar)%1677216;   }  }  return urlHashValue; }/*End Of Tianl Hash Function*/

網上找到的php簡單實現：

<?php/** * Implements a Bloom Filter */class BloomFilter {    /**     * Size of the bit array     *     * @var int     */    protected $m;    /**     * Number of hash functions     *     * @var int     */    protected $k;    /**     * Number of elements in the filter     *     * @var int     */    protected $n;    /**     * The bitset holding the filter information     *     * @var array     */    protected $bitset;    /**     * 計算最優的hash函式個數：當hash函式個數k=(ln2)*(m/n)時錯誤率最小     *     * @param int $m bit陣列的寬度（bit數）     * @param int $n 加入布隆過濾器的key的數量     * @return int     */    public static function getHashCount($m, $n) {        return ceil(($m / $n) * log(2));    }    /**     * Construct an instance of the Bloom filter     *     * @param int $m bit陣列的寬度（bit數） Size of the bit array     * @param int $k hash函式的個數 Number of different hash functions to use     */    public function __construct($m, $k) {        $this->m = $m;        $this->k = $k;        $this->n = 0;        /* Initialize the bit set */        $this->bitset = array_fill(0, $this->m - 1, false);    }    /**     * False Positive的比率：f = (1 – e-kn/m)k        * Returns the probability for a false positive to occur, given the current number of items in the filter     *     * @return double     */    public function getFalsePositiveProbability() {        $exp = (-1 * $this->k * $this->n) / $this->m;        return pow(1 - exp($exp),  $this->k);    }    /**     * Adds a new item to the filter     *     * @param mixed Either a string holding a single item or an array of      *              string holding multiple items.  In the latter case, all     *              items are added one by one internally.     */    public function add($key) {        if (is_array($key)) {            foreach ($key as $k) {                $this->add($k);            }            return;        }        $this->n++;        foreach ($this->getSlots($key) as $slot) {            $this->bitset[$slot] = true;        }    }    /**     * Queries the Bloom filter for an element     *     * If this method return FALSE, it is 100% certain that the element has     * not been added to the filter before.  In contrast, if TRUE is returned,     * the element *may* have been added to the filter previously.  However with     * a probability indicated by getFalsePositiveProbability() the element has     * not been added to the filter with contains() still returning TRUE.     *     * @param mixed Either a string holding a single item or an array of      *              strings holding multiple items.  In the latter case the     *              method returns TRUE if the filter contains all items.     * @return boolean     */    public function contains($key) {        if (is_array($key)) {            foreach ($key as $k) {                if ($this->contains($k) == false) {                    return false;                }            }            return true;        }        foreach ($this->getSlots($key) as $slot) {            if ($this->bitset[$slot] == false) {                return false;            }        }        return true;    }    /**     * Hashes the argument to a number of positions in the bit set and returns the positions     *     * @param string Item     * @return array Positions     */    protected function getSlots($key) {        $slots = array();        $hash = self::getHashCode($key);        mt_srand($hash);        for ($i = 0; $i < $this->k; $i++) {            $slots[] = mt_rand(0, $this->m - 1);        }        return $slots;    }    /**     * 使用CRC32產生一個32bit（位）的校驗值。     * 由於CRC32產生校驗值時源資料塊的每一bit（位）都會被計算，所以資料塊中即使只有一位發生了變化，也會得到不同的CRC32值。     * Generates a numeric hash for the given string     *     * Right now the CRC-32 algorithm is used.  Alternatively one could e.g.     * use Adler digests or mimick the behaviour of Java's hashCode() method.     *     * @param string Input for which the hash should be created     * @return int Numeric hash     */    protected static function getHashCode($string) {        return crc32($string);    }    }$items = array("first item", "second item", "third item");        /* Add all items with one call to add() and make sure contains() finds * them all. */$filter = new BloomFilter(100, BloomFilter::getHashCount(100, 3));$filter->add($items);//var_dump($filter); exit;$items = array("firsttem", "seconditem", "thirditem");foreach ($items as $item) { var_dump(($filter->contains($item)));}/* Add all items with multiple calls to add() and make sure contains()* finds them all.*/$filter = new BloomFilter(100, BloomFilter::getHashCount(100, 3));foreach ($items as $item) { $filter->add($item);}$items = array("fir sttem", "secondit em", "thir ditem");foreach ($items as $item) { var_dump(($filter->contains($item)));}