2. 程式人生 > >暴雪公司關於字串匹配的hash演算法

暴雪公司關於字串匹配的hash演算法

阿新 • • 發佈：2019-02-03
暴雪公司有個經典的字串的hash公式

      先提一個簡單的問題，假如有一個龐大的字串陣列，然後給你一個單獨的字串，讓你從這個陣列中查詢是否有這個字串並找到它，你會怎麼做？ 有一個方法最簡單，老老實實從頭查到尾，一個一個比較，直到找到為止，我想只要學過程式設計的人都能把這樣一個程式作出來，但要是有程式設計師把這樣的程式交給使用者，我只能用無語來評價，或許它真的能工作，但...也只能如此了。 最合適的演算法自然是使用HashTable（雜湊表），先介紹介紹其中的基本知識，所謂Hash，一般是一個整數，通過某種演算法，可以把一個字串"壓縮" 成一個整數，這個數稱為Hash，當然，無論如何，一個32位整數是無法對應回一個字串的，但在程式中，兩個字串計算出的Hash值相等的可能非常小，下面看看在MPQ中的Hash演算法：

unsigned long HashString(char*lpszFileName, unsigned long dwHashType) 
{ 
	unsigned char*key = (unsigned char*)lpszFileName; 
	unsigned long seed1 =0x7FED7FED, seed2 =0xEEEEEEEE; 
	int ch; 

	while(*key !=0) 
	{ 
		ch = toupper(*key ); 

		seed1 = cryptTable[(dwHashType <<8) ch] ^ (seed1 seed2); 
		seed2 = ch+ seed1+ seed2 +(seed2 <<5) 3; 
	} 
	return seed1; 
}

Blizzard的這個演算法是非常高效的，被稱為"One-Way Hash"，舉個例子，字串"unitneutralacritter.grp"通過這個演算法得到的結果是0xA26067F3。 是不是把第一個演算法改進一下，改成逐個比較字串的Hash值就可以了呢，答案是，遠遠不夠，要想得到最快的演算法，就不能進行逐個的比較，通常是構造一個雜湊表(Hash Table,http://blog.csdn.net/shanzhizi)來解決問題，雜湊表是一個大陣列，這個陣列的容量根據程式的要求來定義，例如1024，每一個Hash值通過取模運算 (mod)對應到陣列中的一個位置，這樣，只要比較這個字串的雜湊值對的位置又沒有被佔用，就可以得到最後的結果了，想想這是什麼速度？是的，是最快的O(1)，現在仔細看看這個演算法吧
int GetHashTablePos(char*lpszString, SOMESTRUCTURE *lpTable, int nTableSize) 
{ 
	int nHash = HashString(lpszString), nHashPos = nHash % nTableSize; 

	if (lpTable[nHashPos].bExists &&!strcmp(lpTable[nHashPos].pString, lpszString)) 
		return nHashPos; 
	else 
		return-1; //Error value 
}

看到此，我想大家都在想一個很嚴重的問題："假如兩個字串在雜湊表中對應的位置相同怎麼辦？",究竟一個數組容量是有限的，這種可能性很大。解決該問題的方法很多，我首先想到的就是用"連結串列",感謝大學裡學的資料結構教會了這個百試百靈的法寶，我碰到的很多演算法都可以轉化成連結串列來解決，只要在雜湊表的每個入口掛一個連結串列，儲存所有對應的字串就OK了。 事情到此似乎有了完美的結局，假如是把問題獨自交給我解決，此時我可能就要開始定義資料結構然後寫程式碼了。然而Blizzard的程式設計師使用的方法則是更精妙的方法。基本原理就是：他們在雜湊表中不是用一個雜湊值而是用三個雜湊值來校驗字串。 中國有句古話"再一再二不能再三再四"，看來Blizzard也深得此話的精髓，假如說兩個不同的字串經過一個雜湊演算法得到的入口點一致有可能，但用三個不同的雜湊演算法算出的入口點都一致，那幾乎可以肯定是不可能的事了，這個機率是1:18889465931478580854784，大概是10的 22.3次方分之一，對一個遊戲程式來說足夠安全了。 現在再回到資料結構上，Blizzard使用的雜湊表沒有使用連結串列，而採用"順延"的方式來解決問題，看看這個演算法：
 
int GetHashTablePos(char*lpszString, MPQHASHTABLE *lpTable, int nTableSize) 
{ 
	constint HASH_OFFSET =0, HASH_A =1, HASH_B =2; 
	int nHash = HashString(lpszString, HASH_OFFSET); 
	int nHashA = HashString(lpszString, HASH_A); 
	int nHashB = HashString(lpszString, HASH_B); 
	int nHashStart = nHash % nTableSize, nHashPos = nHashStart; 
	
	while (lpTable[nHashPos].bExists) 
	{ 
		if (lpTable[nHashPos].nHashA == nHashA && lpTable[nHashPos].nHashB == nHashB) 
			return nHashPos; 
		else 
			nHashPos = (nHashPos 1) % nTableSize; 
		
		if (nHashPos == nHashStart) 
			break; 
	} 

	return-1; //Error value 
}

1. 計算出字串的三個雜湊值（一個用來確定位置，另外兩個用來校驗)
2. 察看雜湊表中的這個位置
3. 雜湊表中這個位置為空嗎？假如為空，則肯定該字串不存在，返回
4. 假如存在，則檢查其他兩個雜湊值是否也匹配，假如匹配，則表示找到了該字串，返回
5. 移到下一個位置，假如已經越界，則表示沒有找到，返回
6. 看看是不是又回到了原來的位置，假如是，則返回沒找到 7. 回到3
 

下面用一個靜態陣列做一個簡單模擬（沒有處理hash衝突）：

#include <stdio.h> 
#define HASH_TABLE_SIZE 13 // 雜湊表的大小應是個質數 
struct mapping 
{ 
  void *key; 
  void *data; 
} hash_table[HASH_TABLE_SIZE]; 

unsigned int 
RSHash (char *str) 
{ 
  unsigned int b = 378551; 
  unsigned int a = 63689; 
  unsigned int hash =      0  ; 

  while (*str) 
    { 
      hash = hash * a + (*str++); 
      a *= b; 
    } 
  return (hash & 0x7FFFFFFF); 
} 

int main () 
{ 
  char *str = "we are the world!"; 
  char *filename = "myfile.txt"; 
  unsigned int hash_offset; 
  // 初始化雜湊表 
  memset (hash_table, 0x0, sizeof (hash_table)); 

  // 將字串插入雜湊表 . 
  hash_offset = RSHash (str) % HASH_TABLE_SIZE; 
  hash_table[hash_offset].key = str; 
  hash_table[hash_offset].data = filename; 

  // 查詢 str 是否存在於 hash_table. 
  hash_offset = RSHash (str) % HASH_TABLE_SIZE; 
  if (hash_table[hash_offset].key) 
        printf ("string '%s' exists in the file %s./n", str, hash_table[hash_offset].data); 
  else 
        printf ("string '%s' does not exist./n", str);

return 0;
}

下面是一個類的封裝： 
程式碼

一、類宣告標頭檔案
/////////////////////////////////////////////////////////////////////////////
// Name:        HashAlgo.h
// Purpose:     使用魔獸Hash演算法，實現索引表的填充和查詢功能。
// Author:      陳相禮
// Modified by:
// Created:     07/30/09
// RCS-ID:      $Id: treetest.h 43021 2009-07-30 16:36:51Z VZ $
// Copyright:   (C) Copyright 2009, TSong Corporation, All Rights Reserved.
// Licence:     
/////////////////////////////////////////////////////////////////////////////
#define MAXFILENAME 255     // 最大檔名長度
#define MAXTABLELEN 1024    // 預設雜湊索引表大小
//////////////////////////////////////////////////////////////////////////
// 測試巨集定義，正式使用時關閉
#define DEBUGTEST 1
//////////////////////////////////////////////////////////////////////////
// 雜湊索引表定義
typedef struct
{
    long nHashA;
    long nHashB;
    bool bExists;
    char test_filename[MAXFILENAME];
    // ......
} MPQHASHTABLE;
//////////////////////////////////////////////////////////////////////////
// 對雜湊索引表的演算法進行封裝
class CHashAlgo
{
public:
#if DEBUGTEST
    long  testid;   // 測試之用
#endif
    CHashAlgo( constlong nTableLength = MAXTABLELEN )// 建立指定大小的雜湊索引表，不帶引數的建構函式建立預設大小的雜湊索引表
    {
        prepareCryptTable();
        m_tablelength = nTableLength;
        
        m_HashIndexTable =new MPQHASHTABLE[nTableLength];
        for ( int i =0; i < nTableLength; i++ )
        {
            m_HashIndexTable[i].nHashA =-1;
            m_HashIndexTable[i].nHashB =-1;
            m_HashIndexTable[i].bExists =false;
            m_HashIndexTable[i].test_filename[0] ='\0';
        }        
    }
    void prepareCryptTable();                                               // 對雜湊索引表預處理
    unsigned long HashString(char*lpszFileName, unsigned long dwHashType); // 求取雜湊值    
long GetHashTablePos( char*lpszString );                               // 得到在定長表中的位置
bool SetHashTable( char*lpszString );                                  // 將字串雜湊到雜湊表中
    unsigned long GetTableLength(void);
    void SetTableLength( const unsigned long nLength );
    ~CHashAlgo()
    {
        if ( NULL != m_HashIndexTable )
        {
            delete []m_HashIndexTable;
            m_HashIndexTable = NULL;
            m_tablelength =0;
        }
    }
protected:
private:
    unsigned long cryptTable[0x500];
    unsigned long m_tablelength;    // 雜湊索引表長度
    MPQHASHTABLE *m_HashIndexTable;
}; 
二、類實現檔案
view plaincopy to clipboardprint?
/////////////////////////////////////////////////////////////////////////////   
// Name:        HashAlgo.cpp   
// Purpose:     使用魔獸Hash演算法，實現索引表的填充和查詢功能。   
// Author:      陳相禮   
// Modified by:   
// Created:     07/30/09   
// RCS-ID:      $Id: treetest.h 43021 2009-07-30 16:36:51Z VZ $   
// Copyright:   (C) Copyright 2009, TSong Corporation, All Rights Reserved.   
// Licence:        
/////////////////////////////////////////////////////////////////////////////   
  
#include "windows.h"   
#include "HashAlgo.h"   
  
//////////////////////////////////////////////////////////////////////////   
// 預處理   
void CHashAlgo::prepareCryptTable()   
{    
    unsigned long seed =0x00100001, index1 =0, index2 =0, i;   
  
    for( index1 =0; index1 <0x100; index1++ )   
    {    
        for( index2 = index1, i =0; i <5; i++, index2 +=0x100 )   
        {    
            unsigned long temp1, temp2;   
            seed = (seed *125+3) %0x2AAAAB;   
            temp1 = (seed &0xFFFF) <<0x10;   
            seed = (seed *125+3) %0x2AAAAB;   
            temp2 = (seed &0xFFFF);   
            cryptTable[index2] = ( temp1 | temp2 );    
        }    
    }    
}   
  
//////////////////////////////////////////////////////////////////////////   
// 求取雜湊值   
unsigned long CHashAlgo::HashString(char*lpszFileName, unsigned long dwHashType)   
{    
    unsigned char*key = (unsigned char*)lpszFileName;   
    unsigned long seed1 =0x7FED7FED, seed2 =0xEEEEEEEE;   
    int ch;   
  
    while(*key !=0)   
    {    
        ch = toupper(*key++);   
  
        seed1 = cryptTable[(dwHashType <<8) + ch] ^ (seed1 + seed2);   
        seed2 = ch + seed1 + seed2 + (seed2 <<5) +3;    
    }   
    return seed1;    
}   
  
//////////////////////////////////////////////////////////////////////////   
// 得到在定長表中的位置   
long CHashAlgo::GetHashTablePos(char*lpszString)   
  
{    
    const unsigned long HASH_OFFSET =0, HASH_A =1, HASH_B =2;   
    unsigned long nHash = HashString(lpszString, HASH_OFFSET);   
    unsigned long nHashA = HashString(lpszString, HASH_A);   
    unsigned long nHashB = HashString(lpszString, HASH_B);   
    unsigned long nHashStart = nHash % m_tablelength,   
        nHashPos = nHashStart;   
  
    while ( m_HashIndexTable[nHashPos].bExists)   
    {    
        if (m_HashIndexTable[nHashPos].nHashA == nHashA && m_HashIndexTable[nHashPos].nHashB == nHash)    
            return nHashPos;    
        else    
            nHashPos = (nHashPos +1) % m_tablelength;   
  
        if (nHashPos == nHashStart)    
            break;    
    }   
  
    return-1; //沒有找到   
}   
//////////////////////////////////////////////////////////////////////////   
// 通過傳入字串，將相應的表項雜湊到索引表相應位置中去   
bool CHashAlgo::SetHashTable( char*lpszString )   
{   
    const unsigned long HASH_OFFSET =0, HASH_A =1, HASH_B =2;   
    unsigned long nHash = HashString(lpszString, HASH_OFFSET);   
    unsigned long nHashA = HashString(lpszString, HASH_A);   
    unsigned long nHashB = HashString(lpszString, HASH_B);   
    unsigned long nHashStart = nHash % m_tablelength,   
        nHashPos = nHashStart;   
  
    while ( m_HashIndexTable[nHashPos].bExists)   
    {    
        nHashPos = (nHashPos +1) % m_tablelength;   
        if (nHashPos == nHashStart)    
        {   
  
#if DEBUGTEST   
            testid =-1;   
#endif
  
            returnfalse;    
        }   
    }   
    m_HashIndexTable[nHashPos].bExists =true;   
    m_HashIndexTable[nHashPos].nHashA = nHashA;   
    m_HashIndexTable[nHashPos].nHashB = nHash;   
    strcpy( m_HashIndexTable[nHashPos].test_filename, lpszString );   
  
#if DEBUGTEST   
    testid = nHashPos;   
#endif
  
    returntrue;   
}   
  
//////////////////////////////////////////////////////////////////////////   
// 取得雜湊索引表長   
unsigned long CHashAlgo::GetTableLength(void)   
{   
    return m_tablelength;   
}   
  
//////////////////////////////////////////////////////////////////////////   
// 設定雜湊索引表長   
void CHashAlgo::SetTableLength( const unsigned long nLength )   
{   
    m_tablelength = nLength;   
    return;   
}  

三、測試主檔案
view plaincopy to clipboardprint?
/////////////////////////////////////////////////////////////////////////////   
// Name:        DebugMain.cpp   
// Purpose:     測試Hash演算法封裝的類，完成索引表的填充和查詢功能的測試。   
// Author:      陳相禮   
// Modified by:   
// Created:     07/30/09   
// RCS-ID:      $Id: treetest.h 43021 2009-07-30 16:36:51Z VZ $   
// Copyright:   (C) Copyright 2009, TSong Corporation, All Rights Reserved.   
// Licence:        
/////////////////////////////////////////////////////////////////////////////   
  
//////////////////////////////////////////////////////////////////////////   
// 測試引數設定巨集   
#define TESTNUM 32   
  
#include <iostream>   
#include <fstream>   
#include "HashAlgo.h"   
  
usingnamespace std;   
  
//////////////////////////////////////////////////////////////////////////   
// 測試主函式開始   
int main( int argc, char**argv )   
{   
    CHashAlgo hash_test( TESTNUM );   
  
    cout <<"取得初始化雜湊索引表長為："<< hash_test.GetTableLength() << endl;   
  
    bool is_success = hash_test.SetHashTable( "test" );   
    if ( is_success )   
    {   
        cout <<"雜湊結果一：成功！"<< endl;   
    }   
    else  
    {   
        cout <<"雜湊結果一：失敗！"<< endl;   
    }   
       
    is_success = hash_test.SetHashTable( "測試" );   
    if ( is_success )   
    {   
        cout <<"雜湊結果二：成功！"<< endl;   
    }   
    else  
    {   
        cout <<"雜湊結果二：失敗！"<< endl;   
    }   
  
    long pos = hash_test.GetHashTablePos( "test" );   
    cout <<"查詢測試字串：\"test\" 的雜湊位置："<< pos << endl;   
    pos = hash_test.GetHashTablePos( "測試" );   
    cout <<"查詢測試字串：“測試” 的雜湊位置："<< pos << endl;   
  
    //////////////////////////////////////////////////////////////////////////   
// 雜湊測試   
for ( int i =0; i < TESTNUM; i++ )   
    {   
        char buff[32];   
        sprintf(buff, "abcdefg%d.", i);   
        is_success = hash_test.SetHashTable(buff);   
        is_success ? cout << buff <<"雜湊結果：成功！位置："<< hash_test.testid << endl : cout << buff <<"雜湊結果：失敗！"<< endl;         
    }   
    system( "pause" );   
    //////////////////////////////////////////////////////////////////////////   
// 查詢測試   
for ( int i =0; i < TESTNUM; i++ )   
    {   
        char buff[32];   
        sprintf(buff, "abcdefg%d.", i);   
        pos = hash_test.GetHashTablePos( buff );   
        pos !=-1?  cout <<"查詢測試字串："<< buff <<" 的雜湊位置："<< pos << endl : cout << buff <<"存在衝突！"<< endl;      
    }   
  
    system( "pause" );   
    return0;   
}


相關推薦

暴雪公司關於字串匹配的hash演算法

暴雪公司有個經典的字串的hash公式      先提一個簡單的問題，假如有一個龐大的字串陣列，然後給你一個單獨的字串，讓你從這個陣列中查詢是否有這個字串並找到它，你會怎麼做？ 有一個方法最簡單，老老實實從頭查到尾，一個一個比較，直到找到為止，我想只要學過程式設計的人都能把這

字串匹配BF演算法

BF演算法是樸素的字串匹配演算法，說是樸素其實就是效率低下。 #include <stdio.h> #include <string> using namespace std; int index(string S, string T, int pos) { i

字串匹配shiftand演算法//(轉載的，但沒有找到最終出處)

令人驚歎的Shift-And/Shift-Or 寫在前面：Shift-And/Shift-Or是如此令人驚歎的演算法，在KMP基礎上開始一段神奇之旅。 目的：以Shift-And演算法為載體，試圖在減少思維斷層情況下學習作者演算法思想。 目錄：       1

字串匹配——樸素演算法、KMP演算法

字串匹配（string match)是在實際工程中經常會碰到的問題，通常其輸入是原字串(String)和子串（又稱模式，Pattern)組成，輸出為子串在原字串中的首次出現的位置。通常精確的字串搜尋演算法包括樸素搜尋演算法，KMP, BM(Boyer Moore), sund

字串匹配shiftand演算法

令人驚歎的Shift-And/Shift-Or 寫在前面：Shift-And/Shift-Or是如此令人驚歎的演算法，在KMP基礎上開始一段神奇之旅。 目的：以Shift-And演算法為載體，試圖在減少思維斷層情況下學習作者演算法思想。 目錄： 1:主要思想 2:演算法

字串匹配 & KMP演算法

初識KMP 期末的時候學習了KMP演算法，雖然一開始的確聽得是一頭霧水，但是到現在，已經基本懂得了其中的原理，於是在這裡把自己的理解寫出來，再配上自己做的圖示，希望對大家的學習有幫助，要是有什麼疑問或建議，歡迎留言評論。^-^ KMP是一種用於字串匹配的

字串匹配KMP演算法中Next[]陣列求法

int get_nextval(SString T,int &nextval[ ]){            //求模式串T的next函式修正值並存入陣列nextval。            i=1; nextval[1]=0; j=0;            while(i<T[0]){

字串匹配——KMP演算法中的next陣列理解

關於原理就不講了，只說下我對Next陣列的理解，希望可以讓你獲得靈光一閃。 其實最難的就是是j=Next[j];這麼一句話，當時思考了很長時間，終於明白的時候確實很興奮加得意。 #include<cstdio> #include<cstring> v

字串匹配——KMP演算法的Java實現

開始複習演算法，複習到字串這一結構時，一個經典的問題就是兩個字串的匹配問題。 比如：在主串ssdfgasdbababa中找是否存在一個asdba的子串。 傳統方法——暴力匹配 用傳統的方法就是暴力匹配，從主串中一個個地和子串匹配。 最壞的情況下，就是

暴雪公司賴以成功的三大祕訣

導讀：　 　　1、“你知道嗎？在孩子出生前五六個小時，我還在醫院裡程式設計序。”　　2、暴雪自1994年以來推出了三個系列（包括《魔獸爭霸》、《暗黑破壞神》和《星際爭霸》）的七款遊戲，其中有六款遊戲都斬獲白金銷量（超過100萬份）。　　3、暴雪堅持認為，一個人喜歡玩遊戲不是靠

字串匹配——Sunday演算法

字串匹配——Sunday演算法 基本思想及舉例 Sunday演算法由Daniel M.Sunday在1990年提出，它的思想跟BM

字串匹配-BF演算法和KMP演算法

宣告：圖片及內容基於https://www.bilibili.com/video/av95949609 BF演算法 原理分析 Brute Force 暴力演算法 用來在主串中查詢模式串是否存以及出現位置     核心就是回溯 如果模式串下標 j 始終沒有到達'\0'則沒有找到

Rabin-karp演算法實現 字串匹配

// RabinKarp演算法實現 // RabinKarp演算法實現 const primeRK = 16777619 func hashStr(seq string) (uint32, uint32) { hash := uint32(0) for _, value

leetcode 214 Shortest Palindrome kmp演算法 字首字尾字串匹配

0 leetcode 214. Shortest Palindrome  本題的描述是一個串前方加上一些字串，使其成為一個迴文串。 形式類似於(新增部分)(迴文部分)(其餘部分)，所以我們的目標就是將其迴文部分求出來，或者把他的長度求出來。 如果用暴力解法，那麼問題就變成

字串匹配的RabinKarp演算法的c語言實現

</pre><pre name="code" class="cpp">#include<string.h> int check( char *s1,char *s2,int n ); int main() { char s1[10000],s2[1000000]

字串匹配演算法的分析【轉】

轉自：https://www.cnblogs.com/adinosaur/p/6002978.html 問題描述 字串匹配問題可以歸納為如下的問題：在長度為n的文字T[1...n]中，查詢一個長度為m的模式P[1...m]。並且假設T，P中的元素都來自一個有限字母集合Ʃ。如果存在位移s，其中0≤s≤n-m

用於字串匹配的KMP演算法

KMP演算法的理解分為兩個部分： 1.如何利用next陣列(最大前後綴長度)匹配字元。 藉助next陣列，原字串的i可以不回移，如果當前字元失配則前模式串的j即可。因為雖然當前s[i]和t[j]失配，但是我們知道j之前的字元是匹配的，只要確定t[0]~t[j-1]的最長前後綴，就可以通過移動

字串匹配的三個演算法（KMP+字典樹+AC自動機）

字串匹配的意思是給一個字串集合，和另一個字串集合，看這兩個集合交集是多少。 （1）若是都只有一個字串，那麼就看其中一個是否包含另外一個（一對一，KMP） https://blog.csdn.net/fkyyly/article/details/48007965 （2）若是父串集合（比較長

字串的匹配 KMP演算法分析

圖片來源於  土豆洋芋山藥蛋 https://blog.csdn.net/qq_33414271/article/details/83789478 1.什麼是KMP演算法？ 在主串Str中查詢模式串Pattern的方法中，有一種方式叫KMP演算法 KMP演算法是在模式

字串匹配演算法實現

KMP演算法 1 void Next(char *src,int n,int *next) 2 { 3 int j,k; 4 j=0; 5 k=-1; 6 next[0] = -1; 7 while(j<n-1) 8 { 9 if(k==-1 || src[j] == src[