使用python實現雜湊表、字典、集合
阿新 • • 發佈：2019-12-22
雜湊表
雜湊表（Hash Table, 又稱為散列表），是一種線性表的儲存結構。雜湊表由一個直接定址表和一個雜湊函式組成。雜湊函式h(k)將元素關鍵字k作為自變數，返回元素的儲存下標。
簡單雜湊函式：
- 除法雜湊：h(k) = k mod m
- 乘法雜湊：h(k) = floor(m(kA mod 1)) 0<A<1
假設有一個長度為7的陣列，雜湊函式h(k) = k mod 7,元素集合{14, 22, 3, 5}的儲存方式如下圖：
雜湊衝突
由於雜湊表的大小是有限的，而要儲存的值的總數量是無限的，因此對於任何雜湊函式，都會出現兩個不同的元素對映到同一個位置上的情況，這種情況叫做雜湊衝突。
比如：h(k) = k mod 7, h(0) = h(7) = h(14) = ...
解決雜湊衝突--開放定址法
開放定址法：如果雜湊函式返回的位置已經有值，則可以向後探查新的位置來儲存這個值
- 線性探查：如果位置i被佔用，則探查i+1, i+2,...
- 二次探查：如果位置i被佔用，則探查i+12, i-12, i+22, i-22,...
- 二度雜湊：有n個雜湊函式，當使用第一個雜湊函式h1發生衝突時，則嘗試使用h2, h3,...
解決雜湊衝突--拉鍊法
拉鍊法：雜湊表每一個位置都連線一個連結串列，當衝突發生時，衝突的元素將被加到該位置連結串列的最後。
雜湊表的實現
class Array(object):
def __init__(self, size=32, init=None):
self._size = size
self._items = [init] * size
def __getitem__(self, index):
return self._items[index]
def __setitem__(self, index, value):
self._items[index] = value
def __len__(self):
return self._size
def clear(self, value=None):
for i in range(len(self._items)):
self._items[i] = value
def __iter__(self):
for item in self._items:
yield item
class Slot(object):
"""
定義一個 hash 表陣列的槽(slot 這裡指的就是陣列的一個位置)
hash table 就是一個數組，每個陣列的元素（也叫slot槽）是一個物件，物件包含兩個屬性 key 和 value。
注意，一個槽有三種狀態，看你能否想明白。相比連結法解決衝突，探查法刪除一個 key 的操作稍微複雜。
1.從未使用 HashMap.UNUSED。此槽沒有被使用和衝突過，查詢時只要找到 UNUSED 就不用再繼續探查了
2.使用過但是 remove 了，此時是 HashMap.EMPTY，該探查點後邊的元素仍然可能是有key的，需要繼續查詢
3.槽正在使用 Slot 節點
"""
def __init__(self, key, value):
self.key, self.value = key, value
class HashTable(object):
UNUSED = None # 沒被使用過
EMPTY = Slot(None, None) # 使用卻被刪除過
def __init__(self):
self._table = Array(8, init=HashTable.UNUSED) # 保持 2*i 次方
self.length = 0
@property
def _load_factor(self):
# load_factor 超過 0.8 重新分配
return self.length / float(len(self._table))
def __len__(self):
return self.length
# 進行雜湊
def _hash(self, key):
return abs(hash(key)) % len(self._table)
# 查詢key
def _find_key(self, key):
"""
解釋一個 slot 為 UNUSED 和 EMPTY 的區別
因為使用的是二次探查的方式，假如有兩個元素 A，B 衝突了，
首先A hash 得到是 slot 下標5，A 放到了第5個槽，之後插入 B 因為衝突了，所以繼續根據二次探查方式放到了 slot下標8。
然後刪除 A，槽 5 被置為 EMPTY。然後我去查詢 B，
第一次 hash 得到的是 槽5，但是這個時候我還是需要第二次計算 hash 才能找到 B。
但是如果槽是 UNUSED 我就不用繼續找了，我認為 B 就是不存在的元素。這個就是 UNUSED 和 EMPTY 的區別。
"""
origin_index = index = self._hash(key) # origin_index 判斷是否又走到了起點，如果查詢一圈了都找不到則無此元素
_len = len(self._table)
while self._table[index] is not HashTable.UNUSED:
if self._table[index] is HashTable.EMPTY: # 注意如果是 EMPTY，繼續尋找下一個槽
index = (index * 5 + 1) % _len
if index == origin_index:
break
continue
if self._table[index].key == key: # 找到了key
return index
else:
index = (index * 5 + 1) % _len # 沒有找到繼續找下一個位置
if index == origin_index:
break
return None
# 找能插入的槽
def _find_slot_for_insert(self, key):
index = self._hash(key)
_len = len(self._table)
while not self._slot_can_insert(index): # 直到找到一個可以用的槽
index = (index * 5 + 1) % _len
return index
# 槽是否能插入
def _slot_can_insert(self, index):
return self._table[index] is HashTable.EMPTY or self._table[index] is HashTable.UNUSED
# in operator，實現之後可以使用 in 操作符判斷
def __contains__(self, key):
index = self._find_key(key)
return index is not None
# 新增元素
def add(self, key, value):
if key in self: # update
index = self._find_key(key)
self._table[index].value = value
return False
else:
index = self._find_slot_for_insert(key)
self._table[index] = Slot(key, value)
self.length += 1
if self._load_factor >= 0.8:
self._rehash()
return True
# 槽不夠時，重雜湊
def _rehash(self):
old_table = self._table
newsize = len(self._table) * 2
self._table = Array(newsize, HashTable.UNUSED)
self.length = 0
for slot in old_table:
if slot is not HashTable.UNUSED and slot is not HashTable.EMPTY:
index = self._find_slot_for_insert(slot.key)
self._table[index] = slot
self.length += 1
# 獲取值
def get(self, key, default=None):
index = self._find_key(key)
if index is None:
return default
else:
return self._table[index].value
# 移除
def remove(self, key):
index = self._find_key(key)
if index is None:
raise KeyError()
value = self._table[index].value
self.length -= 1
self._table[index] = HashTable.EMPTY
return value
# 遍歷
def __iter__(self):
for slot in self._table:
if slot not in (HashTable.EMPTY, HashTable.UNUSED):
yield slot.key雜湊表的使用
h = HashTable()
h.add('a', 0)
h.add('b', 1)
h.add('c', 2)
print(len(h)) # 3
print(h.get('a')) # 0
print(h.get('b')) # 1
print(h.get('hehe')) # None
h.remove('a')
print(h.get('a')) # None
print(sorted(list(h))) # ['b', 'c']
字典
字典是另一種可變容器模型，且可儲存任意型別物件。
字典的每個鍵值 key=>value 對用冒號 : 分割，每個鍵值對之間用逗號 , 分割，整個字典包括在花括號 {} 中 ,格式如下所示：
d = {key1 : value1, key2 : value2 }
基於雜湊表實現字典
class Array(object):
def __init__(self, size=32, init=None):
self._size = size
self._items = [init] * size
def __getitem__(self, index):
return self._items[index]
def __setitem__(self, index, value):
self._items[index] = value
def __len__(self):
return self._size
def clear(self, value=None):
for i in range(len(self._items)):
self._items[i] = value
def __iter__(self):
for item in self._items:
yield item
class Slot(object):
"""
定義一個 hash 表陣列的槽(slot 這裡指的就是陣列的一個位置)
hash table 就是一個數組，每個陣列的元素（也叫slot槽）是一個物件，物件包含兩個屬性 key 和 value。
注意，一個槽有三種狀態，看你能否想明白。相比連結法解決衝突，探查法刪除一個 key 的操作稍微複雜。
1.從未使用 HashMap.UNUSED。此槽沒有被使用和衝突過，查詢時只要找到 UNUSED 就不用再繼續探查了
2.使用過但是 remove 了，此時是 HashMap.EMPTY，該探查點後邊的元素仍然可能是有key的，需要繼續查詢
3.槽正在使用 Slot 節點
"""
def __init__(self, key, value):
self.key, self.value = key, value
class HashTable(object):
UNUSED = None # 沒被使用過
EMPTY = Slot(None, None) # 使用卻被刪除過
def __init__(self):
self._table = Array(8, init=HashTable.UNUSED) # 保持 2*i 次方
self.length = 0
@property
def _load_factor(self):
# load_factor 超過 0.8 重新分配
return self.length / float(len(self._table))
def __len__(self):
return self.length
# 進行雜湊
def _hash(self, key):
return abs(hash(key)) % len(self._table)
# 查詢key
def _find_key(self, key):
"""
解釋一個 slot 為 UNUSED 和 EMPTY 的區別
因為使用的是二次探查的方式，假如有兩個元素 A，B 衝突了，
首先A hash 得到是 slot 下標5，A 放到了第5個槽，之後插入 B 因為衝突了，所以繼續根據二次探查方式放到了 slot下標8。
然後刪除 A，槽 5 被置為 EMPTY。然後我去查詢 B，
第一次 hash 得到的是 槽5，但是這個時候我還是需要第二次計算 hash 才能找到 B。
但是如果槽是 UNUSED 我就不用繼續找了，我認為 B 就是不存在的元素。這個就是 UNUSED 和 EMPTY 的區別。
"""
origin_index = index = self._hash(key) # origin_index 判斷是否又走到了起點，如果查詢一圈了都找不到則無此元素
_len = len(self._table)
while self._table[index] is not HashTable.UNUSED:
if self._table[index] is HashTable.EMPTY: # 注意如果是 EMPTY，繼續尋找下一個槽
index = (index * 5 + 1) % _len
if index == origin_index:
break
continue
if self._table[index].key == key: # 找到了key
return index
else:
index = (index * 5 + 1) % _len # 沒有找到繼續找下一個位置
if index == origin_index:
break
return None
# 找能插入的槽
def _find_slot_for_insert(self, key):
index = self._hash(key)
_len = len(self._table)
while not self._slot_can_insert(index): # 直到找到一個可以用的槽
index = (index * 5 + 1) % _len
return index
# 槽是否能插入
def _slot_can_insert(self, index):
return self._table[index] is HashTable.EMPTY or self._table[index] is HashTable.UNUSED
# in operator，實現之後可以使用 in 操作符判斷
def __contains__(self, key):
index = self._find_key(key)
return index is not None
# 新增元素
def add(self, key, value):
if key in self: # update
index = self._find_key(key)
self._table[index].value = value
return False
else:
index = self._find_slot_for_insert(key)
self._table[index] = Slot(key, value)
self.length += 1
if self._load_factor >= 0.8:
self._rehash()
return True
# 槽不夠時，重雜湊
def _rehash(self):
old_table = self._table
newsize = len(self._table) * 2
self._table = Array(newsize, HashTable.UNUSED)
self.length = 0
for slot in old_table:
if slot is not HashTable.UNUSED and slot is not HashTable.EMPTY:
index = self._find_slot_for_insert(slot.key)
self._table[index] = slot
self.length += 1
# 獲取值
def get(self, key, default=None):
index = self._find_key(key)
if index is None:
return default
else:
return self._table[index].value
# 移除
def remove(self, key):
index = self._find_key(key)
if index is None:
raise KeyError()
value = self._table[index].value
self.length -= 1
self._table[index] = HashTable.EMPTY
return value
# 遍歷
def __iter__(self):
for slot in self._table:
if slot not in (HashTable.EMPTY, HashTable.UNUSED):
yield slot.key
class DictADT(HashTable):
# 執行dict[key]=value時執行
def __setitem__(self, key, value):
self.add(key, value)
# 執行dict[key]時執行
def __getitem__(self, key, default=None):
if key not in self:
raise KeyError()
return self.get(key, default)
# 遍歷時執行
def _iter_slot(self):
for slot in self._table:
if slot not in (self.UNUSED, self.EMPTY):
yield slot
# 實現items方法
def items(self):
for slot in self._iter_slot():
yield (slot.key, slot.value)
# 實現keys方法
def keys(self):
for slot in self._iter_slot():
yield slot.key
# 實現values方法
def values(self):
for slot in self._iter_slot():
yield slot.value
字典的使用
d = DictADT() d['a'] = 1 print(d['a']) # 1
集合
集合是一種不包含重複元素的資料結構，經常用來判斷是否重複這種操作，或者集合中是否存在一個元素。
集合可能最常用的就是去重，判斷是否存在一個元素等，但是 set 相比 dict 有更豐富的操作，主要是數學概念上的。
如果你學過《離散數學》中集合相關的概念，基本上是一致的。 python 的 set 提供瞭如下基本的集合操作， 假設有兩個集合 A，B，有以下操作：
-
交集: A & B，表示同時在 A 和 B 中的元素。 python 中過載
__and__實現 -
並集: A | B，表示在 A 或者 B 中的元素，兩個集合相加。python 中過載
__or__實現 -
差集: A - B，表示在 A 中但是不在 B 中的元素。 python 中過載
__sub__實現
基於雜湊表實現集合
class Array(object):
def __init__(self, size=32, init=None):
self._size = size
self._items = [init] * size
def __getitem__(self, index):
return self._items[index]
def __setitem__(self, index, value):
self._items[index] = value
def __len__(self):
return self._size
def clear(self, value=None):
for i in range(len(self._items)):
self._items[i] = value
def __iter__(self):
for item in self._items:
yield item
class Slot(object):
"""
定義一個 hash 表陣列的槽(slot 這裡指的就是陣列的一個位置)
hash table 就是一個數組，每個陣列的元素（也叫slot槽）是一個物件，物件包含兩個屬性 key 和 value。
注意，一個槽有三種狀態，看你能否想明白。相比連結法解決衝突，探查法刪除一個 key 的操作稍微複雜。
1.從未使用 HashMap.UNUSED。此槽沒有被使用和衝突過，查詢時只要找到 UNUSED 就不用再繼續探查了
2.使用過但是 remove 了，此時是 HashMap.EMPTY，該探查點後邊的元素仍然可能是有key的，需要繼續查詢
3.槽正在使用 Slot 節點
"""
def __init__(self, key, value):
self.key, self.value = key, value
class HashTable(object):
UNUSED = None # 沒被使用過
EMPTY = Slot(None, None) # 使用卻被刪除過
def __init__(self):
self._table = Array(8, init=HashTable.UNUSED) # 保持 2*i 次方
self.length = 0
@property
def _load_factor(self):
# load_factor 超過 0.8 重新分配
return self.length / float(len(self._table))
def __len__(self):
return self.length
# 進行雜湊
def _hash(self, key):
return abs(hash(key)) % len(self._table)
# 查詢key
def _find_key(self, key):
"""
解釋一個 slot 為 UNUSED 和 EMPTY 的區別
因為使用的是二次探查的方式，假如有兩個元素 A，B 衝突了，
首先A hash 得到是 slot 下標5，A 放到了第5個槽，之後插入 B 因為衝突了，所以繼續根據二次探查方式放到了 slot下標8。
然後刪除 A，槽 5 被置為 EMPTY。然後我去查詢 B，
第一次 hash 得到的是 槽5，但是這個時候我還是需要第二次計算 hash 才能找到 B。
但是如果槽是 UNUSED 我就不用繼續找了，我認為 B 就是不存在的元素。這個就是 UNUSED 和 EMPTY 的區別。
"""
origin_index = index = self._hash(key) # origin_index 判斷是否又走到了起點，如果查詢一圈了都找不到則無此元素
_len = len(self._table)
while self._table[index] is not HashTable.UNUSED:
if self._table[index] is HashTable.EMPTY: # 注意如果是 EMPTY，繼續尋找下一個槽
index = (index * 5 + 1) % _len
if index == origin_index:
break
continue
if self._table[index].key == key: # 找到了key
return index
else:
index = (index * 5 + 1) % _len # 沒有找到繼續找下一個位置
if index == origin_index:
break
return None
# 找能插入的槽
def _find_slot_for_insert(self, key):
index = self._hash(key)
_len = len(self._table)
while not self._slot_can_insert(index): # 直到找到一個可以用的槽
index = (index * 5 + 1) % _len
return index
# 槽是否能插入
def _slot_can_insert(self, index):
return self._table[index] is HashTable.EMPTY or self._table[index] is HashTable.UNUSED
# in operator，實現之後可以使用 in 操作符判斷
def __contains__(self, key):
index = self._find_key(key)
return index is not None
# 新增元素
def add(self, key, value):
if key in self: # update
index = self._find_key(key)
self._table[index].value = value
return False
else:
index = self._find_slot_for_insert(key)
self._table[index] = Slot(key, value)
self.length += 1
if self._load_factor >= 0.8:
self._rehash()
return True
# 槽不夠時，重雜湊
def _rehash(self):
old_table = self._table
newsize = len(self._table) * 2
self._table = Array(newsize, HashTable.UNUSED)
self.length = 0
for slot in old_table:
if slot is not HashTable.UNUSED and slot is not HashTable.EMPTY:
index = self._find_slot_for_insert(slot.key)
self._table[index] = slot
self.length += 1
# 獲取值
def get(self, key, default=None):
index = self._find_key(key)
if index is None:
return default
else:
return self._table[index].value
# 移除
def remove(self, key):
index = self._find_key(key)
if index is None:
raise KeyError()
value = self._table[index].value
self.length -= 1
self._table[index] = HashTable.EMPTY
return value
# 遍歷
def __iter__(self):
for slot in self._table:
if slot not in (HashTable.EMPTY, HashTable.UNUSED):
yield slot.key
class SetADT(HashTable):
# 新增元素
def add(self, key):
super().add(key, True)
def __and__(self, other_set):
"""交集 A&B"""
new_set = SetADT()
for element_a in self:
if element_a in other_set:
new_set.add(element_a)
return new_set
def __sub__(self, other_set):
"""差集 A-B"""
new_set = SetADT()
for element_a in self:
if element_a not in other_set:
new_set.add(element_a)
return new_set
def __or__(self, other_set):
"""並集 A|B"""
new_set = SetADT()
for element_a in self:
new_set.add(element_a)
for element_b in other_set:
new_set.add(element_b)
return new_set
集合的使用
sa = SetADT() sa.add(1) sa.add(2) sa.add(3) sb = SetADT() sb.add(3) sb.add(4) sb.add(5) print(sorted(list(sa & sb))) # [3] print(sorted(list(sa - sb))) # [1, 2] print(sorted(list(sa | sb))) # [1, 2, 3, 4, 5]
~>.&l