使用FP-growth演算法來高效發現頻繁項集

FP-growth演算法基於Apriori構建，但採用了高階的資料結構減少掃描次數，大大加快了演算法速度。FP-growth演算法只需要對資料庫進行兩次掃描，而Apriori演算法對於每個潛在的頻繁項集都會掃描資料集判定給定模式是否頻繁，因此FP-growth演算法的速度要比Apriori演算法快。

FP-growth演算法發現頻繁項集的基本過程如下：

• 構建FP樹
• 從FP樹中挖掘頻繁項集

FP-growth演算法

• 優點：一般要快於Apriori。
• 缺點：實現比較困難，在某些資料集上效能會下降。
• 適用資料型別：離散型資料。

4.1 FP樹：用於編碼資料集的有效方式

FP-growth演算法將資料儲存在一種稱為FP樹的緊湊資料結構中。FP代表頻繁模式（Frequent Pattern）。一棵FP樹看上去與電腦科學中的其他樹結構類似，但是它通過連結（link）來連線相似元素，被連起來的元素項可以看成一個連結串列。圖5給出了FP樹的一個例子。

圖5 一棵FP樹，和一般的樹結構類似，包含著連線相似節點（值相同的節點）的連線

與搜尋樹不同的是，一個元素項可以在一棵FP樹種出現多次。FP樹輝儲存項集的出現頻率，而每個項集會以路徑的方式儲存在數中。存在相似元素的集合會共享樹的一部分。只有當集合之間完全不同時，樹才會分叉。 樹節點上給出集合中的單個元素及其在序列中的出現次數，路徑會給出該序列的出現次數。

相似項之間的連結稱為節點連結（node link），用於快速發現相似項的位置。

舉例說明，下表用來產生圖5的FP樹：

對FP樹的解讀：

圖5中，元素項z出現了5次，集合{r, z}出現了1次。於是可以得出結論：z一定是自己本身或者和其他符號一起出現了4次。集合{t, s, y, x, z}出現了2次，集合{t, r, y, x, z}出現了1次，z本身單獨出現1次。就像這樣，FP樹的解讀方式是讀取某個節點開始到根節點的路徑。路徑上的元素構成一個頻繁項集，開始節點的值表示這個項集的支援度。根據圖5，我們可以快速讀出項集{z}的支援度為5、項集{t, s, y, x, z}的支援度為2、項集{r, y, x, z}的支援度為1、項集{r, s, x}的支援度為1。FP樹中會多次出現相同的元素項，也是因為同一個元素項會存在於多條路徑，構成多個頻繁項集。但是頻繁項集的共享路徑是會合並的，如圖中的{t, s, y, x, z}和{t, r, y, x, z}

和之前一樣，我們取一個最小閾值，出現次數低於最小閾值的元素項將被直接忽略。圖5中將最小支援度設為3，所以q和p沒有在FP中出現。

FP-growth演算法的工作流程如下。首先構建FP樹，然後利用它來挖掘頻繁項集。為構建FP樹，需要對原始資料集掃描兩遍。第一遍對所有元素項的出現次數進行計數。資料庫的第一遍掃描用來統計出現的頻率，而第二遍掃描中只考慮那些頻繁元素。

4.2 構建FP樹

1 建立FP樹的資料結構

由於樹節點的結構比較複雜，我們使用一個類表示。建立檔案fpGrowth.py並加入下列程式碼：