在2006年12月召開的 IEEE 資料探勘國際會議上（ICDM， International Conference on Data Mining），與會的各位專家選出了當時的十大資料探勘演算法（ top 10 data mining algorithms ），可以參見文獻【1】。本部落格已經介紹過的位列十大演算法之中的演算法包括：

Apriori演算法是一種用於關聯規則挖掘（Association rule mining）的代表性演算法，它同樣位居十大資料探勘演算法之列。關聯規則挖掘是資料探勘中的一個非常重要的研究方向，也是一個由來已久的話題，它的主要任務就是設法發現事物之間的內在聯絡。

歡迎關注白馬負金羈的部落格

http://blog.csdn.net/baimafujinji，為保證公式、圖表得以正確顯示，強烈建議你從該地址上檢視原版博文。本部落格主要關注方向包括：數字影象處理、演算法設計與分析、資料結構、機器學習、資料探勘、統計分析方法、自然語言處理。

引言：資料探勘與機器學習

有時候，人們會對機器學習與資料探勘這兩個名詞感到困惑。如果你翻開一本冠以機器學習之名的教科書，再同時翻開一本名叫資料探勘的教材，你會發現二者之間有相當多重合的內容。比如機器學習中也會講到決策樹和支援向量機，而資料探勘的書裡也必然要在決策樹和支援向量機上花費相當的篇幅。可見二者確有相當大的重合面，但如果細研究起來，二者也的確是各自不同的領域。

大體上看，資料探勘可以視為資料庫、機器學習和統計學三者的交叉。簡單來說，對資料探勘而言，資料庫提供了資料管理技術，而機器學習和統計學則提供了資料分析技術。所以你可以認為資料探勘包含了機器學習，或者說機器學習是資料探勘的彈藥庫中一類相當龐大的彈藥集。既然是一類彈藥，其實也就是在說資料探勘中肯定還有其他非機器學習範疇的技術存在。Apriori演算法就屬於一種非機器學習的資料探勘技術。

我們都知道資料探勘是從大量的、不完全的、有噪聲的、模糊的、隨機的資料中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的資訊和知識的過程。 而機器學習是以資料為基礎，設法構建或訓練出一個模型，進而利用這個模型來實現資料分析的一類技術。這個被訓練出來的機器學習模型當然也可以認為是我們從資料中挖掘出來的那些潛在的、有意義的資訊和知識。在非機器學習的資料探勘技術中，我們並不會去建立這樣一個模型，而是直接從原資料集入手，設法分析出隱匿在資料背後的某些資訊或知識。在後續介紹Apriori演算法時，你會相當明顯地感受到這一特點。

基本概念

許多商業企業在日復一日的運營中積聚了大量的交易資料。例如，超市的收銀臺每天都收集大量的顧客購物資料。例如，下表給出了一個這種資料集的例子，我們通常稱其為購物籃交易（market basket transaction)。表中每一行對應一個交易，包含一個唯一標識TID和特定顧客購買的商品集合。零售商對分析這些資料很感興趣，以便了解其顧客的購買行為。可以使用這種有價值的資訊來支援各種商業中的實際應用，如市場促銷，庫存管理和顧客關係管理等等。

令I={i1,i2,⋯,id}是購物籃資料中所有項的集合，而T={t1,t2,⋯,tN}是所有交易的集合。包含0個或多個項的集合被稱為項集（itemset）。如果一個項集包含k個項，則稱它為 k-項集。顯然，每個交易ti包含的項集都是I的子集。

關聯規則是形如 X→Y 的蘊涵表示式，其中X和Y是不相交的項集，即 X∩Y=∅。關聯規則的強度可以用它的支援度（support）和置信度（confidence）來度量。支援度確定規則可以用於給定資料集的頻繁程度，而置信度確定Y在包含X的交易中出現的頻繁程度。支援度（s：Fraction of transactions that contain both X and Y）和置信度（c：How often items in Y appear in transactions that contain X）這兩種度量的形式定義如下：

s(X→Y)=σ(X∪Y)Nc(X→Y)=σ(X∪Y)σ(X)
例如考慮規則{Milk, Diaper}→{Beer}，則易得：
s=σ(Milk,Diaper,Beer)|T|=25=0.4c=σ(Milk,Diaper,Beer)σ(Milk,Diaper)=23=0.67

Association Rule Mining Task：Given a set of transactions T, the goal of association rule mining is to find all rules having

• support ≥ minsup threshold
• confidence ≥ minconf threshold

因此，大多數關聯規則挖掘演算法通常採用的一種策略是，將關聯規則挖掘任務分解為如下兩個主要的子任務。

1. 頻繁項集產生：其目標是發現滿足最小支援度閾值的所有項集，這些項集稱作頻繁項集（frequent itemset）。
2. 規則的產生：其目標是從上一步發現的頻繁項集中提取所有高置信度的規則，這些規則稱作強規則（strong rule）。

通常，頻繁項集產生所需的計算開銷遠大於產生規則所需的計算開銷。

最容易想到、也最直接的進行關聯關係挖掘的方法或許就是暴力搜尋（Brute-force）的方法：

• List all possible association rules
• Compute the support and confidence for each rule
• Prune rules that fail the minsup and minconf thresholds

然而，由於Brute-force的計算量過大，所以取樣這種方法並不現實！格結構（Lattice structure）常被用來列舉所有可能的項集。如下圖所示為I={a,b,c,d,e}的項集格。一般來說，排除空集後，一個包含k個項的資料集可能產生2k−1個頻繁項集。由於在實際應用中k的值可能非常大，需要探查的項集搜尋空集可能是指數規模的。

發現頻繁項集的一種原始方法是確定格結構中每個候選項集（candidate itemset）的支援度計 數。為了完成這一任務，必須將每個候選項集與每個交易進行比較，如下圖所示。如果候選項集包含在交易中，則候選項集的支援度計數增加。例如，由於項集{Bread, Milk}出現在事務1、4 和5中，其支援度計數將增加3次。這種方法的開銷可能非常大，因為它需要進行O(NMw)次比 較，其中N是交易數，M=2k−1是候選項集數，而w是交易的最大寬度（也就是交易中最大的項數）。

先驗原理

在上一小節的末尾，我們已經看到Brute-force在實際中並不可取。我們必須設法降低產生頻繁項集的計算複雜度。此時我們可以利用支援度對候選項集進行剪枝，這也是Apriori所利用的第一條先驗原理：

Apriori定律1：如果一個集合是頻繁項集，則它的所有子集都是頻繁項集。

例如：假設一個集合{A,B}是頻繁項集，即A、B同時出現在一條記錄的次數大於等於最小支援度min_support，則它的子集{A},{B}出現次數必定大於等於min_support，即它的子集都是頻繁項集。

Apriori定律2：如果一個集合不是頻繁項集，則它的所有超集都不是頻繁項集。

舉例：假設集合{A}不是頻繁項集，即A出現的次數小於 min_support，則它的任何超集如{A,B}出現的次數必定小於min_support，因此其超集必定也不是頻繁項集。

下圖表示當我們發現{A,B}是非頻繁集時，就代表所有包含它的超級也是非頻繁的，即可以將它們都剪除。

Apriori演算法與例項

R. Agrawal 和 R. Srikant於1994年在文獻【2】中提出了Apriori演算法，該演算法的描述如下：

• Let k=1
• Generate frequent itemsets of length k
• Repeat until no new frequent itemsets are identified
  
  • Generate length (k+1) candidate itemsets from length k frequent itemsets
  • Prune candidate itemsets containing subsets of length k+1 that are infrequent
  • Count the support of each candidate by scanning the DB
  • Eliminate candidates that are infrequent, leaving only those that are frequent

或者在其他資料上更為常見的是下面這種形式化的描述（注意這跟前面的文字描述是一致的）：

下面是一個具體的例子，最開始資料庫裡有4條交易，{A、C、D}，{B、C、E}，{A、B、C、E}，{B、E}，使用min_support=2作為支援度閾值，最後我們篩選出來的頻繁集為{B、C、E}。



上述例子中，最值得我們從L2到C3的這一步。這其實就是在執行虛擬碼中第一個藍色框條所標註的地方：Ck+1=GenerateCandidates(Lk)，具體來說在Apriori演算法中，它所使用的策略如下：


可見生成策略由兩部分組成，首先是self-joining部分。例如，假設我們有一個L3={abc, abd, acd, ace, bcd}（注意這已經是排好序的}。選擇兩個itemsets，它們滿足條件：前k-1個item都相同，但最後一個item不同，把它們組成一個新的Ck+1的項集c。如下圖所示，{abc}和{abd}組成{abcd}，{acd}和{ace}組成{acde}。生成策略的第二部分是pruning。對於一個位於Ck+1中的項集c，s是

相關推薦

資料探勘十大演算法之Apriori詳解

在2006年12月召開的 IEEE 資料探勘國際會議上（ICDM， International Conference on Data Mining），與會的各位專家選出了當時的十大資料探勘演算法（ top 10 data mining algorithms ），

資料探勘十大演算法之決策樹詳解（1）

在2006年12月召開的 IEEE 資料探勘國際會議上（ICDM， International Conference on Data Mining），與會的各位專家選出了當時的十大資料探勘演算法（ top 10 data mining algorithms ），

資料探勘十大演算法（一）：決策樹演算法 python和sklearn實現

學完到第三章——決策樹，python程式碼實現的僅是ID3演算法，sklearn為優化過的C4.5，這裡做一個詳細的總結包括（原理、程式碼、視覺化、scikit-learn實現），皆為親自實踐後的感悟。以下進入正文。 早前簡單瞭解了決策樹的原理，然後為了儘快使用便沒有深究直

資料探勘十大演算法——支援向量機SVM（一）：線性支援向量機

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 本文轉自“劉建平pinard”，原網址為：http://www.cnblogs.com/pinard/p/6097604.html。 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機

資料探勘十大演算法——支援向量機SVM（四）：SMO演算法原理

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機 （二）線性支援向量機的軟間隔最大化模型 （三）線性不可分支援向量機與核函式 （四）SMO演算法原理 （五）線性支援迴歸

資料探勘十大演算法（九）：樸素貝葉斯 python和sklearn實現

第三個演算法終於算是稍有了解了，其實當你結合資料瞭解了它的實現原理後，你會發現確實很樸素。這裡對樸素貝葉斯演算法做一個介紹和總結，包括（原理、一個程式碼示例、sklearn實現），皆為親自實踐後的感悟，下面進入正文。 原理： 首先我們需要了解概率論的一些簡單知識：

資料探勘十大演算法——支援向量機SVM（二）：線性支援向量機的軟間隔最大化模型

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機 （二）線性支援向量機的軟間隔最大化模型 （三）線性不可分支援向量機與核函式 （四）SMO演算法原理 （五）線性支援迴歸

資料探勘十大演算法（五）：EM(Expectation Maximum)演算法原理與Python實現

參考： 一、一個簡單的概率問題 實驗：現在有A和B兩個硬幣，我們從這兩個硬幣中，隨機選取5次，做5組實驗，每組實驗內容是：丟擲所選的硬幣，記錄正反面。 實驗資料如下： 目標：根據所得到的實驗資料，分別求出硬幣A和B丟擲後正面向上的概率。 根據古典概率的原

資料探勘十大演算法——支援向量機SVM（五）：線性支援迴歸

首先感謝“劉建平pinard”的淵博知識以及文中詳細準確的推導！！！ 支援向量機原理SVM系列文章共分為5部分： （一）線性支援向量機 （二）線性支援向量機的軟間隔最大化模型 （三）線性不可分支援向量機與核函式 （四）SMO演算法原理 （五）線性支援迴歸

資料探勘十大演算法（九）：樸素貝葉斯原理、例項與Python實現

一、條件概率的定義與貝葉斯公式 二、樸素貝葉斯分類演算法 樸素貝葉斯是一種有監督的分類演算法，可以進行二分類，或者多分類。一個數據集例項如下圖所示： 現在有一個新的樣本， X = (年齡：<=30, 收入：中， 是否學生：是， 信譽：中)，目標是利用樸素貝

『資料探勘十大演算法 』筆記二：SVM-支援向量機

資料探勘Top 10演算法 C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART 支援向量機 支援向量機，英文為Support Ve

資料探勘十大演算法----EM演算法（最大期望演算法）

概念 在統計計算中，最大期望（EM）演算法是在概率（probabilistic）模型中尋找引數最大似然估計或者最大後驗估計的演算法，其中概率模型依賴於無法觀測的隱藏變數（Latent Variable）。 最大期望經常用在機器學習和計算機視覺的資料聚類（Data Clust

資料探勘十大演算法的最簡單理解

目錄 一、PageRank 原理 比喻說明 二、Apriori（關聯分析） 原理 比喻說明 三、AdaBoost

資料探勘十大經典演算法之K-means 演算法

K-means演算法（非監督性學習） 1.演算法思想         k-means演算法是一種簡單的迭代型聚類演算法，採用距離作為相似性指標，從而發現給定資料集中的K個類，且每個類的中心是根據類中所有值的均值得到，每個類

資料探勘十大經典演算法之KNN演算法

KNN演算法（監督性學習） 1.演算法思想        KNN是通過測量不同特徵值之間的距離進行分類。它的思路是：如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別，其

資料探勘十大經典演算法之K最近鄰演算法

k-最近鄰演算法是基於例項的學習方法中最基本的，先介紹基於例項學習的相關概念。     基於例項的學習     1.已知一系列的訓練樣例，很多學習方法為目標函式建立起明確的一般化描述；但與此不同，基於例項的學習方法只是簡單地把訓練樣例儲存起來。     從這些例項中泛化

資料探勘十大經典演算法原理

資料探勘十大經典演算法 一、 C4.5 C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3 演算法. C4.5演算法繼承了ID3演算法的優點，並在以下幾方面對ID3演算法進行了改進： 1) 用資訊增益率來選擇屬性，克服了

資料探勘十大經典演算法(九) 樸素貝葉斯分類器 Naive Bayes

分類演算法--------貝葉斯定理： 樸素貝葉斯的基本思想：對於給出的待分類項，求解在此項出現的條件下各個類別出現的概率，哪個最大，就認為此待分類項屬於哪個類別。 可以看到，整個樸素貝葉斯分類分為三個階段：       第一階段——準備工作階段，這個階段的任務是為樸

資料探勘十大經典演算法（詳解）

                                                       資料探勘十大經典演算法  一、 C4.5 C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3 演算法.   C4.5演算法繼承了ID3演算

資料探勘十大經典演算法

國際權威的學術組織the IEEE International Conference on Data Mining (ICDM) 2006年12月評選出了資料探勘領域的十大經典演算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, Ada