異常檢測問題介紹：
異常檢測演算法主要用於無監督學習問題，但從某種角度看它又類似於一種有監督學習的問題，下面我們從一個例子中簡單介紹一下什麼是異常檢測問題。
比如我們有一個飛機引擎製造商，對於一個新造出的飛機引擎我們想判斷這個引擎是不是異常的。
假如我們有兩個飛機引擎的特徵：1）引擎運轉時產生的熱量；2）引擎的震動強度。我們得到了一個數據集：x1,x2,...,xm，繪製的關於特徵的資料分佈如下圖所示：

這裡的每個叉都是上述的無標籤的樣本。
異常檢測的問題可以定義如下：對於給定的資料集x1,x2,...,xm，我們假使資料集是正常的，我們希望知道新的資料xtest是不是異常的，即這個資料不屬於改組資料集的機率如何。我們所構建的模型應該能夠根據預測資料的位置告訴我們其屬於這一組資料的可能性p

(x)。
這種方法稱為密度估計，表示式如下：

其中，p(x)代表新來的樣本x屬於這一組資料的可能性。值得注意的是，我們假設資料集中的樣本是正常的，也就是說對於我們原來的資料集，正常的樣本應該佔據很大的比例，這樣用異常檢測的效果才會很好。
異常檢測的其他應用：
1.一些生產物件的異常檢測（飛機引擎、家電等）；
2.可以用來識別欺騙。檢測使用者是否被盜號（通過使用者的行為與之前行為的區別）。

高斯分佈：
通過上述例子的解析我們知道了什麼是異常檢測，同時我們知道了對於異常檢測演算法來說，一個關鍵的問題是我們怎麼對於給定的資料集進行密度估計得到p(x)。所以我們這一節介紹一種密度估計的方法——高斯分佈。
我們先簡單介紹一下什麼是高斯分佈，通常我們認為變數x

符合高斯分佈x∼N(μ,σ2)，則其概率密度為：

其中，μ和σ2（引數估計問題）可以通過下式獲得：

對於上式，在不同μ和σ2下p(x)的形式如下：

值得注意的是：機器學習中求取方差時，我們除以m而不是像統計學中那樣除以（m-1），其實對於除以m還是（m-1），當資料集的數量很大時，區別不是很大，但是機器學習領域的人都是習慣使用m。

異常檢測演算法：
下面我們結合異常檢測問題以及高斯分佈，給出異常檢測演算法的形式：
對於給定的資料集x(1),x(2),...,x(m)，每一個樣本x(i)∈Rn，假設x服從高斯分佈，即x1∼N(μ1,σ21)、x2∼N(μ2,σ22),..

.,xn∼N(μn,σ2n)，我們對每一個特徵（這裡選擇的特徵是與異常具有相關屬性的特徵）計算μj和σ2j：

獲得均值和方差之後，對於給定的一個新的樣本我們根據模型計算p(x)：

其中n為特徵的數量。我們將p(x)=ϵ作為判定邊界，當p(x)<ϵ則判斷為該測試樣本為異常樣本；當p(x)>ϵ則判斷該測試樣本為正常樣本。
以兩個特徵為例，看一下演算法實現的形式：

上述的圓圈對應的是判定邊界，不同的圓圈大小對應的不同的ϵ值，對於測試樣本來說，如果測試樣本的位置在圓圈內部為正常樣本，在圓圈外部為異常樣本。
對應的三維圖表示形式如下，其中z軸為對應的特徵取值的密度估計p(x)：

z軸的值高於圓圈對應的值為正常樣本，低於圓圈對應的值為異常樣本。

開發和評價一個異常檢測演算法：
上述我們討論異常檢測演算法的實現方式，但是我們怎麼對該演算法進行評估呢？其實我們評價的方式類似於有監督方法的評估，雖然異常檢測演算法是一種無監督學習的演算法，但是評估我們可以從一些帶標籤的資料入手，具體的評估方式如下：
我們從帶標籤的資料入手，用其中一部分正常資料用於構建訓練集，然後使用剩下的正常樣本和異常樣本混合的資料構建交叉驗證集和測試集。其中的比例分配為將正常資料的60%用於訓練，構建訓練集；用20%的正常資料和50%的異常資料構建交叉驗證集；用20%的正常資料和50%的異常資料構建測試集。
評價的具體實現方法如下：
1. 根據訓練集資料，估計出特徵的均值和方差，然後構建出概率密度估計函式P(x)。
2. 對交叉驗證集，我們嘗試不同的ϵ值作為閾值，並預測資料是否異常，根據F1值或者查準率與查全率的比例選擇最佳的閾值ϵ。
3. 選出最佳的ϵ後，針對測試集進行預測，計算異常檢測演算法的F1值或者查準率與查全率之比。

異常檢測演算法與監督學習演算法的比較：
下面我們來比較一下異常檢測演算法和監督學習演算法：
1. 對於異常檢測演算法來說，訓練集中只有非常少量的正向類（異常資料），存在著大量的負向類（正常資料），即存在著資料類別的明顯偏斜；而對於監督學習演算法同時擁有大量的正向類和負向類樣本。
2. 對於異常檢測演算法來說，異常可能會有很多種類，但是我們只需判斷出異常即可，想要判斷出異常的種類，對於只有少量的正向類樣本的異常檢測演算法來說非常困難；對於有監督的演算法，由於存在著大量的正向類樣本，可以對正向類進一步的劃分型別。
3. 對於異常檢測演算法來說，可以判斷出未來不同的異常，也就是隻要是異常，異常檢測演算法就可以判斷出；但是對於有監督學習來說，對於未來不可知的異常，它是無法分類的。也就是說，對於異常檢測演算法，未來遇到的異常可能與已經掌握的異常非常的不同；對於有監督學習演算法來說，未來遇到的正向類樣本可能與訓練集中的非常近似。
上述異常檢測演算法的不同之處，也就確定了什麼時候我們使用異常檢測演算法，什麼時候我們使用有監督學習的演算法。

特徵的選擇：
對於異常檢測演算法，我們使用的特徵是至關重要的，下面我們討論一下怎麼選擇特徵。
1. 對於異常檢測演算法來說，我們假設特徵服從高斯分佈，所以我們在進行異常檢測之前，可以先畫出樣本的直方圖（matlab使用hist命令），如果資料滿足高斯分佈，這可以直接得出p(x)，如果不滿足高斯分佈（也能夠工作，只是調整之後效果會更好），可以將資料進行調整，使其滿足高斯分佈。調整的策略一般為：取對數（x=log(x+c)，c是一個實數）、取冪次（x=xc，c是一個0~1的數）等方法。
2. 使用誤差分析的方法調整特徵或者增加特徵。誤差一般來自於一些異常的資料具有較高的p(x)值，我們可以分析那些被演算法錯誤預測為正常的資料，觀察能否找出一些問題。我們可能能從問題中發現我們需要增加的一些新的特徵，增加這些新的特徵後獲得的新演算法能夠幫助我們更好地進行異常檢測。
3. 我們也可以將一些相關的特徵進行組合，來獲得一些新的更好的特徵（異常資料的該特徵的值異常的大或者異常的小）。

多元高斯分佈：
上述我們使用高斯分佈建立的異常檢測演算法，有一個假設前提，那就是不同特徵之間是不相關的。如果我們有兩個相關的特徵，而且這兩個特徵的值域範圍比較寬，這種情況下，上述建立的高斯分佈模型不能很好的識別異常資料。這時候我們需要建立多元高斯分佈模型的異常檢測演算法以實現很好的異常檢測。
下面簡單的介紹一下多元高斯分佈：
在一般的高斯分佈模型中，我們計算p(x)的方法為通過分別計算每個特徵的概率值p(xj)然後將其累乘，從而得到最終的p(x)。而對於多元高斯分佈模型來說，我們將構建特徵的協方差矩陣，用所有的特徵一起計算p(x)。
計算過程如下：
1. 計算所有特徵的均值，均值的計算方法過程如下：

相關推薦