2. 程式人生 > >異常點檢測演算法（一）概率統計

異常點檢測演算法（一）概率統計

阿新 • • 發佈：2019-01-02

異常點檢測（又稱為離群點檢測）是找出其行為很不同於預期物件的一個檢測過程。這些物件被稱為異常點或者離群點。異常點檢測在很多實際的生產生活中都有著具體的應用，比如信用卡欺詐，工業損毀檢測，影象檢測等。

異常點（outlier）是一個數據物件，它明顯不同於其他的資料物件，就好像它是被不同的機制產生的一樣。例如下圖紅色的點，就明顯區別於藍色的點。相對於藍色的點而言，紅色的點就是異常點。

outlier

一般來說，進行異常點檢測的方法有很多，最常見的就是基於統計學的方法。

（一）基於正態分佈的一元離群點檢測方法

假設有 n 個點 (x_{1},...,x_{n})，那麼可以計算出這 n 個點的均值\mu 和方差\sigma。均值和方差分別被定義為：

\mu=\sum_{i=1}^{n}x_{i}/n,

\sigma^{2}=\sum_{i=1}^{n}(x_{i}-\mu)^{2}/n.

在正態分佈的假設下，區域 \mu\pm 3\sigma

包含了99.7% 的資料，如果某個值距離分佈的均值\mu 超過了3\sigma，那麼這個值就可以被簡單的標記為一個異常點（outlier）。

（二）多元離群點的檢測方法

涉及兩個或者兩個以上變數的資料稱為多元資料，很多一元離群點的檢測方法都可以擴充套件到高維空間中，從而處理多元資料。

（1）基於一元正態分佈的離群點檢測方法

假設 n 維的資料集合形如 \vec{x}_{i}=(x_{i,1},...,x_{i,n}), i\in \{1,...,m\}，那麼可以計算每個維度的均值和方差\mu_{j},\sigma_{j}, j\in\{1,...,n\}. 具體來說，對於j\in \{1,...,n\}，可以計算

\mu_{j}=\sum_{i=1}^{m}x_{i,j}/m

\sigma_{j}^{2}=\sum_{i=1}^{m}(x_{i,j}-\mu_{j})^{2}/m

在正態分佈的假設下，如果有一個新的資料 \vec{x}，可以計算概率p(\vec{x}) 如下：

p(\vec{x})=\prod_{j=1}^{n} p(x_{j};\mu_{j},\sigma_{j}^{2})=\prod_{j=1}^{n}\frac{1}{\sqrt{2\pi}\sigma_{j}}\exp(-\frac{(x_{j}-\mu_{j})^{2}}{2\sigma_{j}^{2}})

根據概率值的大小就可以判斷 x 是否屬於異常值。運用該方法檢測到的異常點如圖，紅色標記為異常點，藍色表示原始的資料點。

Gauss

（2）多元高斯分佈的異常點檢測

假設 n 維的資料集合 \vec{x}=(x_{1},...,x_{n}),，可以計算 n 維的均值向量

\vec{\mu}=(E(x_{1}),...,E(x_{n}))

和 n\times n 的協方差矩陣：

\Sigma=[Cov(x_{i},x_{j})], i,j \in \{1,...,n\}

如果有一個新的資料 \vec{x}，可以計算

p(\vec{x})=\frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}} \exp(-\frac{1}{2}(\vec{x}-\vec{\mu})^{T}\Sigma^{-1}(\vec{x}-\vec{\mu}))

根據概率值的大小就可以判斷 \vec{x} 是否屬於異常值。

（3）使用 Mahalanobis 距離檢測多元離群點

對於一個多維的資料集合 D，假設 \overline{a} 是均值向量，那麼對於資料集 D 中的其他物件a，從a 到\overline{a} 的 Mahalanobis 距離是

MDist(a,\overline{a})=\sqrt{(a-\overline{a})^{T}S^{-1}(a-\overline{a})},

其中 S 是協方差矩陣。

在這裡，MDist(a,\overline{a}) 是數值，可以對這個數值進行排序，如果數值過大，那麼就可以認為點a 是離群點。或者對一元實數集合\{MDist(a,\overline{a})|a\in D\} 進行離群點檢測，如果MDist(a,\overline{a}) 被檢測為異常點，那麼就認為a 在多維的資料集合 D 中就是離群點。

運用 Mahalanobis 距離方法檢測到的異常點如圖，紅色標記為異常點，藍色表示原始的資料點。

Mahalanobis

（4）使用 \chi^{2} 統計量檢測多元離群點

在正態分佈的假設下，\chi^{2} 統計量可以用來檢測多元離群點。對於某個物件\bold{a}，\chi^{2} 統計量是

\chi^{2}=\sum_{i=1}^{n}(a_{i}-E_{i})^{2}/E_{i}.

其中，a_{i} 是\bold{a} 在第 i 維上的取值，E_{i} 是所有物件在第 i 維的均值，n 是維度。如果物件 \bold{a} 的\chi^{2} 統計量很大，那麼該物件就可以認為是離群點。

運用 \chi^{2} 統計量檢測到的異常點如圖，紅色標記為異常點，藍色表示原始的資料點。

ChiSquare

原文地址:https://zr9558.com/2016/06/13/outlierdetectionone/

相關推薦

異常點檢測演算法（一）概率統計

異常點檢測（又稱為離群點檢測）是找出其行為很不同於預期物件的一個檢測過程。這些物件被稱為異常點或者離群點。異常點檢測在很多實際的生產生活中都有著具體的應用，比如信用卡欺詐，工業損毀檢測，影象檢測等。 異常點（outlier）是一個數據物件，它明顯不同於其他的資料物件，就好像它是被不同的機制產生的一樣。例如下

異常點檢測演算法（二）矩陣分解

前面一篇文章《異常點檢測演算法（一）》簡要的介紹瞭如何使用概率統計的方法來計算異常點，本文將會介紹一種基於矩陣分解的異常點檢測方法。在介紹這種方法之前，先回顧一下主成分分析（Principle Component Analysis）這一基本的降維方法。 （一）主成分分析（Principle Componen

目標檢測演算法（一）——常見演算法比較

一、分類：幀間差分法、背景減除法和光流法。 (1)背景減除法通過統計前若千巾貞的變化情況,從而學習背景擾動的規律。此類演算法的缺點是由於通常需要緩衝若干幀頻來學習背景,因此往往需要消耗大量的記憶體,這使其使用範圍受到了限制。此外,對於大範圍的背景擾動,此類演算法的檢測

Python機器學習筆記：異常點檢測演算法——LOF（Local Outiler Factor）

完整程式碼及其資料，請移步小編的GitHub 　　傳送門：請點選我 　　如果點選有誤：https://github.com/LeBron-Jian/MachineLearningNote 　　在資料探勘方面，經常需要在做特徵工程和模型訓練之前對資料進行清洗，剔除無效資料和異常資料。異常檢測也是資料探勘的一個方

Machine Learning第九講【異常檢測】--（一）密度估計

一、Problem Motivation（問題引入） 異常檢測一般應用在非監督學習的問題上，如圖，我們可以通過已知的資料集，訓練模型 根據此模型進行異常檢測： 在使用這些資料訓練的過程中，我們假設這些資料是正常的。 我們可以把異常檢測應用在網站欺詐預測上，比如可以根據使用者平時

點雲分割之基於邊界的分割演算法（一）

基於邊界的點雲分割演算法通過檢測區域邊界得到分割塊。主要演算法有： 一、通過點雲強度的劇烈變化得到點雲邊界； 二、計算邊界梯度，計算點雲表面的法矢方向梯度變化以及3D線匹配； 三、對於距離影象的掃描線分割演算法，但不適用於密度不均勻的點雲資料。 四、通過

吳恩達老師機器學習筆記K-means聚類演算法（一）

今天接著學習聚類演算法 以後堅決要八點之前起床學習！不要浪費每一個早晨。 K-means聚類演算法聚類過程如下： 原理基本就是先從樣本中隨機選擇聚類中心，計算樣本到聚類中心的距離，選擇樣本最近的中心作為該樣本的類別。最後某一類樣本的座標平均值作為新聚類中心的座標，如此往復。 原

第一篇：基於深度學習的人臉特徵點檢測 - 背景（轉載）

轉載自：https://yinguobing.com/facial-landmark-localization-by-deep-learning-background/ 人臉檢測與識別一直是機器學習領域的一大熱點。人臉檢測是指從影象中檢測出人臉區域。人臉識別則是判斷特定的臉部影象是否與某個人對應

Java-經典排序演算法（一）

前言： 排序演算法有很多種，如選擇排序、插入排序、氣泡排序、桶排序、快速排序等等。這裡介紹的是簡化版桶排序、氣泡排序和插入排序。 推薦一本演算法入門書——《啊哈！演算法》 1. 桶排序[簡化版]： 原理：新建一個book陣列用來標記原陣列每一個數字出現的個數。

「知識學習&日常訓練」莫隊演算法（一）（Codeforce Round #340 Div.2 E）

題意 已知一個長度為\(n\)的整數數列\(a[1],a[2],…,a[n]\)，給定查詢引數\(l,r\)，問\([l,r]\)內，有多少連續子段滿足異或和等於\(k\)。 也就是說，對於所有的\(x,y (l\le x\le y\le r)\)，能夠滿足\(a[x]\oplus a[x+1]\oplus

Java資料結構和演算法（一）：簡介

　　本系列部落格我們將學習資料結構和演算法，為什麼要學習資料結構和演算法，這裡我舉個簡單的例子。 　　程式設計好比是一輛汽車，而資料結構和演算法是汽車內部的變速箱。一個開車的人不懂變速箱的原理也是能開車的，同理一個不懂資料結構和演算法的人也能程式設計。但是如果一個開車的人懂變速箱的原理，比如降低速

CAS單點登入-介紹（一）

CAS單點登入-介紹（一） 由於之前工作需要都是對接現成的單點登陸服務，基於自己興趣目前正在研究CAS單點登陸原理和搭建以及不同的應用場景對接方式。特此來記錄學習的過程以及分享，希望能幫助大家。 1.CAS是什麼？ CAS是Central Authenticat

Logistic迴歸之梯度上升優化演算法（一）

Logistic迴歸之梯度上升優化演算法 一、Logistic迴歸 首先我們需要了解什麼是Logistic迴歸。Logistic迴歸是一種分類演算法，一般用於二分類問題，例如預測明天是否下雨，當然也可以用於多分類問題。本文主要是討論二分類問題。二分類問題即輸出結果一般只有兩個情況，我們可以理

經典論文重讀---目標檢測篇（一）：RCNN

核心思想 Since we combine region proposals with CNNs, we call our method R-CNN: Regions with CNN features. 即將生成proposal的方法與cnn提取特徵進行結合

一文搞懂k近鄰（k-NN）演算法（一）

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

從零開始學演算法（一）氣泡排序

從零開始學演算法（一）氣泡排序 氣泡排序 演算法介紹 演算法原理 演算法簡單記憶說明 演算法複雜度和穩定性 程式碼實現 氣泡排序 因為在學前端，程式碼是Javascript語言寫的 演算法

共識演算法（一）—— Pow（工作量證明）、PoS（權益證明）

PoW簡介 PoW （Proof-of-Work）即工作量證明，根據當時區塊鏈網路算力得出的難易程度（前導零），將區塊的屬性使其拼湊成一個滿足要求的hash值，然後馬上對全網進行廣播打包區塊，網路上的節點收到廣播打包區塊，會立即進行驗證。網路中最快解密的區塊，才會新增到帳本中，其他節點進行復

PAT 備考第一天——圖論演算法（一）

大綱： 必考考點： 1.圖的定義和相關術語 2.圖的儲存（鄰接矩陣和鄰接表） 3.圖的遍歷（DFS和BFD） 4.最短路徑演算法 5.拓撲排序 非重點考點： 1.關鍵路徑 2.最短路徑中的Bellman-Ford和SPFA 甲級考綱以外的考點： 最小生成樹演算法 一、圖的

人工智慧演算法（一）—協同過濾演算法

這是本人第一篇介紹人工智慧演算法的部落格。之前寫的大部分部落格都是為了解決具體問題或者解決問題中的思考。這次想籠統而又概括的去總結一些自己學習的演算法。 廢話少說，進入正題。 一、什麼是協同過濾演算法？ 協同過濾演算法，英文Collaborative Filtering。這個名詞的意思有

Java資料結構和演算法（一）樹

Java資料結構和演算法（一）樹 前面講到的連結串列、棧和佇列都是一對一的線性結構，這節講一對多的線性結構 - 樹。「一對多」就是指一個元素只能有一個前驅，但可以有多個後繼。 一、樹 度(Degree) ：節點擁有的子樹數。樹的度是樹中各個節點度的最大值。 節點 ：度為 0 的節點稱為葉節