1 背景

之前的異常檢測演算法，其實是以中心區域向外以正圓的形式擴散的。也就是說距離中心區域距離相等的點，對應的p(x)都是一樣的，所以我們可能無法檢測到這一個異常樣本，因為它也處在一個p(x)比較大的範圍內：

之前的也就是圓形的範圍，但是我們現在將要說的是藍色的範圍，很明顯多元高斯分佈處理了原來模型不能表示的問題

2 多元高斯分佈改良異常檢測演算法

多元高斯分佈的引數包括向量µ和一個n×n的矩陣Σ。

µ∈RnΣ∈Rn×n
Σ被稱為協方差矩陣，它類似於我們之前學習PCA的時候所見到的協方差矩陣。

帶入之後計算p(x)：

p(x;µ,Σ)=1(2π)n2|Σ|12

exp(−12(x−µ)TΣ−1(x−µ))

3 多元高斯分佈的樣子

3.1 方差相同&無相關性

µ=[00]Σ=[1001]	µ=[00]Σ=[0.6000.6]	µ=[00]Σ=[2002]

表格從上到下依次是三種情況對應的引數、三維影象以及俯檢視。

µ作為均值，象徵著中心區域對應的座標點。Σ是協方差矩陣，它衡量的是特徵x1和x2的方差。

3.2 方差不同無相關性

µ=[00]Σ=[1001]	µ=[00]Σ=[0.6001]	µ=[00]Σ=[2001]

在協方差Σ中，左上角元素對應的是x

1特徵，右下角元素對應的是x_2特徵。

在第二組圖中，我們可以看到，當我們縮小x1到原先的0.6倍而x2保持原先的大小時，由於相當於是對特徵x_1的方差進行了縮小，所以影象在x1的方向上，會顯得更細長。

在第三組圖中，我們可以看到，當我們放大x1到原先的2倍而x_2保持原先的大小時，由於相當於是對特徵x1的方差進行了放大，所以影象在x1的方向上，會顯得更扁平。

3.3 方差相同&有相關性

對於多元高斯分佈來說，一個很棒的事情就是我們可以用它來對資料的相關性建模。也就是說，我們可以用它來給x_1和x_2高度相關的情況建立模型。具體來說，我們可以通過改變協方差Σ非對角線上的元素來得到不同的高斯分佈：

µ=[00]Σ=[1001]

µ=[00]Σ=[1 相關推薦 多元高斯分佈(斯坦福machine learning week 9) 1 背景 之前的異常檢測演算法，其實是以中心區域向外以正圓的形式擴散的。也就是說距離中心區域距離相等的點，對應的p(x)都是一樣的，所以我們可能無法檢測到這一個異常樣本，因為它也處在一個p(x)比較大的範圍內： 之前的也就是圓形的範圍，但是我們現在將要說 Machine Learning第九講【異常檢測】-- （三）多元高斯分佈 一、Multivariate Gaussian Distribution（多元高斯分佈） 資料中心例子：   因為上面的原因，會帶來一些誤差，因此我們引入了改良版的演算法： 我們不再單獨地將p(x1)，p(x2)，p(x3)訓練模型，而是將這些引數都放在一個模型裡， 斯坦福大學機器學習筆記——異常檢測演算法（高斯分佈、多元高斯分佈、異常檢測演算法） 異常檢測問題介紹： 異常檢測演算法主要用於無監督學習問題，但從某種角度看它又類似於一種有監督學習的問題，下面我們從一個例子中簡單介紹一下什麼是異常檢測問題。 比如我們有一個飛機引擎製造商，對於一個新造出的飛機引擎我們想判斷這個引擎是不是異常的。 假如我們有 多元高斯分佈 多元高斯分佈 1.協方差矩陣 協方差衡量的是變數X與Y之間是否存線上性關係，cov(X,Y)>0說明X與Y的變化趨勢是一致的，X增長的時候Y也隨著增長。如果X，Y互相獨立的話，cov(X,Y)=0. cov(X,X)=D(X)，變數X與自身的協方差就是方差，cov(X,Y)=cov 多元高斯分佈的KL散度 kl散度意義： In the context of machine learning, is often called the information gain achieved if Q is used instead of P. This reflects Stanford機器學習-異常檢測和多元高斯分佈 一、異常檢測 這章主要學習異常檢測問題，它是機器演算法的一個常見應用，同時也對於我們生活中的很多問題有很大的幫助，總的來說，它主要用於非監督的學習問題。 那我們怎麼來理解異常檢測是一個怎麼樣的問題呢？我們來看一個相關的問題：飛機引擎的檢測。因為引擎對於飛機來說 多元高斯分佈及多元條件高斯分佈 已知 D 維向量 x，其高斯概率分佈為： N(x|μ,Σ)==1(2π)D/21|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))1|Σ|(2π)D−−−−−−−√exp(−12(x−μ 多元高斯分佈的均值與協方差矩陣 多元高斯分佈，即資料的維度不再為1維度。 樣本個數記為n x特徵向量的維度為k 。 舉個例子： 樣本1:[2,3,4,5,6] 樣本2:[3,4,5,6,7] 樣本3:[4,5,6,7,8]； 求各個維度上的均值：x_i = [2+3+4/3,3+4+5/3.....6+7+8/3] == [3,4,5 機器學習應用例項（照片OCR）(斯坦福machine learning week 11) NG說： 我想介紹這部分內容的原因主要有以下三個: 第一，我想向你展示一個複雜的機器學習系統是如何被組合起來的。 第二，我想介紹一下機器學習流水線（machine learning 機器學習-多元高斯分佈（異常檢測） 的系列文章進行學習。 不過博主的部落格只寫到“第十講 資料降維” http://blog.csdn.net/abcjennifer/article/details/8002329，後面還有三講，內容比較偏應用，分別是異常檢測、大資料機器學習、photo OCR。為了學習的完整性，我將把後續三講的內容補充 【學習筆記】Pattern Recognition&Machine Learning [1.2] Probability Theory(2) 基於高斯分佈和貝葉斯理論的曲線擬合     高斯分佈不必贅述，這裡記錄個有意思的東西，即從高斯分佈和貝葉斯理論出發看曲線擬合（即選擇引數w）。     首先假設我們使用多項式擬合曲線，根據泰勒展開的方法，我們可以用有限項多項式在一定精度內擬合任何曲線。  &nb Machine Learning - week 2 - Multivariate Linear Regression learning itl 技術分享 隨著 刪除 mean 9.png ear 可能性 Gradient Descent in Practice - Feature Scaling Make sure features are on a similar scale. Fe 異常檢測: 應用多元高斯分布進行異常檢測 ron 適用於 fff 可能性 方差 評估 估計 變量 strong 多元高斯(正態)分布 多元高斯分布有兩個參數u和Σ,u是一個n維向量，Σ協方差矩陣是一個n*n維矩陣。改變u與Σ的值可以得到不同的高斯分布。 參數估計（參數擬合），估計u和Σ的公式如上圖所示，u為平均值 Machine Learning - week 1 坐標 如何選擇 dia ner lin spa wikipedia img 一半 Matrix 定義及基本運算 Transposing To "transpose" a matrix, swap the rows and columns. We put a "T" i Machine Learning - week 3 - Overfitting mac features pro 2-2 gradient png wid 解決 logistic The Problem of Overfitting 如果有太多的 features，假設可能與訓練數據太匹配了以致於預測未來的數據不準確。如下圖： 解決 overf Machine Learning - week 4 - 習題 返回 cnblogs -c 乘法 image alt learning png round 1. 第一個。，是對的。 第二個。結果只會認出是一類，如圖：。所以和為 1。 第三個：所有基於 0，1 的邏輯方程都可以使用神經網絡來表示。真值表是有限的，所以可以。 Machine Learning Week 3-advanced-optimization describes completed ecif search tolerance LV exp nal cond costfunction代碼如下 function[jVal,gradient]=costFunction(theta) jVal=(theta(1)-5) 多元高斯分布（轉載） 平面 一個 而是 http 公式 info 參數 應該 不能 原博地址：https://www.cnblogs.com/yan2015/p/7406904.html 多元高斯分布(multivariate gaussian distribution)有一些優勢也有一些劣 [吳恩達機器學習筆記]15非監督學習異常檢測7-8使用多元高斯分布進行異常檢測 進行 平均值 info 錯誤 blog 占用 ron 關系 http 15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.7-8 多變量高斯分布/使用多元高斯分布進行異常檢測 -Multivariate Gaus 高斯分佈 協方差 高斯分佈（Gaussian Distribution）的概率密度函式（probability density function）： 對應於numpy中： numpy.random.normal(loc=0.0, scale=1.0, size=None) 引數的意義為： loc：flo