1. 程式人生 > >吳恩達機器學習筆記 —— 16 異常點檢測

吳恩達機器學習筆記 —— 16 異常點檢測

本篇介紹了異常點檢測相關的知識

什麼是異常點檢測?比如針對飛機的引擎做測試,x1代表溫度、x2代表引擎的震動等等,希望判斷新生產的引擎是否有問題。如果這個新的引擎在點的中心可能是正常的,如果離大部分的樣本點都很遠,那就可能是異常點。

另外可以假設有一個模型可以預測概率,如果P<ξ,就是異常點;如果P>ξ就是正常點。再比如消費者的信用行為、資料中心的監控等等。

高斯分佈也叫做正態分佈,描述了資料分佈的情況

使用高斯分佈進行異常點檢測的演算法流程:
1 選擇可能產生異常值影響的特徵
2 計算每個特徵的平均值和方差
3 基於方差和均值計算p(x)

得到結果後就可以進行異常點的判斷了,比如ξ選擇了0.02,那麼就可以對各個樣本點進行對比,小於它的,就認為是異常點。


那麼如何開發一個異常點檢測的應用呢。如果能有部分的樣本帶有標註y=1或者y=0,就可以基於這些資料做為模型的評價了。如果我們有10000個正常點,20個異常點。那麼可以分配6000個正常點作為訓練集,10個異常點+2000個正常點作為驗證集,剩下的作為測試集。然後使用P R F1做為模型的評估。

異常點檢測和監督學習還是不同的:首先就是異常點檢測異常樣本極少,而監督學習要求正常樣本點和異常點都很多才行。在資料分佈方面,高斯分佈需要各個維度都保持在正態分佈;模型訓練方面,異常點只是在驗證集與測試集上起作用。

在使用高斯分佈之前應該把資料構造成正態分佈的樣子,否則就是用一些Log或者開方等方法,使得圖形貼近高斯分佈。如果選擇了一個特徵,結果異常點在樣本點中間,那麼最好能開發一些新的特徵,使得這個異常點脫離正常點。

多元高斯分佈是高斯分佈的一種特殊情況,他們也有不同的使用場景:
1 高斯分佈需要手動設計特徵;多變數多元高斯分佈則可以自己捕獲特徵
2 高斯分佈的計算代價比較小;
3 高斯分佈在m樣本量比較少的時候也無所謂;多元高斯分佈由於要構造一個矩陣,所以需要保證m有足夠的量

多元高斯分佈的出現主要是解決多個特徵擬合後,雖然在自己的維度都不屬於異常點,但是通過多元的作用,就可以把異常點排除。

相關推薦

機器學習筆記 —— 16 異常檢測

本篇介紹了異常點檢測相關的知識 什麼是異常點檢測?比如針對飛機的引擎做測試,x1代表溫度、x2代表引擎的震動等等,希望判斷新生產的引擎是否有問題。如果這個新的引擎在點的中心可能是正常的,如果離大部分的樣本點都很遠,那就可能是異常點。 另外可以假設有一個模型可以預測概率,如果P<ξ,就是異常點;如

[機器學習筆記]16推薦系統1-2基於內容的推薦系統

16.推薦系統 Recommender System 覺得有用的話,歡迎一起討論相互學習~Follow Me 16.1 問題形式化Problem Formulation 推薦系統的改善

[機器學習筆記]16推薦系統5-6協同過濾演算法/低秩矩陣分解/均值歸一化

16.推薦系統 Recommender System 覺得有用的話,歡迎一起討論相互學習~Follow Me 16.5 向量化:低秩矩陣分解Vectorization_ Low Rank M

[機器學習筆記]15.1-3非監督學習異常檢測算法/高斯回回歸模型

閾值 訓練集 jpg -a 情況 color 訓練 ase 需要 15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.1問題動機 Problem motivation 飛機引擎異常檢測 假想你是一個飛機引擎制造

[機器學習筆記]15非監督學習異常檢測7-8使用多元高斯分布進行異常檢測

進行 平均值 info 錯誤 blog 占用 ron 關系 http 15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.7-8 多變量高斯分布/使用多元高斯分布進行異常檢測 -Multivariate Gaus

[機器學習筆記]15.1-3非監督學習異常檢測演算法/高斯回回歸模型

15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.1問題動機 Problem motivation 飛機引擎異常檢測

[機器學習筆記]15非監督學習異常檢測4-6構建與評價異常檢測系統

15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.4開發和評價一個異常檢測系統 Developing and Evaluati

Coursera-AndrewNg()機器學習筆記——第三周

訓練 ros 方便 font 就是 梯度下降 全局最優 用法 郵件 一.邏輯回歸問題(分類問題) 生活中存在著許多分類問題,如判斷郵件是否為垃圾郵件;判斷腫瘤是惡性還是良性等。機器學習中邏輯回歸便是解決分類問題的一種方法。二分類:通常表示為y?{0,1},0:“Negat

機器學習筆記 —— 5 多變量線性回歸

擬合 進行 image 價格 常用 從表 cnblogs 優化 深度 本篇主要講的是多變量的線性回歸,從表達式的構建到矩陣的表示方法,再到損失函數和梯度下降求解方法,再到特征的縮放標準化,梯度下降的自動收斂和學習率調整,特征的常用構造方法、多維融合、高次項、平方根,最後基

機器學習筆記 —— 9 神經網絡學習

滿了 線性回歸 復雜 amp 技術分享 tps 機器 神經網絡 前饋型神經網絡 本章講述了神經網絡的起源與神經元模型,並且描述了前饋型神經網絡的構造。 更多內容參考 機器學習&深度學習 在傳統的線性回歸或者邏輯回歸中,如果特征很多,想要手動組合很多有效的特征是不

機器學習筆記(六) —— 支持向量機SVM

次數 括號 圖片 最小 我們 支持向量機svm UNC 意思 strong 主要內容: 一.損失函數 二.決策邊界 三.Kernel 四.使用SVM 一.損失函數 二.決策邊界 對於: 當C非常大時,括號括起來的部分就接近於0,所以就變成了:

機器學習筆記 —— 17 推薦系統

htm 特征 問題 這就是 ref 圖片 系統 得出 工業 本章講述了推薦系統相關的知識,比如基於內容的推薦算法、基於協同過濾的推薦算法以及實踐中遇到的問題。 更多內容參考 機器學習&深度學習 推薦系統是機器學習在工業界應用最廣泛的方向,很多電子商務類、咨詢類的

機器學習筆記 —— 12 機器學習系統設計

不知道 cor 算法 項目 詞語 樣本 我們 們的 ... http://www.cnblogs.com/xing901022/p/9362339.html 本章主要圍繞機器學習的推薦實踐過程以及評測指標,一方面告訴我們如何優化我們的模型;另一方面告訴我們對於分類的算法

機器學習筆記 —— 14 無監督學習

www 最簡 業務 一次 曲線 logs img 下一個 com http://www.cnblogs.com/xing901022/p/9368432.html 本章講述的是第一個無監督的機器學習算法,在無監督的算法中,樣本數據只有特征向量,並沒有標註的y值。比如聚類

機器學習筆記 —— 19 應用舉例:照片OCR(光學字符識別)

參考 https ocr 噪聲 也說 字符 www. 定位 cnblogs http://www.cnblogs.com/xing901022/p/9374258.html 本章講述的是一個復雜的機器學習系統,通過它可以看到機器學習的系統是如何組裝起來的;另外也說明了一

機器學習筆記 —— 11 應用機器學習的建議

切分 image 們的 正則化 如果 mage 樣本 獲得 建議 http://www.cnblogs.com/xing901022/p/9356783.html 本篇講述了在機器學習應用時,如何進行下一步的優化。如訓練樣本的切分驗證?基於交叉驗證的參數與特征選擇?在訓

機器學習筆記

叠代 公式 spec end webkit 測量 ase letter s函數 1 機器學習的含義 (1)Field of study that gives computers the ability to learn without being explicitly p

機器學習筆記1-機器學習概述

可能 perf hat 定義 視頻 nbsp 這樣的 spec 學習能力 今天看了視頻的第一章-緒論:初識機器學習(Machine Learning) 1、定義: Arthur Samuel(1959).Machine Learning:Field of study tha

機器學習筆記2-監督學習

word ins problems 一個 should regress ssi pri read 英文; Supervised Learning   In supervised learning, we are given a data set and already kn

機器學習筆記4-單變量線性回歸

alt 方法 bsp 目標 .com 函數 bubuko 機器學習 絕對值 今天看個5個課時的視頻,對假設函數、代價函數、以及梯度下降有了一個大概的了解。 假設函數: 代價函數: 我們的目標就是求得J的最小值 梯度下降:在一個上坡上找一個點,求得這個點周圍的絕對值最大的導數