這是吳恩達機器學習的最後一課，這次學習的內容是機器學習的常見應用，異常檢測與協同過濾。課程中介紹的異常檢測主要基於 正態分佈，用於檢測出偏離正常值的資料。而協同過濾是 推薦系統 的一部分，利用已有使用者的評分來給你推薦商品、視訊等。

點選 課程視訊 你就能不間斷地學習 Ng 的課程，關於課程作業的 Python 程式碼已經放到了 Github 上，點選 課程程式碼 就能去 Github 檢視（ 無法訪問 Github 的話可以點選 Coding 檢視 ），程式碼中的錯誤和改進歡迎大家指出。

以下是 Ng 機器學習課程第八週的筆記。

異常檢測

通常使用異常檢測的情況是在一個含有正常和異常的資料集中，異常樣本數目遠小於正常樣本數目，使得無法從異常資料中提取有效的特徵。於是只能通過學習正常資料的分佈來識別異常資料。具體來說，我們通過資料學習一個概率模型

p(x)$p(x)$，並通過一個閾值 ϵ$ϵ$ 來判斷資料是否異常。從直觀上來理解正常資料雖然由於誤差等原因有所偏離，但基本都還在一個區域範圍內，而異常資料則會離這個區域比較遠（ 如下圖，紅圈裡的可以看做異常值 ）。

演算法

在異常檢測中，假設特徵是相互獨立的而且服從正態分佈 xj∼N(μj,δ2j)$x_j\sim N({\mu }_j,{\delta }_j^2)$，所以：

p(x)=∏j=1np(xj;μj,δ2j)=∏j=1n12π‾‾‾√δje−(xj−μj)22δ2j$$p(x)=\prod _{j=1}^{n}p(x_j;{\mu }_j,{\delta }_j^2)=\prod _{j=1}^n\frac{1}{\sqrt{2\pi }{\delta }_j}{e}^{-\frac{(x_j-{\mu }_j{)}^2}{2{\delta }_j^2}}$$
然後我們只要通過資料計算 μi${\mu }_i$ 和 δi${\delta }_i$ 就可以得到

p(x)$p(x)$ 了，於是有如下演算法：

1. 選擇有助於區分異常資料的特徵 xi$x_i$
2. 分別計算 μ1,...,μn,δ21,...,δ2n${\mu }_1,...,{\mu }_n,{\delta }_1^2,...,{\delta }_n^2$：
   μjδ2j=1m∑i=1mx(i)j=1m∑i=1m(x(i)j−μj)2$$\begin{array}{rl}{\mu }_j& =\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}\\ {\delta }_j^2& =\frac{1}{m}\sum _{i=1}^m(x_j^{(i)}-{\mu }_j{)}^2\end{array}$$
3. 對於需要檢測異常的資料 x$x$ 計算 p(x)$p(x)$，如果 p(x)<ϵ$p(x)<ϵ$ 則判斷為異常。

演算法在特徵比較多時計算效率比較高，而且在通常情況下即使特徵不獨立也能夠得到比較好的結果。如果特徵比較少並且特徵之間又相互關聯的情況，這時候我們可以使用 多元正態分佈

來作為模型，此時 p(x)$p(x)$ 為：

p(x)=1(2π)k|Σ|‾‾‾‾‾‾‾‾√e−12(x−μ)TΣ−1(x−μ)$$p(x)=\frac{1}{\sqrt{(2\pi {)}^k|\mathrm{\Sigma }|}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\mathrm{\Sigma }}^{-1}(x-\mu )}$$
式中的

相關推薦

吳恩達機器學習：異常檢測與協同過濾

這是吳恩達機器學習的最後一課，這次學習的內容是機器學習的常見應用，異常檢測與協同過濾。課程中介紹的異常檢測主要基於 正態分佈，用於檢測出偏離正常值的資料。而協同過濾是 推薦系統 的一部分，利用已有使用者的評分來給你推薦商品、視訊等。 點選 課程視訊 你就能不間

吳恩達-機器學習(9)-異常檢測、協同過濾

文章目錄 Density Estimation Problem Motivation Gaussian Distribution Algorithm Building an Anomaly

吳恩達機器學習：方差與偏差

在前幾周的課程裡，我們已經學習了 監督學習 中的 線性迴歸、邏輯迴歸、神經網路（ 點選進入筆記 ）。回顧課程作業，所有的樣本資料都被用來訓練模型。驗證模型時，也只是將模型的資料結果與正確結果作對比來看正確率。 這樣的訓練方法是否正確？正確率是否能作為評價模型的標

吳恩達機器學習：支援向量機

這次的課程筆記和上次隔了好久，因為為了搞懂 SVM 花了不少時間。和之前 神經網路 課程一樣，Ng 在 Coursera 上講述的內容非常有限，要搞懂 SVM 你只能尋求於其他方面的資料。經過對網上一些內容的對比後發現斯坦福的 CS229 講義寫得非常清晰。CS

吳恩達機器學習：線性迴歸

首先說一些關於課程的題外話。對於 Ng 的這個課程，筆者沒有選擇在 Coursera 上學習課程，一來是因為 Coursera 有自己的課程週期，但這個週期不一定適合所有人。其次 Coursera 的課程作業是使用 Octave 語言，而筆者個人覺得不管是學習還

吳恩達機器學習第八次作業： 異常檢測Anomaly Detection

這是習題和答案的下載地址，全網最便宜，只要一積分哦~~~ 0.綜述 異常檢測演算法用於檢測異常資料，通常在異常資料的數量遠小於正常資料的數量時使用異常檢測演算法，在兩者數量相差不大的時候，我們通常會選擇邏輯迴歸或神經網路等演算法。 1.Load Example Da

[吳恩達機器學習筆記]15.1-3非監督學習異常檢測算法/高斯回回歸模型

閾值 訓練集 jpg -a 情況 color 訓練 ase 需要 15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.1問題動機 Problem motivation 飛機引擎異常檢測 假想你是一個飛機引擎制造

[吳恩達機器學習筆記]15非監督學習異常檢測7-8使用多元高斯分布進行異常檢測

進行 平均值 info 錯誤 blog 占用 ron 關系 http 15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.7-8 多變量高斯分布/使用多元高斯分布進行異常檢測 -Multivariate Gaus

吳恩達機器學習 - 異常檢測 吳恩達機器學習 - 異常檢測

原 吳恩達機器學習 - 異常檢測 2018年06月25日 21:09:33 離殤灬孤狼 閱讀數：69

機器學習筆記（參考吳恩達機器學習視訊筆記）14_異常檢測

14 異常檢測 異常檢測（Anomaly detection）是機器學習演算法的一個常見應用。這種演算法的一個有趣之處在於：它雖然主要用於非監督學習問題，但從某些角度看，它又類似於一些監督學習問題。 異常檢測主要用來識別欺騙。例如線上採集而來的有關使用者的資料，一個特徵向量中可能會包含如

[吳恩達機器學習筆記]15.1-3非監督學習異常檢測演算法/高斯回回歸模型

15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.1問題動機 Problem motivation 飛機引擎異常檢測

吳恩達機器學習個人筆記(九)-異常檢測

       異常檢測也屬於無監督學習,但是看起來又有點像是監督學習，其實異常檢測依靠個人理解為如果有一堆資料聚集在一個範圍內，這個範圍內的資料都為正常(相比較與異常)，如果新輸入一個數據，即要檢測該資料是否處於該範圍內。屬於正常的資料或者異常，所以叫做異常檢測。 1 問題

吳恩達機器學習筆記 —— 16 異常點檢測

本篇介紹了異常點檢測相關的知識 什麼是異常點檢測？比如針對飛機的引擎做測試，x1代表溫度、x2代表引擎的震動等等，希望判斷新生產的引擎是否有問題。如果這個新的引擎在點的中心可能是正常的，如果離大部分的樣本點都很遠，那就可能是異常點。 另外可以假設有一個模型可以預測概率，如果P<ξ，就是異常點；如

[吳恩達機器學習筆記]15非監督學習異常檢測4-6構建與評價異常檢測系統

15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.4開發和評價一個異常檢測系統 Developing and Evaluati

斯坦福大學(吳恩達) 機器學習課後習題詳解 第九周 程式設計題 異常檢測與推薦系統

作業 下載 地址：https://download.csdn.net/download/wwangfabei1989/103261751. estimateGaussian.m function [mu sigma2] = estimateGaussian(X)%ESTIMA

Coursera-吳恩達-機器學習-（程式設計練習8）異常檢測和推薦系統（對應第9周課程）

exercise 8 —— 異常檢測和推薦系統 在本練習中，第一部分，您將實施異常檢測演算法並將其應用於檢測網路上發生故障的伺服器。 在第二部分中，您將使用協作過濾來構建電影的推薦系統。 1 異常檢測 在這個練習中，您將實現一個異常檢測演算

吳恩達機器學習筆記 —— 19 應用舉例：照片OCR（光學字符識別）

參考 https ocr 噪聲 也說 字符 www. 定位 cnblogs http://www.cnblogs.com/xing901022/p/9374258.html 本章講述的是一個復雜的機器學習系統，通過它可以看到機器學習的系統是如何組裝起來的；另外也說明了一

演算法工程師修仙之路：吳恩達機器學習（九）

吳恩達機器學習筆記及作業程式碼實現中文版 神經網路引數的反向傳播演算法 代價函式 假設神經網路的訓練樣本有 m

演算法工程師修仙之路：吳恩達機器學習（八）

吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 特徵和直觀理解 從本質上講，神經網路能夠通過學習得出其自身的一系列特徵。 神經網路中，單層神經元（ 無中間層）的計算可用來表示邏輯運算，比如邏輯與(AND)、邏輯或(OR)。 邏輯

演算法工程師修仙之路：吳恩達機器學習（七）

吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 非線性假設 無論是線性迴歸還是邏輯迴歸都有這樣一個缺點：當特徵太多時，計算的負荷會非常大。 使用非線性的多項式項，能夠幫助我們建立更好的分類模型。假設我們有非常多的特徵，例如大於 100 個