機器學習筆記（十四）：異常檢測

阿新 • • 發佈：2018-12-12

1）Problem motivation

2）Gaussian distribution

3）Algorithm

4）Developing and evaluating an anomaly detection system

5）Anomaly detection vs. supervised learning

6）Choosing what features to use

1）Problem motivation

下面是異常檢測的兩個例子：識別欺騙和檢測資料中心

2）Gaussian distribution

我們來回顧一下大學時學的高斯分佈：

$p(x;u;\sigma)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-u)^2}{2\sigma^2}}$

下面是高斯分佈的例子：

在實際應用中，我們可以這樣求引數：

$\mu =\frac{1}{m}\sum_{i=1}^{m}x^{(i)}$

$\sigma^2=\frac{1}{m}\sum_{i=1}^{m}(x^{(i)}-\mu)^2$

3）Algorithm

1.資料集： ${x^{1},x^{2},...,x^{m}}$

2.計算每一個特徵的 $\mu;\sigma^2$ ;

3.概率計算： $p(x)=\prod_{j=1}^{n}p(x_j;\mu_j;\sigma^2_j)$

4）Developing and evaluating an anomaly detection system

具體的評價方法如下：

1）根據訓練集資料，我們估計特徵的平均值和方差並構建模型；

2）對交叉驗證集，我們嘗試使用不同的 $\varepsilon$ 作為閾值，並根據F1值或者準確率與召回率選擇閾值；

3）在測試集上進行預測；

5）Anomaly detection vs. supervised learning

6）Choosing what features to use

1）將資料轉換為高斯分佈；

2）誤差分析；

3）構建新特徵；

機器學習筆記（十四）：異常檢測

目錄 1）Problem motivation 2）Gaussian distribution 3）Algorithm 4）Developing and evaluating an anomaly detection system 5）Anomaly detection vs

機器學習筆記（十四）：TensorFlow實戰六（經典卷積神經網路：AlexNet ）

1 - 引言 2012年，Imagenet比賽冠軍的model——Alexnet [2]（以第一作者alex命名）。這個網路算是一個具有突破性意義的模型首先它證明了CNN在複雜模型下的有效性，然後GPU實現使得訓練在可接受的時間範圍內得到結果，讓之後的網路模型構建變得更加複雜，並且通過

機器學習筆記（十二）：TensorFlow實戰四（影象識別與卷積神經網路）

1 - 卷積神經網路常用結構 1.1 - 卷積層我們先來介紹卷積層的結構以及其前向傳播的演算法。一個卷積層模組，包含以下幾個子模組：使用0擴充邊界(padding) 卷積視窗過濾器（filter）前向卷積反向卷積（可選） 1.1

機器學習筆記（十二）：TensorFlow實現四（影象識別與卷積神經網路）

1 - 卷積神經網路常用結構 1.1 - 卷積層我們先來介紹卷積層的結構以及其前向傳播的演算法。一個卷積層模組，包含以下幾個子模組：使用0擴充邊界(padding) 卷積視窗過濾器（filter）前向卷積反向卷積（可選） 1.1.2 - 邊界填充

Java框架spring Boot學習筆記（十四）：log4j介紹

inf alt 技術分享 images 使用 image 詳細配置文件 -128 功能日誌功能，通過log4j可以看到程序運行過程的詳細信息。使用導入log4j的jar包復制log4j的配置文件，復制到src下面　　　　　　 3.設置日誌級別　　　

javaweb學習筆記（十四）：JSP（4）

目錄製作高仿的JSTL標籤庫之核心標籤庫《1》xiaohua.tld檔案：《2》依附的各個類：《3》imitate.core.jsp檔案：《4》瀏覽器檢視：製作高仿的JSTL標籤庫之核心標籤庫通過自定義標籤，製

機器學習筆記（十一）： TensorFlow實戰三（MNIST數字識別問題）

1 - MNIST數字識別問題前面介紹了這樣用TensorFlow訓練一個神經網路模型和主要考慮的問題及解決這些問題的常用方法。下面我們用一個實際的問題來驗證之前的解決方法。我們使用的是MNIST手寫數字識別資料集。在很多深度學習教程中，這個資料集都會被當做一個案例。 1.1

機器學習筆記（十五）：TensorFlow實戰七（經典卷積神經網路：VGG）

1 - 引言之前我們介紹了LeNet-5和AlexNet，在AlexNet發明之後，卷積神經網路的層數開始越來越複雜，VGG-16就是一個相對前面2個經典卷積神經網路模型層數明顯更多了。 VGGNet是牛津大學計算機視覺組（Visual Geometry Group）和Google

機器學習筆記（十九）：TensorFlow實戰十一（多執行緒輸入資料）

1 - 引言為了加速模型訓練的時間，TensorFlow提供了一套多執行緒處理輸入資料的框架。下面我們來詳細的介紹如何使用多執行緒來加速我們的模型訓練速度 2 - 佇列與多執行緒在TensorFlow中，佇列和變數類似，我們可以修改它們的狀態。下面給出一個示例來展示如

機器學習筆記（十八）：TensorFlow實戰十（影象資料處理）

1 - 引言之前我們介紹了通過卷積神經網路可以給影象識別技術帶來突破性的進展，現在我們從影象的預處理這個角度來繼續提升我們影象識別的準確率。輸入的預處理需要使用TFRecord格式來同一不同的原始資料格式，並且更加有效的管理不同的屬性。並且TensorFlow支援影象處理函式，

機器學習筆記（十七）：TensorFlow實戰九（經典卷積神經網路：ResNet）

1 - 引言我們可以看到CNN經典模型的發展從 LeNet -5、AlexNet、VGG、再到Inception，模型的層數和複雜程度都有著明顯的提高，有些網路層數更是達到100多層。但是當神經網路的層數過高時，這些神經網路會變得更加難以訓練。一個特別大的麻煩就在於訓練的時候會產

機器學習筆記（十六）：TensorFlow實戰八（經典卷積神經網路：GoogLeNet）

1 - 引言 GoogLeNet, 在2014年ILSVRC挑戰賽獲得冠軍，將Top5 的錯誤率降低到6.67%. 一個22層的深度網路論文地址：http://arxiv.org/pdf/1409.4842v1.pdf 題目為：Going deeper with convolu

機器學習筆記（十六）：大規模機器學習

目錄 1）Learning with large datasets 2）Stochastic gradient descent 3）Mini-batch gradient descent 4）Stochastic gradient descent convergence 1）

機器學習筆記（十五）：推薦系統

目錄 1）Problem formulation 2）Content-based recommendations 3）Collaborative filtering 4）Collaborative filtering algorithm 5）Vectorization: Lo

機器學習筆記（十二）：聚類

目錄 1）Unsupervised learning introduction 2）K-means algorithm 3）Optimization objective 4）Random initialization 5）Choosing the number of clus

pytorch學習筆記（十四）： DataLoader原始碼閱讀

pytorch 資料載入部分的介面可以說是現存深度學習框架中設計的最好的，給了我們足夠的靈活性。本博文就對 pytorch 的多執行緒載入模組（DataLoader）進行原始碼上的註釋。輸入流水線 pytorch 的輸入流水線的操作順序是這

機器學習筆記（十四）——HMM估計問題和前向後向演算法

一、隱馬爾科夫鏈的第一個基本問題估計問題：給定一個觀察序列O=O1O2…OT和模型u=(A,B,π),如何快速地計算出給定模型u情況下，觀察序列O的概率，即P(O|u)? 二、求解觀察序列的概率其實，求解這個問題就是一個解碼問題。

Python3《機器學習實戰》學習筆記（十二）：線性迴歸提高篇之樂高玩具套件二手價預測

一、前言本篇文章講解線性迴歸的縮減方法，嶺迴歸以及逐步線性迴歸，同時熟悉sklearn的嶺迴歸使用方法，對樂高玩具套件的二手價格做出預測。二、嶺迴歸如果資料的特徵比樣本點還多應該怎麼辦？很顯然，此時我們不能再使用上文的方法進行計算了，因為矩陣X不是滿秩矩

OpenCV2學習筆記（十五）：利用Cmake高速查找OpenCV函數源代碼

one 生成 img log 分享 lan 學習筆記全部 modules 在使用OpenCV時，在對一個函數的調用不是非常了解的情況下，通常希望查到該函數的官方聲明。而假設想進一步研究OpenCV的函數，則必須深入到源碼。在VS中我們能夠選中想要查

如鵬網學習筆記（十四）ASP.NET

表單參數 form表單 web服務 exp 序列化 date 文字 arr 處理程序 Asp.net筆記一、Socket類　　進行網絡編程的類，可以在兩臺計算機之間進行網絡通訊　　過程：　　　　向服務器發送指令：　　　　GET /index.html HTTP

機器學習筆記（十四）：異常檢測

1）Problem motivation

2）Gaussian distribution

3）Algorithm

4）Developing and evaluating an anomaly detection system

5）Anomaly detection vs. supervised learning

6）Choosing what features to use

相關推薦