斯坦福NG機器學習課程:Anomaly Detection筆記
Anomaly DetectionVS Supervised Learning
說到這裡我們肯定都有困惑,當我們有資料類標籤,為什麼我們不直接使用監督性學習而使用Anomaly detection,接下來就對兩者進行對比。
首先Anomaly detection 在資料集上特點是:很少量的positive 資料,很大量的negative資料,這樣我們使用大量的negative資料能夠好的擬合求得聯合高斯概率密度函式。而supervised learning中 positive negative資料量都大。
其次我們有不同型別的異常資料,但是異常資料量很小,任何演算法都很難在小的Anomaly資料集上學習得到Anomaly是什麼樣子。上面兩者對比是你應用Anomaly detection 還是supervise learning 的一些重要區分標準。
Spam是經常提到的一種學習系統,雖然我們有很多型別的Spam,但是每種型別的Spam我們都有比較多的資料,所以Spam問題我們應用的是supervise learning。
其實這兩種狀態並不是完全分割的,舉例說如果我們在交易時有很多為Fraud的,則我們學習問題由Anomaly detection 轉變為supervise learning。
相關推薦
斯坦福NG機器學習課程:Anomaly Detection筆記
Anomaly DetectionVS Supervised Learning 說到這裡我們肯定都有困惑,當我們有資料類標籤,為什麼我們不直接使用監督性學習而使用Anomaly detection,接下來就對兩者進行對比。 首先Anomaly detection 在資料集上特點是:很少量的posit
Andrew NG 機器學習 練習8-Anomaly Detection and Recommender Systems
1 Anomaly detection 實現一個異常檢測演算法檢測伺服器的異常行為 特徵是 每個伺服器的 吞吐量(throughput)(mb/s) 和 相應延遲(ms) 採集 m=307 臺執行中的伺服器的特徵,{x(1),...,x(m)} 其中大部
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 15—Anomaly Detection異常檢測
Lecture 15 Anomaly Detection 異常檢測 15.1 異常檢測問題的動機 Problem Motivation 異常檢測(Anomaly detection)問題是機器學習演算法的一個常見應用。這種演算法雖然主要用於無監督學習問題,但從某些角度看,它又類似於一些監督學習問題。舉例:
斯坦福CS229機器學習課程筆記一:線性迴歸與梯度下降演算法
機器學習三要素 機器學習的三要素為:模型、策略、演算法。 模型:就是所要學習的條件概率分佈或決策函式。線性迴歸模型 策略:按照什麼樣的準則學習或選擇最優的模型。最小化均方誤差,即所謂的 least-squares(在spss裡線性迴歸對應的模組就叫OLS即Ordinary Least Squares):
斯坦福大學(Andrew Ng)機器學習課程講義
Lecture notes 1 (ps)(pdf) Supervised Learning, Discriminative Algorithms Lecture notes 2 (ps)(pdf) Generative Algorithms Lecture notes 3 (ps)(pd
Andrew Ng機器學習課程筆記(四)之神經網絡
sca 優化 介紹 www 之間 output 現在 利用 href Andrew Ng機器學習課程筆記(四)之神經網絡 版權聲明:本文為博主原創文章,轉載請指明轉載地址 http://www.cnblogs.com/fydeblog/p/7365730.html 前言
斯坦福NG機器學習聽課筆記-推薦系統(recommender system)
推薦系統(recommender system) Problem Formulation: RecommenderSystems:為什麼講它有兩個原因:首先它是一個很重要的機器學習應用方向,在很多公司中佔據了重要作用,像亞馬遜之類網站都是很好的建立推薦系統促進商品銷售。其次推薦系
極簡機器學習課程:使用Python構建和訓練一個完整的人工神經網
直接閱讀技術類的教材是困難的,理論的密集程度常常令人生畏,而Welch Labs的視訊用有趣的短片形式,以達到教學的目的,並結合相關資源介紹技術背景,使你能熟練掌握主題。 而本文介紹的系列,將帶領大家使用Python構建和訓練一個完整的人工神經網路。1.資料+架構 要想使用一種機器學習的方
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 10—Advice for applying machine learning
Lecture 10—Advice for applying machine learning 10.1 如何除錯一個機器學習演算法? 有多種方案: 1、獲得更多訓練資料;2、嘗試更少特徵;3、嘗試更多特徵;4、嘗試新增多項式特徵;5、減小 λ;6、增大 λ 為了避免一個方案一個方
吳恩達-斯坦福CS229機器學習課程資料與演算法的Python實現
學習stanford cs229 manchine learning課程已經有三個月左右,雖然說網友們說這門課相比於Coursera(吳恩達老師的網課機構)中的機器學習有更多的數學要求和公式的推導,本著想總體瞭解機器學習的念頭,開始了機器學習的自學過程。 這
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 11—Machine Learning System Design
Lecture 11—Machine Learning System Design 11.1 垃圾郵件分類 本章中用一個實際例子: 垃圾郵件Spam的分類 來描述機器學習系統設計方法。首先來看兩封郵件,左邊是一封垃圾郵件Spam,右邊是一封非垃圾郵件Non-Spam:垃圾郵件有很多features。如果我
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 12—Support Vector Machines 支援向量機
Lecture 12 支援向量機 Support Vector Machines 12.1 優化目標 Optimization Objective 支援向量機(Support Vector Machine) 是一個更加強大的演算法,廣泛應用於工業界和學術界。與邏輯迴歸和神經網路相比, SVM在學習複雜的非
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 14—Dimensionality Reduction 降維
Lecture 14 Dimensionality Reduction 降維 14.1 降維的動機一:資料壓縮 Data Compression 現在討論第二種無監督學習問題:降維。 降維的一方面作用是資料壓縮,允許我們使用較少的記憶體或磁碟空間,也加快演算法速度。 例子: 假設我們用兩個特徵描述一個物
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 16—Recommender Systems 推薦系統
Lecture 16 Recommender Systems 推薦系統 16.1 問題形式化 Problem Formulation 在機器學習領域,對於一些問題存在一些演算法, 能試圖自動地替你學習到一組優良的特徵。通過推薦系統(recommender systems),將領略一小部分特徵學習的思想。
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 17—Large Scale Machine Learning 大規模機器學習
Lecture17 Large Scale Machine Learning大規模機器學習 17.1 大型資料集的學習 Learning With Large Datasets 如果有一個低方差的模型, 通常通過增加資料集的規模,可以獲得更好的結果。 但是如果資料集特別大,則首先應該檢查這麼大規模是否真
【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 18—Photo OCR 應用例項:圖片文字識別
Lecture 18—Photo OCR 應用例項:圖片文字識別 18.1 問題描述和流程圖 Problem Description and Pipeline 影象文字識別需要如下步驟: 1.文字偵測(Text detection)——將圖片上的文字與其他環境物件分離開來2.字元切分(Character
吳恩達機器學習課程:完全用Python完成,可以的!(附程式碼)
新智元報道 來源:Reddit、GitHub編輯:肖琴【導讀】完全用Python完成吳恩達的
Andrew Ng機器學習課程筆記(十三)之無監督學習之EM演算法
Preface Jensen’s Inequality(Jensen不等式) Expectation-Maximization Algorithm(EM演算法) Jensen’s Inequality 對於凸函式 令f(x)f(x)為
Andrew Ng機器學習課程之學習筆記---牛頓方法
牛頓方法 本次課程大綱: 1、 牛頓方法:對Logistic模型進行擬合 2、 指數分佈族 3、 廣義線性模型(GLM):聯絡Logistic迴歸和最小二乘模型 複習: Logistic迴歸:分類演算法 假設給定x以為引數的y=1和y=0的概率: 求對數似然性: 對其求偏導數,應用梯度上升
Andrew Ng機器學習課程筆記(十二)之無監督學習之K-means聚類演算法
Preface Unsupervised Learning(無監督學習) K-means聚類演算法 Unsupervised Learning 我們以前介紹的所有演算法都是基於有類別標籤的資料集,當我們對於沒有標籤的資料進行分類時,以前的方