2. 程式人生 > >Machine Learning第六講[應用機器學習的建議] --（三）建立一個垃圾郵件分類器

Machine Learning第六講[應用機器學習的建議] --（三）建立一個垃圾郵件分類器

阿新 • • 發佈：2019-01-08

內容來自Andrew老師課程Machine Learning的第六章內容的Building a Spam Classifier部分。

一、Prioritizing What to Work on（優先考慮的工作）

在垃圾郵件分類的問題中，我們首先需要選出很多特徵，根據這些特徵使用訓練集訓練，然後使用驗證集驗證誤差，最後使用這個模型預測結果。 在這個問題中，輸入的x形式為： 也即：
Note：在郵件分類問題中，一般我們會選擇10000-20000個在訓練集中出現的比較頻繁的單詞。 怎樣能夠使垃圾分類器有更好的效能（最低的誤分類率）？一般可以從以下幾個方面入手： （1）收集更多的資料，如“honeypot”project可以用來發送垃圾郵件，這些郵件可以當做訓練集中的資料使用。
（2）找出基於路由資訊的更復雜的特徵（路由資訊在郵件的header中）。 （3）尋找郵件主題內容的更復雜的特徵，如：“discount”和“discounts”是否是同一個特徵？“deal”和“Dealer”是否是同一個特徵？以及標點符號特徵。 （4）找出更復雜的演算法來探測拼寫錯誤，如m0rtgage，medlcine，w4tches等。 雖然我們知道有這些方法，但是具體哪些方法有效，這個很難說清楚，需要根據實際情況考慮。

二、Error Analysis（誤差分析）

在學習的過程中，我們推薦的方法是（1）以一個簡單的專案開始，在訓練集上訓練，在驗證集上驗證。（2）畫出學習曲線幫助我們找出出現了什麼問題，怎麼解決，這部分內容參見
Machine Learning第六講[Advice for Applying Machine Learning] --（二）Diagnosing Bias vs. Variance內容。（3）誤差分析：通過人工分析有多少資料被錯誤分類，並觀察被錯誤分類的郵件主要是哪些內容或者哪些類別的內容。 舉例： 驗證集具有500個數據，發現有100個數據被錯誤分類，通過手動檢測這100個錯誤分類的郵件，我們嘗試去發現：
 （1）這些郵件是什麼型別的（type）？ （2）哪些特徵可以幫助我們更好的分類這些郵件？ 1、假設我們發現在這100個錯誤分類的郵件中， Phrama：12 Replica/fake：4 Steal passwords：53
 Other：31 我們發現Steal passwords（竊取密碼）的這種郵件較多，那麼我們需要把時間主要花費在這個上面來研究是否通過設計特徵或者其他的方法來減小Steal passwords郵件的誤分類率。 2、假如我們發現在這100個錯誤分類的郵件中， Deliberate misspellings(m0rgage,medlcine,etc.)：5 Unusual email routing：16 Unusual(Spamming) puctuation：32 我們發現拼寫錯誤的比較少，因此我們沒有必要把時間耗費在研究拼寫錯誤上面。 我們知道了面對較高的誤分類率我們應該怎麼做，那麼我們怎樣衡量這麼做是否有用呢？這就需要引入數值評估的內容了。 因為我們不能直接看出我們的方法對提高系統性能是否有幫助，唯一的辦法就是利用量化的數值評估。 比如，我們來衡量詞幹提取器有沒有作用： 若在使用詞幹提取器之前誤差率為5%，使用詞幹提取器之後誤差率為3%，則說明提取器是有作用的（在後續學習中，這個評判資料還需要一些處理）。

相關推薦

Machine Learning第六講[應用機器學習的建議] --（三）建立一個垃圾郵件分類器

內容來自Andrew老師課程Machine Learning的第六章內容的Building a Spam Classifier部分。 一、Prioritizing What to Work on（優

Machine Learning第六講[應用機器學習的建議] --（二）診斷偏差和方差

一、Diagnosing Bias vs. Variance（診斷偏差 vs. 方差） 如果一個演算法表現的不理想，多半是出現兩種情況，一種情況是偏差比較大（這種情況是欠擬合情況），另一種是方差比較大（這種情況是過擬合的情況）。下圖是欠擬合、剛好、過擬合三種情況的Size-price圖（仍然是預

Machine Learning第九講【異常檢測】-- （二）建立一個異常檢測系統

一、Developing and Evaluating an Anomaly Detection System（異常檢測系統的衡量指標） 對於某一演算法，我們可以通過藉助某些數字指標來衡量演算法的好壞，仍舊以飛機引擎的例子來說： 假設有10000個正常的引擎，20個有瑕疵的引擎（異常）

Machine Learning第九講【異常檢測】-- （三）多元高斯分佈

一、Multivariate Gaussian Distribution（多元高斯分佈） 資料中心例子：   因為上面的原因，會帶來一些誤差，因此我們引入了改良版的演算法： 我們不再單獨地將p(x1)，p(x2)，p(x3)訓練模型，而是將這些引數都放在一個模型裡，

吳恩達第六講[應用機器學習的建議] -- 評估學習演算法

一、Evaluating a Hypothesis（評估假設） 即使我們已經實現了某種演算法，但是我們可能會發現這種演算法存在很大的問題，這就涉及到了模型的選擇和改進。 在模型選擇之前，我們先來看些該如何評估一個模型。 對於有2個特徵的假設函式來說，我們很容易通過畫圖來判斷它是否過擬合，

Machine Learning第九講【推薦系統】-- （二）協同過濾

一、Collaborative Filtering（協同過濾） 協同過濾能夠自行學習所需要使用的特徵。 來看下面的例子： 在之前講的基於內容的推薦系統中，我們需要事先建立特徵並知道特徵值，這是比較困難的。 假設我們某一使用者的喜好，即假如Alice、Bob喜歡romance的電影，carol

Machine Learning第九講【推薦系統】--（一）基於內容的推薦系統

符號介紹： 對於每一個使用者j，假設我們已經通過學習找到引數，則使用者j對電影i的評分預測值為：。   對於上面的例子：                   

Machine Learning第九講【異常檢測】--（一）密度估計

一、Problem Motivation（問題引入） 異常檢測一般應用在非監督學習的問題上，如圖，我們可以通過已知的資料集，訓練模型 根據此模型進行異常檢測： 在使用這些資料訓練的過程中，我們假設這些資料是正常的。 我們可以把異常檢測應用在網站欺詐預測上，比如可以根據使用者平時

Machine Learning第八講[非監督學習] -- （一）聚類

一、Unsupervised Learning: Introduction（非監督學習簡介） 之前介紹的線性迴歸、logistic迴歸以及神經網路等都是監督學習的例子，通過給出一系統樣本，通過這些樣本去訓練模型進行預測，在這些樣本中，是包含y標籤的，即實際值。 在非監督學習中，我們給一系列樣

機器學習筆記（三） 第三章 線性模型

3.1 基本形式 樣本x由d個屬性描述 x= (x1; x2;…; xd)， 線性模型試圖學得一個通過屬性的線性組合來進行預測的函式： 向量形式： w和b學得之後，模型就得以確定. 3.2 線性迴歸 線性迴歸試圖學得 為確定w，b，學習到泛化效能最好的模型

python機器學習實戰（三）

方法 baidu classes getter 全部 ken array數組 app 產生 python機器學習實戰（三） 版權聲明：本文為博主原創文章，轉載請指明轉載地址 www.cnblogs.com/fydeblog/p/7277205.html 前言 這篇博客是

機器學習實戰（三）樸素貝葉斯NB（Naive Bayes）

目錄 0. 前言 1. 條件概率 2. 樸素貝葉斯（Naive Bayes） 3. 樸素貝葉斯應用於文字分類 4. 實戰案例 4.1. 垃圾郵件分類案例 學習完機器學習實戰的樸素貝葉斯，簡單的做個筆記。文中

機器學習實踐（三）—sklearn之特徵工程

一、特徵工程介紹 1. 為什麼需要特徵工程 Andrew Ng ： “Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learnin

機器學習筆記（三）Logistic迴歸模型

Logistic迴歸模型 1. 模型簡介： 線性迴歸往往並不能很好地解決分類問題，所以我們引出Logistic迴歸演算法，演算法的輸出值或者說預測值一直介於0和1，雖然演算法的名字有“迴歸”二字，但實際上Logistic迴歸是一種分類演算法（classification y = 0 or 1）。 Log

機器學習筆記（三）：線性迴歸大解剖（原理部分）

進入機器學習，線性迴歸自然就是一道開胃菜。雖說簡單，但對於入門來說還是有些難度的。程式碼部分見下一篇，程式碼對於程式設計師還是能能夠幫助理解那些公式的。 （本文用的一些課件來自唐宇迪的機器學習，大家可以取網易雲課堂看他的視訊，很棒） 1.線性迴歸的一些要點 先說

機器學習筆記（三）：線性迴歸大解剖（程式碼部分）

這裡，讓我手把手教你如何用邏輯迴歸分析資料 根據學生分數預測是否錄取： #必備3個庫 import numpy as np import pandas as pd import matplotlib.pyplot as plt 讓我們讀入資料： import

機器學習cs229——（三）區域性加權迴歸、邏輯迴歸、感知器、牛頓方法、廣義線性模型

 首先，我們先來討論一下欠擬合（underfitting）和過擬合（overfitting）問題。比如我們同樣採用線性迴歸來對一組房屋價格和房屋大小的資料進行擬合，第一種情況下我們只選取一個數據特徵(比如房屋大小 x)採用直線進行擬合。第二種情況下選取兩個資料特徵(比如房屋大

機器學習筆記（三）：決策樹

決策樹（decision tree）是機器學習中最常見的方法之一，本文主要對決策樹的定義，生成與修剪以及經典的決策樹生成演算法進行簡要介紹。目錄如下 一、什麼是決策樹 二、決策樹的生成 三、決策樹的修剪 四、一些經典的決策樹生成演算法   一、什麼是決策樹 顧名

NG機器學習總結-（三）線性迴歸以及python實現

在前面已經簡單介紹了迴歸問題（預測房價），其實在統計學中，線性迴歸（Linear Regression）是利用被稱為線性迴歸方程的最小平方函式（Cost Function）對一個或多個自變數和因變數之間關係進行建模的一種迴歸分析。這種函式式一個或多個被稱為迴歸係數的模型引數的

機器學習總結（三）：SVM支援向量機（面試必考）

基本思想：試圖尋找一個超平面來對樣本分割，把樣本中的正例和反例用超平面分開，並儘可能的使正例和反例之間的間隔最大。 演算法推導過程： （1）代價函式：假設正類樣本y =wTx+ b>=+1,負