0. 寫在前面

在這一講中，我們主要介紹一下模型的類別以及問題的類別，並對課後習題進行相應的分析。

1. 模型的型別

我們知道，統計學習主要包括監督學習、非監督學習、半監督學習和強化學習。那麼在統計學習方法一書中主要涉及的是監督學習。而監督學習主要分為兩類，一種是生成模型，一種是判別模型。

1. 生成模型

生成模型是由資料學習聯合概率分佈P(X,Y)，然後求出條件概率分佈P(Y|X)作為預測模型，其樣子為：

P(Y|X)=P(X,Y)P(X)
這樣的方法稱為生成方法，因為模型表示了給定輸入X產生輸出Y的生成關係。典型的生成模型由：樸素貝葉斯發和隱馬爾可夫模型。
生成模型所用的生成方法有以下幾個有點
1. 生成方法可以還原出聯合概率分佈P（X,Y）
2. 生成方法的學習收斂速度更快。
3. 存在隱變數時，仍可以用生成方法學習。

2. 判別模型

判別模型則是由資料直接學習決策函式f(X)或者條件概率分佈P（Y|X）作為預測的模型。判別方法關心的是對給定的輸入X，應該預測什麼樣的輸出Y。典型的判別模型包括：K近鄰、感知機、決策樹、邏輯斯蒂迴歸模型、最大熵模型、支援向量機、提升方法和條件隨機場等。
相比較生成模型所用的生成方法，判別模型的判別方法也有其自身的特點：
1. 判別方法直接學習的是條件概率P（Y|X）或者決策函式f(X).
2. 直接面對預測，學習準確率更高
3. 可以簡化學習問題。

2. 問題型別

監督學習的方法有生成方法和判別方法，但是問題的型別有三種：分類問題、標註問題、迴歸問題。

1. 分類問題

分類問題是一個非常常見的問題。在監督學習中，當輸出變數Y取有限個離散值時，預測問題便成為分類問題。也就是給出一個分類函式f(x)其輸出值為離散的，就成為分類問題了。常見的分類問題為二分類問題，也就是非此即彼的結果。
而評價分類器效能的指標一般是分類準確率。這個其實不用解釋的，準確率就是正確率，也就是輸出結果和實際值相同的百分比。
而對於二分類問題，可以用精確率、召回率、和F1值綜合評價，通常稱為PRF值。
假設：
TP——將正類預測為正類數
FN——將正類預測為負類數
FP——將負類預測為正類數
TN——將負類預測為負類數
那麼準確率應當是：

Acc=TP+TNTP+FN

+FP+TN
精確率的定義為：
P=TPTP+FP
召回率的定義為：
R=TPTP+FN
F1值的定義為：
F1=2TP2TP+FP+FN
其多分類問題也可化為二分類從而進行PRF評價，預測正確的為正類，預測錯誤的為負類。實際上很多統計學習方法都是分類問題，也可以認為大部分的問題都是分類問題。

2. 標註問題

標註問題是分類問題的一個更廣泛的推廣。它可以退化為分類問題，不過它不同於分類問題的一個重要特點是：它的標註問題的輸入時一個觀測序列，輸出是一個標記序列或狀態序列。也就是說它不僅僅關注的每一個輸入的分類結果，它更關注的是一個序列化的輸入，給出一個最可能的序列化輸出。這就是序列化標註問題。這種問題還是比較少的，通常使用隱馬爾可夫模型或者條件隨機場來進行學習。
其評價標準與分類問題相同，均可採用PRF值來進行預測。

3. 迴歸問題

迴歸問題我們不在機器學習的時候就已經遇到了，不過我們那時候學習的都還比較基礎，就是根據當前的資料擬合出最符合當前走勢的曲線，以此能夠預測出接下來的過程中資料的走向如何。
按照輸入變數的個數，我們可以分為一元迴歸和多元迴歸，按照輸入變數和輸出變數之間的關係型別，可以分為線性迴歸和非線性迴歸。我們之前接觸到的大部分是線性迴歸。
迴歸學習的最常用的損失函式就是平方損失函式，通常使用最小二乘法求解。而常見的問題比如股票的走勢問題，這個非常形象直觀的展示了需要回歸的內容，也就是預測出在接下來的時間裡，股票的走勢如何。

3. 課後習題解答

這個課後習題只有兩題：
1. 說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。
2. 通過經驗風險最小化推到極大似然估計，證明模型是條件概率分佈，當損失函式是對數函式時，經驗風險最小化等價於極大似然估計。
解答：
1.對於第一題，我們需要讀清楚題，它要問的是伯努利模型的吉薩似然估計和貝葉斯估計的三要素。
那麼首先我們來回顧一下統計學習方法的三要素：模型、策略和演算法。
對於模型來講，既然都是伯努利模型了，模型自然不用說了，肯定是伯努利模型。
那麼主要是策略和演算法的不同。在之前我們說過，極大似然估計的策略是經驗風險最小化。但是我們不能這麼回答，因為我們需要證明是經驗風險最小化，其實這就是第二題的答案。
對於極大似然估計，也就是求這樣的一個式子：

hMLE=argmaxP(x|μ)μ∈（0，1）
對於伯努利模型來說：
P(xi|μ)=μxi(1−μ)1−xi
這樣子，我們就是求μ的取值。
那麼怎麼求呢，對於似然估計，也就是求得P（xi|μ）最大的那個μ的值，這點可以理解為最終取使得P（x_i|μ）最大的μ，這點與貝葉斯估計稍有不同。
那麼第三個因素——演算法是什麼呢？
這就是說極大似然估計怎麼求解，常規方法為：
1. 寫出似然函式
2. 對似然函式取對數
3. 求導數
4. 解似然方程
通過以上4步，就差不多可以取得其極大值μ了。
例如我們這裡的伯努利模型：
1. 找出似然函式
P(X|μ)=∏i=1nP(xi|μ)
P(X|μ)=∏i=1nμxi(1−μ)1−xi
2.對似然函式取對數
log[P(X|μ)]=log∑i=1nμxi(1−μ)1−xi
log[P(X|μ)]=∑i=1n[xilogμ+(1−xi)log(1−μ)]
3. 求導數
∂logP(X|μ)∂μ=1μ∑i=1nxi−11−μ∑i=1n(1−xi)
4. 令偏導數為0
μ估計=1n∑i=1n

相關推薦

統計學習方法——模型與問題分類

0. 寫在前面 在這一講中，我們主要介紹一下模型的類別以及問題的類別，並對課後習題進行相應的分析。 1. 模型的型別 我們知道，統計學習主要包括監督學習、非監督學習、半監督學習和強化學習。那麼在統計學習方法一書中主要涉及的是監督學習。而監督學習主要分為

統計學習方法——模型的選擇與評估（過擬合、泛化能力）

參考書目及論文：《統計學習方法》——李航、A Tutorial on Support Vector Machine for Pattern Recognition 監督學習的目的是找到一個輸入輸出對映（模型），使得這個模型不僅對訓練資料有很好的擬合能力，對於未知資料，它也

《統計學習方法（李航）》邏輯斯蒂迴歸與最大熵模型學習筆記

作者：jliang https://blog.csdn.net/jliang3   1.重點歸納 1）線性迴歸 （1）是確定兩種或以上變數間相互依賴的定量關係的一種統計分析方法。 （2）模型：y=wx+b （3）誤差函式： （4）常見求解方法 最小

李航·統計學習方法筆記·第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型

第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型 標籤（空格分隔）： 機器學習教程·李航統計學習方法 邏輯斯蒂：logistic 李航書中稱之為：邏輯斯蒂迴歸模型 周志華書中稱之為：對數機率迴歸模

邏輯斯諦迴歸與最大熵模型-《統計學習方法》學習筆記

 0. 概述： Logistic迴歸是統計學中的經典分類方法，最大熵是概率模型學習的一個準則，將其推廣到分類問題得到最大熵模型，logistic迴歸模型與最大熵模型都是對數線性模型。 本文第一部分主

統計學習方法 6-邏輯斯諦迴歸與最大熵模型

邏輯斯諦迴歸模型 邏輯斯諦分佈 二元邏輯斯諦迴歸模型 模型引數估計 多元邏輯斯諦迴歸 最大熵模型 最大熵原理 最大熵原理認為，學習概率模型時，在所有可能的概率模型（分佈）中，熵最大的模型是最好的模型。通常用約束條件來確定概率模型

統計學習方法[6]——邏輯回歸模型

算法 ima 題解 問題 回歸 統計學習 同步 轉換 步長 統計學習方法由三個要素組成：方法=模型+策略+算法 模型是針對具體的問題做的假設空間，是學習算法要求解的參數空間。例如模型可以是線性函數等。 策略是學習算法學習的目標，不同的問題可以有不同的學習目標，例如經驗風險最

統計學習方法四 樸素貝葉斯分類

和數 com .com 條件概率 統計學習 http 模型 適用場景 es2017 樸素貝葉斯分類 1，基本概念 　　　　 2，算法流程 　　　關鍵點：理解先驗概率，條件概率，最大後驗概率，下面是以極大似然估計的 　　 　　 　　 3，算法改進（貝葉斯估計） 　　　上述用極

統計學習方法五 決策樹分類

回歸 element row tps 樣本 pan 類別 表示 splay 決策樹分類 1，概念 　　　　 　　　　 2，決策樹算法 2.1，特征選擇： 　　熵：值越大，不確定性因素越大；條件熵：條件對結果的影響不確定性；信息增益；信息增益比 　　　　 　　　　　　　　　　

分享《機器學習與資料科學(基於R的統計學習方法)》高清中文PDF+原始碼

下載：https://pan.baidu.com/s/1Lrgtp7bnVeLoUO46qPHFJg 更多資料：http://blog.51cto.com/3215120 高清中文PDF，299頁，帶書籤目錄，文字可以複製。配套原始碼。 本書指導讀者利用R語言完成涉及機器學習的資料科學專案。作者: Da

分享《機器學習與數據科學(基於R的統計學習方法)》高清中文PDF+源代碼

data 圖片 intro enc proc 文字 目錄 baidu fff 下載：https://pan.baidu.com/s/1Lrgtp7bnVeLoUO46qPHFJg 更多資料：http://blog.51cto.com/3215120 高清中文PDF，299頁

分享《機器學習與數據科學(基於R的統計學習方法)》+PDF+源碼+Daniel+施翔

目錄 intro r語言 ges ati href ext 學習方法 learn 下載：https://pan.baidu.com/s/1TBuxErDDcKQi4oJO3L-fEA 更多資料：http://blog.51cto.com/14087171 高清中文PDF，2

【統計學習方法-李航-筆記總結】十、隱馬爾可夫模型

本文是李航老師《統計學習方法》第十章的筆記，歡迎大佬巨佬們交流。 主要參考部落格: https://www.cnblogs.com/YongSun/p/4767667.html https://www.cnblogs.com/naonaoling/p/5701634.html htt

【統計學習方法-李航-筆記總結】六、邏輯斯諦迴歸和最大熵模型

本文是李航老師《統計學習方法》第六章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： http://www.cnblogs.com/YongSun/p/4767100.html https://blog.csdn.net/tina_ttl/article/details/53519391

[Python-程式碼實現]統計學習方法之感知機模型

內容簡介 感知機模型 - 手寫 Coding 使用手寫模型進行鳶尾花分類 使用 sklearn 中的感知機進行鳶尾花分類 感知機模型 - 手寫 Coding class Model: """感知機模型""" def __init__(s

統計學習方法_隱馬爾可夫模型HMM實現

這裡用到的資料集是三角波，使用長度20的序列訓練100次，生成長度為100的序列。HMM的初始化非常重要，這裡採用隨機初始化。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- import csv import random

《統計學習方法》各章節程式碼實現與課後習題參考解答

程式碼參考：傳送門 待完成。。。 《統計學習方法》各章節程式碼實現與課後習題參考解答 章節 程式碼 課後習題 第1章 統計學習方法概論(LeastSquaresMethod)

統計學習方法感知機(附簡單模型程式碼)

1. 感知機模型 輸入為例項的特徵向量， 輸出為例項的類別， 取+1和-1；感知機對應於輸入空間中將例項劃分為正負兩類的分離超平面， 屬於判別模型；匯入基於誤分類的損失函式；利用梯度下降法對損失函式進行極小化；感知機學習演算法具有簡單而易於實現的優點， 分為原始形式和對偶形式；1957年由Ros

統計學習方法樸素貝葉斯法(附簡單模型程式碼)

樸素貝葉斯（naïve Bayes） 法是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的訓練資料集， 首先基於特徵條件獨立假設學習輸入/輸出的聯合概率分佈； 然後基於此模型， 對給定的輸入x， 利用貝葉斯定理求出後驗概率最大的輸出y。 樸素貝葉斯法實現簡單， 學習與預測的效率都很高， 是一種

統計學習方法 k 近鄰演算法(附簡單模型程式碼)

1. k 近鄰演算法 k近鄰法（k-nearest neighbor， k-NN） 是一種基本分類與迴歸方法。  k近鄰法的輸入為例項的特徵向量， 對應於特徵空間的點； 輸出為例項的類別， 可以取多類。 k近鄰法假設給定一個訓練資料集， 其中的例項類別已定。 分類時， 對新的例項， 根