2. 程式人生 > >《統計學習方法》第1章 課後題答案

《統計學習方法》第1章 課後題答案

阿新 • • 發佈：2019-01-03

1.1 說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。伯努利模型是定義在取值為0與1的隨機變數上的概率分佈。假設觀測到伯努利模型n次獨立的資料生成結果，其中k次的結果為1，這時可以用極大似然估計或貝葉斯估計來估計結果為1的概率。

解：
三要素分別是模型、策略、演算法。

模型：伯努利模型，即定義在取值為0與1的隨機變數上的概率分佈。

策略：極大似然估計和貝葉斯估計的策略都是對數損失函式，只不過貝葉斯估計使用的是結構風險最小化。

演算法：極大似然估計所使用的演算法是求取經驗風險函式的極小值，貝葉斯估計所使用的演算法是求取引數的後驗分佈，然後計算其期望。

定義A為取值為0或1的隨機變數，並設A

=1的概率是θ，即:

P(A=1)=θ,P(A=0)=1−θ

獨立抽取n個同分布的隨機變數A1,A2,…,An。使用極大似然估計即求取以下經驗風險函式的極值點：

L(P)=−∑i=1nlogP(Ai)=−klogθ−(n−k)log(1−θ)
即求θ′，使得：
∂L(P)∂P∣∣∣θ′=−kθ′−n−k1−θ′=0
即得θ的估計值為θ=kn。

如果使用貝葉斯估計，則將A=1的概率θ也看做是一個隨機變數，假設其先驗分佈為均勻分佈，即：

f(θ)=1
那麼根據貝葉斯定理，其後驗分佈為：
f(θ|A1,…,An)=f(A1,…,An|θ)⋅f(θ)∫f(A1,…,An)⋅f(θ)dθ
上式中分母與θ無關，所以可忽略，即：
f(θ|A1,…,An)∝θk(1−θ)(n−k)=θk+1−1(1−θ)n−k+1−1
注意，引數為a,b的Beta分佈的概率密度函式如下
f(p;a,b)=Γ(a+b)Γ(a)Γ(b)pa−1(1−p)b−1
因此可以看出，θ的後驗分佈服從引數為k+1和n−k+1的Beta分佈，即：
f(θ|A1,…,An)=Γ(n+2)Γ(k+1)Γ(n−k+1)θk+1−1(1−θ)n−k+1−1
因此，上式的期望（即θ的估計值）為：
E(θ)=k+1n+2

相關推薦

最小二乘迴歸樹Python實現——統計學習方法第五章課後題

李航博士《統計學習方法》第五章第二題，試用平方誤差準則生成一個二叉迴歸樹。 輸入資料為： x     0            1          2         3      

《統計學習方法》第1章 課後題答案

1.1 說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。伯努利模型是定義在取值為0與1的隨機變數上的概率分佈。假設觀測到伯努利模型n次獨立的資料生成結果，其中k次的結果為1，這時可以用

統計學習方法第四章課後習題

4.1 用極大似然估計法推導樸素貝葉斯法中的先驗概率估計公式(4.8)和條件概率估計公式(4.9) 首先是(4.8) P(Y=ck)=∑i=1NI(yi=ck)NP({Y=c_k})=\frac {\sum_{i=1}^NI(y_i=c_k)} {N} P(Y=

計算機網路學習筆記——第三章課後題答案詳解

1、假定站點A和B在同一個10Mb/s乙太網網段上。這兩個站點之間的傳播時延為225位元時間。現假定A開始傳送一幀，並且在A傳送結束之前B也傳送一幀。如果A傳送的是乙太網所容許的最短的幀，那麼A在檢測到和B發生碰撞之前能否把自己的資料傳送完畢？換言之，如果A在傳送完畢之前並沒有檢測到碰撞，那麼能否肯定A所傳送

《統計學習方法》第7章 課後題答案

最近在補一些機器學習的基礎知識，所以就刷了一下李航博士的《統計學習方法》。那麼刷一本書怎麼才能徹底呢，當然是刷題了。幸好作者在每一章留有課後題，在這裡嘗試做一下。 （一想到這部分內容可能會被完爆我好幾條街的大神看到就覺得好害羞 ⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄。

統計學習方法-第2章-感知機(1)

2.1 感知機模型 定義: 輸入特徵空間為\(\chi\subseteq R^n\), 輸出空間為\(\mathcal{Y}=\{+1, -1\}\). 則由輸入空間到輸出空間的如下函式: \[f(x) = sign(w\cdot x+b)\] 其中\[sign(x)=\left\{\begin{array

統計學習方法第四章極大似然估計的樸素貝葉斯分類方法例題4.1程式碼實踐

#-*- coding:utf-8 -*- from numpy import * #將書上的資料輸入，這裡懶得輸入那麼多個列表就用下array的轉置方法吧！就用這個方法吧0.0 def loadDataSet(): dataSet=[[1,1,1,1,1,2,2,2,2,2,3,3,3,3,3],

李航 統計學習方法 第五章 決策樹 課後 習題 答案

決策樹是一種基本的分類和迴歸方法。決策樹呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間和類空間上的條件概率分佈。學習時，利用訓練資料，根據損失函式最小化的原則建立決策樹模型。預測時，對

統計學習方法 第五章

統計學習第五章：決策樹 決策樹模型 分類決策樹模型是一種描述對例項進行分類的樹形結構，表示基於特徵對例項進行分類的過程。決策樹由結點和有向邊組成。結點有兩種型別：內部節點和葉節點，內部節點表示一個

計算機網路自頂向下方法(第六版) 課後題答案 | 第五章

複習題 R1. 公共汽車、火車、汽車 R2. 雖然每個鏈路都保證通過鏈路傳送的IP資料報將在鏈路的另一端接收到，沒有錯誤，但不能保證IP資料報將以正確的順序到達最終目的地。有了IP，同一TCP連線中的資料報可以在網路中採取不同的路由，因此無法正常到達。TCP仍然需要以正確

計算機網路自頂向下方法(第六版) 課後題答案 | 第四章

複習題 R1. 網路層的分組名稱是資料報。路由器是根據包的 IP 地址轉發包;而鏈路層是根據包的 MAC 地址來轉發包。 R2. 資料報網路中網路層兩個最重要的功能是:轉發,路由選擇。 虛電路網路層最重要的三個功能是:轉發,路由選擇,和呼叫建立 R3. 轉發是當一個分

計算機網路自頂向下方法(第六版) 課後題答案 | 第三章

複習題 R1. a. 將此協議稱為簡單傳輸協議(STP)。在傳送方端，STP 從傳送過程中接收不超過 1196 位元組的資料塊、目標主機地址和目標埠號。STP 向每個塊新增一個 4 位元組的報頭，並將目標程序的埠號放在這個報頭中。然後 STP 將目標主機地址和報文段提供給網路層。

計算機網路自頂向下方法(第六版) 課後題答案 | 第二章

複習題 R1. 非專用的因特網 所在的應用層協議 Web HTTP 檔案傳輸 FTP 遠端登入 Tele

計算機網路自頂向下方法(第六版) 課後題答案 | 第一章

複習題 R1. 沒什麼不同，主機就是端系統，可互換使用；端系統包括PC 機，工作站，Web 伺服器，郵件伺服器，聯網遊戲機等。 R2. 外交禮儀通常被描述為一套國際禮儀規則。這些建立已久、歷史悠久的規則使國家和人民更容易在一起生活和工作。 R3. 標準對於協議很重

統計學習方法第五章CART演算法程式碼實踐例題5.4

from numpy import * def loadDataSet(): # 本書例題的資料集 dataset = [['青年', '否', '否', '一般', '否'], ['青年', '否', '否', '好', '否'], ['青

c++ primer plus 第四章 課後題答案

#include<iostream> #include<string> using namespace std; int main() { string first_name; string last_name; char grade;

C語言程式設計 現代方法 第九章程式設計題答案

以下程式都是在VS軟體下進行編譯的，如果要用VC編譯器，刪除system(“paues”);即可 9.1 //No.1不用遞迴 #include<stdio.h> #define N 20 void selection_sort(int k, int c[]); int ma

c++ primer plus 第五章 課後題答案

#include <iostream> using namespace std; int main() { int num_1,num_2,sum=0; cout << "Please enter two number: "; cin >&g

c++ primer plus 第六章 課後題答案

#include <iostream> #include <cctype> using namespace std; int main() { char in_put; do { cout << "Please ente

《演算法導論》第3版 第2章課後題答案（英文版）

Solution to Exercise 2.2-2    SELECTION-SORT(A)    n = A.length    for j = 1 to n - 1        smallest = j        for i = j + 1 to n