這一份總結裡的主要內容不是演算法，是關於如何對偏差和方差進行權衡、如何選擇模型、如何選擇特徵的內容，通過這些可以在實際中對問題進行更好地選擇與修改模型。

1、學習理論（Learning theory）

1.1、偏差/方差（Bias/variance）

圖一
對一個理想的模型來說，它不關心對訓練集合的準確度，而是更關心對從未出現過的全新的測試集進行測試時的效能，即泛化能力（Generalization ability）。
有的模型用在用一個樣本集訓練過後，再用同一個樣本集做預測，這樣得到的模型的準確率非常高。但是，當用這個模型去預測新的資料的時候，效果卻非常不理想。這就是泛化能力弱的表現，這樣的模型非常容易過擬合。

圖一最左邊的圖，用線性模型去擬合一個二次模型，無論該訓練集中有多少樣本，都會不可避免地出現較大的誤差，這種情況被稱為欠擬合，對應著高偏差；
圖一最右邊的圖，用高次模型去擬合一個二次模型，雖然它能夠讓圖中每個樣本點都經過該曲線，但是對於新來的資料可能會強加上一些它們並不擁有的特性（一般是訓練樣本帶來的），這會讓模型非常的敏感，這種情況被稱為過擬合，對應著高方差。

如何選擇一個模型使得它在偏差與方差之間取得一個平衡，是學習理論要解決的問題。在下面“一致收斂的推論”一節中，會得到一個用來權衡偏差、方差的公式，接下來會從頭開始推導這個公式。

1.2、準備知識

開始推導之前要先把一些準備知識提出來，這樣從“一致收斂”中開始的推導會很順利。

聯合界引理（The union bound）

引理：令A1,A2,⋯,Ak是k個事件，組合成k集，它們可能相互獨立，也可能步相互獨立，對此，我們有：

P(A1∪⋯∪Ak)≤P(A1)+⋯+P(Ak)(1)
它要表達的意思是“K集事件之一發生的概率最多是K集發生的概率之和”。
比如當P(A1∪⋯∪Ak

)=P(A1)，它的概率最多是K集發生的概率之和。

霍夫丁不等式（Hoeffding inequality）

引理：令Z1,Z2⋯,Zm為m個獨立同分布事件，它們都服從伯努利分佈，則有:

P(Zi=1)=ϕ,P(Zi=0)=1−ϕ
並用Zi的平均值來得到一個ϕ的估計值ϕ^：
ϕ^=∑mi=1Zim(2)
接著對於任意的固定值γ>0，存在：
P(∣∣ϕ−ϕ^∣∣>γ)≤2exp(−2γ2m)(3)
以上就是霍夫丁不等式，也稱為切爾諾夫界（Chernoff bound）。
這個定理的意義在於，隨著m的增長，右式的指數會持續下降，左式中對引數ϕ^的估計會越來越接近真實值ϕ

（畫個e−x的影象就知道了）。

經驗風險最小化（Empirical risk minimization）

下面以二分類問題進行說明。
給定一個訓練集S{(x(i),y(i));i=1,2,⋯,m}，(x(i),y(i))是服從概率分佈D的獨立同分布變數，那麼對於一個假設h，我們將假設h的訓練誤差（Training error）——也稱為經驗風險（Empirical risk）或者是經驗誤差（Empirical error）——定義為：

ε^=1m∑i=1mI{h(x(i))≠y(i)}(4)
它表示：在訓練樣本中，用假設h進行分類，分類失敗數佔總數的百分比。注意它在表示上有帶帽符號。

相對應的有一般風險，也稱為一般誤差（Generalization error）：

ε=PD(h(x)≠y)(5)
PD表示(x,y)服從D分佈。
式（5）表示：實際分類中，使用了假設h進行分類，樣本不服從D分佈的概率。它在表示上無帶帽符號。

在我的理解中，訓練誤差是訓練中產生的誤差，一般誤差是實際預測、分類中產生的誤差。接下來的推導中它們會一直出現，可能會搞混，要一直理解到它們的意思才行。

假設模型集合為：

H={hθ:h

學習理論、模型選擇、特徵選擇——斯坦福CS229機器學習個人總結（四）

1、學習理論（Learning theory）

1.1、偏差/方差（Bias/variance）

1.2、準備知識

聯合界引理（The union bound）

霍夫丁不等式（Hoeffding inequality）

經驗風險最小化（Empirical risk minimization）

學習理論、模型選擇、特徵選擇——斯坦福CS229機器學習個人總結（四）

斯坦福CS229機器學習筆記-Lecture6-多元伯努利事件模型+SVM支援向量機

android個人筆記（四）——JNI、C++字串轉換

JAVA學習總結（四）

JavaSE學習總結（四）——Java面向對象十分鐘入門

OO學習總結（四）

SpringCloud開發學習總結（四）—— 客戶端負載均衡Ribbon

斯坦福CS229機器學習課程筆記一：線性迴歸與梯度下降演算法

Flutter 學習總結（四）Widget框架概述

微信開發學習總結（四）——自定義選單（5）——個性化選單介面

微信開發學習總結（四）——自定義選單（4）——自定義選單事件推送

微信開發學習總結（四）——自定義選單（3）——自定義選單刪除介面

微信開發學習總結（四）——自定義選單（2）——自定義選單查詢介面

微信開發學習總結（四）——自定義選單（1）——自定義選單建立介面

c++學習總結（四）——運算子過載與標準模板庫（STL）

斯坦福CS229機器學習筆記-Lecture8- SVM支援向量機之核方法 + 軟間隔 + SMO 演算法

Mybatis學習總結（四）---一對多對映

資料庫學習總結（四）——單表查詢

吳恩達-斯坦福CS229機器學習課程資料與演算法的Python實現

微信開發學習總結（四）——自定義選單——自定義選單建立介面

學習理論、模型選擇、特徵選擇——斯坦福CS229機器學習個人總結（四）

1、學習理論（Learning theory）

1.1、偏差/方差（Bias/variance）

1.2、準備知識

聯合界引理（The union bound）

霍夫丁不等式（Hoeffding inequality）

經驗風險最小化（Empirical risk minimization）

相關推薦