開始關於學習理論的內容了，這比了解演算法，推導公式更為重要

（1）高偏差（bias）和高方差（variance）的權衡---欠擬合與過擬合的權衡

（2）ERM（經驗風險最小化 empirical risk minimizition） 使訓練誤差最小（trainning error即為risk）

（3）訓練誤差（training error）:模型對於訓練的樣本分錯的概率

一般誤差（generaliztion error）:利用該假設進行實際的樣本分類（為出現過的樣本），分錯的概率

訓練誤差與一般誤差一般具有某些相似性，即訓練誤差較小往往一般誤差也比較小

（4）一致收斂表明了，對於一個假設集合中的所有假設，在大於等於某一概率（由霍夫丁不等式推出）的情況下，所有假設的訓練誤差與一般誤差之間的差值不大於某個定值（gamma可事前選定）。

當訓練樣本數量m增大時，假設集合中的所有假設的訓練誤差都會收斂到其一般誤差。

這裡的一致收斂有個前提是假設集合中的假設個數是有限的。

注意一致收斂的兩個推論，即樣本複雜度與誤差界。

（5）計算機。。對於任意K，logk<=30  ......  僅僅是為了表明log函式增長的很慢

（6）對於一個假設而言，其訓練誤差一定小於等於一般誤差嗎？（不一定吧）

注意至今為止所做的假設，假設類的個數都是有限的

（7）當使用一個更為複雜的假設集合時，例如從線性假設集合到二次函式假設集合，偏差\方差權衡公式第一項變小而第二項變大，即偏差會變小而方差會變大（非正式的認為）。

（8）注意這裡所說的偏差與方差，並無直接上的數學的定義

我的理解是，偏差即為演算法對於資料的擬合程度，而方差刻畫的是演算法擬合的值對於中心值的離散程度。

偏差越小，演算法擬合越好，但可能會導致方差越大，即模型學會一些資料奇怪的特徵，泛化能力就會較差。

方差越小，擬合的結果越集中，對於外面資料的抗干擾能力越強，但是可能會帶來偏差過大，擬合的程度差，即該模型並沒有學習到資料的主要特徵。

--------------------------------------------------------------------------

在這裡，簡單的對於第9課的內容進行梳理

核心即在於偏差與方差權衡，即如何選擇一個較為好的學習模型。

    從訓練誤差與一般誤差出發，根據霍夫丁不等式，量化訓練誤差與一般誤差的差異，並指出隨著訓練樣本m的增加，這種差異越來越小。

    之後通過聯合界引理推匯出對於一個有限假設集合中所有假設，都具備上述性質，即量化的差異。由此，便是一致性收斂。

    由一致性收斂得到兩個推論，即樣本複雜度和誤差界（通過固定引數即可推導）。

    由一致性收斂，結合訓練誤差與一般誤差，可推匯出偏差\方差權衡公式。直觀上看，EPM最小的假設的一般誤差與實際上的最小一般誤差存在一個2倍gamma的差異，且gamma隨m增加而減少，隨k增加而增加。

    根據偏差\方差權衡公式，可直觀上得出結論，隨著模型的複雜程度提升，偏差減少，而方差增大。選擇的優模型，應折中考慮偏差與方差兩個因素。