偏差方差權衡(bias variance trade off)

偏差：如果說一個模型欠擬合，也可以說它的偏差很大。

方差：如果說一個模型過擬合，也可以說它的方差很大。

訓練誤差

經驗風險最小化(ERM)

選擇參數，使得訓練誤差最小化，即

假設類H:所有假設構成的集合。

ERM的目標也可以寫成選擇假設，使得訓練誤差最小化，即

泛化誤差(generalization error)

，即對於新樣本錯誤分類的概率。

聯合界引理(the union bound)

事件和的概率小於等於事件概率之和。

Hoeffding不等式引理

令z1,...,zm為i,i,d，並且服從伯努利分布，即P(zi=1)=phi，P(zi=0)=1-phi。定義

ERM的性質

以有限假設類為例

令H為一個包含了k個假設的假設類。這k個函數都是從輸入映射到輸出的函數，不帶有參數。ERM需要做的就是，對於給定的訓練集合，從假設類中找到一個假設，使得訓練誤差最小。我們更喜歡的是泛化誤差較小。所以，先證明訓練誤差是泛化誤差的近似，然後可以證明ERM輸出的泛化誤差具有上界。以下為證明過程

對於假設類裏面的某一個特定假設hi，定義，那麽訓練誤差即為

，則訓練誤差為泛化誤差的平均數，則有所以對於某一個假設來說，訓練誤差和泛化誤差是近似的。令Ai=，則。

。所以，對於所有的假設，訓練誤差和泛化誤差是近似的，即一致收斂。

對於給定的gamma與delta，令，則可以確定樣本的數量m，，這也叫樣本復雜度。

對於給定的m與delta，可以求解出gamma。在1-delta的概率下，有，所以不等式右邊的即為gamma。

定義，同時。則，

定理：令假設類是一個k個假設的集合，令m和delta固定，在至少1-gamma的概率下，有第一項對應著算法的偏差，第二項對應著假設的方差。通過使用一個更為復雜的假設類，會使得方差變大，偏差變小。

吳恩達“機器學習”——學習筆記八