偏差與方差的計算公式

• 記在訓練集 D 上學得的模型為:

  $f(\mathit{x};D)$

  f(\boldsymbol{x};D)

• 模型的期望預測為:

  $\hat{f}(\mathit{x}$

  ) = E D [ f ( x
  ; D ) ] \hat{f}(\boldsymbol{x})=\mathbb{E}_D[f(\boldsymbol{x};D)]

• 偏差（Bias）

  $bias^2(\boldsymbol{x})=(\hat{f}(\boldsymbol{x})-y)^2$

• 方差（Variance）

  $var(\boldsymbol{x})=\mathbb{E}_D\left [ \left ( f(\boldsymbol{x};D)-\hat{f}(\boldsymbol{x}) \right )^2 \right ]$

  方差度量了同樣大小的訓練集的變動所導致的學習效能的變化，即刻畫了資料擾動所造成的影響（模型的穩定性）；

• 噪聲則表達了在當前任務上任何學習演算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。

• “偏差-方差分解”表明模型的泛化能力是由演算法的能力、資料的充分性、任務本身的難度共同決定的。

偏差與方差的權衡（過擬合與模型複雜度的權衡）

• 給定學習任務，

  • 當訓練不足時，模型的擬合能力不夠（資料的擾動不足以使模型產生顯著的變化），此時偏差主導模型的泛化誤差；
  • 隨著訓練的進行，模型的擬合能力增強（模型能夠學習資料發生的擾動），此時方差逐漸主導模型的泛化誤差；
  • 當訓練充足後，模型的擬合能力過強（資料的輕微擾動都會導致模型產生顯著的變化），此時即發生過擬合（訓練資料自身的、非全域性的特徵也被模型學習了）

• 偏差和方差的關係和模型容量（模型複雜度）、欠擬合和過擬合的概念緊密相聯
  

  • 當模型的容量增大（x 軸）時， 偏差（用點表示）隨之減小，而方差（虛線）隨之增大
  • 沿著 x 軸存在最佳容量，小於最佳容量會呈現欠擬合，大於最佳容量會導致過擬合。