首先，我們先來理解一下偏差與方差的概念。舉個高中數學裡經常出現的例子，兩個射擊選手在射靶。甲射出的子彈很集中在某個區域，但是都偏離了靶心。我們說他的射擊很穩定，但是不夠準，準確性差。也就是說他的方差小（子彈很集中在某個區域），但是他的偏差大（子彈打中的地方距離靶心遠）。相反，乙射出的子彈比較分散，但是有些很準，中了靶心。我們說他射擊比較準，但是發揮不夠穩定，穩定性差。
所以，偏差是描述了準確性。方差是描述穩定性。

那麼，在機器學習中，偏差、方差與欠擬合、過擬合之間又有什麼關係呢？

如上圖中的第二個座標，隨著模型引數的增加，訓練集的誤差會慢慢減少。從第一個座標和最後一個座標可以直觀感受到這種效果。因為模型引數少的時候，模型不能很好地擬合訓練集的資料，所以偏差就比較大。當模型引數足夠多時，模型擬合的效果就非常好了。
但是，當我們用驗證集來驗證時，卻會有這樣的情況：

對於欠擬合的情況，我們很容易理解，模型本來擬合的就不好，驗證集的誤差大也是自然。但是，對於過擬合來說，訓練集的效果是非常好的，但是驗證集上的效果卻並不好，這是因為隨著引數越多，模型就越不通用，而是針對了某一種特定的情況，比較有偏見，所以當用驗證集驗證時，誤差會很大。因為驗證集中的有些資料可能很符合過擬合的那條曲線，也有可能很不符合，所以資料方差就大了。也就是，方差大的時候我們可以認為是因為過擬合了。相反，模型引數少的時候，模型比較粗糙，偏離正確的擬合比較遠，所以是偏差大。