經由偏差 - 方差的權衡，我們可以更好地理解機器學習演算法。

偏差（bias）是模型所做的簡化假設，其目的是更容易地學習目標函式。

通常，引數演算法具有高偏差。它們學習起來很快，且易於理解，但通常不太靈活。反過來，它們對複雜問題的預測效能較低，無法滿足演算法偏差的簡化假設。

決策樹是一種低偏差演算法，而線性迴歸則是一種高偏差演算法。

方差（variance）表示的是，如果使用不同的訓練資料，目標函式的估計有多少的變化量。目標函式是通過機器學習演算法從訓練資料中估計而成的，因此我們應該期望演算法具有一些方差，而不是零方差。

K-Nearest Neighbors演算法是一個典型的高方差演算法，而線性判別分析是低方差演算法的一個例子。

任何預測建模的機器學習演算法，都有一個目標：實現低偏差和低方差。反之，該演算法應該具有良好的預測效能。機器學習演算法的引數化通常是在偏差和方差之間取得平衡。

• 增加偏差會減少差異。
• 增加方差將減少偏差。