監督學習中，如果預測的變數是離散的，我們稱其為分類（svm等，得出的是類，並不是連續的數，所以是離散的），如果預測的變數是連續的，我們稱其為迴歸。在迴歸分析中， 對於一元線性迴歸模型, 假設從總體中獲取了n組觀察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。對於平面中的這n個點，可以使用無數條曲線來擬合。要求樣本回歸函式儘可能好地擬合這組值。綜合起來看，這條直線處於樣本資料的中心位置最合理。 選擇最佳擬合曲線的標準可以確定為：使總的擬合誤差（即總殘差）達到最小。有以下三個標準可以選擇：[4] （1）用“殘差和最小”確定直線位置是一個途徑。但很快發現計算“殘差和”存在相互抵消的問題。（資料線上的左右符號相反） （2）用“殘差絕對值和最小”確定直線位置也是一個途徑。但絕對值的計算比較麻煩。 （3）最小二乘法的原則是以“殘差平方和最小”確定直線位置。用最小二乘法除了計算比較方便外，得到的估計量還具有優良特性。這種方法對異常值非常敏感。（如果有1點差得特別多，數值將十分巨大） 最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所選擇的迴歸模型應該使所有觀察值的殘差平方和達到最小。
在圖中就是讓每個紅線的平方的和最小，即最小二乘法。