一 什麽是回歸？

　　回歸的目的是預測數值型的目標值，最直接的辦法是依據輸入，寫入一個目標值的計算公式。

　　假如你想預測小姐姐男友汽車的功率，可能會這麽計算：

　　　　　　　　　　　　　　HorsePower = 0.0015 * annualSalary - 0.99 * hoursListeningToPublicRadio

　　這就是所謂的回歸方程（regression equation），其中的0.0015和-0.99稱為回歸系數（regression weights），求這些回歸系數的過程就是回歸。一旦有了這些回歸系數，再給定輸入，做預測就非常容易了。具體的做法是用回歸系數乘以輸入值，再將結果全部加在一起，就得到了預測值。

　　說到回歸，一般都是指線性回歸（linear regression），所以本文裏的回歸和線性回歸代表同一個意思。線性回歸意味著可以將輸入項分別乘以一些常量，再將結果加起來得到輸出。需要說明的是，存在另一種成為非線性回歸的回歸模型，該模型不認同上面的做法，比如認為輸出可能是輸入的乘積。這樣，上面的功率計算公式也可以寫做：

　　　　　　　　　　　　　　HorsePower = 0.0015 * annualSalary / hoursListeningToPublicRadio

　　這就是一個非線性回歸的例子，本文對此不做深入討論。

二 回歸的一般方法

機器學習實戰教程（一）：線性回歸基礎篇（上）