前文再續書接上一回，機器學習的主要目的，是根據特徵進行預測。預測到的資訊，叫標籤。

從特徵映射出標籤的諸多演算法中，有一個簡單的演算法，叫簡單線性迴歸。本文介紹簡單線性迴歸的概念。

（1）什麼是簡單線性迴歸

“迴歸（regression）”是什麼？如之前所講，預測模型可區分為“分類器”跟“迴歸器”，迴歸器，就是用來預測趨勢變化的，比如預測明天哪支股會漲停，預測某天的降雨量是多少，預測未來一年房價的變化，等等。所以迴歸就是預測的意思，沒有什麼高深的。線性是什麼意思？就是一條直線，夠簡單了吧，自然也有“非線性迴歸”。那“簡單”是什麼意思，就是隻有一個變數的，也叫一元迴歸，如果是多個變數（擬合面），那就叫多元迴歸（自然不再是簡單線性）。

所以，簡單線性迴歸，就是隻有一個輸入變數（自變數）的預測，就是這一種：y=ax+b，根據x的值，預測出y。你可以說，簡單線性迴歸，就是一個函式。

簡單線性迴歸是一個預測模型（迴歸模型），是模型就要被訓練，只有不斷的訓練才能得到最佳的預測狀態--雖然這是廢話，但的確是這樣。同樣，簡單線性迴歸的目的，是儘可能擬合所有訓練樣本以達到最佳的預測狀態。什麼是擬合？比如畫一條直線，儘可能地，讓各個點（樣本）的預測標籤接近或重合實際標籤，就是擬合。

為了更好的解釋這個概念，我畫了一個圖，圖上面解釋了相關概念：

從圖上可以看到，如果對於每個點的輸入特徵，得到的預測標籤跟這個點的實際標籤都能重合的話，那就是最佳的。然而，實際上很可能做不到所有點都落在直線上，那這時候，找出一點最佳的直線，獲得最好的擬合效果，就是機器學習要做的事情。

簡單線性迴歸模型，給出了特徵與標籤的關係：

y = mx + b

x是輸入特徵，y是預測標籤。

為了讓這條直線更好的擬合所有的點，就要調整引數m跟b。

m是直線的角度，叫斜率，在機器學習中叫權重。

b叫截距，在機器學習中叫偏差。

所以，使用簡單線性迴歸演算法，機器學習通過大量帶標籤的樣本進行訓練，最終調整出一個最佳的m跟b值，從而達到最好的擬合效果。

那麼，怎麼判斷擬合效果呢？怎麼知道是變好還是變差了？

（2）如何判斷擬合效果

為了判斷擬合的效果，這裡引入一個概念，叫損失計算。

如果點剛好落在直線上，也就是預測標籤跟實際標籤一樣，那損失為0。

而實際上，更多的情況下，損失並不為0，這時要考慮整體損失。

整體損失越小，擬合越好，比如下圖所示，可以明顯分辨出左線的擬合效果優於右線（當整體損失達到某個值時，就可以認為已經取得很好的預測效果，可以停止訓練）：

上圖中，每個點跟預測標籤的距離（也就是點到線的紅箭頭）稱為損失。

整體損失的計算可以有很多辦法，這裡引入一個簡單實用的辦法：均方誤差（MSE）。

均方誤差（MSE），就是求出所有點的損失的平方和，再除以樣本的個數。你可以參考這個圖的解釋：

以上這個圖，來源於這個地址：https://developers.google.com/machine-learning/crash-course/descending-into-ml/training-and-loss

基本上，本文的內容與組織方式，都跟這個地址的教程有直接的關係。

以上介紹了簡單線性迴歸的定義，以及損失計算的一個辦法即MSE，接下來小程用例項來演示簡單線性迴歸的實現。

（3）簡單線性迴歸示例

這裡以python來演示，主要是因為python易於使用。

首先，給定一些雜湊的點，你可以參考下圖的實現，截圖中對部分程式碼做了解釋：

執行這一部分程式碼，可以看到這樣的效果：

然後，對這些點進行簡單線性迴歸，也就是畫一條擬合線，並取得最好的擬合效果，參考下圖：

最終執行的效果是這樣的：

好了，回頭看一下吧。本文介紹了簡單線性迴歸的定義以及損失計算的一個辦法即MSE，最後用python示範了怎麼使用簡單線性迴歸演算法繪製一條擬合線。簡單線性迴歸，就是一個預測模型，更直接一點，就是一個函式--你可以說預測模型其實就是函式，就是一個演算法設計（比如y=ax+b就是一個最核心的東西），它接受訓練後的進化（比如不斷地調整引數），從而得到最佳的預測狀態。

---

相關推薦