簡單來說，訓練模型表示通過有標籤樣本來學習（確定）所有權重和偏差的理想值。在監督式學習中，機器學習演算法通過以下方式構建模型：檢查多個樣本並嘗試找出可最大限度地減少損失的模型；這一過程稱為經驗風險最小化。

損失是對糟糕預測的懲罰。也就是說，損失是一個數值，表示對於單個樣本而言模型預測的準確程度。如果模型的預測完全準確，則損失為零，否則損失會較大。訓練模型的目標是從所有樣本中找到一組平均損失“較小”的權重和偏差。例如，圖 3 左側顯示的是損失較大的模型，右側顯示的是損失較小的模型。關於此圖，請注意以下幾點：

• 紅色箭頭表示損失。
• 藍線表示預測。

圖 3. 左側模型的損失較大；右側模型的損失較小。

請注意，左側曲線圖中的紅色箭頭比右側曲線圖中的對應紅色箭頭長得多。顯然，相較於左側曲線圖中的藍線，右側曲線圖中的藍線代表的是預測效果更好的模型。

您可能想知道自己能否建立一個數學函式（損失函式），以有意義的方式彙總各個損失。

平方損失：一種常見的損失函式
接下來我們要看的線性迴歸模型使用的是一種稱為平方損失（又稱為 L2 損失）的損失函式。單個樣本的平方損失如下：

  = the square of the difference between the label and the prediction
  = (observation - prediction(x))2
  = (y - y')2
 

均方誤差 (MSE) 指的是每個樣本的平均平方損失。要計算 MSE，請求出各個樣本的所有平方損失之和，然後除以樣本數量：