監督學習：機器學習系統通過學習如何組合輸入信息來對從未見過的數據做出有用的預測

機器學習的基本術語

標簽：要預測的事物，即簡單線性回歸中的y變量。標簽可以是小麥未來的價格、圖片中顯示的動物品種、音頻剪輯的含義或任何事物。

特征：輸入變量，即簡單線性回歸中的x變量。簡單的機器學習項目可能會使用單個特征，而比較復雜的機器學習項目可能會使用數百萬個特征，按這種方式指定：{x1, x2, x3, …..xn}

在垃圾郵件檢測器示例中，特征可能包括：

• 電子郵件文本中的字詞
• 發件人的地址
• 發送電子郵件的時段
• 電子郵件中包含“一種奇怪的把戲”這樣的短語。

樣本：數據的特定實例X。（我們采用粗體 x

表示它是一個矢量）

我們將樣本分為以下兩類：

• 有標簽樣本
• 無標簽樣本

模型：定義特征和標簽之間的關系。例如，垃圾郵件檢測模型可能會將某些特征與“垃圾郵件”緊密聯系起來。

模型生命周期的兩個階段：

• 訓練表示創建或學習模型。也就是說，您向模型展示有標簽樣本，讓模型逐漸學習特征與標簽之間的關系。
  
• 推斷表示將訓練後的模型應用於無標簽樣本。也就是說，您使用訓練後的模型來做出有用的預測 (y‘)。

回歸與分類

回歸模型可預測連續值。例如，回歸模型做出的預測可回答如下問題：

• 加利福尼亞州一棟房產的價值是多少？
  
• 用戶點擊此廣告的概率是多少？

分類模型可預測離散值。例如，分類模型做出的預測可回答如下問題：

• 某個指定電子郵件是垃圾郵件還是非垃圾郵件？
  
• 這是一張狗、貓還是倉鼠圖片？
  

線性回歸

鳴叫聲與溫度之間的關系，如下所示： y = mx + b

其中：

• y指的是溫度（以攝氏度表示），即我們試圖預測的值。
• m指的是直線的斜率。
• x指的是每分鐘的鳴叫聲次數，即輸入特征的值。
• b指的是 y 軸截距。

按照機器學習的慣例，您需要寫一個存在細微差別的模型方程式：y′ = b + w1x1

其中：

• y′指的是預測標簽（理想輸出值）。
• b指的是偏差（y 軸截距）。而在一些機器學習文檔中，它稱為 w0
• w1指的是特征 1 的權重。權重與上文中用 m表示的“斜率”的概念相同。
• x1指的是特征（已知輸入項）。

要根據新的每分鐘的鳴叫聲值 x1推斷（預測）溫度 y′，只需將 x1值代入此模型即可。

下標（例如 w1和 x1）預示著可以用多個特征來表示更復雜的模型。例如，具有三個特征的模型可以采用以下方程式：y′ = b + w1x1 + w2x2 + w3x3

訓練與損失

訓練模型表示通過有標簽樣本來學習（確定）所有權重和偏差的理想值。

在監督式學習中，機器學習算法通過以下方式構建模型：檢查多個樣本並嘗試找出可最大限度地減少損失的模型；這一過程稱為經驗風險最小化。

平方損失：一種常見的損失函數

接下來我們要看的線性回歸模型使用的是一種稱為平方損失（又稱為 L₂ 損失）的損失函數，單個樣本的平方損失如下：(y - y‘)²

均方誤差 (MSE) 指的是每個樣本的平均平方損失。要計算 MSE，請求出各個樣本的所有平方損失之和，然後除以樣本數量：MSE =1/N∑(x,y)∈D(y?prediction(x))2

其中：

• (x,y)指的是樣本，其中
• x指的是模型進行預測時使用的特征集（例如，溫度、年齡和交配成功率）。
• y指的是樣本的標簽（例如，每分鐘的鳴叫次數）。
• prediction(x)指的是權重和偏差與特征集 x結合的函數。
• D指的是包含多個有標簽樣本（即 (x,y)）的數據集。
• N指的是 D中的樣本數量。

雖然 MSE 常用於機器學習，但它既不是唯一實用的損失函數，也不是適用於所有情形的最佳損失函數。

機器學習概念_1