目錄

0. 前言

學習完吳恩達老師機器學習課程的多變數線性迴歸，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。

0. 前言

多元線性迴歸（Multivariate Linear Regression）是多個變數的線性迴歸函式。初始作如下定義：

•  --- 特徵的數量
•  --- 第  個樣本
•  --- 第  個樣本的第  個特徵

1. 假設函式（Hypothesis）

用一線性函式擬合樣本資料集，與單變數線性迴歸不同的是，其中的變數  有多個，給出如下定義：

我們可定義 ，則可將  和  寫成  和 ，則  可定義成如下：

2. 代價函式（Cost Function）

3. 梯度下降（Gradient Descent）

4. 特徵縮放（Feature Scaling）

假設多元線性迴歸中的兩個變數 ，由於它們的取值範圍相差甚遠，會造成梯度下降的收斂速度慢，可將其歸一化於  之間，可加快梯度下降的收斂。有時，可採用均值歸一化（Mean normalization），給出定義如下：

其中， 為均值， 為取值範圍的最大值減去最小值。

注：不一定需要歸一化至 ，只需要幾個變數的取值範圍相對合適接近，即可。

5. 多項式迴歸方程（Polynomial Regression）

對於 ，可令 ，再採用多元梯度下降即可。但對於這種情況，不同變數之間的取值範圍可能相差很大，特徵縮放是必要的