多元線性迴歸

一元線性迴歸只有一個特徵$x$，而多元線性迴歸可以有多個特徵$x_1, x_2, \ldots, x_n$

假設 (Hypothesis)：$h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\ldots+\theta_nx_n$

引數 (Parameters)：$\theta_0, \theta_1, \ldots, \theta_n$

代價函式 (Cost function)：$J(\theta_0, \theta_1, \ldots, \theta_n)=\frac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2$

目標 (Goal)：$\min_\theta J(\theta)$

梯度下降 (Gradient Descent)

迭代更新引數$\theta$: $\theta_j = \theta_j - \alpha \frac{1}{m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$   for $j = 0, 1, 2, \ldots, n$

向量化實現 (Vectorized Implementation)：$\theta = \theta - \alpha \frac{1}{m}(X^T(X\theta-y))$

Feature Scaling

動機：如果不同特徵之間的數值量級差別太大，那麼梯度下降的速度非常慢，為了加快演算法的收斂速度，將各個特徵劃歸到統一數量級，一般是[0, 1]或者[-1, 1]之間

Trick1: $x_j = \frac{x_j - \mu_j}{s_j}$, 其中 $\mu_j$表示第j個特徵的均值, $s_j$表示第j個特徵的範圍(max - min)或者標準差(standard deviation)

Trick2: 學習速率的選擇

• 合理的選擇學習速率，保證$J(\theta)$的值在每一次迭代後都是下降的;
• 如果$J(\theta)$隨迭代次數單調遞增或者$J(\theta)$隨迭代次數成波浪形
  (例如: \/\/\/\/\/\/), 這時候應該考慮選擇較小的$\alpha$; 但是$\alpha$太小會導致收斂速度過慢
• 為了正確的選擇 $\alpha$，嘗試序列 0.001, 0.01, 0.1, 1等

Normal Equation的數學推導

解析推導過程:
$$J(\theta)=\frac{1}{2m}\sum\limits_{i=1}^{m}\left(h_\theta(x^{x(i)})-y^{(i)}\right)$$
可以簡化寫成向量的形式:
$$J(\theta)=\frac{1}{2m}||X\theta-y||^2=\frac{1}{2m}(X\theta-y)^T(X\theta-y)$$
展開可得:
$$J(\theta)=\frac{1}{2m}[\theta^TX^TX\theta-y^TX\theta-\theta^TX^Ty+y^Ty]$$ 注意到$y^TX\theta$是一個標量，因此它與其轉置$\theta^TX^Ty$是相等的，即中間兩項是相等的，從而$J(\theta)$可以進一步化簡為:
$$J(\theta) = \frac{1}{2m}[X^TX\theta-2\theta^TX^Ty+y^Ty]$$
對向量的求導與單變數的求導法則有諸多不同，這裡不加證明給出如下兩個重要的向量求導結論（具體可參照向量矩陣求導）
\begin{equation}d(X^TAX)/dX = (dX^T/dX)AX + (d(AX)^T/dX)X = AX + A^TX \end{equation}
\begin{equation}d(X^TA)/dX = (dX^T/dX)A + (dA/dX)X^T = IA + 0X^T = A\end{equation}
根據結論(1), 第一項的求導結果為$X^TX\theta+X^TX\theta=2X^TX\theta$； 根據結論(2)，第二項的求導結果為$-2x^Ty$；第三項不含$\theta$，求導結果當然為0，整合三項我們可以得到$J(\theta)$的導數$\frac{dJ(\theta)}{d\theta}$,
$$\frac{dJ(\theta)}{d\theta}=\frac{1}{2m}(2X^TX\theta-2X^Ty)$$
令該導數等於0，我們很容易得到
$$\theta=(X^X)^{-1}X^Ty$$
這就是使得代價函式$J(\theta)$取得最小值對應的$\theta$。

梯度下降和Normal Equation優劣對比

參考文獻

[1] Andrew Ng Coursera 公開課第二週