目錄

• 多特徵下的目標函式
• 多元梯度下降法
• 多元梯度下降法中的方法
• 特徵縮放
• 選擇學習率
• 特徵和多項式迴歸
• 正規方程（區別於迭代法的直接解法）
• 正規方程在矩陣不可逆的情況下的解決方法

多特徵下的目標函式

• 將多個特徵表示成向量
  假設訓練集中每個樣本都有多個特徵。
  m：樣本的個數
  n：特徵的個數
  ${\stackrel{}{x}}^{}$
  ⃗ ( i ) \vec x^{(i)} ：第i個樣本的特徵，其展開後是一個n+1維的向量，定義 $x_{}^{}$
  0 ( i ) = 1 x_0^{(i)}=1
  
  $\begin{bmatrix} x_0^{(i)}\\ x_1^{(i)}\\ ...\\ x_n^{(i)} \end{bmatrix}$
  $x_j^{(i)}$：第i個樣本的第j個特徵
• 多特徵下的預測函式
  $h_\theta(\theta_0,\theta_1,...\theta_n)=\theta_0x_0+\theta_1x_1+...+\theta_nx_n$
  用向量表示則為：
  $h_\theta(\vec \theta)=\vec \theta^\mathrm T \cdot \vec x$
  代價函式可以寫成向量格式如下
  $J(\vec \theta)=\frac{1}{2m}\sum_{i=1}^n(h_\theta(\vec x^{(i)})-y^{(i)})^2$

多元梯度下降法

• 一個變數的的梯度下降
  重複 $\theta_0:=\theta_0-\alpha \frac {1}{m}\sum_{i=1}^nh_\theta((x^{(i)})-y^{(i)})$
  $\theta_1:=\theta_1-\alpha \frac {1}{m}\sum_{i=1}^nh_\theta((x^{(i)})-y^{(i)})\cdot x^{(i)}$
  直到 $J(\theta_0,\theta_1)收斂$
• 多個變數的梯度下降
  重複 $\theta_j:=\theta_j-\alpha \frac {1}{m}\sum_{i=1}^nh_\theta((x^{(i)})-y^{(i)})\cdot x_j^{(i)} \ \ \ (j=0,1,...,n)$