1.線性迴歸

預測函式：
$h_\theta(x)=\theta_0+\theta_1x$

1.1 梯度下降法

損失函式（均方差損失函式）：
$\min J(\theta)=\frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x_i)-y_i)^2$

求偏導：
$\frac{\partial J}{\partial \theta_0}=\frac{1}{m} \sum_{i=1}^{m}(h_\theta(x_i)-y_i)$

$\frac{\partial J}{\partial \theta_1}=\frac{1}{m} \sum_{i=1}^{m}(h_\theta(x_i)-y_i)x_i$

重複進行直到收斂{
同步更新：
$\theta_j:=\theta_j-\alpha\frac{\partial J}{\partial \theta_j}$
}

1.2 正則方程法

適用於特徵數n較小時
$X$

• 冗餘特徵，線性相關
• 特徵數太多n>>m ，應刪減特徵或使用正則化

2.邏輯迴歸

線性迴歸上加啟用函式(sigmoid函式)：
$g(z)=\frac{1}{1+e^{-z}}$

Q：為什麼要使用sigmoid函式？
從對數線性模型推導而來的，發生的概率，比上不發生的概率，取log，等於y，反推出來就sigmoid函式。
$y=ln$

• $P(y=1|x;\theta)=h_\theta(x)$ 結果取1的概率越大越好
• $P(y=0|x;\theta)=1-h_\theta(x)$ 結果取0的概率越大越好
• 總之就是希望結果越肯定越好
• 邏輯迴歸的本質–極大似然估計：$\max \sum_{i=1}^{m}logP(y_i|x;\theta)$

Q：邏輯迴歸損失函式為什麼使用最大似然而不用最小二乘？
用最小二乘的話損失函式是非凸函式，很容易陷入區域性最優解。

損失函式（交叉熵損失函式）：
$\min J(\theta)=-\frac{1}{m}\sum_{i=1}^m[y_ilogh_\theta(x_i)+(1-y_i)log(1-h_\theta(x_i))]$

• 當$y_i=1$時中括號前半部分奏效，$logP(y_i|x;\theta)=logP(y_i=1|x;\theta)=logh_\theta(x_i)$
• 當$y_i=0$時中括號後半部分奏效。$logP(y_i|x;\theta)=logP(y_i=0|x;\theta)=log(1-h_\theta(x_i))$

求偏導：
$\frac{\partial J}{\partial \theta_j}=\frac{1}{m} \sum_{i=1}^{m}(h_\theta(x_i)-y_i)x_i^j$
注意到上式同線性迴歸求偏導的公式完全一樣！！！
推導過程參考：https://www.cnblogs.com/zhongmiaozhimen/p/6155093.html
利用到sigmoid函式的性質：
$g'(z)=g(z)(1-g(z))$

3.softmax迴歸

softmax迴歸是邏輯迴歸的多分類情況。
啟用函式(softmax函式)：
$g(z)=\frac{e^{z}}{\sum_{j=1}^{k} e^j}$