1.Classification

Logistic Regression其實就是Classification，但是由於歷史原因名字被記作了邏輯迴歸。它與線性迴歸的區別在於$h_\theta(x)$被限制在了0與1之間，這是通過下面的S函式（Sigmoid function）實現的：$g(z)=\frac{1}{1+e^{-z}}$
其中：$z=\theta^Tx$
此時我們的假設函式$h_\theta(x)=g(\theta^tx)=\frac{1}{1+e^{-\theta^Tx}}$

2.Cost Function

線性迴歸中的損失函式是：

$J(\theta_0,\theta_1\dots\theta_n) =\frac{1}{2m}\displaystyle\sum_{i=1}^{m}\left(h_\theta(x^{(i)})-y^{(i)})\right)^2$

其中：$h_\theta(x) = \theta_0+x_1\theta_1+x_2\theta_2+\dots+x_n\theta_n$

線性迴歸損失函式有很明顯的實際意義，就是平方損失。而邏輯迴歸卻不是，它的預測函式$h_\theta(x)$明顯是非線性的，如果類比的使用線性迴歸的損失函式於邏輯迴歸，那$J(θ)$很有可能就是非凸函式，即存在很多區域性最優解，但不一定是全域性最優解。我們希望構造一個凸函式，也就是一個碗型函式做為邏輯迴歸的損失函式。



注： 雖然得到的梯度下降演算法表面上看上去與線性迴歸的梯度下降演算法一樣， 但是這裡的 $h_θ(x)=g(θ^TX)$與線性迴歸中不同， 所以實際上是不一樣的。 另外， 在執行梯度下降演算法之前，進行特徵縮放依舊是非常必要的。

具體求導公式的推導：

3.Multiclass Classification-One-vs-all

4.Regularization

線性迴歸中的Overfitting與Underfitting：

邏輯迴歸中的Overfitting與Underfitting：

Overfitting：高偏差
Underfitting：高方差
下圖很直觀的展現出偏差與方差的區別：

怎麼來解決過擬合的問題？簡單來說造成過擬合是因為次數高的項存在，那麼只要減小相應的係數$\theta$就能避免過擬合。

對於線性迴歸：

對於邏輯迴歸：