分類和邏輯迴歸（Classification and logistic regression）

看了一下斯坦福大學公開課：機器學習教程（吳恩達教授），記錄了一些筆記，寫出來以便以後有用到。筆記如有誤，還望告知。
本系列其它筆記：
線性迴歸（Linear Regression）
分類和邏輯迴歸（Classification and logistic regression）
廣義線性模型（Generalized Linear Models）

分類和邏輯迴歸（Classification and logistic regression）

1 邏輯迴歸（Logistic regression）

$h$

θ ( x ) = g ( θ T x

) = 1 1 + e − θ

T x h_{\theta}(x) = g(\theta^Tx) = \frac{1}{1+e^{-\theta^Tx}}

h_{θ} (x) = g (θ^{T} x) = \frac{1}{1 + e ^{- θ^{T} x}}

g(z) = \frac{1}{1+e^{-z}}

(logistic function / sigmoid function)

$p(y=1|x;\theta) = h_\theta(x)$

$p(y=0|x;\theta) = 1 - h_\theta(x)$

$p(y|x;\theta) = (h_\theta(x))^y(1 - h_\theta(x))^{1-y}$
$L(\theta) = p(\vec y | X;\theta) \\ = \prod_{i=1}^{m} p(y^{(i)} | x^{(i)}; \theta) \\ = \prod_{i=1}^{m}(h_\theta(x^{(i)}))^{y^{(i)}}(1 - h_\theta(x^{(i)}))^{1-y^{(i)}} \\ \Downarrow \\ \ell(\theta) = \log L(\theta) \\ = \log \prod_{i=1}^{m}(h_\theta(x^{(i)}))^{y^{(i)}}(1 - h_\theta(x^{(i)}))^{1-y^{(i)}} \\ = \sum_{i=1}^{m} \log ((h_\theta(x^{(i)}))^{y^{(i)}}(1 - h_\theta(x^{(i)}))^{1-y^{(i)}}) \\ = \sum_{i=1}^{m}(\log ((h_\theta(x^{(i)}))^{y^{(i)}} + \log (1 - h_\theta(x^{(i)}))^{1-y^{(i)}}) \\ = \sum_{i=1}^{m}(y^{(i)} \log (h_\theta(x^{(i)})) + (1-y^{(i)}) \log (1 - h_\theta(x^{(i)})))$

分類和邏輯迴歸（Classification and logistic regression）

看了一下斯坦福大學公開課：機器學習教程（吳恩達教授），記錄了一些筆記，寫出來以便以後有用到。筆記如有誤，還望告知。本系列其它筆記：線性迴歸（Linear Regression）分類和邏輯迴歸（Classification and logistic regression）廣義線性模

分類和邏輯回歸(Classification and logistic regression)，廣義線性模型(Generalized Linear Models) ，生成學習算法(Generative Learning algorithms)

line learning nbsp ear 回歸 logs http zdb del 分類和邏輯回歸(Classification and logistic regression) http://www.cnblogs.com/czdbest/p/5768467.html

分類和邏輯迴歸（Classification and logistic regression）