邏輯斯諦回歸
阿新 • • 發佈：2019-05-17
分類 梯度 rac 損失函數 sum dot 對數 回歸 lin
\[ w = w-\alpha\frac{\delta}{\delta_{\theta_{j}}} J(w) \]
邏輯斯諦回歸
邏輯斯諦回歸模型和最大熵模型都是對數線性模型。
邏輯斯諦分布
設\(X\)是隨機變量
二項式邏輯斯諦回歸模型
\[
p(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}
\]
對於二分類有
\[
P(y|x)=y^{h_{\theta}(x)}(1-y)^{(1-h_{\theta}(x))}
\]
對數損失函數
\[ L(Y,P(Y|X)) = -log(P(Y|X)) \]
\[
cost(h_{\theta}(x),y) = -log(p(y|x))
\]
\(L\) 越小，說明 \(P(Y|X)\) 越大。
所以邏輯斯諦回歸的損失函數如下：
\[ \operatorname{L}\left(h_{\theta}(x), y\right)=\frac{1}{m}\sum_{i=1}^{m}-y_{i} \log \left(h_{\theta}(x)\right)-\left(1-y_{i}\right) \log \left(1-h_{\theta}(x)\right) \]
\[ J(w) = -\frac{1}{m}\sum^m_{i=1}{y_i(w\cdot x_i)-log(1+exp(w\cdot x_i)} \]
參數求解
使用梯度下降法：
\[
\frac{\delta}{\delta_{\theta_{j}}} J(w)=-\frac{1}{m}\sum^m_{i=1}y_ix_i-\frac{x_iexp(wx_i)}{1+exp(wx_i)}
\]
\[ w = w-\alpha\frac{\delta}{\delta_{\theta_{j}}} J(w) \]
邏輯斯諦回歸