一、邏輯回歸問題

二分類的問題為是否的問題，由算出的分數值，經過sign函數輸出的是（+1，-1），想要輸出的結果為一個幾率值，則需要改變函數模型

，其中，，

則邏輯回歸的函數為

二、邏輯回歸錯誤評價

線性分類和線性回歸的模型為：

其中的線性分數函數均為，邏輯回歸有同樣的分數函數，模型為

邏輯回歸的理想函數為

對於函數f(x)，在數據情況下，D的所有數據在函數下的聯合概率為

，我們想要的模型h要使,則對於h來說，在數據D中也符合，

要使需要找到一個g使它發生的可能性最大，即

由

p(x1),p(x2),p(xn)對於已知的數據資料來說是不變的，計算時可以忽略，可知

即求得最大的，由相乘轉化為對數求相加，並且加負號轉化為求得最小值

可知

三、梯度下降，求得最小的w

對於平滑的凸函數，要求得使W最小的地方即梯度等於0的地方

，即

由

最終對於所有w的梯度為

想要，如果為0公式成立，但這需要都遠遠大於0，這意味著數據資料要線性可分，但實際情況的大多數的數據資料不一定線性可分，並且含有噪聲影響，所以為0不能實現，所以使用梯度下降的PLA算法來逐漸叠代，表示為

最終可表示為，其中，

則邏輯回歸的算法為下圖，一般取值為0.1

機器學習筆記（六）邏輯回歸