機器學習演算法2_邏輯迴歸
阿新 • • 發佈:2018-11-24
文章目錄
1 邏輯迴歸
1.1 概念
- 處理二分類問題
- 邏輯迴歸是廣義的線性迴歸
- 將資料集帶入Sigmoid分佈函式,得到的結果大於0.5則判斷為1,否則為0
1.2 推導方法
1.2.1 模型 - Sigmoid 分佈函式
資料集:
與線性迴歸模型很相似,一般情況下:
,
,也就是對應著線性函式中的截距項。
Sigmoid 分佈函式:
對每一個特徵
乘上係數
,然後通過 Sigmoid 函式計算
值得到概率。其中,
可以被看作是分類邊界,即將公式(1)代入公式(2)得到:
Sigmoid 函式影象:
1.2.2 目標函式 - 對數損失函式
目標就是求得 公式(5) 對數損失函式的 最小值
由於非凸函式,不能像最小二乘法求得全域性最小值,所以需要用到梯度下降演算法求解
1.2.3 求解方法
1.2.3.1 梯度下降法
針對公式(5)求導,得到梯度下降的方向
得到梯度的方向後,會定義一個 常數
(學習率 Learning Rate),執行權重更新:
如下圖,每次更新 , , … 直到獲得最優解w*