1. 程式人生 > >十大經典預測演算法(二)----邏輯迴歸

十大經典預測演算法(二)----邏輯迴歸

一、邏輯迴歸概念

  線性迴歸可以擬合X與Y之間的關係,但迴歸模型中Y值是連續的,如果換成一個二分類標籤,Y只能取兩個值0、1,這時候就不能用線性迴歸了,這樣就有了邏輯迴歸。

  針對Y的值域在區間[0-1]的問題,我們不能尋找到一條完美曲線,用於擬合二分類模型,但我們可以尋找一條完美的S型曲線,S型曲線叫Sigmoid曲線,

 二、Sigmoid函式介紹

  Sigmoid函式數學表達示

  

以二分類為例,邏輯迴歸就是假設y=1的概率為(P(Y = 1))與X之間是S曲線關係,數學表示式為

 

邏輯迴歸核心原理是線上性迴歸的基礎上加上一個Sigmoid函式,把訓練資料通過Sigmoid函式整合到(0---1)之間。

邏輯迴歸的損失函式為

 

邏輯迴歸只能用梯度下降法來求解引數w,b,不能用最小二乘法。

 

隨機梯度下降:每次只考慮一個樣本

批量梯度下降:考慮所有樣本