Bobo老師機器學習筆記第五課-邏輯迴歸理論
1、什麼是邏輯迴歸？（Logistic Regresssion）
邏輯迴歸（Logistic Regression）是一種用於解決二分類（0 or 1）問題的機器學習方法，用於估計某種事物的可能性。邏輯迴歸既可以看做是一個迴歸演算法，也可以看作是一個分類問題，通常是用過分類，並且是二分類。 分類主要是基於得到結果，獲得結果是一個概率，然後根據概率來進行分類。 比如判斷一個腫瘤是良性還是惡性，如果計算良性的概率是0.4， 那麼我們認為是惡性的，如果是大於0.5， 我們認為是良性的。
2、邏輯迴歸和線性迴歸的區別？
邏輯迴歸（Logistic Regression）與線性迴歸（Linear Regression）都是一種廣義線性模型（generalized linear model）
邏輯迴歸假設因變數 y 服從伯努利分佈，而線性迴歸假設因變數 y 服從高斯分佈。 因此與線性迴歸有很多相同之處，去除Sigmoid對映函式的話，邏輯迴歸演算法就是一個線性迴歸。可以說，邏輯迴歸是以線性迴歸為理論支援的，但是邏輯迴歸通過Sigmoid函式引入了非線性因素，因此可以輕鬆處理0/1分類問題。
3、什麼預測函式? 如何構建預測函式？
所謂的預測函式就是將獲取的模型引數應用到新的測試資料上，從而獲取預期的結果。 線上性迴歸中，直接訓練出來的模型就可以獲取預測的結果，但是在邏輯迴歸中，需要增加一個對映函式
，從而保證模型得出的結果在（0,1）之間。這個函式叫Sigmoid函式。 一般選
為什麼要選擇這個函式為sigmoid函式，主要是由於這個函式的性質決定的。
加入這個預測函式之後，邏輯迴歸的目標函式就變成：
4、對於給定的樣本引數X，y，如何找到引數
，使得用這樣的方式，可以最大程度獲得樣本資料集X對應的分類輸入y?
尋找損失函式，要滿足特點：
滿足以上條件的函式：
把一個分類函式變成一個函式，就形成下面：
最後求出邏輯迴歸的損失函式：
要找出
，使得
的值獲取最小值？
5、求出損失函式
的最小值？
最後邏輯函式的梯度為：
那麼在下一篇文章我們用梯度下降法來用程式碼實現求解符合條件的
推薦文章：