轉自:https://blog.csdn.net/weixin_39910711/article/details/81607386

線性分類器:模型是引數的線性函式,分類平面是(超)平面;
非線性分類器:模型分介面可以是曲面或者超平面的組合。
典型的線性分類器有感知機LDA邏輯斯特迴歸SVM(線性核)
典型的非線性分類器有樸素貝葉斯(有文章說這個本質是線性的,http://dataunion.org/12344.html),kNN決策樹SVM(非線性核)

https://www.cnblogs.com/sparkwen/p/3441197.html

https://www.cnblogs.com/lianyingteng/p/7701801.html

當你的目標變數是分類變數時,才會考慮邏輯迴歸,並且主要用於兩分類問題。

目錄

1. LR

1.1 直觀表述

1.2 決策邊界(Decision Boundary)

2. 權值求解

2.1 代價函式(似然函式)

 2.2 似然函式的求解-梯度下降

3、加入正則項

3.1 正則解釋

3.2 L1和L2正則化的直觀理解

3.2.1  L1正則化和特徵選擇

3.2.2  L2正則化和過擬合


1. LR

LR模型可以被認為就是一個被Sigmoid函式(logistic方程)所歸一化後的線性迴歸模型

邏輯迴歸(Logistic Regression, LR)模型其實僅在線性迴歸的基礎上,套用了一個邏輯函式,但也就由於這個邏輯函式,使得邏輯迴歸模型成為了機器學習領域一顆耀眼的明星,更是計算廣告學的核心。

1.1 直觀表述

首先來解釋一下的表示的是啥?它表示的就是將因變數預測成1(陽性)的概率,具體來說它所要表達的是在給定x條件下事件y發生的條件概率,而是該條件概率的引數。將它分解一下:

(1)式就是我們介紹的線性迴歸的假設函式,那(2)式就是我們的Sigmoid函式啦。

由於線性迴歸在整個實數域內敏感度一致,而分類範圍,需要在[0,1]。邏輯迴歸就是一種減小預測範圍,將預測值限定為[0,1]間的一種迴歸模型,其迴歸方程與迴歸曲線如下圖所示。邏輯曲線在z=0時,十分敏感,在z>>0或z<<0處,都不敏感,將預測值限定為(0,1)。為什麼會用Sigmoid函式?因為它引入了非線性對映,將線性迴歸值域對映到0-1之間,有助於直觀的做出預測型別的判斷:大於等於0.5表示陽性,小於0.5表示陰性。

其實,從本質來說:在分類情況下,經過學習後的LR分類器其實就是一組權值,當有測試樣本輸入時,這組權值與測試資料按照加權得到

  

這裡的就是每個測試樣本的n個特徵值。之後在按照Sigmoid函式的形式求出,從而去判斷每個測試樣本所屬的類別。

由此看見,LR模型學習最關鍵的問題就是研究如何求解這組權值!

1.2 決策邊界(Decision Boundary)

在LR模型中我們知道:當假設函式,即,此時我們預測成正類;反之預測為負類。由圖來看,我們可以得到更加清晰的認識。下圖為Sigmoid函式,也是LR的外層函式。我們看到當時,此時(即內層函式),然而此時也正是將y預測為1的時候;同理,我們可以得出內層函式時,我們將其預測成0(即負類)。

邏輯迴歸的假設函式可以表示為

於是我們得到了這樣的關係式:

下面再舉一個例子,假設我們有許多樣本,並在圖中表示出來了,並且假設我們已經通過某種方法求出了LR模型的引數(如下圖)。

  

根據上面得到的關係式,我們可以得到:

  

我們再影象上畫出得到:

  

這時,直線上方所有樣本都是正樣本y=1,直線下方所有樣本都是負樣本y=0。因此我們可以把這條直線成為決策邊界。

同理,對於非線性可分的情況,我們只需要引入多項式特徵就可以很好的去做分類預測,如下圖:

  

值得注意的一點,決策邊界並不是訓練集的屬性,而是假設本身和引數的屬性。因為訓練集不可以定義決策邊界,它只負責擬合引數;而只有引數確定了,決策邊界才得以確定。

2. 權值求解

2.1 代價函式(似然函式)

前面我們介紹線性迴歸模型時,給出了線性迴歸的代價函式的形式(誤差平方和函式),具體形式如下:

這裡我們想到邏輯迴歸也可以視為一個廣義的線性模型,那麼線性模型中應用最廣泛的代價函式-誤差平方和函式,可不可以應用到邏輯迴歸呢?首先告訴你答案:是不可以的! 那麼為什麼呢? 這是因為LR的假設函式的外層函式是Sigmoid函式,Sigmoid函式是一個複雜的非線性函式,這就使得我們將邏輯迴歸的假設函式帶入上式時,我們得到的是一個非凸函式,如下圖:

這樣的函式擁有多個區域性極小值,這就會使得我們在使用梯度下降法求解函式最小值時,所得到的結果並非總是全域性最小,而有更大的可能得到的是區域性最小值。這樣解釋應該理解了吧。

雖然前面的解釋否定了我們猜想,但是也給我們指明瞭思路,那就是我們現在要做的就是為LR找到一個凸的代價函式! 在邏輯迴歸中,我們最常用的損失函式為對數損失函式,對數損失函式可以為LR提供一個凸的代價函式,有利於使用梯度下降對引數求解。為什麼對數函式可以做到這點呢? 我們先看一下對數函式的影象:

藍色的曲線表示的是對數函式的影象,紅色的曲線表示的是負對數的影象,該影象在0-1區間上有一個很好的性質,如圖粉紅色曲線部分。在0-1區間上當z=1時,函式值為0,而z=0時,函式值為無窮大。這就可以和代價函式聯絡起來,在預測分類中當演算法預測正確其代價函式應該為0;當預測錯誤,我們就應該用一個很大代價(無窮大)來懲罰我們的學習演算法,使其不要輕易預測錯誤。這個函式很符合我們選擇代價函式的要求,因此可以試著將其應用於LR中。對數損失在LR中表現形式如下:

對於懲罰函式Cost的這兩種情況:

 

給我們的直觀感受就是:當實際標籤預測結果相同時,即y和同時為1或0,此時代價最小為0; 當實際標籤預測標籤恰好相反時,也就是恰好給出了錯誤的答案,此時懲罰最大為正無窮。現在應該可以感受到對數損失之於LR的好了。

為了可以更加方便的進行後面的引數估計求解,我們可以把Cost表示在一行:

 

這與我們之前給出的兩行表示的形式是等價的。因此,我們的代價函式最終形式為:

  

該函式是一個凸函式,這也達到了我們的要求。這也是LR代價函式最終形式

 2.2 似然函式的求解-梯度下降

代價函式的求導過程

Sigmoid函式的求導過程:

  

故,sigmoid函式的導數

   

損失函式梯度求解過程:

    

故,引數更新公式為:

      

3、加入正則項

3.1 正則解釋

正則:https://blog.csdn.net/jinping_shi/article/details/52433975

此時的w為

對於線性迴歸模型,使用L1正則化的模型建叫做Lasso迴歸,使用L2正則化的模型叫做Ridge迴歸(嶺迴歸)

此時加入的正則化項,是解決過擬合問題。

下圖是Python中Lasso迴歸的損失函式,式中加號後面一項即為L1正則化項

lasso regression

下圖是Python中Ridge迴歸的損失函式,式中加號後面一項即為L2正則化項

ridge regression

一般迴歸分析中迴歸w表示特徵的係數,從上式可以看到正則化項是對係數做了處理(限制)L1正則化和L2正則化的說明如下:

  • L1正則化是指權值向量w中各個元素的絕對值之和,通常表示為
  • L2正則化是指權值向量w中各個元素的平方和然後再求平方根(可以看到Ridge迴歸的L2正則化項有平方符號),通常表示為

一般都會在正則化項之前新增一個係數,Python中用α表示,一些文章也用λ表示。這個係數需要使用者指定。

那新增L1和L2正則化有什麼用?下面是L1正則化和L2正則化的作用,這些表述可以在很多文章中找到。

  • L1正則化可以產生稀疏權值矩陣,即產生一個稀疏模型,可以用於特徵選擇
  • L2正則化可以防止模型過擬合(overfitting);一定程度上,L1也可以防止過擬合

3.2 L1和L2正則化的直觀理解

這部分內容將解釋為什麼L1正則化可以產生稀疏模型(L1是怎麼讓係數等於零的),以及為什麼L2正則化可以防止過擬合

3.2.1  L1正則化和特徵選擇

稀疏模型與特徵選擇:

上面提到L1正則化有助於生成一個稀疏權值矩陣,進而可以用於特徵選擇。為什麼要生成一個稀疏矩陣?

稀疏矩陣指的是很多元素為0,只有少數元素是非零值的矩陣,即得到的線性迴歸模型的大部分系數都是0. 通常機器學習中特徵數量很多,例如文字處理時,如果將一個片語(term)作為一個特徵,那麼特徵數量會達到上萬個(bigram)。在預測或分類時,那麼多特徵顯然難以選擇,但是如果代入這些特徵得到的模型是一個稀疏模型,表示只有少數特徵對這個模型有貢獻,絕大部分特徵是沒有貢獻的,或者貢獻微小(因為它們前面的係數是0或者是很小的值,即使去掉對模型也沒有什麼影響),此時我們就可以只關注係數是非零值的特徵。這就是稀疏模型特徵選擇的關係。

假設有如下帶L1正則化的損失函式: 

        其中J0是原始的損失函式,加號後面的一項是L1正則化項,α是正則化係數。注意到L1正則化是權值的絕對值之和,J是帶有絕對值符號的函式,因此J是不完全可微的。機器學習的任務就是要通過一些方法(比如梯度下降)求出損失函式的最小值。當我們在原始損失函式J0後新增L1正則化項時,相當於對J0做了一個約束。令L=,則J=J0+LJ,此時我們的任務變成在L約束下求出J0取最小值的解。考慮二維的情況,即只有兩個權值w1和w2,此時L=|w1|+|w2|對於梯度下降法,求解J0的過程可以畫出等值線,同時L1正則化的函式L也可以在w1、w2的二維平面上畫出來。如下圖:

圖1 L1正則化

       圖中等值線是J0的等值線,黑色方形是L函式的圖形。在圖中,當J0等值線與L圖形首次相交的地方就是最優解。上圖中0J與L在L的一個頂點處相交,這個頂點就是最優解。注意到這個頂點的值是(w1,w2)=(0,w)。可以直觀想象,因為L函式有很多『突出的角』(二維情況下四個,多維情況下更多),J0與這些角接觸的機率會遠大於與L其它部位接觸的機率,而在這些角上,會有很多權值等於0,這就是為什麼L1正則化可以產生稀疏模型,進而可以用於特徵選擇

       而正則化前面的係數α,可以控制L圖形的大小。α越小,L的圖形越大(上圖中的黑色方框);α越大,L的圖形就越小,可以小到黑色方框只超出原點範圍一點點,這是最優點的值(w1,w2)=(0,w)中的w可以取到很小的值。

3.2.2  L2正則化和過擬合

類似,假設有如下帶L2正則化的損失函式: 

同樣可以畫出他們在二維平面上的圖形,如下:

圖2 L2正則化

二維平面下L2正則化的函式圖形是個圓,與方形相比,被磨去了稜角。因此J0與L相交時使得w1或w2等於零的機率小了許多,這就是為什麼L2正則化不具有稀疏性的原因。

擬合過程中通常都傾向於讓權值儘可能小,最後構造一個所有引數都比較小的模型。因為一般認為引數值小的模型比較簡單,能適應不同的資料集,也在一定程度上避免了過擬合現象。可以設想一下對於一個線性迴歸方程,若引數很大,那麼只要資料偏移一點點,就會對結果造成很大的影響;但如果引數足夠小,資料偏移得多一點也不會對結果造成什麼影響,專業一點的說法是『抗擾動能力強』。

那為什麼L2正則化可以獲得值很小的引數?

線性迴歸中梯度下降法為例。假設要求的引數為θ,hθ(x)是我們的假設函式,那麼線性迴歸的代價函式如下: 


那麼在梯度下降法中,最終用於迭代計算引數θ的迭代式為: 


其中α是learning rate. 上式是沒有新增L2正則化項的迭代公式,如果在原始代價函式之後新增L2正則化,則迭代公式會變成下面的樣子: 


其中λ就是正則化引數。從上式可以看到,與未新增L2正則化的迭代公式相比,每一次迭代,θj都要先乘以一個小於1的因子,從而使得θj不斷減小,因此總得來看,θ是不斷減小的。

L2正則化引數:

從公式5可以看到,λλ越大,θjθj衰減得越快。另一個理解可以參考圖2,λλ越大,L2圓的半徑越小,最後求得代價函式最值時各引數也會變得很小。

 

 

 

 

 

對於多元邏輯迴歸,可用如下公式似合分類,其中公式(4)的變換,將在邏輯迴歸模型引數估計時,化簡公式帶來很多益處,y={0,1}為分類結果。