1. 程式人生 > >Logistic迴歸拓展到多分類

Logistic迴歸拓展到多分類

                                          Logistic多分類

轉載註明出處:https://blog.csdn.net/ouyangfushu/article/details/84797493

作者:SyGoing

QQ:  244679942

1、概率模型

    邏輯斯蒂迴歸本來是用於多分類,改變其概率模型函式則可將其拓展到多分類(class num>2)問題。原始邏輯斯蒂迴歸模型如下(來源為之前的邏輯斯蒂迴歸模型文章):

                                           

                                           

                                           

 其中,
                                            https://img-blog.csdnimg.cn/20181114135209556.png

邏輯斯蒂多分類則改寫為:

                                          

                                         

                                         

                                         

           公式中可以看出,現在要對K個類別進行分類,若K=2則變為二分類問題的公式。K>2則為多分類, 前K-1個類別表示式為式1表示式,最後一類則為1-式1所得。需要學習的權值向量總共有k-1個。不禁讓人想起softmax,但觀察可知多項邏輯斯蒂迴歸模型和softmax還是有區別的,softmax需要的學習的權值向量個數與類別數目相等。

2、損失函式推導

        多項邏輯斯蒂迴歸模型的推導,同樣可以採用極大似然估計進行建模,標籤需要進行one-hot編碼。寫出樣本集的似然函式:

                                 

將概率模型帶入似然函式並取對數:

                                 

 

                                  

其中上標i表示第i個樣本,yik表示樣本i在第k類的標籤,如果樣本不屬於該類則yik=0,否則yik=1表示樣本i屬於k類的概率。

       優化要求極大似然函式最大,等式右邊取負號則變成最小化目標函式。假設其最小值為極值,則對損失函式求偏導,並令其等於零則可求得權值的梯度值。

PS:這公式不忍直視,但是不覺得噁心的時候就能耐心的推導完畢