Softmax函式的定義及作用

Softmax是一種形如下式的函式：

通過softmax函式，可以使得P(i)的範圍在[0,1]之間。在迴歸和分類問題中，通常θ是待求引數，通過尋找使得P(i)最大的θi作為最佳引數。

但是，使得範圍在[0,1]之間的方法有很多，為啥要在前面加上以e的冪函式的形式呢？參考logistic函式：

這個函式的作用就是使得P(i)在負無窮到0的區間趨向於0，在0到正無窮的區間趨向於1。同樣，softmax函式加入了e的冪函式正是為了兩極化：正樣本的結果將趨近於1，而負樣本的結果趨近於0。這樣為多類別分類提供了方便（可以把P(i)看作是樣本屬於類別i的概率）。可以說，Softmax函式是logistic函式的一種泛化。

softmax的推導

雖然Softmax函式得到的是一個[0,1]之間的值，且∑Kk=1P(i)=1，但是這個softmax求出的概率是否就是真正的概率？換句話說，這個概率是否嚴格等於期望呢？為此在這裡進行推導。

假設現在有K個類，樣本屬於類別i的概率為ϕ(i),i=1,…,K,由於∑ki=1ϕ(i)=1,所以只需要前K-1個引數即可：