1. 程式人生 > >深度學習之softmax函式(一)

深度學習之softmax函式(一)

       本文關於深度學習的softmax函式做了詳細的介紹,並給出深度學習中損失函式的對比連結。

一、Softmax詳解

二、Logistic函式

Logistic函式又稱邏輯斯諦函式,也就是經常說的sigmoid函式,它的幾何形狀也就是一條sigmoid曲線。

logistic函式的公式形式如下:

logistic函式的影象如下:

是一條值區間為[0, 1]的曲線

在傳統的機器學習和統計學習中Logistic作為一種對數線性模型被廣泛的應用於分類和迴歸場景中。此外Logistic函式也是神經網路中最常用的啟用函式,即Sigmod函式。

三、Softmax和Logistic的關係

(1)Logistic具體針對的是二分類問題,而softmax針對的是多分類問題

(2)從概率角度來看,softmax建模使用的分佈是多項式分佈,而logistic則基於伯努利分佈

(3)多個logistic迴歸通過疊加也同樣可以實現多分類的效果,softmax迴歸進行的多分類,類與類之間是互斥的,即一個輸入只能被歸為一類,多個logistic迴歸進行多分類,輸出的類別並不是互斥的,即"蘋果"這個詞語既屬於"水果"類也屬於"3C"類別。