2. 程式人生 > >在深度學習中Softmax交叉熵損失函式的公式求導

在深度學習中Softmax交叉熵損失函式的公式求導

阿新 • • 發佈：2019-01-03

(以下部分基本介紹轉載於點選開啟連結)

在深度學習NN中的output層通常是一個分類輸出，對於多分類問題我們可以採用k-二元分類器來實現，這裡我們介紹softmax。softmax迴歸中，我們解決的是多分類問題（相對於 logistic 迴歸解決的二分類問題），類標 \textstyle y 可以取 \textstyle k 個不同的值（而不是 2 個）。因此，對於訓練集 \{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}，我們有 y^{(i)} \in \{1, 2, \ldots, k\}。（注意此處的類別下標從 1 開始，而不是 0）。例如，在 MNIST 數字識別任務中，我們有 \textstyle k=10 個不同的類別。


對於給定的測試輸入 \textstyle x，我們想用假設函式針對每一個類別j估算出概率值 \textstyle p(y=j | x)。也就是說，我們想估計 \textstyle x 的每一種分類結果出現的概率。因此，我們的假設函式將要輸出一個 \textstyle k

 維的向量（向量元素的和為1）來表示這 \textstyle k 個估計的概率值。 具體地說，我們的假設函式 \textstyle h_{\theta}(x) 形式如下：

\begin{align}h_\theta(x^{(i)}) =\begin{bmatrix}p(y^{(i)} = 1 | x^{(i)}; \theta) \\p(y^{(i)} = 2 | x^{(i)}; \theta) \\\vdots \\p(y^{(i)} = k | x^{(i)}; \theta)\end{bmatrix}=\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} }\begin{bmatrix}e^{ \theta_1^T x^{(i)} } \\e^{ \theta_2^T x^{(i)} } \\\vdots \\e^{ \theta_k^T x^{(i)} } \\\end{bmatrix}\end{align}

注：這裡我們用類似機器學習裡面(θ^T)x 來代替(w^T)x+b

其中 \theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1} 是模型的引數。請注意 \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} }這一項對概率分佈進行歸一化，使得所有概率之和為 1 。


為了方便起見，我們同樣使用符號 \textstyle \theta 來表示全部的模型引數。在實現Softmax迴歸時，將 \textstyle \theta 用一個 \textstyle k \times(n+1) 的矩陣來表示會很方便，該矩陣是將 \theta_1, \theta_2, \ldots, \theta_k 按行羅列起來得到的，如下所示：

\theta = \begin{bmatrix}\mbox{---} \theta_1^T \mbox{---} \\\mbox{---} \theta_2^T \mbox{---} \\\vdots \\\mbox{---} \theta_k^T \mbox{---} \\\end{bmatrix}

現在我們來介紹 softmax 迴歸演算法的代價函式。在下面的公式中，\textstyle 1\{\cdot\} 是示性函式，其取值規則為：

 值為真的表示式

， \textstyle 1\{ 值為假的表示式 \textstyle \}=0。舉例來說，表示式 \textstyle 1\{2+2=4\}

 的值為1 ，\textstyle 1\{1+1=5\}的值為 0。我們的代價函式為：

\begin{align}J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }}\right]\end{align}在Softmax迴歸中將 \textstyle x 分類為類別 \textstyle j的概率為：
p(y^{(i)} = j | x^{(i)} ; \theta) = \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)}} }.

下面我們來看看求導的問題

softmax的函式公式如下：


其中，表示第L層（通常是最後一層）第j個神經元的輸入，表示第L層第j個神經元的輸出，表示自然常數。注意看，表示了第L層所有神經元的輸入之和。

先給出aj對zi的偏導在後面要 用到


在J代價函式中取出對單一資料對(x(i), y(i))的
下面我們以L對Wj的偏導舉例：
注：左圖的Wj,bj,aj,zj,均是第L層的.Wj指的是W矩陣中的第j行
同理解得：
將loss擴充到整個資料集\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}

則有：(ps:以下的k是指最後一層及L層的unit數，n是L-1層的unit數,m是資料集大小)


db[L]的python寫法:np.sum(A-Y, axis=1, keepdims=True)
最後順便附帶在python中J的實現 
J = np.sum(Y * np.log(A + 1e-8)) * (-1 / m)
參考網址： softmax迴歸： http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

softmax的log似然代價函式（公式求導）

http://m.blog.csdn.net/u014313009/article/details/51045303

相關推薦

在深度學習中Softmax交叉熵損失函式的公式求導

(以下部分基本介紹轉載於點選開啟連結) 在深度學習NN中的output層通常是一個分類輸出，對於多分類問題我們可以採用k-二元分類器來實現，這裡我們介紹softmax。softmax迴歸中，我們解決的是多分類問題（相對於 logistic 迴歸解決的二分類問題），類標 

深度學習中softmax交叉熵損失函式的理解

1. softmax層的作用 通過神經網路解決多分類問題時，最常用的一種方式就是在最後一層設定n個輸出節點，無論在淺層神經網路還是在CNN中都是如此，比如，在AlexNet中最後的輸出層有1000個節點，即便是ResNet取消了全連線層，但1000個節點的輸出

【深度學習原理】交叉熵損失函式的實現

交叉熵損失函式 一般我們學習交叉熵損失函式是在二元分類情況下： L = −

Softmax 以及 交叉熵損失函式 的求導

Ouput layer & 代價函式 網路結構 Output later 有K個神經元，有K個輸入和輸出。為了分別標記輸入和輸出，用ai∈[1,K]來表示Output layer的輸入資料，yj∈[1,K]來表示Output layer輸出點資料

softmax交叉熵損失函式求導

softmax 函式 softmax(柔性最大值)函式，一般在神經網路中， softmax可以作為分類任務的輸出層。其實可以認為softmax輸出的是幾個類別選擇的概率，比如我有一個分類任務，要分為三個類，softmax函式可以根據它們相對的大小，輸出三個類別選取的概率

softmax交叉熵損失函式反向傳播求導過程分析

目錄 一、softmax 函式 二、損失函式 loss function 三、最後的準備工作                           

softmax + cross-entropy交叉熵損失函式詳解及反向傳播中的梯度求導

相關 正文 在大多數教程中, softmax 和 cross-entropy 總是一起出現, 求梯度的時候也是一起考慮. 我們來看看為什麼. 關於 softmax 和 cross-entropy 的梯度的求導過程, 已經在上面的兩篇文章中分別給出, 這裡

自己動手實現深度學習框架-4 使用交叉熵損失函式支援分類任務

程式碼倉庫: https://github.com/brandonlyg/cute-dl 目標 增加交叉熵損失函式，使框架能夠支援分類任務的模型。 構建一個MLP模型, 在mnist資料集上執行分類任務準確率達到91%。 實現交叉熵損失函式 數學原理 分解交叉熵損失函式     &n

似然函式和最大似然估計與機器學習中的交叉熵函式之間的關係

關於似然函式和最大似然估計的詳細說明可以看這篇文章：https://blog.csdn.net/zgcr654321/article/details/83382729 二分類情況和多分類情況下的似然函式與最大似然估計： 二分類情況下的似然函式與最大似然估計： 我們知道按照生活中的常識

似然函式與最大似然估計、交叉熵概念與機器學習中的交叉熵函式

文章目錄 似然函式與最大似然估計 似然的概念 似然函式 最大似然估計 伯努利分佈 伯努利分佈下的最大似然估計 高斯分佈 高斯分佈下的最大似然估計 資訊量、熵、相對熵、交叉熵、機器學習中的交

softmax函式和交叉熵損失函式的理解

Softmax函式背景與定義在Logistic regression二分類問題中，我們可以使用sigmoid函式將輸入Wx+bWx+b對映到(0,1)(0,1)區間中，從而得到屬於某個類別的概率。將這個問題進行泛化，推廣到多分類問題中，我們可以使用softmax函式，對輸出的

nerualnetworkanddeeplearning學習_交叉熵損失函式

交叉熵損失函式 作者在開頭舉了一個生動的例子來說明人類在學習中的自然過程，總結來說就是人類在學習過程中所表現出的錯誤越嚴重學習速度越快的現象，而先前作者介紹的神經網路的學習過程卻並不完全是這樣的，從作者文中給出的兩個實時計算過程的動畫可以輕易看出在w和bi

Tensorflow 兩個交叉熵損失函式的區別

tf.nn.sparse_softmax_cross_entropy_with_logits label：不含獨熱編碼，shape：[batch_size, ] logits：原始預測概率分佈向量，shape：[batch_size, num_classes] logits = np

最大似然損失和交叉熵損失函式的聯絡

在利用深度學習模型解決有監督問題時，比如分類、迴歸、去噪等，我們一般的思路如下： 資訊流forward propagation，直到輸出端； 定義損失函式L(x, y | theta)； 誤差訊號back propagation。採用數學理論中的“鏈式法則”，求L(x,

交叉熵損失函式及Tensorflow實現

一、交叉熵損失原理 一般情況下，在分類任務中，神經網路最後一個輸出層的節點個數與分類任務的標籤數相等。 假設最後的節點數為N，那麼對於每一個樣例，神經網路可以得到一個N維的陣列作為輸出結果，陣列中每一個維度會對應一個類別。在最理想的情況下，如果一個樣本屬於k，那麼這個類別所對應的第k個輸出節

【Kaggle-MNIST之路】CNN結構再改進+交叉熵損失函式（六）

簡述 這裡再添加了一個卷積層。用一個kernal=4的卷積層做一個卷積之後，再做對映。 基於之前的一個版本 【Kaggle-MNIST之路】CNN結構改進+改進過的損失函式（五） 成績：0.9898 排名：1000+ 程式碼 注意

交叉熵損失函式

交叉熵（cross entropy）是深度學習中常用的一個概念，一般用來求目標與預測值之間的差距 1.資訊量 2.熵 3.相對熵 4.交叉熵 5.機器學習中交叉熵的應用 1.為什麼要用交叉熵做loss函式？ 線上性迴歸問題中，常常使用MSE

機器學習中的常見問題——損失函式

一、分類演算法中的損失函式 在分類演算法中，損失函式通常可以表示成損失項和正則項的和，即有如下的形式： J(w)=∑iL(mi(w))+λR(w) 其中，L(mi(w))為損失項，R(w)為正則項。mi的具體形式如下： mi=y(i)fw(x(i

簡單的交叉熵損失函式，你真的懂了嗎？

說起交叉熵損失函式「Cross Entropy Loss」，腦海中立馬浮現出它的公式： L=−[ylogy^+(1−y)log(1−y^)]L=−[ylogy^+(1−y)log(1−y^)] 我們已經對這個交叉熵函式非常熟悉，大多數情況下都是直接拿

談一談交叉熵損失函式

關於損失函式的概念以及種類特點，可參看博主的部落格：常見的損失函式總結，談到交叉熵，就不得不提資訊熵的概念，同樣可參看博主之前的部落格：決策樹之基 —— ID3 演算法，博文中提到了資訊熵的相關知識。有了上述兩篇博文作為基礎，此文不再贅述相關概念。 交叉熵的離