相關

正文

在大多數教程中, softmax 和 cross-entropy 總是一起出現, 求梯度的時候也是一起考慮. 我們來看看為什麼.

關於 softmax 和 cross-entropy 的梯度的求導過程, 已經在上面的兩篇文章中分別給出, 這裡將他們放在一起看看.

1. 題目

考慮一個輸入向量 X, 經 softmax 函式歸一化處理後得到向量 S 作為預測的概率分佈, 已知向量 Y 為真實的概率分佈, 由 cross-entropy 函式計算得出損失值 L (標量), 求 L 關於 X 的梯度.

2. 求解過程 :

$\triangledown l = (\frac{\partial l}{\partial x_1},\frac{\partial l}{\partial x_2},\frac{\partial l}{\partial x_3}, \cdots ,\frac{\partial l}{\partial x_k}) \\ \quad\\ \frac{\partial l}{\partial x_i} = \frac{\partial l}{\partial s_1}\frac{\partial s_1}{\partial x_i} +\frac{\partial l}{\partial s_2}\frac{\partial s_2}{\partial x_i} +\frac{\partial l}{\partial s_3}\frac{\partial s_3}{\partial x_i} + \cdots +\frac{\partial l}{\partial s_k}\frac{\partial s_k}{\partial x_i}\\ \quad\\ \triangledown l = (\triangledown S)^T \cdot \frac{\partial l}{\partial S} = \triangledown S \cdot \frac{\partial l}{\partial S}$