1. 程式人生 > >Softmax輸出層損失函式及偏導數

Softmax輸出層損失函式及偏導數

softmax輸出層(m個輸入,n個輸出):
Z=WX+B
(其中W為係數矩陣( n×m ),B為n維偏置量,X為m維輸入向量,Z為n維向量)
yj=ezjmj=1ezj
j[1,n]
如果使用最小平方和loss函式:
E=nj=112(yjYj)2


偏導數為:
yizi=yi(1{i=j}yj)
Ezi=nj=1σyjyizi=nj=1σyjyi(1{i=j}yj)

如果使用softmax交叉熵loss函式:
E=nj=1Yjlogyj
求偏導數:
Ezi=nj=1Eyjyjzi=σyj=yiYi