1. 程式人生 > >TensorFlow學習---tf.nn.softmax_cross_entropy_with_logits的用法

TensorFlow學習---tf.nn.softmax_cross_entropy_with_logits的用法

轉載部落格:http://blog.csdn.net/mao_xiao_feng/article/details/53382790

在計算loss的時候,最常見的一句話就是tf.nn.softmax_cross_entropy_with_logits,那麼它到底是怎麼做的呢?

首先明確一點,loss是代價值,也就是我們要最小化的值

tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)

除去name引數用以指定該操作的name,與方法有關的一共兩個引數

第一個引數logits:就是神經網路最後一層的輸出,如果有batch的話,它的大小就是[batchsize,num_classes],單樣本的話,大小就是num_classes

第二個引數labels:實際的標籤,大小同上

具體的執行流程大概分為兩步:

第一步是先對網路最後一層的輸出做一個softmax,這一步通常是求取輸出屬於某一類的概率,對於單樣本而言,輸出就是一個num_classes大小的向量([Y1,Y2,Y3...]其中Y1,Y2,Y3...分別代表了是屬於該類的概率)

softmax的公式是:

至於為什麼是用的這個公式?這裡不介紹了,涉及到比較多的理論證明

第二步是softmax的輸出向量[Y1,Y2,Y3...]和樣本的實際標籤做一個交叉熵,公式如下:


其中指代實際的標籤中第i個的值(用mnist資料舉例,如果是3,那麼標籤是[0,0,0,1,0,0,0,0,0,0],除了第4個值為1,其他全為0)

就是softmax的輸出向量[Y1,Y2,Y3...]中,第i個元素的值

顯而易見,預測越準確,結果的值越小(別忘了前面還有負號),最後求一個平均,得到我們想要的loss

注意!!!這個函式的返回值並不是一個數,而是一個向量,如果要求交叉熵,我們要再做一步tf.reduce_sum操作,就是對向量裡面所有元素求和,最後才得到,如果求loss,則要做一步tf.reduce_mean操作,對向量求均值!

理論講完了,上程式碼

  1. import tensorflow as tf  
  2. #our NN's output
  3. logits=tf.constant([[1.0,2.0,3.0],[1.0
    ,2.0,3.0],[1.0,2.0,3.0]])  
  4. #step1:do softmax
  5. y=tf.nn.softmax(logits)  
  6. #true label
  7. y_=tf.constant([[0.0,0.0,1.0],[0.0,0.0,1.0],[0.0,0.0,1.0]])  
  8. #step2:do cross_entropy
  9. cross_entropy = -tf.reduce_sum(y_*tf.log(y))  
  10. #do cross_entropy just one step
  11. cross_entropy2=tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits, y_))#dont forget tf.reduce_sum()!!
  12. with tf.Session() as sess:  
  13.     softmax=sess.run(y)  
  14.     c_e = sess.run(cross_entropy)  
  15.     c_e2 = sess.run(cross_entropy2)  
  16.     print("step1:softmax result=")  
  17.     print(softmax)  
  18.     print("step2:cross_entropy result=")  
  19.     print(c_e)  
  20.     print("Function(softmax_cross_entropy_with_logits) result=")  
  21.     print(c_e2)  

輸出結果是:
  1. step1:softmax result=  
  2. [[ 0.090030570.244728480.66524094]  
  3.  [ 0.090030570.244728480.66524094]  
  4.  [ 0.090030570.244728480.66524094]]  
  5. step2:cross_entropy result=  
  6. 1.22282
  7. Function(softmax_cross_entropy_with_logits) result=  
  8. 1.2228
最後大家可以試試e^1/(e^1+e^2+e^3)是不是0.09003057,發現確實一樣!!這也證明了我們的輸出是符合公式邏輯的