tf.nn.sparse_softmax_cross_entropy_with_logits()

這是一個TensorFlow中經常需要用到的函式。官方文件裡面有對它詳細的說明，傳入的logits為神經網路輸出層的輸出，shape為[batch_size，num_classes]，傳入的label為一個一維的vector，長度等於batch_size，每一個值的取值區間必須是[0，num_classes)，其實每一個值就是代表了batch中對應樣本的類別。今天我們就從實際的專案程式碼裡入手，看看這個函式在實際專案中是如何應用的。

tf.nn.sparse_softmax_cross_entropy_with_logits()首先來說，這個函式的具體實現分為了兩個步驟，我們一步一步依次來看。

第一步：Softmax

不管是在進行文字分類還是影象識別等任務時，神經網路的輸出層個神經元個數通常都是我們要分類的類別數量，也可以說，神經網路output vector的dimension通常為類別數量，而我們的Softmax函式的作用就是將每個類別所對應的輸出分量歸一化，使各個分量的和為1，這樣可以理解為將output vector的輸出分量值，轉化為了將input data分類為每個類別的概率。舉一個例子來說：

假設上面這個圖中的Z1，Z2，Z3為一個三分類模型的output vector，為[3,1,-3]，3代表類別1所對應的分量，1為類別2對應的分量，-3為類別3對應的分量。經過Softmax函式作用後，將其轉化為了[0.88，0.12，0]，這就代表了輸入的這個樣本被分到類別1的概率為0.88，分到類別2的概率為0.12，分到類別3的概率幾乎為0。

第二步：計算Cross-Entropy

神經網路的輸出層經過Softmax函式作用後，接下來就要計算我們的loss了，這個這裡是使用了Cross-Entropy作為了loss function。由於tf.nn.sparse_softmax_cross_entropy_with_logits()輸入的label格式為一維的向量，所以首先需要將其轉化為one-hot格式的編碼，例如如果分量為3，代表該樣本屬於第三類，其對應的one-hot格式label為[0，0，0，1，.......0]，而如果你的label已經是one-hot格式，則可以使用tf.nn.softmax_cross_entropy_with_logits()函式來進行softmax和loss的計算。

轉為one-hot格式之後就該計算我們的cross-entropy了，公式如下：

其中為label中的第i個值，為經softmax歸一化輸出的vector中的對應分量，由此可以看出，當分類越準確時，所對應的分量就會越接近於1，從而的值也就會越小。

程式碼

講了這麼多，我們來看看專案中是怎樣運用這個函式的，直接上程式碼。

這是之前做實驗時寫的文字分類的一個程式，其中就用到tf.nn.sparse_softmax_cross_entropy_with_logits()來計算loss。

            self.logits = tf.matmul(out_put,output_w)+output_b
            self.softmax = tf.nn.softmax(self.logits)

        with tf.name_scope("loss"):
            self.loss = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=self.logits+1e-10,labels=self.target)
            self.cost = tf.reduce_mean(self.loss)

這裡是LSTM_Model程式裡面的部分擷取，其中self.logits為神經網路輸出層的輸出，下一行，這裡我們使用tf.nn.softmax()計算一下softmax函式的輸出結果，是為了打印出來給大家看一下資料，但是在專案中這一行其實是多餘的~

下面我們使用tf.nn.sparse_softmax_cross_entropy_with_logits()函式，最後tf.reduce_mean()對batch_size裡每個樣本的loss求平均，計算最後的cost值。

我們來看一下結果，我的batch_size為64，資料太多我只截取了前五組資料：

首先是self.logits，這是神經網路輸出層輸出的vector，由於我做的是二分類任務，所以shape=[64，2]

下面是softmax函式作用後的輸出結果，我們可以看出來shape依舊是[64,2]，但是資料已經被歸一化了。

下面是輸入的label

接下來是64個樣本的loss的值

最後是cost的值