對於分類問題的神經網絡最後一層的函數做如下知識點總結：

1. sigmoid和softmax一般用作神經網絡的最後一層做分類函數（備註：sigmoid也用作中間層做激活函數）；
2. 對於類別數量大於2的分類問題，如果每個類別之間互斥，則選用softmax函數（例如：類別為牡丹花、玫瑰花、菊花），如果每個類別之間有交叉則選用與類別數量相等的sigmoid函數（例如：類別為小孩、大人、男人、女人，此處應該選用4個sigmoid函數）；
3. 神經網絡最後一層的分類函數直接面臨作損失函數的選擇；
4. softmax函數的分類標簽都為one-hot編碼，目標為類別數量=softmax這層的節點數量。（備註：對於二分類問題，如果采用sigmoid函數，最後一層就放一個節點；如果采用softmax函數，最後一層放兩個節點）

　　　　sigmoid函數的定義：令p(y=1)=x，p(y=0)=1-x，f =ln( x/(1-x))，推導出x=e^f/(1-e^f)，即輸出的是y=1的概率，這一點與softmax函數不同.

常用損失函數介紹：

MSE：均方誤差一遍用於回歸問題的損失函數，當然它也是回歸問題的一個度量函數，回歸問題最後一層神經元一般采用線性激活函數；

交叉熵：

對於分類問題的神經網絡最後一層的函數：sigmoid、softmax與損失函數