原文鏈接：https://developers.google.com/machine-learning/crash-course/multi-class-neural-networks/

多類別分類，這種模型可從多種可能的情況中進行選擇。

1- 一對多

一對多提供了一種利用二元分類的方法。
鑒於一個分類問題會有 N 個可行的解決方案，一對多解決方案包括 N 個單獨的二元分類器，每個可能的結果對應一個二元分類器。
在訓練期間，模型會訓練一系列二元分類器，使每個分類器都能回答單獨的分類問題。
以一張狗狗的照片為例，可能需要訓練五個不同的識別器，其中四個將圖片看作負樣本（不是狗狗），一個將圖片看作正樣本（是狗狗）。

一對多神經網絡

2- Softmax

邏輯回歸可生成介於 0 和 1.0 之間的小數，Softmax是邏輯回歸在多類別問題中的延伸。
也就是說，在多類別問題中，Softmax會為每個類別分配一個用小數表示的概率。
這些用小數表示的概率相加之和必須是“1.0”。
與其他方式相比，這種附加限制有助於讓訓練過程更快速地收斂。

Softmax層是緊挨著輸出層之前的神經網絡層，必須和輸出層擁有一樣的節點數。

註意：圖中每個類別的概率相加之和是“1.0”。
Softmax公式（本質上是將邏輯回歸公式延伸到了多類別）：
$p(y = j|\textbf{x}) = \frac{e^{(\textbf{w}_j^{T}\textbf{x} + b_j)}}{\sum_{k\in K} {e^{(\textbf{w}_k^{T}\textbf{x} + b_k)}} }$

2.1 Softmax 選項

完整 Softmax
針對每個可能的類別計算概率。
候選采樣
針對所有正類別標簽計算概率，但僅針對負類別標簽的隨機樣本計算概率。
例如，如果想要確定某個輸入圖片是小獵犬還是尋血獵犬圖片，則不必針對每個非狗狗樣本提供概率。

類別數量較少時，完整 Softmax 代價很小，但隨著類別數量的增加，它的代價會變得極其高昂。
候選采樣可以提高處理具有大量類別的問題的效率。

2.2 一個標簽與多個標簽

Softmax 假設每個樣本只是一個類別的成員。
但是，對於一些樣本可以同時是多個類別成員的情況：

• 不能使用 Softmax。
• 必須依賴多個邏輯回歸。

例如，假設樣本是只包含一項內容（一塊水果）的圖片。
Softmax 可以確定該內容是梨、橙子、蘋果等的概率。
如果樣本是包含各種各樣內容（幾碗不同種類的水果）的圖片，必須改用多個邏輯回歸。

3- 編程練習

xxx

4- 關鍵詞

多類別分類 (multi-class classification)
區分兩種以上類別的分類問題。
例如，楓樹大約有 128 種，因此，確定楓樹種類的模型就屬於多類別模型。
反之，僅將電子郵件分為兩類（“垃圾郵件”和“非垃圾郵件”）的模型屬於二元分類模型。

一對多 (one-vs.-all)
假設某個分類問題有 N 種可能的解決方案，一對多解決方案將包含 N 個單獨的二元分類器 - 一個二元分類器對應一種可能的結果。
例如，假設某個模型用於區分樣本屬於動物、蔬菜還是礦物，一對多解決方案將提供下列三個單獨的二元分類器：

• • 動物和非動物
  • 蔬菜和非蔬菜
  • 礦物和非礦物

候選采樣 (candidate sampling)
一種訓練時進行的優化，會使用某種函數（例如 softmax）針對所有正類別標簽計算概率，但對於負類別標簽，則僅針對其隨機樣本計算概率。
例如，如果某個樣本的標簽為“小獵犬”和“狗”，則候選采樣將針對“小獵犬”和“狗”類別輸出以及其他類別（貓、棒棒糖、柵欄）的隨機子集計算預測概率和相應的損失項。
這種采樣基於的想法是，只要正類別始終得到適當的正增強，負類別就可以從頻率較低的負增強中進行學習，這確實是在實際中觀察到的情況。
候選采樣的目的是，通過不針對所有負類別計算預測結果來提高計算效率。

邏輯回歸 (logistic regression)
一種模型，通過將 S 型函數應用於線性預測，生成分類問題中每個可能的離散標簽值的概率。
雖然邏輯回歸經常用於二元分類問題，但也可用於多類別分類問題（其叫法變為多類別邏輯回歸或多項回歸）。

softmax
一種函數，可提供多類別分類模型中每個可能類別的概率。這些概率的總和正好為 1.0。
例如，softmax 可能會得出某個圖像是狗、貓和馬的概率分別是 0.9、0.08 和 0.02。（也稱為完整 softmax。）
與候選采樣相對。

MLCC筆記16 - 多類別神經網絡 (Multi-Class Neural Networks)