在一個多分類問題，預測變數y $y$可以取k $k$個離散值中的任何一個，即y∈{1,2,⋯,k} $y\in \{1,2,\cdots ,k\}$。

例如：在一個郵件分類系統將郵件分為私人郵件，工作郵件和垃圾郵件。由於y $y$仍然是一個離散值，這種多分類問題，二分類模型在這裡不太適用。

  多分類問題符合多項分佈。有許多演算法可用於解決多分類問題，像決策樹、樸素貝葉斯等。本文主要講解多分類演算法中的Softmax迴歸（Softmax Regression)

推導思路為：首先證明多項分佈屬於指數分佈族，這樣就可以使用廣義線性模型來擬合這個多項分佈，由廣義線性模型推匯出的目標函式h θ (x) $h_{\theta }(x)$即為Softmax迴歸的分類模型。

多項式分佈屬於指數分佈族的推導

  下面將根據多項式分佈建模。考慮樣本共有k $k$類，每一類的概率分別為ϕ 1 ,⋯,ϕ k  ${\varphi }_1,\cdots ,{\varphi }_k$，由於∑ i=1 k ϕ i =1 $\sum _{i=1}^k{\varphi }_i=1$，所以通常我們只需要k−1 $k-1$個引數即ϕ 1 ,⋯,ϕ k−1  ${\varphi }_1,\cdots ,{\varphi }_{k-1}$。
P(y=i;ϕ)=ϕ i  P(y=k;ϕ)=1−∑ i=1 k−1 ϕ i  (397) $\begin{array}{}\text{(397)}& P(y=i;\varphi )={\varphi }_i& P(y=k;\varphi )=1-\sum _{i=1}^{k-1}{\varphi }_i\end{array}$
為了推導方便，引入表示式：
T(1)=⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 100⋮0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ,T(2)=⎡ 

  上面T(y) $T(y)$是k−1 $k-1$維列向量,其中y=1,2,⋯,k $y=1,2,\cdots ,k$；T(y) i