1. 程式人生 > >Machine Learning第三講[Logistic迴歸] --(三)多元分類

Machine Learning第三講[Logistic迴歸] --(三)多元分類

內容來自Andrew老師課程Machine Learning的第三章內容的Multiclass Classification部分。

一、Multiclass Classification: One-vs-all(多元分類:一對多)

(1)下圖左邊是二元分類的圖形,右邊是三元分類的圖形(代表多元分類)。在二元分類中,我們可以劃出一條擬合曲線(直線、曲線、圓或者橢圓等),那麼在多元分類中,我們不能簡單的畫出擬合曲線,那麼我們該怎樣進行預測呢,怎樣把二元分類應用到多元分類中呢?
這裡寫圖片描述

(2)如下圖,
右1是將三角形看做是一個分類,將其他所有分類看作是另一個分類,那麼就將這個多元分類的模型變成了二元分類,利用這個二元分類預測出三角形的概率,即是y=1的概率。
右2是將長方形看做是一個分類,將其他所有分類看作是另一個分類,那麼就將這個多元分類的模型變成了二元分類,利用這個二元分類預測出長方形的概率,即是y=2的概率。
右3是將叉號看做是一個分類,將其他所有分類看作是另一個分類,那麼就將這個多元分類的模型變成了二元分類,利用這個二元分類預測出叉號的概率,即是y=3的概率。
這裡寫圖片描述

(3)分別將這些概率算出來之後,我們怎麼知道我們的預測值是哪個呢?選擇這些概率中的最大值作為預測值。
即:

y{0,1,..,n}hθ(0)(x)=P(y=0|x;θ)hθ(1)(x)=P(y=1|x;θ)...hθ(n)(x)=P(y=n|x;θ)prediction=maxi(hθ(i)(x))