線性分類模型(四)——貝葉斯觀點下的Logistic迴歸

拉普拉斯近似

目標：因為待近似的分佈 $p(\pmb{z})$ 不是高斯分佈，故尋找一個高斯近似 $q(\pmb{z})$ ，它的中心位於 $p(\pmb{z})$ 的眾數的位置。思路：將待近似的分佈 $p(\pmb{z})$ 在眾數 $\pmb{z}_0$ 做泰勒展開，去掉三階項以及更高階。

假設待近似分佈為 $M$ 維 $p(\pmb{z})=\frac{f(\pmb{z})}{Z}$ ，在眾數 $\pmb{z}_0$ 處展開，有 $\ln f(\pmb{z})\simeq \ln f(\pmb{z}_0)-\frac{1}{2}(\pmb{z}-\pmb{z}_0)^\top A(\pmb{z}-\pmb{z}_0)$

ln f (z z z) ≃ ln f (z z z_{0}) - 2 1 (z z z - z z z_{0})^{⊤} A (z z z - z z z_{0})

其中，

M\times M

的Hessian矩陣

A=-\nabla\nabla\ln f(\pmb{z})|_{\pmb{z}=\pmb{z}_0}

。兩邊同取指數，有

f(\pmb{z})\simeq f(\pmb{z}_0)\exp\{-\frac{1}{2}(\pmb{z}-\pmb{z}_0)^\top A(\pmb{z}-\pmb{z}_0)\}

分佈

q(\pmb{z})

正比於

f(\pmb{z})

，因此

q(\pmb{z})=\frac{|A|^\frac{1}{2}}{(2\pi )^\frac{M}{2}}\exp\{-\frac{1}{2}(\pmb{z}-\pmb{z}_0)^\top A(\pmb{z}-\pmb{z}_0)\}=\mathscr{N}(\pmb{z}|\pmb{z}_0,A^{-1})

其中，這個高斯分佈well-define的前提為

A

是正定的，即駐點

\pmb{z}_0

必須為一個區域性極大值。在實際應用拉普拉斯近似時需計算眾數，一般通過數值優化演算法得到。 缺點： 對於多峰問題會給出較差的結果。 優點： 在資料點較多的情況下，會更有用。

貝葉斯Logistic迴歸

Logistic迴歸不能進行精確的貝葉斯推斷的原因：後驗分佈為先驗分佈與似然函式的乘積的歸一化，而似然函式為一系列sigmoid函式的乘積。

對後驗分佈做拉普拉斯近似

假設引數 $\pmb{w}$ 有高斯先驗 $p(\pmb{w})=\mathscr{N}(\pmb{w}|\pmb{m}_0,S_0)$ 其中， $\pmb{m}_0$ 和 $S_0$ 為固定的超引數。 $\pmb{w}$

線性分類模型(四)——貝葉斯觀點下的Logistic迴歸

拉普拉斯近似

貝葉斯Logistic迴歸

對後驗分佈做拉普拉斯近似

線性分類模型(四)——貝葉斯觀點下的Logistic迴歸

Fisher線性分類器和貝葉斯決策

Scikit-Learn機器學習之監督學習模型案例集-新聞/郵件文字內容分類（樸素貝葉斯演算法模型）

利用spark做文字分類（樸素貝葉斯模型）

基於概率論的分類方法:樸素貝葉斯算法實踐學習

分類：樸素貝葉斯分類方法

斯坦福大學-自然語言處理入門筆記第六課文字分類與樸素貝葉斯

機器學習----貝葉斯分類器（貝葉斯決策論和極大似然估計）

機器學習 - 樸素貝葉斯（下）- 樸素貝葉斯分類器

再談變分自編碼器VAE：從貝葉斯觀點出發

大資料分類演算法——樸素貝葉斯演算法

模式分類與應用-貝葉斯垃圾郵件分類

【Kaggle筆記】新聞文字分類（樸素貝葉斯）

文字分類演算法之--貝葉斯分類演算法的實現Java版本

文字分類演算法--樸素貝葉斯

分類演算法-----樸素貝葉斯原理和python實現

機器學習實戰（4）——樸素貝葉斯（下）

二分類模型效能評價（R語言，logistic迴歸，ROC曲線，lift曲線，lorenz曲線）

機器學習（六）分類模型--線性判別法、距離判別法、貝葉斯分類器

《Spark機器學習》筆記——Spark分類模型（線性迴歸、樸素貝葉斯、決策樹、支援向量機）

線性分類模型(四)——貝葉斯觀點下的Logistic迴歸

拉普拉斯近似

貝葉斯Logistic迴歸

對後驗分佈做拉普拉斯近似

相關推薦