2. 程式人生 > >Bayesian non-negative matrix factorization核心過程推導

Bayesian non-negative matrix factorization核心過程推導

阿新 • • 發佈：2018-12-20

       最近閱讀了一篇老文章—Bayesian non-negative matrix factorization，是個論文集，本文在540-547頁，這篇文章用貝葉斯方法重做了一遍非負矩陣分解，但其推導過程過於簡略，本人將記錄一下其核心推導過程，也就是原文公式(5)和公式(7)的推導過程。

       定義${\bf{X}} = {\bf{AB}} + {\bf{E}}$，其中${\bf{X}} \in {R^{I \times J}}$，${\bf{A}} \in {R^{I \times N}}$,${\bf{B}} \in {R^{N \times J}}$，關於${\bf{X}}的似然函式為：

$p\left( {{\bf{X}}\left| {{\bf{A}},{\bf{B}},{\sigma ^2}} \right.} \right) = \prod\limits_{i,j} {{\cal N}\left( {{{\bf{X}}_{i,j}}\left| {{{\left( {{\bf{AB}}} \right)}_{i,j}},{\sigma ^2}} \right.} \right)} = {\prod\limits_{i,j} {\left( {2\pi {\sigma ^2}} \right)} ^{ - 1/2}}\exp \left\{ { - {{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}/\left( {2{\sigma ^2}} \right)} \right\}$

而變數${\bf{A}}$和${\bf{B}}$的先驗為：

$p\left( {\bf{A}} \right) = \prod\limits_{i,n} {\varepsilon \left( {{{\bf{A}}_{i,n}};{\alpha _{i,n}}} \right)} = \prod\limits_{i,n} {{\alpha _{i,n}}{\rm{exp}}\left( { - {\alpha _{i,n}}{{\bf{A}}_{i,n}}} \right)} u\left( {{{\bf{A}}_{i,n}}} \right)$

和

$p\left( {\bf{B}} \right) = \prod\limits_{n,j} {\varepsilon \left( {{{\bf{B}}_{n,j}};{\beta _{n,j}}} \right)} = \prod\limits_{n,j} {{\beta _{n,j}}{\rm{exp}}\left( { - {\beta _{n,j}}{{\bf{B}}_{n,j}}} \right)} u\left( {{{\bf{B}}_{n,j}}} \right)$

另外，再定義噪聲方差${{\sigma ^2}}$的先驗：

p\left( {{\sigma ^2}} \right) = {{\cal G}^{ - 1}}\left( {{\sigma ^2}{\rm{;}}k{\rm{,}}\theta } \right) = \frac{{{\theta ^k}}}{{\Gamma \left( k \right)}}{\left( {{\sigma ^2}} \right)^{ - k - 1}}{\rm{exp}}\left( { - \frac{\theta }{{{\sigma ^2}}}} \right)

關於${\bf{A}}$和${\bf{B}}$的條件後驗密度是一個高斯分佈乘以一個截斷的指數分佈，也就是一個截斷的高斯分佈，我們定義這種形式為${\cal R}\left( {x{\rm{;}}\mu {\rm{,}}{\sigma ^2}{\rm{,}}\lambda } \right) \propto {\cal N}\left( {x{\rm{;}}\mu {\rm{,}}{\sigma ^2}} \right)\varepsilon \left( {x{\rm{;}}\lambda } \right)$，因此，關於${{\bf{A}}_{i,n}}$的條件概率密度為：

\begin{array}{l} p\left( {{{\bf{A}}_{i,n}}\left| {{\bf{X}},{{\bf{A}}_{{\rm{\backslash (}}i,n)}},{\bf{B}}} \right.,{\sigma ^2}} \right) = {\cal R}\left( {{{\bf{A}}_{i,n}}{\rm{;}}{\mu _{{{\bf{A}}_{i,n}}}}{\rm{,}}\sigma _{{{\bf{A}}_{i,n}}}^2{\rm{,}}{\alpha _{i,n}}} \right) = {\cal N}\left( {{{\bf{A}}_{i,n}}{\rm{;}}{\mu _{{{\bf{A}}_{i,n}}}}{\rm{,}}\sigma _{{{\bf{A}}_{i,n}}}^2} \right)\varepsilon \left( {{{\bf{A}}_{i,n}}{\rm{;}}{\alpha _{i,n}}} \right)\\ = \varepsilon \left( {{{\bf{A}}_{i,n}}{\rm{;}}{\alpha _{i,n}}} \right)\prod\limits_j {{{\left( {2\pi {\sigma ^2}} \right)}^{ - 1/2}}} \exp \left\{ { - {{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}/2{\sigma ^2}} \right\} \end{array}(1)

為了方便表示，我們先考慮上式的指數部分：

\begin{array}{l} - \frac{1}{{2{\sigma ^2}}}\sum\limits_j {{{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}} \\ = - \frac{1}{{2{\sigma ^2}}}\sum\limits_j {\left\{ {{\bf{X}}_{i,j}^2 - 2{{\bf{X}}_{i,j}}{{\left( {{\bf{AB}}} \right)}_{i,j}} + {{\left[ {{{\left( {{\bf{AB}}} \right)}_{i,j}}} \right]}^2}} \right\}} \\ = - \frac{1}{{2{\sigma ^2}}}\sum\limits_j {\left\{ {{\bf{X}}_{i,j}^2 - 2{{\bf{X}}_{i,j}}{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}} - 2{{\bf{X}}_{i,j}}\sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} + {{\left( {\sum\limits_n {{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}} } \right)}^2}} \right\}} \end{array}(2)

其中：

{\left( {\sum\limits_n {{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}} } \right)^2} = {\left( {{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}} \right)^2} + 2{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}\sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} + {\left( {\sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)^2}(3)

將(3)回代入(2)：

\begin{array}{l} - \frac{1}{{2{\sigma ^2}}}\sum\limits_j {{{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}} \\ = - \frac{1}{{2{\sigma ^2}}}\sum\limits_j {\left\{ {{\bf{X}}_{i,j}^2 - 2{{\bf{X}}_{i,j}}{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}} - 2{{\bf{X}}_{i,j}}\sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} + {{\left( {{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}} \right)}^2} + 2{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}\sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} + {{\left( {\sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)}^2}} \right\}} \\ = - \frac{1}{{2{\sigma ^2}}}\sum\limits_j {\left\{ {{{\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)}^2} - 2{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right) + {{\left( {{{\bf{A}}_{i,n}}{{\bf{B}}_{n,j}}} \right)}^2}} \right\}} \end{array}

\begin{array}{l} = - \frac{1}{{2{\sigma ^2}}}\left[ {{{\left( {{{\bf{A}}_{i,n}}} \right)}^2}\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2} - 2{{\bf{A}}_{i,n}}\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right) + \sum\limits_j {{{\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)}^2}} } } } \right]\\ = - \frac{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}{{2{\sigma ^2}}}\left[ {{{\left( {{{\bf{A}}_{i,n}}} \right)}^2} - \frac{{2{{\bf{A}}_{i,n}}\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)} }}{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }} + \cdots } \right] \end{array}

推導進行到這一步後，會發現根本湊不出來完全平方項，但通過觀察第二項，發現除了{{\bf{A}}_{i,n}}，\frac{{2\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)} }}{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}與{{\bf{A}}_{i,n}}無關，而且上式中，除了前兩項，第三項\sum\limits_j {{{\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)}^2}}也與{{\bf{A}}_{i,n}}無關，因此，我們可以根據前兩項配出完全平方項，而多餘的部分由於在指數上最後就會變成一個比例常數項，因此，上式可以改寫為：

\begin{array}{l} - \frac{1}{{2{\sigma ^2}}}\sum\limits_j {{{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}} \\ = - \frac{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}{{2{\sigma ^2}}}\left[ {{{\left( {{{\bf{A}}_{i,n}}} \right)}^2} - \frac{{2{{\bf{A}}_{i,n}}\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)} }}{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }} + {{\left\{ {\frac{{\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)} }}{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}} \right\}}^2}} \right] \end{array}

= - \frac{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}{{2{\sigma ^2}}}{\left\{ {{{\bf{A}}_{i,n}} - \frac{{\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)} }}{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}} \right\}^2} + C(4)

將公式(4)回代如公式(1)：

將公式(4)回代如公式(1)：p\left( {{{\bf{A}}_{i,n}}\left| {{\bf{X}},{{\bf{A}}_{{\rm{\backslash (}}i,n)}},{\bf{B}}} \right.,{\sigma ^2}} \right) = {\cal R}\left( {{{\bf{A}}_{i,n}}{\rm{;}}{\mu _{{{\bf{A}}_{i,n}}}}{\rm{,}}\sigma _{{{\bf{A}}_{i,n}}}^2{\rm{,}}{\alpha _{i,n}}} \right) = {\cal N}\left( {{{\bf{A}}_{i,n}}{\rm{;}}{\mu _{{{\bf{A}}_{i,n}}}}{\rm{,}}\sigma _{{{\bf{A}}_{i,n}}}^2} \right)\varepsilon \left( {{{\bf{A}}_{i,n}}{\rm{;}}{\alpha _{i,n}}} \right)

\propto \varepsilon \left( {{{\bf{A}}_{i,n}}{\rm{;}}{\alpha _{i,n}}} \right)\prod\limits_j {{{\left( {2\pi {\sigma ^2}/\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} } \right)}^{ - 1/2}}} \exp \left\{ { - \frac{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}{{2{\sigma ^2}}}{{\left[ {{{\bf{A}}_{i,n}} - \frac{{\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)} }}{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}} \right]}^2}} \right\}

因此，{\cal N}\left( {{{\bf{A}}_{i,n}}{\rm{;}}{\mu _{{{\bf{A}}_{i,n}}}}{\rm{,}}\sigma _{{{\bf{A}}_{i,n}}}^2} \right)中：

{\mu _{{{\bf{A}}_{i,n}}}} = \frac{{\sum\limits_j {{{\bf{B}}_{n,j}}\left( {{{\bf{X}}_{i,j}} - \sum\limits_{n' \ne n} {{{\bf{A}}_{i,n'}}{{\bf{B}}_{n',j}}} } \right)} }}{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}

\sigma _{{{\bf{A}}_{i,n}}}^2 = \frac{{\sum\limits_j {{{\left( {{{\bf{B}}_{n,j}}} \right)}^2}} }}{{2{\sigma ^2}}}

關於噪聲方差：

\begin{array}{l} p\left( {{\sigma ^2}\left| {{\bf{A}},{\bf{B}},{\bf{X}}} \right.} \right) \propto p\left( {{\sigma ^2}} \right)p\left( {{\bf{X}}\left| {{\bf{A}},{\bf{B}},{\sigma ^2}} \right.} \right) = {{\cal G}^{ - 1}}\left( {{\sigma ^2};{k_{{\sigma ^2}}},{\theta _{{\sigma ^2}}}} \right)\\ = \frac{{{\theta ^k}}}{{\Gamma \left( k \right)}}{\left( {{\sigma ^2}} \right)^{ - k - 1}}{\rm{exp}}\left( { - \frac{\theta }{{{\sigma ^2}}}} \right){\prod\limits_{i,j} {\left( {2\pi {\sigma ^2}} \right)} ^{ - 1/2}}\exp \left\{ { - {{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}/\left( {2{\sigma ^2}} \right)} \right\} \end{array}

\begin{array}{l} = \frac{{{\theta ^k}}}{{\Gamma \left( k \right)}}{\left( {{\sigma ^2}} \right)^{ - k - 1}}{\rm{exp}}\left( { - \frac{\theta }{{{\sigma ^2}}}} \right){\left( {2\pi {\sigma ^2}} \right)^{ - IJ/2}}\exp \left\{ { - \sum\limits_{i,j} {{{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}/\left( {2{\sigma ^2}} \right)} } \right\}\\ \propto \frac{{{{\left[ {\theta + \frac{1}{2}\sum\limits_{i,j} {{{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}} } \right]}^k}}}{{\Gamma \left( {k + IJ/2} \right)}}{\left( {{\sigma ^2}} \right)^{ - k - 1 - IJ/2}}\exp \left( { - \frac{{\theta + \frac{1}{2}\sum\limits_{i,j} {{{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}} }}{{{\sigma ^2}}}} \right) \end{array}

因此，噪聲方差所服從的逆伽馬分佈的引數更新公式分別為：

{k_{{\sigma ^2}}} = k + IJ/2(感覺此處原文有誤，原文多加了個1)，

{\theta _{{\sigma ^2}}} = \theta + \frac{1}{2}\sum\limits_{i,j} {{{\left( {{{\bf{X}}_{i,j}} - {{\left( {{\bf{AB}}} \right)}_{i,j}}} \right)}^2}}

相關推薦

Bayesian non-negative matrix factorization核心過程推導

       最近閱讀了一篇老文章—Bayesian non-negative matrix factorization，是個論文集，本文在540-547頁，這篇文章用貝葉斯方法重做了一遍非負矩陣分解，

Algorithms for Non-negative Matrix Factorization 非負矩陣分解

NIPS 2000 經典論文翻譯。 摘要 非負矩陣分解（NMF）是一種可以有效處理多變數資料的方法。本文介紹、分析了兩種不同的 NMF 演算法，這兩種演算法僅在更新規則（update rule）中使用的乘性因子（multiplicative factor）有所區別。其中一種可以對傳統的最小二乘誤

關於NMF（Non-negative Matrix Factorization ）

 著名的科學雜誌《Nature》於1999年刊登了兩位科學家D.D.Lee和H.S.Seung對數學中非負矩陣研究的突出成果。該文提出了一種新的矩陣分解思想――非負矩陣分解(Non-negative Matrix Factorization，NMF)演算法，即NMF是在矩陣中所有元素均為非負數約束條件之下的矩

Matrix Factorization, Algorithms, Applications, and Avaliable packages

con spam member bing struct ado sign aries nio 來源：http://www.cvchina.info/2011/09/05/matrix-factorization-jungle/ 美帝的有心人士收集了市面上的矩陣

Fused Matrix Factorization & some personal thoughts

roc ref ren learning soci point paper sed process I read this paper, the purpose are common to some extent...but the way this paper has a

推薦系統(recommender systems):預測電影評分--構造推薦系統的一種方法：低秩矩陣分解(low rank matrix factorization)

ngs img round col tin product ems 找到 推薦 如上圖中的predicted ratings矩陣可以分解成X與ΘT的乘積，這個叫做低秩矩陣分解。 我們先學習出product的特征參數向量，在實際應用中這些學習出來的參數向量可能比較難以理解

為什麼可逆矩陣又叫“非奇異矩陣(non-singular matrix)”?

最近在撿回之前的線性代數知識，在複習可逆矩陣的時候，發現有的書上把可逆矩陣又稱為非奇異矩陣，乍一看名字完全不知所云，仔細一分析，還是不明白。要想弄明白，還是得從英文入手，下面的解釋主要從這裡得來的Why are invertible matrices called 'non-singular'?。 先把原回

ubuntu18.04編譯4.15核心過程

核心下載地址：Linux kernel 1、將下載好的核心原始碼壓縮包置於ubuntu18.04虛擬機器中（在windows上解壓會導致部分檔案損壞） 2、解壓下載的壓縮包，在/usr/src中 tar -xvf linux-4.15.tar.gz -C /usr/src後 cd /us

Leetcode 600. Non-negative Integers without Consecutive Ones

Leetcode 600. Non-negative Integers without Consecutive Ones 題目： Given a positive integer n, find the number of non-negative integers less tha

[線性代數] 矩陣代數進階：矩陣分解 Matrix factorization

Matrix factorization 導語：承載上集的矩陣代數入門，今天來聊聊進階版，矩陣分解。其他集數可在[線性代數]標籤文章找到。有空再弄目錄什麼的。     Matrix factorization is quite like an application of inv

概率矩陣分解（Probabilistic Matrix Factorization）

 摘要 很多現有的協同過濾的方法既不能處理非常大的資料集，也不能容易地應對有非常少的評價的使用者。在這篇論文中，我們提出了概率矩陣分解（PMF）模型，它的規模與觀察值的數目線性相關，並且更重要的是，它在非常大的、稀疏的和非常失衡的Netflix資料集上表現優異。我們更進一步

uboot啟動核心過程

我們都知道u-boot被締造出來的使命是 啟動核心。 那麼，他是如何完成他的使命的呢！ （1）我們先來分析下Linux核心映象這個概念吧。 我們編譯核心完（編譯成功）會生成vmlinux，Image，zImage，再通過 uboot提供的工具mkimage，執行m

Jetson TX2重新編譯核心過程記錄

因為要裝dpdk，需要uio模組，但是tx2原裝的系統沒有這個模組，故重新編譯核心。 1. 獲取TX2 linux核心原始碼 2. 獲取當前系統的配置檔案 進入核心目錄下，即kernel-4.4/ z

debian9升級4.9.0核心到4.19.2核心過程（9.4到9.6）

更新之前， ##uname -r 4.9.0-8-amd64 第一步，下載核心， ##firefox www.kernel.org 開啟瀏覽器，進入到www.kernel.org，下載你需要的，我這裡是要更新最新的核心版本，所以直接點選黃色那個框“Lastest Stable Ker

[LeetCode] Non-negative Integers without Consecutive Ones 非負整數不包括連續的1

Given a positive integer n, find the number of non-negative integers less than or equal to n, whose binary representations do NOT contain consecutive one

Protease target prediction via matrix factorization Bioinformatics Oxford Academic

Protein cleavage is an important cellular event, involved in a myriad of processes, from apoptosis to immune response. Bioinformatics provides in silico to

深層神經網路和卷積神經網路的反向傳播過程推導

反向傳播過程是深度學習的核心所在，雖然現在很多深度學習架構如Tensorflow等，已經自帶反向傳播過程的功能。我們只需要完成網路結構的正向傳播的搭建，反向傳播過程以及引數更新都是由架構本身來完成的。但為了更好的瞭解深度學習的機理，理解反向傳播過程的原理還是很重要的。 在學

EM演算法過程推導

      EM是我一直想深入學習的演算法之一，第一次聽說是在NLP課中的HMM那一節，為了解決HMM的引數估計問題，使用了EM演算法。在之後的MT中的詞對齊中也用到了。在Mitchell的書中也提到EM可以用於貝葉斯網路中。 下面主要介紹EM的整個推導過程。 1. Jensen不等式       回顧優化

反向傳播過程推導例子

假如我們有個這樣的網路： 第一層是輸入層，包含兩個神經元i1，i2，和截距項b1；第二層是隱含層，包含兩個神經元h1,h2和截距項b2，第三層是輸出o1,o2，每條線上標的wi是層與層之間連線的權重，啟用函式我們預設為sigmoid函式。 其中， 輸入資料 i1=0.05，i2=0

A Gentle Introduction to Matrix Factorization for Machine Learning

Tweet Share Share Google Plus Many complex matrix operations cannot be solved efficiently or wit