Preface

Marginals and Conditionals of Gaussians（高斯分佈的邊緣分佈與條件分佈）
Restrictions of $Σ$ （限制協方差矩陣）
Factor Analysis（因子分析模型）
EM Algorithm for Factor Analysis

Marginals and Conditionals of Gaussians

假設一個隨機變數 $x$ ：

\begin{aligned} x = [\begin{matrix} x_{1} \\ x_{2} \end{matrix}] \end{aligned}

其中，

x_{1} \in R^{r}, x_{2} \in R^{s}, x \in R^{r + s}

。
再次假設

x \sim N (μ, Σ)

，所以可以得到：

\begin{aligned} μ = [\begin{matrix} μ_{1} \\ μ_{2} \end{matrix}], Σ = [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}] \end{aligned}

其中，

μ_{1} \in R^{r}, μ_{2} \in R^{s}, Σ_{11} \in R^{r \times r}, Σ_{12} \in R^{r \times s}

，並且逆對角矩陣相互對稱，即為

Σ_{12} = Σ_{21}^{T}

。
同時，我們可以求出隨機變數

x

的協方差矩陣：

\begin{aligned} C o v (x) & = Σ \\ = [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}] \\ = E [(x - μ) (x - μ)^{T}] \\ = E [\begin{matrix} (\begin{matrix} x_{1} - μ_{1} \\ x_{2} - μ_{2} \end{matrix}) & {(\begin{matrix} x_{1} - μ_{1} \\ x_{2} - μ_{2} \end{matrix})}^{T} \end{matrix}] \\ = [\begin{matrix} (x_{1} - μ_{1}) (x_{1} - μ_{1})^{T} & (x_{1} - μ_{1}) (x_{2} - μ_{2})^{T} \\ (x_{2} - μ_{2}) (x_{1} - μ_{1})^{T} & (x_{2} - μ_{2}) (x_{2} - μ_{2})^{T} \end{matrix}] \end{aligned}