在推導公式和計算中，常常能碰到矩陣乘以其矩陣轉置，在此做個總結。

1.假設矩陣A是一個 $m*n$ 矩陣，那麼
A∗AT $A$

$X \theta =H$ 求解$\theta$.
$X^TX\theta =X^TH$ 這個矩陣X我們不能確定是否是方矩陣，所以我們在其左側同時乘以X矩陣的轉置，這樣 就在$\theta$ 的左側得到一個方矩陣。
$(X^TX)^{-1}X^TX\theta =(X^TX)^{-1}X^TH$ 再在等式的兩邊乘以$X^TX$的逆，就變成了單位矩陣$I$和$\theta$相乘，這樣我們就得到了$\theta$的解:
$\theta=(X^TX)^{-1}X^TH$

2.對稱矩陣
如果方陣A滿足$A^T=A$,就稱A為對稱矩陣。
假設$A=X^TX$,A的轉置$A^T=(X^TX)^T=X^TX=A$,所以我們可以說$(X^TX)$是一個對稱矩陣。對稱矩陣的特徵向量兩兩正交。 1

3.奇異值分解(SVD)
我們可以用與A相關的特徵分解來解釋A的奇異值分解。A的左奇異向量是$AA^T$的特徵向量，A的右奇異向量是$A^TA$的特徵向量，A的非零奇異值是$A^TA$特徵值的平方根，同時也是$AA^T$特徵值的平方根。 2

Reference:

1. https://blog.csdn.net/BingeCuiLab/article/details/47209037 ↩
2. Goodfellow I, Bengio Y, Courville A, et al. Deep learning[M]. Cambridge: MIT press, 2016. ↩