線性代數 Cheat Sheet 7-1：對稱矩陣的對角化
一個對稱 矩陣是一個滿足 $A^\mathsf{T} = A$ 的矩陣 $A$，這種矩陣是方陣，其主對角線元素是任意的，但其他元素在主對角線的兩邊成對出現。
定理 1如果 $A$ 是對稱矩陣，那麼不同特徵空間的任意兩個特徵向量是正交的。
設 $\boldsymbol v_1, \boldsymbol v_2$ 是對應於不同特徵值 $\lambda_1, \lambda_2$ 的特徵向量，有
\begin{align}
\lambda_1 \boldsymbol v_1 \cdot \boldsymbol v_2 &= (\lambda_1 \boldsymbol v_1)^\mathsf{T} \boldsymbol v_2 = (A \boldsymbol v_1)^\mathsf{T} \boldsymbol v_2 = (\boldsymbol v_1^\mathsf{T} A^\mathsf{T}) \boldsymbol v_2 \\
&= \boldsymbol v_1^\mathsf{T} (A^\mathsf{T} \boldsymbol v_2) = \boldsymbol v_1^\mathsf{T} (\lambda_2 \boldsymbol v_2) = \lambda_2 \boldsymbol v_1^\mathsf{T} \boldsymbol v_2 \\
&= \lambda_2 \boldsymbol v_1 \cdot \boldsymbol v_2
\end{align}
因此有 $(\lambda_1 – \lambda_2)\boldsymbol v_1 \cdot \boldsymbol v_2 = 0$，但是 $\lambda_1 \neq \lambda_2$，故 $\boldsymbol v_1 \cdot \boldsymbol v_2 = 0$。
對於一個矩陣 $A$，如果存在一個正交矩陣 $P$（滿足 $P^{-1} = P^\mathsf{T}$）和一個對角矩陣 $D$ 使得
\begin{equation}
A = PDP^\mathsf{T} = PDP^{-1} \tag{1}
\end{equation}
則稱 $A$ 為可正交對角化 。
為了正交對角化一個 $n \times n$ 矩陣，需要找到 $n$ 個線性無關的特徵向量。如果 $A$ 像 $(1)$ 式一樣可以正交對角化，則
\begin{equation}
A^\mathsf{T} = (PDP^\mathsf{T})^\mathsf{T} = PDP^\mathsf{T} = A \tag{1}
\end{equation}
這樣的 $A$ 是對稱的。
定理 2一個 $n \times n$ 矩陣 $A$ 可正交對角化的充分必要條件是 $A$ 是對稱矩陣。
Contents
1. 譜定理
矩陣 $A$ 的特徵值的集合有時稱為 $A$ 的譜 。
定理 3（對稱矩陣的譜定理）一個對稱的 $n \times n$ 矩陣 $A$ 具有下述性質：
a. $A$ 有 $n$ 個特徵值，包含重複的特徵值。
b. 對每一個特徵值 $\lambda$，對應的特徵空間的維數等於 $\lambda$ 作為特徵方程的根的重數。
c. 特徵空間相互正交，這種正交性是在特徵向量對應於不同特徵值的意義下成立的。
d. $A$ 可正交對角化。
2. 譜分解
假設 $A = PDP^{-1}$，其中 $P$ 的列是 $A$ 的單位正交特徵向量 $\boldsymbol u_1, \cdots, \boldsymbol u_n$，且相應的特徵值 $\lambda_1, \cdots, \lambda_n$ 屬於對角矩陣 $D$，由 $P^{-1} = P^\mathsf{T}$，有
\begin{align}
A &= PDP^\mathsf{T} = \begin{bmatrix} \boldsymbol u_1 & \cdots & \boldsymbol u_n \end{bmatrix}
\begin{bmatrix} \lambda_1 & & 0 \\ & \ddots & \\ 0 & & \lambda_n \end{bmatrix}
\begin{bmatrix} \boldsymbol u_1^\mathsf{T} \\ \vdots \\ \boldsymbol u_n^\mathsf{T} \end{bmatrix} \\
&= \begin{bmatrix} \lambda_1\boldsymbol u_1 & \cdots & \lambda_n\boldsymbol u_n \end{bmatrix}
\begin{bmatrix} \boldsymbol u_1^\mathsf{T} \\ \vdots \\ \boldsymbol u_n^\mathsf{T} \end{bmatrix}
\end{align}
利用乘積的行列式展開式，可以得到
\begin{equation}
A = \lambda_1 \boldsymbol u_1 \boldsymbol u_1^\mathsf{T} + \lambda_2 \boldsymbol u_2 \boldsymbol u_2^\mathsf{T} +\cdots + \lambda_n \boldsymbol u_n \boldsymbol u_n^\mathsf{T} \tag{2}
\end{equation}
由於它將 $A$ 分解為由 $A$ 的譜（特徵值）確定的小塊，因此這個 $A$ 的表示就稱為 $A$ 的譜分解 。$(2)$ 中的每一項都是一個秩為 $1$ 的 $n \times n$ 矩陣。例如，$\lambda_1 \boldsymbol u_1 \boldsymbol u_1^\mathsf{T}$ 的每一列都是 $\boldsymbol u_1$ 的倍數。更進一步，在 $\boldsymbol x$ 屬於 $\mathbb{R}^n$ 的意義下，每個矩陣 $\boldsymbol u_j \boldsymbol u_j^\mathsf{T}$ 都是投影矩陣 ，向量 $(\boldsymbol u_j \boldsymbol u_j^\mathsf{T})\boldsymbol x$ 是 $\boldsymbol x$ 在由 $\boldsymbol u_j$ 生成的子空間上的正交投影。