線性代數 Cheat Sheet 4-8：差分方程中的應用
設 $\mathbb{S}$ 是數的雙向無窮序列空間：
\begin{equation}
{y_k} = (\cdots, y_{-2}, y_{-1}, y_0, y_1, y_2, \cdots)
\end{equation}
若 $\{z_k\}$ 是 $\mathbb{S}$ 中的另一個元素，則和 $\{y_k\} + \{z_k\}$ 是序列 $\{y_k + z_k\}$，它由 $\{y_k\}$ 與 $\{z_k\}$ 對應項之和構成。數乘 $c \{y_k\}$ 數序列 $\{c y_k\}$。
$\mathbb{S}$ 中的元素來源於工程學，例如每當一個訊號在離散時間上被取樣時，它就可以看做是 $\mathbb{S}$ 中的一個元素。為了方便，稱 $\mathbb{S}$ 為（離散時間）訊號 空間。$\mathbb{S}$ 中的一個訊號是一個只定義在整數上的函式，同時可用一個數列將其直觀化，即 $\{y_k\}$。
Contents
1. 訊號空間 $\mathbb{S}$ 中的線性無關性
考慮一個僅包含三個訊號 $\{u_k\}$，$\{v_k\}$ 和 $\{w_k\}$ 的集合 $\mathbb{S}$，當方程
\begin{equation}
c_1 u_k + c_2 v_k + c_3 w_k = 0 \;\; 對所有 k 成立 \tag{1}
\end{equation}
蘊含 $c_1 = c_2 = c_3 = 0$ 時，$\{u_k\}, \{v_k\}, \{w_k\}$ 恰好是線性無關的。這裡說“對所有 $k$ 成立”即對所有整數——正整數、負整數和 $0$ 均成立。對於從 $k = 0$ 開始的訊號，“對所有 $k$ 成立”表示對所有 $k \geq 0$ 的整數成立。
假設 $c_1, c_2, c_3$ 滿足 $(1)$ 式，那麼方程 $(1)$ 對任意三個相鄰的值 $k, k+1, k+2$ 成立，這樣 $(1)$ 蘊含
\begin{equation}
c_1 u_{k+1} + c_2 v_{k+1} + c_3 w_{k+1} = 0 \;\; 對所有 k 成立
c_1 u_{k+2} + c_2 v_{k+2} + c_3 w_{k+2} = 0 \;\; 對所有 k 成立
\end{equation}
從而 $c_1, c_2, c_3$ 滿足
\begin{equation}
\begin{bmatrix}
u_k & v_k & w_k \\ u_{k+1} & v_{k+1} & w_{k+1} \\ u_{k+2} & v_{k+2} & w_{k+2}
\end{bmatrix}
\begin{bmatrix}
c_1 \\ c_2 \\ c_3
\end{bmatrix} =
\begin{bmatrix}
0 \\ 0 \\ 0
\end{bmatrix} \tag{2}
\end{equation}
這個方程組的係數矩陣稱為Casorati 矩陣 ，這個矩陣的行列式稱為 $\{u_k\}, \{v_k\}, \{w_k\}$ 的Casorati 行列式 。如果對至少一個 $k$ 值 Casorati 矩陣可逆，則 $(2)$ 將蘊涵 $c_1 = c_2 = c_3 = 0$，這就證明這三個訊號是線性無關的。即只要在某一時間點 $\{u_k\}, \{v_k\}, \{w_k\}$ 線性無關，則認為三個訊號線性無關。
若 Casorati 矩陣不可逆，則相應的訊號通過檢測可能線性相關可能不是線性相關。但是可以證明，如果這些訊號是同一個齊次差分方程的所有解，則 Casorati 矩陣對所有 $k$ 是可逆的且這些訊號是線性無關的，否則 Casorati 矩陣對所有 $k$ 都不可逆且這些訊號是線性相關的。
2. 線性差分方程
給定數 $a_0, \cdots, a_n, a_0$ 部位零，給定一個訊號 $z_k$，方程
\begin{equation}
a_0 y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1} y_{k+1} + a_n y_k = z_k \;\; 對所有 k 成立 \tag{3}
\end{equation}
稱為一個$n$ 階線性差分方程 （或線性遞迴關係 ）。為了簡化，$a_0$ 通常取為 $1$。若 $\{z_k\}$ 是零序列，則方程式齊次的 ，否則方程式非齊次的 。
在許多應用中，序列 $\{z_k\}$ 由差分方程 $(3)$ 的右端確定，滿足 $(3)$ 的一個 $\{y_k\}$ 稱為這個方程的一個解 。
齊次差分方程的解通常具有形式 $y_k = r_k$ 對某 $r$ 成立。一般而言，一個非零訊號 $r_k$ 滿足齊次差分方程
\begin{equation}
a_0 y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1} y_{k+1} + a_n y_k = 0 \;\; 對所有 k 成立
\end{equation}
當且僅當 $r$ 是輔助方程
\begin{equation}
r^n + a_1 r_{n – 1} + \cdots +a_{n-1} r + a_n = 0
\end{equation}
的一個根，我們將不考慮當 $r$ 是輔助方程的重根的情形。當這個輔助方程由復根時，差分方程具有形如 $s^k \cos k \omega$ 和 $s^k \sin k \omega$ 的解，其中 $s$ 和 $\omega$ 是常數。
3. 線性差分方程的解集
給定 $a_1, \cdots, a_n$，考慮對映 $T: \mathbb{S} \mapsto \mathbb{S}$ 將訊號 $\{y_k\}$ 變換到訊號 $\{w_k\}$，這由下式給出：
\begin{equation}
w_k = y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k
\end{equation}
容易驗證 $T$ 是一個線性變換。這蘊含齊次方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = 0 \;\; 對所有 k 成立
\end{equation}
的解集是 $T$ 的核（經 $T$ 對映到零訊號空間的訊號的集合），進而這個解集是 $\mathbb{S}$ 的一個子空間，任何解的線性組合仍然是解。
定理 16若 $a_n \neq 0$ 且 $\{z_k\}$ 給定，只要 $y_0, \cdots, y_{n-1}$ 給定，方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = z_k \;\; 對所有 k 成立
\end{equation}
有唯一解。
定理 17$n$ 階齊次線性差分方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = 0\;\; 對所有 k 成立 \tag{4}
\end{equation}
的解集 $H$ 是一個 $n$ 維向量空間。
描述 $(4)$ 式“通解”的標準方法是對所有解構成的子空間給出它的一個基，這樣的基稱為 $(4)$ 的基礎解系 。實際上，如果我們能找到 $n$ 個線性無關的訊號滿足 $(4)$，那麼它們必然生成這個 $n$ 維解空間。
4. 非齊次方程
非齊次差分方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k =z_k \;\; 對所有 k 成立 \tag{5}
\end{equation}
的通解能寫成 $(5)$ 的一個特解加上對應齊次差分方程 $(4)$ 的一個基礎解系的任意線性組合。這個結果類似 $A \boldsymbol x = \boldsymbol b$ 和 $A \boldsymbol x = \boldsymbol 0$ 的解集的關係，二者是類似的。這兩個結果有相同的意義：對映 $\boldsymbol x \mapsto A \boldsymbol x$ 是線性的，$(5)$ 中將訊號 $\{y_k\}$ 變成訊號 $\{z_k\}$ 的對映也是線性的。
5. 化簡成一階方程組
研究 $n$ 階齊次線性差分方程的現代方法是用等價地一階線性方程組代替它，其中一階差分方程寫成如下形式：
\begin{equation}
\boldsymbol x_{k+1} = A \boldsymbol x_k, \;\; 對所有 k 成立
\end{equation}
其中向量 $\boldsymbol x_k$ 在 $\mathbb{R}^n$ 中，$A$ 是一個 $n \times n$ 矩陣。
一般而言，方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k =0 \;\; 對所有 k 成立
\end{equation}
可以重寫成 $\boldsymbol x_{k+1} = A \boldsymbol x_k$，對所有 $k$ 成立，其中
\begin{equation}
\boldsymbol x_k = \begin{bmatrix}
y_k \\ y_{k+1} \\ \vdots \\ y_{k+n-1}
\end{bmatrix},
A = \begin{bmatrix}
0 & 1 & 0 & \cdots & 0 \\
0 & 0 & 1 & \cdots & 0 \\
\vdots & & & \ddots & \vdots \\
0 & 0 & 0 & \cdots & 1 \\
-a_n & -a_{n-1} & -a_{n-2} & \cdots & -a_1
\end{bmatrix}
\end{equation}