1. 最小二乘

$Ax=b$ 經常會沒有解，當方程個數大於未知數個數，也即 $m\>$

也就是誤差 $e=b-Ax$

當 $Ax=b$ 無解的時候，我們乘以 $A^T$ 來求解 $A^TAx=A^Tb$。

假如我們要找到一條直線，讓它距離 (0, 6) ，(1, 0)，(2, 0) 這三點最近。沒有直線 $b = C+Dt$ 同時穿過這三點，我們要找的兩個常數 $C$ 和 $D$。

$\begin{alignedat}{3} &C\quad+ \quad&D&\cdot 0 \quad=\quad 6 \\ &C\quad + \quad&D&\cdot 1 \quad=\quad 0 \\ &C\quad + \quad&D&\cdot 2 \quad=\quad 0 \end{alignedat}$

$A = \begin{bmatrix}1&0\\1&1\\ 1&2 \end{bmatrix} \quad x = \begin{bmatrix}C\\D \end{bmatrix} \quad b = \begin{bmatrix}6\\0\\0 \end{bmatrix}$

由於 $b = (6, 0, 0)$ 不是 $A$ 的列的一個線性組合，因此方程組無解。

$A^TAx=A^Tb \to \begin{bmatrix}3&3\\3&5\end{bmatrix} \begin{bmatrix}C\\D \end{bmatrix}\begin{bmatrix}6\\0 \end{bmatrix}$

$\begin{alignedat}{2} C = 5 \\ D =-3 \end{alignedat}$

因此，距離這三點最近的一條直線為 $b = 5-3t$。

2. 最小化誤差

• 幾何理解

任何 $Ax$ 都是 $A$ 的列的一個線性組合，它們都位於以 $A$ 的列為基的一個平面中。因此，我們要找的就是平面中的一個距離 $b$ 最近的向量，而這個向量就是 $b$ 在這個平面中的投影 $p$。

• 代數理解

$Ax=b=p+e$ 是不可解的，但 $A\hat x = p$ 是可解的。我們需要最小化下面這個誤差

$||Ax-b||^2 = ||Ax-p||^2 + ||e||^2$

當取 $x = \hat x$，$ ||Ax-p||^2 = 0$，因此最小誤差為 $|e||^2$。

• 微積分理解

誤差函式可以表示為

兩個未知數有兩個導數，當導數分別為零時，我們就得到了誤差函式的最小值。

整理後我們得到

可以看到，這和 $A^TAx=A^Tb$ 得到的結果是一樣的。也就是說當 $A^TAx=A^Tb$