最小二乘解
定義：任意$A=A_{m \times n}$，方程$AX=b$可產生新方程$A^HAX=A^Hb$，叫$AX=b$的正規方程。
引理：正規方程組$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$)
證明：
\[{A^H}A{X_0} = {A^H}A{A^ + }{X_0} = {A^H}{(A{A^ + })^H}{X_0} = {(A{A^ + }A)^H}{X_0} = {A^H}{X_0}\]
注：$A^HAX=A^Hb$有下面通解公式，$rank(A)=r$：
\[X = {X_0} + ({k_1}{Y_1} + ... + {k_{n - r}}{Y_{n - r}})\]
其中$X_0=A^+b$，$Y=k_1Y_1+...+k_{n-r}Y_{n-r}$
定義：任意$A=A_{m \times n}$可產生2個子空間
(1)$N(A)={X | AX=0, X \in C^n} \subset C^n$，稱為A的核空間
(2)$N(A)={AX | X \in C^n} \subset C^m$，稱為A的像空間又稱為值域
定理：
(1)$(A^+A)^2=A^+A$
(2)$(A+A)^2=A^+A$
(3)$AA^+ \ge 0$和$A^+A \ge 0$
引理：若$AX=b$有解，則必有特解：$X_0=A^+b$
證明：設$X_1$為$AX=b$的任意解，$AX_1=b$，把$X_0=A^+b$代入方程：
\[A{X_0} = A({A^ + }b) = A({A^ + }A{X_1}) = A{A^ + }A{X_1} = A{X_1} = b\]
正交引理：
(1)任意$A=A_{m \times n} \in C^{m \times n}, b \in C^{m}$，$X_0=A^+b \subset C^n$，則$X_0 \bot N(A))$
證明：
\[(X,{X_0}) = X_0^HX = {({A^ + }b)^H}X = {({A^ + }A{A^ + }b)^H}X = {({A^ + }b)^H}{({A^ + }A)^H}X = {({A^ + }b)^H}{A^ + }(AX) = 0\]
(2)任意$A=A_{m \times n} \in C^{m \times n}, b \in C^{m}$，$X_0=A^+b \subset C^n$，則$(A{X_0} - b) \bot R(A)$
證明：
\[(A{X_0} - b,AX) = {(AX)^H}(A{X_0} - b) = {X^H}{A^H}(A{X_0} - b) = {X^H}({A^H}A{X_0} - {A^H}b) = 0\]
定義：
(1)若$AX=b$無解，則稱$AX=b$為不相容方程。
(2)若$AX=b$有解，則稱$AX=b$為相容方程。
定理：$\min ({\left| {AX - b} \right|^2}) = A{X_0} - b$，$X_0=AX_0-b$為最小值點
證明：
\[{\left| {AX - b} \right|^2} = {\left| {AX - A{X_0} + A{X_0} - b} \right|^2} = {\left| {A(X - {X_0})} \right|^2} + {\left| {A{X_0} - b} \right|^2} \ge {\left| {A{X_0} - b} \right|^2}\]
定理：若$AX=b$不相容，$X_0=A^+b$是一個最小二乘解，其他最小二乘解X適合條件$AX=AX_9 \Leftrightarrow A(X-X_0)=0$，通解為：
\[X - {X_0} = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} \Rightarrow X = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} + {X_0}\]
定理：若AX=b不相容，則$X_0=A^+b$恰是全體最小二乘解中的最小長度（2範數）解，被稱為極小範數解。
\[{\left| X \right|^2} = {\left| {{X_0} + Y} \right|^2} = {\left| {{X_0}} \right|^2} + {\left| Y \right|^2} \ge {\left| {{X_0}} \right|^2}\]
定理：若$A=A_{m \times n}$與$X=X_{m \times n}$適合條件：$(1)AXA=A$，稱X為A的一個減號逆或1號逆，記為$X=A^-$或$X=A^{(1)}$
定理：減號逆矩不唯一
求解$A^-$
(1)
\[A = {\left[ {\begin{array}{*{20}{c}}
{{I_r}}&0\\
0&0
\end{array}} \right]_{m \times n}} \Rightarrow {A^ - } = {\left[ {\begin{array}{*{20}{c}}
{{I_r}}&C\\
D&F
\end{array}} \right]_{n \times m}}\]
$C,D,F$的取值任意
(2)若$A=A_{m \times n}$：
\[PAQ = B = {\left[ {\begin{array}{*{20}{c}}
{{I_r}}&0\\
0&0
\end{array}} \right]_{m \times n}} \Rightarrow {A^ - } = Q{\left[ {\begin{array}{*{20}{c}}
{{I_r}}&C\\
D&F
\end{array}} \right]_{n \times m}}P\]
擴充套件：矩陣方程$AXB=D$：
(1)若$AXB=D$相容，則必有特解$X_0=A^+DB^+$和$Y_0=A^-DB^-$，使得$AX_0B=D, AY_0B=D$
(2)若$AXB=D$相容，則$X_0=A^+DB^+$是最小范數解
(3)若$AXB=D$不相容，則$X_0=A^+DB^+$是最小二乘解