曲線擬合過程中，需要求解線性方程組，下面談談線性方程組的求解方法：

1）svd求解

對於齊次線性方程 A*X =0; 當A的行數大於列數時，就需要求解最小二乘解，在||X||=1的約束下，其最小二乘解為矩陣A'A最小特徵值所對應的特徵向量。求解方法有兩種（matlab）：
1.  [ V D] =eig(A' *A); D為A' *A的特徵值對角矩陣，V為對應的特徵向量。找到最小特徵值對應的V中的特徵向量即為最小二乘解。
2. 使用SVD分解矩陣A，[U S V] = svd(A); 因為根據馬毅的書中的附錄介紹，U 由 A*A'的 特徵向量組成，V 由 A'*A的 特徵向量組成，因此，奇異值矩陣S中最小的奇異值對應的V中的奇異向量即為最小二乘解。

    對於超定方程（非齊次線性方程的一種）

3. SVD

任意矩陣A (mxn), 都能被奇異值分解為:

A = U *Σr *V

其中, U是mxm的正交矩陣, V是nxn的正交矩陣,Σr是由r個沿對角線從大到小排列的奇異值組成的方陣.r就是矩陣A的秩.

4. Moore-Pseudo逆

任意矩陣A, 若存在矩陣X, 使得:

AXA = A    ; XAX = X;  (AX) ^T = AX;    (XA)^T = XA

則稱X是A的Moore-Pseudo逆, 簡稱廣義逆, 記為A⁺.

矩陣A的廣義逆是唯一的, 並且可以利用A的SVD分解進行計算. 令A的SVD分解為:

不難驗證

5. 線性最小二乘問題

考慮線性方程組Ax=b, 求其最小二乘解.

如果A的秩是n, 則其唯一解是A⁺b; 如果秩小於n, 則有無窮多解, 其中的最小范數解仍然是A⁺b. 我們通常關心的也就是這個解.

2）QR求解

QR分解主要針對上海森伯格陣的全部特徵值問題和計算對稱三對角矩陣的全部特徵值問題

任意矩陣A(m * n)

QR分解後A = QR， 其中Q是M*M正交陣，R是M*N陣，當M》N時，R陣是三角陣，是矩陣A的特徵值，通過特徵值進而求解特徵向量。

延伸一下，QR分解也用於求解最小二乘問題。

3）Gauss消去法求解線性方程組

這個不多說了，找本線性代數書看看就懂

4）LU分解求線性方程組