一、最小二乘法：

1、矩陣、向量的求導法則：

思路：將前面的項看作一個整體，對後面求導後 再展開前面的 整體。

①行向量對元素進行求導：

②：列向量對元素進行求導：

③矩陣對元素進行求導：

④元素對行向量進行求導：

⑤元素對列、矩陣：類似上述方法。

⑥列向量對行向量求導、行向量對列向量求導：

⑦列向量對列向量求導：

           注意：工程上用雅克比矩陣來計算列向量與列向量求導，即先將  第一個 列向量 轉置轉化為 行向量，然後求導。

⑧矩陣對矩陣的求導：將Y看做整體 求導後 展開。

2、向量導數性質公式：

•    向量的導數公式：

                                

           公式一 推導：

3、標量的導數公式：A 是一個 方陣。

注意：  是一個標量，其值為：二次型 f(x1，x2... xn) 的結果。

4、標量對方陣的導數：

5、最小二乘法：

         作用：根據多組的實驗資料，找出多個引數 a,b,c .. 與 真實結果的 近似函式關係。

         方法：讓多個引數a,b,c .. 同時滿足 條件 實際上一般是不可能的，任何a，b代入上面各式都會發
                    生誤差。於是想找a，b，c 使 上面各式的誤差的平方和最小，誤差的平方即二乘方，故稱為最小二乘法。

過程： 

①構造方程組：               

②構造方程矩陣：A 是 係數矩陣  X 是引數 矩陣  B是真實值 矩陣。

 

③ 將最小二乘結果轉化為 列向量 AX - B 的 模的平方 ，求出函式的 最小值（極值，對 列向量 X 進行求導，）：

④ 結論：

 例題：

 

例二：

二、特徵值與特徵向量：

• 理解：矩陣是一個向量組，由許多 行向量 和 縱向量 組成。
•                        矩陣方程求解 用增廣矩陣初等變換化為 E 。齊次/非齊次方程組 的解用 初等變化 化為 行最簡階梯型。   
•                        初步認為由多元一次方程組的係數組成（區別於矩陣初等變換求解矩陣方程）。矩陣是一種線性變換，可以將一些向量轉化為另一種向量。

1、線性方程組求解：

   ①齊次方程組的解判定：

    ②非齊次方程組的解判定：

 ③基礎解系與通解的概念：基礎解系不是唯一的。

  ④例項：  求解線性方程組

•        注意：一定要將增廣矩陣轉化為 行最簡階梯型 。

 

 2、特徵值和特徵向量：

①特徵值特徵向量的定義：

 

三：矩陣的分解：

1、海森矩陣：

         是一個多元函式的二階偏導數構成的方陣：

       在具體點M0 的 海森矩陣：

    ①利用海森矩陣求解多元函式極值：

        例題：

  2、奇異矩陣（不可逆矩陣）：

3、正交矩陣與酉矩陣：

（1）正交向量的定義：

（2）正交矩陣與酉矩陣：它是方陣

          正交矩陣與酉矩陣的兩個特徵：負數的正交矩陣叫酉矩陣

           ① 列(行)向量都是單位向量。    ② 兩兩正交。 

（3）正交矩陣的性質：

4、QR分解：正交三角分解

            前提：矩陣A必須滿秩。

            方法：QR分解 要求 矩陣A列向量的 正交矩陣Q 與 係數矩陣 R。

（1）QR分解的定義： 

 （2）施密特正交化過程 ：

 （3）QR分解的步驟：

①寫出矩陣A所有的列向量

②將列向量施密特正交化

③將上面矩陣單位化得到正交矩陣

④求出正交矩陣轉化為矩陣A的係數矩陣R（上三角矩陣）。

例：

 

 

 

5、實對稱矩陣的譜分解（SD）：

         前提：矩陣 A 必須是 實對稱矩陣。

         方法：SD分解需要求矩陣A的 特徵值 與 特徵向量。

         注意：SD分解時：特徵值與特徵向量的排序要一一對應。

（1）譜分解（SD）分解的定義：

（2）例題：

 

 

 

 

6、奇異值分解（SVD）分解：

             前提：矩陣A沒有特殊要求

             方法：利用矩陣A的hermite矩陣 求出所有的特徵值 與 特徵向量 >>>>>>>> 求出 △ 和 酉矩陣 V ，由V1 求出 U1，在由                               U1 擴充 出 U。  

             注意：特徵值與特徵向量的排序要一一對應；注意V1、U1 與 酉矩陣V 、酉矩陣 U的關係。 

（1）SVD分解的定義：

（2）奇異值的定義：

          奇異值的特點：必須從大到小排列，且全部大於零（hermite矩陣特徵值排列後的平方根）

         1、hermite 矩陣：

          2、奇異值的定義：

（3）酉等價、酉相似：

（4）SVD分解的方法與步驟：

         ①求 矩陣A 的 hermite 矩陣的 酉相似對角矩陣 △ 及酉相似矩陣 V：

                具體方法：1） 通過hermite矩陣 求出 所有的 特徵值 和 特徵向量

                                  2）根據hermite特徵值求出 矩陣A 的奇異值，再根據每個特徵值 求出 對應的 特徵向量，酉矩陣 V 就是

                                             由 這些特徵向量按照 奇異值的 排列順序 的正交化矩陣。

                                  3）將酉矩陣V 用 （V1, V2）來寫：V1 是 奇異值或者特徵值 > 0 對應的 特徵向量，V2 是由剩餘的特徵向                                               量組成的。

           ②剩下的步驟：

               例題：