目錄
一、線性空間
1. 線性空間的概念
（1） 線性空間的定義
（2） 線性空間的本質
2. 線性空間的基
（1） 線性表示
（2） 線性相關
（3） 線性無關
（4） 線性空間基的定義
（5） 坐標
3. 線性空間的範數
（1） 範數的定義
（2） 賦範線性空間中的距離
（3） 歐幾裏得範數
（4） Lp範數
（5） Frobenius範數，矩陣中常用的範數
二、 矩陣分解
1. 方陣的正交分解
（1） 特征值和特征向量的定義
（2） 特征值：
（3） 特征向量：
（4） 矩陣分解
（5） 特征向量與其特征值之間的關系
2. 正交分解
（1） 正交矩陣
（2） 標準正交基
（3） 正交矩陣的性質
（4） 正交分解
3. 矩陣的奇異值分解(SVD)
（1） 非退化方陣的SVD
（2） 一般矩陣的SVD
（3） 偽逆(Moor-Penrose)
（4） 不相容線性方程組的解
（5） 定理
4. 主成分分析(PCA)
一、線性空間
1. 線性空間的概念
（1） 線性空間的定義
設V是一個非空集合，R為實數域。如果對於任意兩個元素 ??，??∈??，總有唯一的元素 ??∈??與之對應，成為 ??和??的和（和的運算法則可以任意定義），記為 ??=??+??；
又對於任一實數λ∈??和任一元素??∈??，總有唯一的元素??∈??與之對應，稱為λ與??的積（積的運算法則可以任意定義），記作 ??=λ??；
並且這兩種運算滿足以下八條規：
（設??，??，??∈??，λ，??∈??）
（i） ??+??=??+??
（ii） (??+??)+??=??+(??+??)
（iii） 在V中存在零元素??∈??，對任意的??∈??，都有??+??=??
（iv）對於任何的??∈??，都有??的負元素??，使得??+??=??
（v） 1??=??
（vi）λ(????)=(λμ)??
（vii） (λ+??)??=λα+????
（viii）λ(??+??)=λα+λ??
那麽，集合V就稱為（實數域上的）線性空間或向量。
滿足上述八條性質的加法和數乘運算叫做線性運算。
（2） 線性空間的本質：
在數學上其實就是一個集合，線性集合，只要滿足
對於任意的??，??∈??，λ,??∈??，都有λα+????∈??
即，加法和數乘都是封閉的，都稱為線性空間。
2. 線性空間的基
（1） 線性表示
??1,??2,…,???? ，??∈??，若存在一組實數??1,??2,…,????∈??，滿足??1??1+??2??2+?+????????=??，
則稱??可以由??1,??2,…,????線性表示。
（2） 線性相關
??1,??2,…,????∈??，若存在一組不全為0的實數??1,??2,…,????，滿足??1??1+??2??2+?+????????=0
則??1,??2,…,????線性相關。
詮釋：
1）線性相關，說明至少存在一個向量可以被其余的向量線性表示。
2）使用線性方程組來說明，就是至少有一個方程是無用的，即至少有一個向量是廢的，無用的。
（3） 線性無關
??1,??2,…,????∈??，若滿足??1??1+??2??2+?+????????=0，且必有??1=??2=…=????=0，
則??1,??2,…,????線性無關。
詮釋：
1）方程組中每一個方程都是有用的，都是方程組的本質。
（4） 線性空間基的定義
在線性空間V中，如果存在n個元素??1,??2,…,????，滿足：
（i） ??1,??2,…,????線性無關
（ii） V中任一元素??都可以由??1,??2,…,????線性表示
那麽，??1,??2,…,????稱為線性空間V的一個基，n（基的個數）稱為線性空間V的維數。
空間V稱為由基??1,??2,…,????張成的線性空間，記作V =span{??1,??2,…,????}。
1) 本質
基的本質就是指基是本質的、消不掉的、基礎的東西，可以由此刻畫出線性空間中其他所有元素，研究線性空間，研究構成這線性空間的基就可以了。
2) 基的性質
線性空間V中的任意元素x，都可以由該線性空間的基線性表示：
V = { x|x=??1??1+??2??2+?+???????? }，????為任意實數，??=1,2,…,??
（5） 坐標
1）定義
若V是一個線性空間，{??1,??2,…,????}是線性空間V的一組基，對於??∈??，如果有 ??=??1??1+??2??2+?+????????，那麽由系數所構成的 n維實向量(??1,??2,…,????)稱為??在基{??1,??2,…,????}下的
坐標。因此，線性空間的元素也稱為向量，線性空間也稱為向量空間。
2）本質
在基下的坐標，也就解釋了為什麽使用坐標可以表示空間中任意一個元素了，如二維坐標中，使用坐標(x,y)可以表示二維空間中任意一個數值。
3. 線性空間的範數
範數也稱為模
（1）範數的定義
在線性空間V中定義一種運算||.||:??→??，對於任意的??,??∈??，??∈??，滿足如下性質：
（i） || ??||≥ 0，即若 ||??|| = 0 等價於 ?? = ??（零向量）
（ii） 膨脹性：||????|| = ||??|| ||??||
（iii） 三角不等式： ||??+??|| ≤ ||??|| + ||??||
則稱||.||這種運算為線性空間V的一個範數，稱V為賦範線性空間。
（2）賦範線性空間中的距離
賦範線性空間中的元素??,??∈??，定義||?????||為??,??之間的距離。（即長度，也在這個線性空間中）
（3）歐幾裏得範數
在n維向量空間????中，對於任意向量x = (??1,??2,…,????)∈????, 則歐幾裏得範數：
（4）Lp範數
在實數空間????內，但1≤??<∞時，Lp範數定義為：
當??=∞時，????空間的??∞範數定義為 ：
（5） Frobenius範數，矩陣中常用的範數
二、矩陣分解
1. 方陣的正交分解
（1） 特征值和特征向量的定義
設 An×n，如果有數 和n維非零列向量??，使得
則稱 為A的特征值，非零列向量??為A的對應與特征值 的特征向量。
註意：
1） A是方陣，方陣才有特征值和特征向量
2） 特征向量??是非零列向量
3） 屬於特征值 的特征向量不唯一，有無數個
4） 但一個特征向量只能屬於一個特征值
（2） 特征值：
λ??是關於λ的多項式|???λ????|=0的根，記作λ1,λ2,…,λ??
（3） 特征向量：
屬於λ??的特征向量是線性方程組 (???λ??????)x=0的解。
（4） 矩陣分解
設{????1,????2,…,??????}是方程組(???λ??????)x=0的解空間的基（特征向量），定義一個矩陣：
????×?? = [??11,??12,…,??1??,??21,??22,…]??×??
那麽可以把矩陣A分解成如下形式：
稱這樣的分解為特征分解（或者稱為相似對角化）。
本質：
1） A可表示為：基(base)*特征值(feature) （聯想到了PCA）
2） A的特征分解可表征其特征向量與其特征值之間的關系
2. 正交分解
（1） 正交矩陣
定義：滿足 ??????=????（即???1=????）的n階方陣
（2） 標準正交基
定義：n個n維向量{??1,??2,…,????}∈????，滿足一下性質
則稱{??1,??2,…,????}∈????為一組標準正交基。
幾何意義：向量跟自己平行(長度)，而與其他都垂直，例如二維空間的坐標。
性質：[??1,??2,…,????]為n階交正矩陣，則{??1,??2,…,???? ∈???? } 為一組標準正交基，反之也成立。
（3） 正交矩陣的性質
（4） 正交分解
若n階方陣A可進行特征分解，即存在n階可逆矩陣P，使得
???1???? = ????????(λ1,λ2,…,λ??)
其中????為??的特征值, ????×?? = [??11,??12,…,??1??,??21,??22,…]??×??列向量為????對應的特征向量。
那麽，一定存在：
另一組屬於????的特征向量Q=[??11,??12,…,??1??,??21,??22,…]，滿足向量組{ ??11,??12,…,??1??,??21,??22,…}是一組n維標準正交基，即Q是n階正交矩陣，則有
???1????=????????=????????(λ1,λ2,…,λ??)
稱該分解為正交分解。
本質：正交分解是一種特殊的特征分解。
3. 矩陣的奇異值分解(SVD)
如果矩陣不可特征分解怎麽辦？引入了矩陣的奇異值分解。
（1） 非退化方陣的SVD
設??是n階非退化方陣，即滿秩：??(??)=??。那麽存在正交矩陣P和Q，使得
????????=diag(??1,??2,…,????)
其中 ???? > 0（??=1,2,…,??），但不是特征值，而是奇異值。稱為非退化方陣的SVD。
性質：
1） 不一定每個方陣都可以正交分解，只有實對稱矩陣(??=????)一定可以正交分解。但是每個方陣都可以進行SVD。
2）正交分解是同一個正交矩陣Q，SVD分解是兩個正交矩陣P、Q
3）正交分解對角線是特征值，SVD對角線不是特征值，但都大於0
（2） 一般矩陣的SVD
設A是秩為??(?? > 0)的??×??階實矩陣，則存在m階正交矩陣U和n階正交矩陣V，使得
其中Λ??=diag (??1,??2,…,????)
??1≥??2≥?≥????>0為矩陣??的全部奇異值.
????,????為矩陣??,??的列向量。
（3） 偽逆(Moor-Penrose)
則稱??+為矩陣A的偽逆，上述四個方程稱為Moore –Penrose方程。
（4） 不相容線性方程組的解
1）定義：設??∈????×??,??∈????，????=??是不相容線性方程組(即無解的方程組)。
若存在向量??0∈????，使得對於任何??∈????，都有
||????0???||≤||???????||
則稱??0為方程組????=??的最小乘解。
本質：雖然無解，但可以找一個與解最近的一個解，最近，則使用範數來衡量。
2）若??是方程組????=??的最小二乘解，如果對於任意一個??0，都有
||??|| ≤ ||??0|| （即取自己長度最短的）
則稱??是最佳最小二乘解。
（5） 定理
1） 設??∈????×??，??∈????，則向量??=??+??是方程組????=??的最佳最小二乘解。
2） 如果矩陣A的??????為??=??Λ????，那麽A的偽逆為??+=??Λ+????，其中Λ+是Λ的偽逆，是將Λ主對角線上非零元素????取倒數變成1/????之後再取轉置。
4. 主成分分析(PCA)
（1） 計算樣品數據的協方差矩陣 ??=(S????)??×??，其中
（2） 對矩陣??進行正交分解，並對特征值進行排序
（3） 確定最小的m，使得貢獻率
或者大於設定的某個值。
（4） 則主成分變量為：???? = ?????? (i=1…m)，其中
??= (??1,…,????)??
????為正交矩陣??的第??列向量
-tany 2017年10月3日 於杭州
Tags: 線性 矩陣 正交 空間 分解 定義
文章來源：