本blog主要內容有：矩陣的奇異性、條件數與病態矩陣、矩陣求逆。

奇異矩陣和非奇異矩陣singular matrix&nonsingular matrix

概念和定義

若n階矩陣A的行列式不為零，即 |A|≠0，則稱A為非奇異矩陣或滿秩矩陣，否則稱A為奇異矩陣或降秩矩陣。

奇異矩陣是線性代數的概念，就是對應的行列式等於0的方陣。

奇異矩陣和非奇異矩陣的判斷和性質

奇異矩陣一定是方陣嗎

首先，看這個矩陣是不是方陣（即行數和列數相等的矩

陣。若行數和列數不相等，那就談不上奇異矩陣和非奇異矩陣）。

不過限定在某個知識範圍內是指方陣，例如線性代數當中只對方陣進行奇異矩陣的定義。正常來講是不限定必須是方陣的，比如在奇異值分解當中，用作估計的時候會定義奇異值矩陣不滿秩的矩陣為奇異陣，當然就不再限定是方陣。這種情況下矩陣不可求廣義逆，即使求莫奈偽逆也要用特殊的方法，另外這種矩陣如果有物理意義的話，往往不滿足正交核函式分解的條件。

一個矩陣A非奇異當且僅當：（等價的概念）
A的所有特徵值都不為零（lambda=0則|A|=0，只要矩陣A有一個特徵值為零，一定是奇異矩陣。即零特徵值反映矩陣的奇異性）
或A的行列式不為零，即 |A|≠0（A 為可逆矩陣，也即A的行列式不為零）
或A可逆
或A的秩為n（非奇異矩陣 A滿秩，Rank(A)=n；奇異矩陣 A的秩Rank(A)<n）
或A的列向量線性無關
或矩陣方程AX=b有唯一非零解（如果A為奇異矩陣，則AX=b有無窮解或者無解）或矩陣方程AX=0有且僅有零解（如果A為奇異矩陣，則AX=0有無窮解）
一個非奇異矩陣可表示成若干個初等矩陣之積。
一個矩陣非奇異當且僅當它代表的線性變換是個自同構。Note: 若A為非奇異矩陣，其順序主子陣Ai（i=1,...,n-1）不一定均非奇異。
如果n 階方陣A奇異，則一定存在一個n*1階非零向量X使： X'AX=0；成立。
[更詳細的描述ref：張賢達： 矩陣分析與應用 1.7逆矩陣與偽逆矩陣]

注意事項

計量經濟學中，當樣本容量太少或是當變數間存在完全相關性時會提示“near singular matrix”，意為“近奇異矩陣”。
在訊號處理中，當訊號協方差矩陣不是奇異矩陣時，則訊號不相關或者部分相關。

優化有兩大難題，一是：區域性最小值，二是：ill-condition病態問題。前者俺就不說了，大家都懂吧，我們要找的是全域性最小值，如果區域性最小值太多，那我們的優化演算法就很容易陷入區域性最小而不能自拔，這很明顯不是觀眾願意看到的劇情。那下面我們來聊聊ill-condition。

條件數condition number與病態矩陣

ill-condition對應的是well-condition，分別代表什麼？

假設我們有個方程組AX=b，我們需要求解X。如果A或者b稍微的改變，會使得X的解發生很大的改變，那麼這個方程組系統就是ill-condition的，反之就是well-condition的。

舉個例子

       左邊的那個。第一行假設是我們的AX=b，第二行我們稍微改變下b，得到的x和沒改變前的差別很大。第三行我們稍微改變下係數矩陣A，可以看到結果的變化也很大。換句話來說，這個系統的解對係數矩陣A或者b太敏感了。又因為一般我們的係數矩陣A和b是從實驗資料裡面估計得到的，所以它是存在誤差的，如果我們的系統對這個誤差是可以容忍的就還好，但系統對這個誤差太敏感了，以至於我們的解的誤差更大，那這個解就太不靠譜了。所以這個方程組系統就是ill-conditioned病態的，不正常不穩定有問題的。

    右邊那個就叫well-condition的系統了。

     對於一個ill-condition的系統，輸入稍微改變下，輸出就發生很大的改變，這表明我們的系統不能實用。例如對於一個迴歸問題y=f(x)，我們是用訓練樣本x去訓練模型f，使得y儘量輸出我們期待的值，例如0。那假如我們遇到一個樣本x’，這個樣本和訓練樣本x差別很小，面對他，系統本應該輸出和上面的y差不多的值的，例如0.00001，最後卻給我輸出了一個0.9999，這很明顯不對呀。就好像，你很熟悉的一個人臉上長了個青春痘，你就不認識他了，那你大腦就太差勁了，哈哈。

奇異的本質原因在於矩陣有0特徵值，x在對應特徵向量的方向上運動不改變Ax的值。如果一個特徵值比其它特徵值在數量級上小很多，x在對應特徵向量方向上很大的移動才能產生b微小的變化，這就解釋了為什麼這個矩陣為什麼會有大的條件數，事實上，正規陣在二範數下的條件數就可以表示成 abs(最大特徵值/最小特徵值)。

病態的衡量標準：條件數condition number

所以如果一個系統是ill-conditioned病態的，我們就會對它的結果產生懷疑。那到底要相信它多少呢？我們得找個標準來衡量吧，因為有些系統的病沒那麼重，它的結果還是可以相信的。終於回來了，上面的condition number就是拿來衡量ill-condition系統的可信度的。

condition number的定義

條件數是線性方程組Ax=b的解對b中的誤差或不確定度的敏感性的度量。數學定義為矩陣A的條件數等於A的範數與A的逆的範數的乘積，即cond(A)=‖A‖·‖A的逆‖，對應矩陣的3種範數，相應地可以定義3種條件數。

condition number衡量的是輸入發生微小變化的時候，輸出會發生多大的變化。也就是系統對微小變化的敏感度。

從線性代數的分析可知，矩陣的條件數總是大於1，正交矩陣的條件數等於1，奇異矩陣的條件數為無窮大，而病態矩陣的條件數則為比較大的資料（遠大於1）。也就是說奇異矩陣一定是病態的！

如果方陣A是非奇異的，那麼A的conditionnumber定義為：

也就是矩陣A的norm乘以它的逆的norm。所以具體的值是多少，就要看你選擇的norm是什麼了。

如果方陣A是奇異的，那麼A的condition number就是正無窮大了。

實際上，每一個可逆方陣都存在一個condition number。但如果要計算它，我們需要先知道這個方陣的norm（範數）和Machine Epsilon（機器的精度）。

當然，這個定義依賴於範數的選取。

• 若∥⋅∥{\displaystyle \|\cdot \|} 是 l2{\displaystyle l_{2}} 矩陣範數則

κ(A)=σmax(A)σmin(A){\displaystyle \kappa (A)={\frac {\sigma _{max}(A)}{\sigma _{min}(A)}}} 其中σmax(A){\displaystyle \sigma _{max}(A)}和σmin(A){\displaystyle \sigma _{min}(A)}分別是A{\displaystyle A}的極大和極小奇異值。因此

• 若A{\displaystyle A}是正規矩陣則

κ(A)=|λmax(A)λmin(A)|{\displaystyle \kappa (A)=\left|{\frac {\lambda _{max}(A)}{\lambda _{min}(A)}}\right|} (λmax(A), λmin(A){\displaystyle \lambda _{max}(A),\ \lambda _{min}(A)}分別是A{\displaystyle A}的極大和極小（根據模數）特徵值）

• 若A{\displaystyle A}是酉矩陣則

κ(A)=1{\displaystyle \kappa (A)=1}

• 若 ∥⋅∥{\displaystyle \|\cdot \|}是l∞{\displaystyle l_{\infty }} 矩陣範數而A{\displaystyle A}是下三角矩陣，非奇異（也即aii≠0∀i{\displaystyle a_{ii}\neq 0\;\forall i}）則：κ(A)≥maxi(|aii|)mini(|aii|){\displaystyle \kappa (A)\geq {\frac {\max _{i}(|a_{ii}|)}{\min _{i}(|a_{ii}|)}}}

其它意義下的條件數

奇異值分解，多項式求根，特徵值和其它許多問題的條件數也可以有定義。

通常，如果一個數值問題是適定的，它可以表達為一個函式f{\displaystyle f}對映它的資料（一個實數的m{\displaystyle m}元組x{\displaystyle x}）到它的解（一個實數的n{\displaystyle n}元組y{\displaystyle y}）。

它的條件數則定義為解中的相對誤差的半徑和資料中的相對誤差的比的最大值，取遍整個問題的定義域：

max{|f(x)−f(x∗)f(x)|/|x−x∗x|:|x−x∗|<ϵ}{\displaystyle \max \left\{\left|{\frac {f(x)-f(x^{*})}{f(x)}}\right|\left/\left|{\frac {x-x^{*}}{x}}\right|\right.:|x-x^{*}|<\epsilon \right\}}

其中ϵ{\displaystyle \epsilon }是問題中的資料的偏差的某個合理的小數值。

如果f{\displaystyle f}也是可微的，這可以近似的表示為

|f′(x)f(x)|.|x|{\displaystyle \left|{\frac {f'(x)}{f(x)}}\right|.\left|x\right|}.

為什麼要範數？

範數就相當於衡量一個矩陣的大小，我們知道矩陣是沒有大小的，但上面不是要衡量一個矩陣A或者向量b變化的時候，我們的解x變化的大小嗎？所以肯定得要有一個東西來度量矩陣和向量的大小吧？它就是範數，表示矩陣大小或者向量長度。對於AX=b，我們可以有以下的結論：

也就是我們的解x的相對變化和A或者b的相對變化是有像上面那樣的關係的，其中k(A)的值就相當於倍率，相當於x變化的界。

一句話總結：condition number是一個矩陣（或者它所描述的線性系統）的穩定性或者敏感度的度量，如果一個矩陣的condition number在1附近，那麼它就是well-conditioned的，如果遠大於1，那麼它就是ill-conditioned的，如果一個系統是ill-conditioned的，它的輸出結果就不要太相信了。

矩陣求逆

非奇異正方矩陣A的逆矩陣A-1

m*n(m!=n)的長方形滿列秩矩陣的左偽逆矩陣(A^HA)^-1A^H， 滿行秩矩陣的右偽逆矩陣A^H(AA^H)^-1

秩虧缺矩陣的逆矩陣：Moore-Penrose逆矩陣

[張賢達： 矩陣分析與應用 1.7逆矩陣與偽逆矩陣]

奇異矩陣/病態矩陣的求逆

 L2範數有助於處理條件數 condition number不好的情況下矩陣求逆很困難的問題。

如將下面的奇異矩陣XTX改造一下再求逆：

 

還有SVD分解的方法？Moore-Penrose逆矩陣？

ref: [張賢達： 矩陣分析與應用]