矩陣分析(三)內積空間
根據前面的知識,可知,線上性空間中,向量之間的基本運算只有加法和數乘向量兩種運算,而向量的度量線上性空間理論中沒有反映,這侷限了線性空間理論的應用。在本篇中,我們將藉助於內積把度量概念引入到線性空間當中。
歐氏空間和酉空間
內積空間時線上性空間基礎上再定義多四個條件,如果針對的是實數域,這類內積空間稱為歐氏空間,如果針對的是複數域,這類內積稱為酉空間。其中,複數域與實數域條件稍有區別,即引入了共軛運算。基於此,兩類空間各有各的性質。但是,綜合起來說,酉空間的性質均適用於歐氏空間,而歐氏空間的性質並不完全適用於酉空間。
歐氏空間中的轉置對應於酉空間中的複共軛轉置,所以,歐氏空間中的很多定理可以通過把轉置替換為複共軛轉置的方式遷移到酉空間中去。
歐氏空間,酉空間這兩類空間之所以被提出,是為了將度量概念引入線性空間中,所以需要關注度量的基本性質:
- 非負性
- 齊次性
- 三角不等式
- Cauchy-Schwars不等式
Gram-Schmidt正交化方法
在解析幾何中,垂直是一個非常重要的概念。當兩個向量垂直時,他們的內積為零。在內積空間中引入了相似的概念,當連個向量的內積為零時,稱這它們為正交向量。進一步拓展,可以得到正交向量組的概念。
如果一組向量不僅正交,而且自己與自己的內積為1,那麼稱這樣的向量組為標準正交向量組。
可以證明,正交向量組是無關向量組。既然是無關的,那麼自然而然可以想到,拿他們來構成線性空間的一組基,這組基稱為標準正交基。
從線性空間的任何一組基出發,可以採用Gram-Schmidt正交化方法構造出一個標準正交基。
引入標準正交基的好處是使得度量矩陣變為單位矩陣,在很多計算問題中可用以簡化運算。
正交變換與酉變換
由標準正交向量組構成的矩陣具有什麼性質呢?
首先給出兩種重要矩陣的定義:
類似的,對複數陣,如果將上式的轉置改為複共軛轉置,則稱 是酉矩陣。
換種說法,就是矩陣的逆等於它的複共軛轉置。由此可見,對於這類矩陣,求逆矩陣是十分方便的。
可以證明,由兩類矩陣的列或者行構成的向量組就是標準正交向量組。而正交變換和酉變換在標準正交基下的矩陣表示分別就是這兩者。
而正交變換和酉變換的實質是內積空間中不改變向量內積結果的線性變換,也就是說變換前後度量不會發生改變,在解析幾何中就是指長度不變,比如平移,旋轉等操作就具有度量的不變性。
冪等矩陣
接下來再介紹另外一種特殊的矩陣——冪等矩陣,簡單說來就是平方等於本身的矩陣。
這類矩陣有個特殊的性質,就是其特徵值非零即1。並且與它相關的很多矩陣也具有特殊性質,比如它的轉置,複共軛轉置也都是冪等矩陣等。
正交投影
先說說投影,投影定義為:將一個空間中的向量唯一的表示為其兩個互補子空間中的向量之和,這時稱其中屬於某個子空間的子向量為原向量沿其補子空間到本子空間的投影。如果對應的操作時線性對映,就稱之為投影對映,如果對應的操作時線性變換,就稱之為投影變換。好吧,說的通俗一點,就是有降維的投影對應於投影對映,沒有降維的投影對應於投影變換。
對於投影變換,有個有趣的地方就是它的矩陣表示是冪等矩陣,它的值域和核空間的交集是零空間。
如果投影到的兩個互補子空間是正交的,那麼,這種投影就成為正交投影。前面講到的直和補,是指兩個子空間的交集為零空間,更進一步,如果兩個子空間還是正交的,這個時候稱為正交補,由此可以引申出正交和的概念。既然正交補是強化的直和補,自然直和補的性質就都適用於正交和了。
正交投影在標準正交基下的矩陣表示可以分解成一個次酉矩陣乘以它的複共軛轉置。什麼是次酉矩陣?就是行數大於列數,且各列可以組成標準正交向量組的矩陣。對這個矩陣有一條重要的式子 。
對稱變換與反對稱變換
接下來介紹的兩種變換對應於歐氏空間。
如果對內積中的某個元素作線性變換之後得到內積,與對另外一個元素作同樣變換之後得到的內積相等,那麼稱這樣的變換為對稱變換。這種變換在標準正交基下的矩陣表示為對稱矩陣。
反對稱變換與此類似。
正規矩陣
正規矩陣是另外一類非常重要的矩陣,它只比酉矩陣少了一項約束,即定義它與其複共軛轉置乘積等於其複共軛轉置與它的乘積,但不要求等於單位矩陣。也就是說,酉矩陣是強化的正規矩陣。因此,酉矩陣的所有性質均適用於正規矩陣,正規矩陣的應用場合廣於酉矩陣。
講到正規矩陣,就不得不提到酉相似的概念,因為正規矩陣的很多性質與酉相似相關。
設 和為 階方陣,若存在 階矩陣 使得 ,則稱矩陣 酉相似於 。
由此定義出發,可以得到Schur引理,及任何一個 階復矩陣酉相似於一個上(下)三角矩陣。
正規矩陣的重要性體現在,與相似性原理聯絡起來,它酉相似於對角矩陣,且對角矩陣元素是它的特徵值。與正交關係聯絡起來,它屬於不同特徵值的子空間互相正交。此外,在正規矩陣分別為Hermite矩陣,反Hermite矩陣,酉矩陣時,它的特徵值顯現出特殊的形式,分別為均是實數,均是純虛數,模長均為1。
正規變換
每個方陣均對應於一個線性變換,正規矩陣作為方陣,肯定也不例外,他對應的變換為正規變換。既然如此,正規矩陣的很多性質就可以直接套到正規變換中來,比如正規矩陣可以對角化,所以正規變換是可以對角化的線性變換,也就是說,存在一個標準正交基使得它可以表示為對角矩陣。
Hermite矩陣與Hermite變換
所謂Hermite矩陣,就是將對稱矩陣推廣到複數域上,這裡多了轉置的概念而已。換句話說,對稱矩陣其實是Hermite矩陣在實數域的特殊表現形式。很多對稱矩陣的性質同樣適用於Hermite矩陣。
Hermite矩陣對應的線性變換就是Hermite變換,根據前面的知識,Hermite的性質可以被直接應用於Hermite變換上面,這裡不再贅述。
類似地,由反對稱矩陣和反對稱變換可以擴充套件得到反Hermite矩陣和反Hermite變換。
待續。