2. 程式人生 > >矩陣範數（martix norm） --維基百科

矩陣範數（martix norm） --維基百科

阿新 • • 發佈：2019-02-07

矩陣範數（martix norm）是數學上向量範數對矩陣的一個自然推廣。

[編輯]矩陣範數的特性

以下K代表實數或複數域。現在考慮K^{m \times n}空間，亦即所有m行與n列的矩陣。

K^{m \times n}上的矩陣範數滿足向量範數的所有特性，即若\|A\|是矩陣A的範數，那麼：

  • \|A\|\ge 0，且等號成立當且僅當A= 0。
  • \|\alpha A\|=|\alpha| \|A\|，對於所有α屬於K和所有矩陣A屬於K^{m \times n}成立。
  • \|A+B\| \le \|A\|+\|B\|，對於所有矩陣A和B屬於K^{m \times n}.

此外，一些定義在n乘n矩陣上的矩陣範數（但並非所有這類的範數）滿足一個或多個以下與“矩陣比純粹一個向量有更多東西的事實”有關的條件：

一個滿足第一個附加特性的矩陣範數被稱為服從乘法範數（sub-multiplicative norm

）。附上矩陣範數幷包含所有n×n矩陣的集合，是巴拿赫代數的一個例子。

（在一些書上，術語“矩陣範數”只指服從乘法範數。）

[編輯]誘導範數

如果Km及Kn上向量範數已知（K是實數或複數域），可在m \times n矩陣空間上按照下述原則定義相應的“誘導範數”或運算元範數：

\begin{align}\|A\| &= \max\{\|Ax\| <wbr>: x\in K^n \mbox{ with }\|x\|\le 1\} \\&= \max\{\|Ax\| <wbr>: x\in K^n \mbox{ with }\|x\| = 1\} \\&= \max\left\{\frac{\|Ax\|}{\|x\|} <wbr>: x\in K^n \mbox{ with }x\ne 0\right\}.\end{align}

若m=n且在定義域和值域上使用相同的範數，則誘導的運算元範數是服從乘矩陣範數。

舉例說明, 與向量的p-範數對應的運算元範數是：

\left \| A \right \| _p = \max \limits _{x \ne 0} \frac{\left \| A x\right \| _p}{\left \| x\right \| _p}.

在p= 1且p=\infty的情況下，其範數可以以下方式計算：

\begin{align}& \left \| A \right \| _1 = \max \limits _{1 \leq j \leq n} \sum _{i=1} ^m | a_{ij} | \\& \left \| A \right \| _\infty = \max \limits _{1 \leq i \leq m} \sum _{j=1} ^n | a_{ij} | .\end{align}

這些與矩陣的 Schattenp-範數不同, 也可以用\left \| A \right \| _p .來表示。

若滿足p= 2（歐幾里德範數）且m=n（方陣）此兩特殊情況時，誘導的矩陣範數就是“譜範數”。矩陣A

的譜範數是A最大的奇異值或半正定矩陣A*A的最大特徵值的平方根：

\left \| A \right \| _2=\sqrt{\lambda_{\text{max}}(A^* A)}

其中A*代表A的共軛轉置。

任何矩陣範數滿足此不等式

\left \| A \right \| \ge \rho(A),

其中 ρ(A) 是A的譜半徑。事實上，可以證明 ρ(A) 是A的所有誘導範數的下界。

此外，我們有

\lim_{r\rarr\infty}\|A^r\|^{1/r}=\rho(A).

[編輯]矩陣元範數

這些向量範數將矩陣視為m \times n向量，並使用類似的向量範數。

舉例說明，使用向量的p-範數，我們得到：

\Vert A \Vert_{p} = \Big( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^p \Big)^{1/p}. \,

注：不要把矩陣元 p-範數與誘導 p-範數混淆。

[編輯]弗羅貝尼烏斯範數

對p= 2，這稱為弗羅貝尼烏斯範數（Frobenius norm）或（ Hilbert–Schmidt norm），不過後面這個術語通常只用於希爾伯特空間。這個範數可用不同的方式定義：

\|A\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2}=\sqrt{\operatorname{trace}(A^{{}^*} A)}=\sqrt{\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}^2}

這裡A*表示A的共軛轉置，σi是A的奇異值，並使用了跡函式。弗羅貝尼烏斯範數與Kn上歐幾里得範數非常類似，來自所有矩陣的空間上一個內積。

弗羅貝尼烏斯範數是服從乘法的且在數值線性代數中非常有用。這個範數通常比誘導範數容易計算。

[編輯]極大範數

極大範數是p=∞ 的元素範數，

\|A\|_{max}=\max\{|a_{ij}|\}.

這個範數不服從乘法。

[編輯]Schatten 範數

Schaten 範數出現於當 p-範數應用於一個矩陣的奇異值向量時。如果奇異值記做σi， 則 Schattenp-範數定義為

\|A\|_p = \Big( \sum_{i=1}^{\min\{m,\,n\}} \sigma_i^p \Big)^{1/p}. \,

這個範數與誘導、元素p-範數使用了同樣的記號，但它們是不同的。

所有 Schatten 範數服從乘法。它們也都是酉不變的，這就是說 ||A|| = ||UAV|| 對所有矩陣A與所有酉矩陣U和V。

最常見的情形是p= 1, 2, ∞。p= 2 得出弗羅貝尼烏斯範數，前面已經介紹過了。p= ∞ 得出譜範數，這是由向量 2-範數誘導的矩陣範數（見下）。最後，p= 1 得出跡範數，定義為

\|A\|_{\text{tr}}=\operatorname{trace}(\sqrt{A^*A})=\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}.

[編輯]一致範數

一個K^{m \times n}上矩陣範數\| \cdot \|_{ab}稱為與Kn上向量範數\| \cdot \|_{a}以及Km上向量範數\| \cdot \|_{b}一致，如果

\|Ax\|_b \leq \|A\|_{ab} \|x\|_a

對所有A \in K^{m \times n}, x \in K^n。根據定義，所有誘導範數是一致範數。

[編輯]範數的等價

對任何兩個向量範數 ||·||αand ||·||β，我們有

r\left\|A\right\|_\alpha\leq\left\|A\right\|_\beta\leq s\left\|A\right\|_\alpha

對某個正數r與s，K^{m \times n}中所有矩陣A成立。換句話說，它們是等價的範數；它們在K^{m \times n}上誘導了相同的拓撲。

此外，當A\in \mathbb{R}^{n\times n}，則對任何向量範數 ||·||，存在惟一一個正數k使得k||A|| 是一個（服從乘法）矩陣範數。

一個矩陣範數 ||·||α稱為“極小的”，如果不存在其它矩陣範數 ||·||β滿足 ||·||β≤||·||α。

[編輯]範數等價的例子

對矩陣A\in\mathbb{R}^{m\times n}如下不等式成立[1][2]：

  • \|A\|_2\le\|A\|_F\le\sqrt{n}\|A\|_2
  • \|A\|_{\text{max}} \le \|A\|_2 \le \sqrt{mn}\|A\|_{\text{max}}
  • \frac{1}{\sqrt{n}}\|A\|_\infty\le\|A\|_2\le\sqrt{m}\|A\|_\infty
  • \frac{1}{\sqrt{m}}\|A\|_1\le\|A\|_2\le\sqrt{n}\|A\|_1

這裡，||·||p表示由向量p-範數誘導的矩陣範數。

向量範數之間另一個有用的不等式是

\|A\|_2\le\sqrt{\|A\|_1\|A\|_\infty}.

[編輯]參考資料

  1. ^Golub, Gene; Van Loan, Charles F., Matrix Computations. 3rd, Baltimore: The Johns Hopkins University Press. 1996:  56-57,ISBN 0-8018-5413-X
  2. ^Horn, =Roger; Johnson, Charles, Matrix Analysis, Cambridge University Press. 1985,ISBN 0-521-38632-2
  1. Douglas W. Harder, Matrix Norms and Condition Numbers[1]
  2. James W. Demmel, Applied Numerical Linear Algebra, section 1.7, published by SIAM, 1997.
  3. Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, published by SIAM, 2000.[2]

相關推薦

矩陣範數（martix norm） --維基百科

矩陣範數（martix norm）是數學上向量範數對矩陣的一個自然推廣。 [編輯]矩陣範數的特性 以下K代表實數或複數域。現在考慮空間，亦即所有m行與n列的矩陣。 上的矩陣範數滿足向量範數的所有特性，即若是矩陣A的範數，那麼： ，且等號成立當且僅當A= 0。，對

小專案（Gensim庫）--維基百科中文資料處理

1.下載維基百科資料 https://dumps.wikimedia.org/zhwiki/latest/ 2.預處理檔案：將壓縮的檔案轉化成.txt檔案 新增指令碼檔案process.py，程式碼如下： import logging import os.path import sys

機器學習防止過擬合之L1範數（正則）與LASSO

機器學習過擬合問題 對於機器學習問題，我們最常遇到的一個問題便是過擬合。在對已知的資料集合進行學習的時候，我們選擇適應度最好的模型最為最終的結果。雖然我們選擇的模型能夠很好的解釋訓練資料集合，但卻不一定能夠很好的解釋測試資料或者其他資料，也就是說這個模型過於精

【 MATLAB 】norm ( Vector and matrix norms )（向量範數以及矩陣範數）

norm Vector and matrix norms Syntax n = norm(v) n = norm(v,p) n = norm(X) n = norm(X,p) n = norm(X,'fro') Description n = norm

常見範數（向量範數、矩陣範數）及其在機器學習演算法的應用

注意，範數有很多種，它是根據性質來定義的。滿足下面三條性質的都可以稱為範數： 那麼，範數用來幹嘛的？上面三個性質，非常像中學向量的模長的定義。二維、三維向量模長也符合上面3個條件，所以也可以叫做範數。所以，其實引入“範數”就是為了得到一種線性空間中的向量“大小”的度量、或兩個向量之間的“接

矩陣範數的等價性（原創）

矩陣範數的等價 設 F=RF=R 或 C,C, 對於任意兩個Fn×nFn×n 上的範數 ∥⋅∥α‖⋅‖α 與 ∥⋅∥β,‖⋅‖β, 若存在常數 C1>0,C2>0,C1>0,C2&g

範數（norm）

不說那麼多理論了，弄蒙咋整，直接說常見範數及其用途。 一、向量範數 1.1、 0-範數 嚴格說不屬於範數，向量中非零元素的個數。 1.2、 1-範數 即向量元素絕對值之和，matlab呼叫函式norm(x, 1) 。 1.3、 2-範數 Euclid範數（歐幾里得範數，

復數的輻角（維基百科）

alt 技術 src com mage nbsp 技術分享 分享 復數 復數的輻角（維基百科）

能量泛函優化方法——L2範數（應用於影象處理）

在深度學習大火的今天，熟不知以前的影象處理方法大都還是使用能量泛函優化的方法，即使是今天依然有著深度學習不可取代的魅力。要想學習，基礎的優化方法必不可少。 先說說傳統的影象處理方法包括影象超分，影象去模糊，影象去噪等，現在一些有意思的應用比如去雨、去霧、去霾、去雲等等。在深度學習之前解決這類

2018.09.29【洛谷P2106】Sam數（數位DP）（矩陣快速冪）

傳送門 解析： 其實這種只用位數轉移的數位DPDPDP，大概都可以用矩陣快速冪推。本質原因是每層的轉移方程與這是第幾層無關，比如這道題。 思路： 可以發現一個很顯然的情況，就是上面說的，這道題可以矩陣

範數——（初識）

1.起因         在照著書打程式碼時，看到了一句莫名其妙的程式碼：np.linalg.norm()         百度一下————這是範數.........         很久以前聽過這個東西，今天碰到了，簡單瞭解下吧。 2.懵逼的開始 其實對我

向量範數與矩陣範數norm 向量範數與矩陣範數

轉 向量範數與矩陣範數 2016年07月18日 20:35:26 bitcarmanlee 閱讀數：42662 &l

L0、L1、L2範數與核範數（二）

OK，回到問題本身。我們選擇引數λ的目標是什麼？我們希望模型的訓練誤差和泛化能力都很強。這時候，你有可能還反映過來，這不是說我們的泛化效能是我們的引數λ的函式嗎？那我們為什麼按優化那一套，選擇能最大化泛化效能的λ呢？Oh，sorry to tell you that，因為泛化效能並不是λ的簡單的函式！它具有很

矩陣的旋轉（90度）輸出：

iostream math cin bottom i++ scripts html fontsize name 對於一個給定的 3\times 33×3 矩陣，請將其順時針旋轉 90度後輸出。 輸入格式 每次程序運行時，你的程序僅需要輸入三行，第 i行輸入三個整數 a_i

python_遞歸_協程函數（yield關鍵字）_匿名函數_模塊

ont fin 自動 urn 2-0 作用 tor gif 實現 協程函數（yield） 協程函數：生成器：yield關鍵字的另一種用法 例：裝飾器自動初始化函數（生成器函數）deco 1 yield的語句形式： yield 1 2 #yield的表達式形式： x=

Python基礎day-11[內置函數（未完），遞歸，匿名函數]

oat 讀寫 磁盤 自動 信息 map() instance 冒號 匿名 內置函數： abs() : 返回數字的絕對值。參數可以是整數或浮點數，如果參數是復數，則返回復數的模。 print(abs(0.2)) print(abs(1)) print(abs(-4)) pr

[LeetCode]Median of Two Sorted Arrays 二分查找兩個有序數組的第k數（中位數）

大於 data div ble 關系 操作 spa 兩個 -1 二分。情況討論 因為數組有序，所以能夠考慮用二分。通過二分剔除掉肯定不是第k位數的區間。如果數組A和B當前處理的下標各自是mid1和mid2。則 1、假設A[mid1]<B[mid2]， ①

從ajax的回調函數（success等）中取返回值

ray div eno log left 應該 var code msg 1 var strs = new Array(); 2 3 function getData() { 4 var strs2 = n

Function Programming - 純函數（Pure Function）

logs 介紹 更改 strong 我們 url script imu 觀察 純函數的定義，非常重要！！ Pure function 意指相同的輸入，永遠會得到相同的輸出，而且沒有任何顯著的副作用。 老樣子，我們還是從最簡單的栗子開始： var minimum = 21;

CSUOJ-1980 不堪重負的數（區間dp）

inline 滿二叉樹 -a ems ext div des button problems 1980: 不堪重負的樹 Submit Page Summary Time Limit: 1 Sec Memory Limit: 128 Mb Subm