筆記源自：清華大學公開課：線性代數2——第3講：奇異值分解

提示：如果文中圖片看不清文字，請右鍵單擊滑鼠，選擇在新視窗開啟圖片，然後放大圖片（這邊上傳之前都是可以看清的，由於網頁正文部分大小固定，因此圖片被自動縮小以便適配網頁），截圖部分是課堂ppt老師隨手的板書。

目錄

前言

對角矩陣是我們最喜歡的一類矩陣，對能夠相似於對角陣的矩陣能方便地計算其冪和指數，對不能相似於對角陣的方陣。上節課我們討論瞭如何求出其儘可能簡單的相似標準形及Jordan標準形以上討論的都是方陣。那麼對m乘n的矩陣我們如何來對它進行對角化呢？

線性代數中最重要的一類矩陣分解即奇異值分解，從而回答以上的問題。對角矩陣是我們最喜歡的一類矩陣，因為給定一個對角陣立即就可以得到它的特徵值，行列式，冪和指數函式等等。對角矩陣的運算跟我們熟悉的數的運算有很多相似之處，而一個n階的矩陣相似於對角陣當且僅當它存在著n個線性無關的特徵向量。

特別地，實對稱矩陣一定會正交相似於對角陣，也就是說給你一個實對稱矩陣，一定存在著正交矩陣Q$Q$把它的列向量記成v1$v_1$到vn$v_n$，它能夠滿足QTAQ$Q^{T}AQ$等於λ$\lambda$，λ$\lambda$是一個對角陣，它的對角元是A$A$的特徵值，那麼其中Q$Q$的列向量vi$v_i$，它是矩陣A$A$的屬於特徵值，λi${\lambda }_i$的特徵向量，也就是滿足Avi$A{v}_i$等於λivi${\lambda }_i{v}_i$。我們現在有個問題是說，如果對於m×n$m\times n$的一個矩陣，我們如何來”對角化”它。那麼也就是說在什麼意義上，我們能夠儘可能地。把m×n$m\times n$的一個矩形的陣向對角陣靠攏，今天我們來討論矩陣的奇異值分解它是線性代數應用中，最重要的一類矩陣分解。

AAT$A{A}^T$與A

TA$A^{T}A$的特性

AAT$A{A}^T$與ATA$A^{T}A$的特徵值

AAT$A{A}^T$與ATA$A^{T}A$非0特徵值集合

ATA$A^{T}A$與AAT$A{A}^T$的特徵向量

令ui:=Aviσi∈Rm(1≤i≤r)$u_i:=\frac{A{v}_i}{{\sigma }_i}\in R^m(1\le i\le r)$，則 AATui=A(ATAviσi)=AATAviσi=Aσi2viσi=σi2Aviσi=σi2ui$A{A}^T{u}_i=A(A^T\frac{A{v}_i}{{\sigma }_i})=A\frac{A^{T}A{v}_i}{{\sigma }_i}=A\frac{{{\sigma }_i}^2{v}_i}{{\sigma }_i}={{\sigma }_i}^2\frac{A{v}_i}{{\sigma }_i}={{\sigma }_i}^2{u}_i$，得出：AATui=σi2ui$A{A}^T{u}_i={{\sigma }_i}^2{u}_i$。又因為：

相關推薦

清華大學公開課線性代數2——第3講：奇異值分解

筆記源自：清華大學公開課：線性代數2——第3講：奇異值分解 提示：如果文中圖片看不清文字，請右鍵單擊滑鼠，選擇在新視窗開啟圖片，然後放大圖片（這邊上傳之前都是可以看清的，由於網頁正文部分大小固定，因此圖片被自動縮小以便適配網頁），截圖部分是課堂ppt老師隨

清華大學公開課線性代數2——第9講：馬爾科夫矩陣和正矩陣

筆記源自：清華大學公開課：線性代數2——第9講：馬爾科夫矩陣和正矩陣 提示：如果文中圖片看不清文字，請右鍵單擊滑鼠，選擇在新視窗開啟圖片，然後放大圖片（這邊上傳之前都是可以看清的，由於網頁正文部分大小固定，因此圖片被自動縮小以便適配網頁），截圖部分是課堂p

MIT 線性代數導論 第六講：列空間以及零空間

本講的主要內容： 回顧向量空間以及子空間的知識點 使用線性方程組的思想看待列空間問題 零空間的概念 向量空間以及子空間 這裡主要是對之前的知識的一點回顧，有一點新問題是對於子空間，交以及並是否仍然是子空間？ 這裡以三維空間 R3R^{3}R3 為例： 取 P

MIT 線性代數導論 第九講：四個基本子空間

本講的主要內容： 四種子空間的概念以及維數、基 四種基本子空間 首先了解四種基本子空間是什麼： 列空間（column space），簡記為 C(A)C(A)C(A)， 由矩陣的列向量生成的空間 零空間（null space），簡記為 N(A)N(A)N(A

JVM系列第3講：到底什麼是虛擬機器？

我們都知道在 Windows 系統上一個軟體包裝包是 exe 字尾的，而這個軟體包在蘋果的 Mac OSX 系統上是無法安裝的。類似地，Mac OSX 系統上軟體安裝包則是 dmg 字尾，同樣無法在 Windows 系統上安裝。 為什麼不同系統上的軟體無法安裝，這是因為作業系統底層的實現是不一樣的。對於 W

第3講：3.1 ElasticSearch建立索引，增刪改查文件

1.新建一個testIndex類，設定ip和埠，寫getClient(){} 方法，新增@Before註解 package com.cruise; import java.net.InetAddress; import org.elasticsearch.action.d

MIT 線性代數導論 第二十講：特徵值與特徵向量

敲黑板，敲黑板 。特徵向量與特徵值在很多地方都有應用，這一將開始講這一部分的內容，也是線性代數裡面很重要的一部分知識了。 這一講的主要內容： 特徵值、特徵向量的概念 特徵值與特徵向量的計算方法 特徵向量、特徵值的概念 對於矩陣 AAA 和向量 xxx ， 有

第3講：Scala函數語言程式設計徹底精通

簡介： 本篇博文主要是對Scala函數語言程式設計的徹底詳解，涉及高階函式，閉包，顆粒化等詳解。 1. Scala函數語言程式設計 Scala中的函式的可以不依賴類或則藉口，獨立

Python語法第3講：陣列

1、陣列的建立 [python] view plain copy intArr = [1, 4, 2, 5, 3, 7, 9, 0] #整型陣列 strArr = ["北京", "上海", "杭州", "深圳"] #字串陣列 mixArr = [

《學習OpenCV3》第7章第4題-SVD奇異值分解的驗算

lac size ast 編寫代碼 ref www adding 第7章 mar 原文題目： 中文翻譯： 解題過程 d.使用OpenCV編寫代碼 /******************************************************

清華大學公開課《線性代數2》總結

本文是本人學習線性代數的筆記彙總，個人學習順序是網易MIT線性代數公開課結合其教材，然後是用清華大學線性代數公開課做複習，清華的課證明更多深度更深一些（邏輯更嚴密一些）而mit公開課是用及其3階矩陣講明

數學-線性代數-#2 用消元法解線性方程組

結合 單純 方框 法則 基本 步驟 滿足 原則 log 線性代數-#2 用消元法解線性方程組 #2實現了#1中的承諾，介紹了求解線性方程組的系統方法——消元法。 既然是一種系統的方法，其基本步驟可以概括如下： 1.將方程組改寫為增廣矩陣： 為了省去傳統消元法中反復出現但

讀書筆記--《程式設計師的自我修養》第3章：目標檔案裡有什麼（2）

3.4 ELF檔案結構描述 ELF檔案結構如圖所示： ELF目標檔案格式最前面是ELF檔案頭，它包含了描述整個檔案的基本屬性，如ELF檔案版本、目標機器型號、程式入口地址等。接著是ELF檔案各個段。 其中ELF檔案中與段有關的重要結構是段表。該表描述了ELF檔案包含的所有段的資訊

第3章：Maven使用入門/3.2 編寫原始碼

編寫原始碼 安裝Maven約定，原始碼要存放在src/java/main，所以依次建立三個目錄 按照POM中的<groupId>com.wys.myapp</groupId>和<artifactId>HelloWord</artif

第3講 3.2 ElasticSearch建立索引，增刪改查文件

3.寫方法testGet()根據id獲取文件， 測試     @Test     public void testGet() throws Exception{      

MIT 線性代數導論 第三講：矩陣乘法與逆矩陣

為了以後自己看的明白(●’◡’●)，我決定對複雜的計算過程不再用Latex插入數學公式了（記得不熟的實在是太費勁了，還是手寫好~） 第三講的主要內容有兩個： 四種矩陣乘法的方式 逆矩陣的概念以及計算方式 矩陣乘法（Matrix multiplication）

MIT 線性代數導論 第五講：置換-轉置-向量空間

本講的主要內容有： 轉置矩陣的概念 置換矩陣的概念 對稱矩陣的概念以及如何求得 向量空間的概念以及由矩陣生成向量空間 置換矩陣（Permutation Maxtrix） 在之前的一講中介紹了置換矩陣，置換矩陣就是行重新排列的單位矩陣，簡記為 PPP ，使用

MIT 線性代數導論 第十一講：矩陣空間、秩1矩陣和小世界圖

本講的主要內容有： 矩陣空間的具體概念 秩1矩陣的概念以及性質 小世界圖 矩陣空間 在之前的一講中提到了矩陣空間的概念，其實本質上與之前的向量空間是一致的，只是概念的拓展。例如：矩陣空間 MMM 是所有 3×33\times33×3 的矩陣構成的空間，它的子

MIT 線性代數導論 第十八講：行列式及其性質

從這一講開始新的章節。這一講主要是一些基礎概念性質，所以比較簡單。 本講的主要內容： 行列式的概念 行列式的重要性質 行列式的概念以及基本的三個性質 行列式是由方陣 AAA 確定的一個標量，記作 detadet \enspace adeta 或者 ∣A∣|A

tensorflow100天-第3天：線性迴歸

tensorflow版 # tensorflow 實現線性迴歸 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt # plt.ion() rng = np.random # 超引數 l