前言

之前的部落格中SVD推薦演算法寫得不是很嚴謹，r̂ ui=∑Ff=1PufQfi+μ+bu+bi${\hat{r}}_{ui}=\sum _{f=1}^F{P}_{uf}{Q}_{fi}+\mu +b_u+b_i$ 更像是矩陣分解多一點，沒有涉及到SVD的數學意義，這篇部落格大概會寫一些數學SVD的數學理解，以及SVD在PCA和推薦演算法上面的應用。

特徵值與特徵向量

如果一個向量v$v$是 方陣 A$A$的特徵向量，將可以表示成下面的形式：

Av=λv$$Av=\lambda v$$
此時λ$\lambda$就被稱為特徵向量v$v$對應的特徵值，並且一個矩陣的一組特徵向量是一組正交向量。特徵值分解是將一個矩陣分解成下面的形式：
A=QΣQ−1$$A=Q\mathrm{\Sigma }{Q}^{-1}$$
其中Q$Q$是這個矩陣A$A$的特徵向量組成的矩陣，

Σ$\Sigma$是一個對角陣，每一個對角線上的元素就是一個特徵值。可以簡單理解為提取矩陣最重要的特徵，Σ$\Sigma$為線性變換中矩陣變換的主要方向(可以參考連結1)。

缺點也非常明顯，就是隻適用於方陣，但對於實際情景中我們資料大部分都不是方陣，此時就要引入奇異值分解SVD了。

奇異值分解

奇異值分解(Singular Value Decomposition, SVD)是線性代數中一種重要的矩陣分解，在訊號處理、統計學等領域有重要應用。奇異值分解是一個能適用於任意的矩陣的一種分解的方法：

A=UΣVT$$A=U\mathrm{\Sigma }{V}^T$$
假設A$A$是一個N * M的矩陣，那麼得到的U$U$是一個N * N的方陣（裡面的向量是正交的，U裡面的向量稱為左奇異向量），

Σ$\Sigma$是一個N * M的矩陣（除了對角線的元素都是0，對角線上的元素稱為奇異值），VT$V^T$是一個N * N的矩陣，裡面的向量也是正交的，V裡面的向量稱為右奇異向量）

那麼，我們有

AAT=UΣVTVΣTUT=U(ΣΣT)UTATA=VΣTUTUΣVT=V(ΣTΣ)VT$$A{A}^T=U\mathrm{\Sigma }{V}^{T}V{\mathrm{\Sigma }}^T{U}^T=U(\mathrm{\Sigma }{\mathrm{\Sigma }}^T)U^T{A}^{T}A=V{\mathrm{\Sigma }}^T{U}^{T}U\mathrm{\Sigma }{V}^T=V({\mathrm{\Sigma }}^T\mathrm{\Sigma })V^T$$

這也就是說，U$U$ 的列向量（左奇異向量），是 AAT$A{A}^T$ 的特徵向量；同時，V$V$的列向量（右奇異向量），是 ATA$A^{T}A$ 的特徵向量；另一方面，M$M$的奇異值（Σ$\Sigma$ 的非零對角元素）則是 AAT$A{A}^T$ 或者 ATA$A^{T}A$ 的非零特徵值的平方根。

將奇異值和特徵值是對應起來：我們將一個矩陣AT∗A$A^T\ast A$，將會得到一個方陣，我們用這個方陣求特徵值可以得到：

(ATA)vi=λivi$$(A^{T}A)v_i={\lambda }_i{v}_i$$

這裡的向量vi$v_i$，就是我們上面的右奇異向量。此外我們還可以得到：

σi=λ√i,ui=1σiAvi$${\sigma }_i={\sqrt{\lambda }}_i,u_i=\frac{1}{{\sigma }_i}A{v}_i$$

這裡的σi${\sigma }_i$就是上面說的奇異值，

相關推薦

SVD奇異值分解 中特徵值與奇異值的數學理解與意義

前言 之前的部落格中SVD推薦演算法寫得不是很嚴謹，r̂ ui=∑Ff=1PufQfi+μ+bu+bir^ui=∑f=1FPufQfi+μ+bu+bi 更像是矩陣分解多一點，沒有涉及到SVD的數學意義，這篇部落格大概會寫一些數學SVD的數學理解，以及SVD在P

賦值語句中||與&&的理解與妙用

一、 宣告變數a a = 1 || 100; a = 0 || 100; 1、上述程式碼在JavaScript（弱型別的解釋型語言）中，結果如下： a = 1 || 100;　　//1 a = 0 || 100;　　//100 2、上述程式碼在C、Java等(強型別編譯型語言)中，結果如下：

關於JS中原型鏈中的prototype與_proto_的個人理解與詳細總結

轉載自：https://www.cnblogs.com/az96/p/6014621.html 一直認為原型鏈太過複雜，尤其看過某圖後被繞暈了一整子，今天清理硬碟空間（渣電腦），偶然又看到這圖，勾起了點回憶，於是索性複習一下原型鏈相關的內容，表達能力欠缺邏輯混亂別見怪（為了防止新人__（此處指我）__被在此

Python中“if __name__=='__main__':”理解與總結

1 引言 2 程式入口         學過Java、C、C++的程式設計師應該都知道，每次開啟一個程式，都必須寫一個主函式作為程式的入口，也就是我們常說的main函式。如下所示， main()就是Java中的一個main函式。 public class

深拷貝與淺拷貝的理解與區別

一 . 淺拷貝與深拷貝的區別     深拷貝：指的是拷貝一個物件時，它是把物件的引用進行復制，還把改物件引用的值也一起拷貝. 這樣進行深拷貝過後的拷貝物件和源物件就是兩個相互獨立互不相干的物件，深拷貝在拷貝時 遇到相同屬性的則替換，不同的則保留，常用於拷貝多層屬性的物件！

ROC曲線與AUC區域的理解與實踐

Receiver Operating Characteristic Area Under the Curve (ROC and AUC). 如何向別人解釋 ROC AUC 對評價機器學習演算法的意義： 一個樣本集，一半正樣本，一半為負樣本。如果一個機器

同步、非同步、阻塞與非阻塞的理解與使用場景

首先來一張圖片大致瞭解一下這四個概念： 然後再來聽一聽鄙人的一些個人見解： 先解釋最基礎的概念, 之後用生活化的例子完成認知。 首先是blocking 和 non-blocking這兩個概念。 這兩個概念實質上是和IO沒有關係的，他們是在說，比如

奇異值分解(SVD)原理與在降維中的應用

奇異值分解(Singular Value Decomposition，以下簡稱SVD)是在機器學習領域廣泛應用的演算法，它不光可以用於降維演算法中的特徵分解，還可以用於推薦系統，以及自然語言處理等領域。是很多機器學習演算法的基石。本文就對SVD的原理做一個總結，

[數學] 奇異值分解SVD的理解與應用

資料 blank art use 過濾 ble 對角線 cos .net 看一個預測的代碼，在預處理數據的時候使用了svd。了解了一下svd相關資料，比較喜歡第一篇文章的解釋，不過第二篇也很簡單。 https://blog.csdn.net/ab_use/article/d

機器學習中的數學-強大的矩陣奇異值分解(SVD)及其應用

版權宣告：     本文由LeftNotEasy釋出於http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 前言： &nb

機器學習：奇異值分解SVD簡介及其在推薦系統中的簡單應用

轉載自：https://www.cnblogs.com/lzllovesyl/p/5243370.html 本文先從幾何意義上對奇異值分解SVD進行簡單介紹，然後分析了特徵值分解與奇異值分解的區別與聯絡，最後用python實現將SVD應用於推薦系統。 1.SVD詳解 SVD(singul

矩陣論（三）：矩陣分解—從Schur分解、特徵值分解EVD到奇異值分解SVD

本篇部落格針對三種聯絡十分緊密的矩陣分解（Schur分解、特徵值分解、奇異值分解）依次介紹，它們的關係是Schur→EVD→SVDSchur\rightarrow{}EVD\rightarrow{}SVDSchur→EVD→SVD，也就是說由Schur分解可以推

奇異值分解SVD簡介及其在推薦系統中的簡單應用

本文先從幾何意義上對奇異值分解SVD進行簡單介紹，然後分析了特徵值分解與奇異值分解的區別與聯絡，最後用python實現將SVD應用於推薦系統。 1.SVD詳解 SVD(singular value decomposition)，翻譯成中文就是奇異值分解。SVD的用處有

矩陣的特徵值分解與奇異值分解的幾何意義

1、首先，矩陣可以認為是一種線性變換：確定了定義域空間與目標空間的兩組基，就可以很自然地得到該線性變換的矩陣表示。即矩陣A可以通過Ax=b將一個向量x線性變換到另一個向量b，這個過程中，線性變換的作用包

奇異值分解(SVD)與線性變換的幾何意義

奇異值分解( The singular value decomposition )   該部分是從幾何層面上去理解二維的SVD：對於任意的 2 x 2 矩陣，通過SVD可以將一個相互垂直的網格(orthogonal grid)變換到另外一個相互垂直的網格。   我們可以通過向量的方式來描述這個事實

矩陣特徵值分解與奇異值分解含義解析及應用

此文有一半轉載自他出，主要在這進行個整理，具體內容文中都有相關的轉載連結。特徵值與特徵向量的幾何意義矩陣的乘法是什麼，別隻告訴我只是“前一個矩陣的行乘以後一個矩陣的列”，還會一點的可能還會說“前一個矩陣的列數等於後一個矩陣的行數才能相乘”，然而，這裡卻會和你說——那都是表象。

特徵值分解與奇異值分解及其應用

SVD奇異值分解 正交矩陣 正交矩陣   正交矩陣對應著正交變換，特點在於不改變向量的尺寸（模）和任意兩個向量的夾角。在x-y座標系中，通俗地講，就是旋轉兩個座標軸，得到新的互相垂直的座標軸，求向量在新座標系中的投影。 正交變換舉例

特徵值分解，奇異值分解svd

特徵值分解： 特徵值分解（Eigen decomposition），又稱譜分解（Spectral decomposition）是將矩陣分解為由其特徵值和特徵向量表示的矩陣之積的方法。需要注意只有方陣才可以施以特徵值分解。 N 維非零向量 v 是 N

奇異值分解（SVD）與降維

一、特徵分解 許多數學物件可以通過將它們分解成多個組成部分或者找到它們地 一些屬性來更好的理解。這些屬性是通用的，而不是我們選擇表示它們的方式而產生的。如：我們可以用十進位制或二進位制等方式表示12，但12=2*2*3永遠是對的。 1、特徵分解 特

矩陣分解 (特徵值/奇異值分解+SVD+解齊次/非齊次線性方程組)

，#1. 用途# 1.1 應用領域 最優化問題：最小二乘問題 (求取最小二乘解的方法一般使用SVD) 統計分析：訊號與影象處理 求解線性方程組：Ax=0或Ax=b 奇異值分解：可以降維，同時可以降低資料儲存需求 1.2 矩陣是什麼 矩陣是什