1. 程式人生 > >核範數最小二乘問題的唯一解析解(奇異值收縮運算元可以給出)

核範數最小二乘問題的唯一解析解(奇異值收縮運算元可以給出)

為了求解問題

這裡寫圖片描述

因為它是非凸的,我們求解一個它的近似演算法

這裡寫圖片描述

對於一個大的ττ值,它可以用下列等式接近

這裡寫圖片描述

其中第一項為核正規化(奇異值的和),第二項為Frobenius正規化。

  1. Singular Value Thresholding (SVT) 奇異值閾值

    * 奇異值收縮(singular value shrinkage)*

    首先我們考慮一個秩為rr的矩陣XRn1xn2X∈Rn1xn2的奇異值分解如下: 
    SVD 
    其中 UU 和 VV 分別為 n1×rn1×r 和 n2×rn2×r 的正交矩陣,奇異值為ρiρi非負的。

    對於每個τ0τ≥0,我們有軟閾值操作Dτ
    SVS 
    其中t+t+表示的tt非負部分,即 t+=max(0,

    t)t+=max(0,t)。換句話說,這個軟閾值操作僅僅應用於矩陣 XX 的奇異值上,使它們趨於零。這也是為什麼我們將其成為奇異值收縮(singular value shrinkage)的原因。

    * Singular Value Thresholding (SVT) 奇異值閾值*

    又因為奇異值收縮(singular value shrinkage)是核正規化的近似操作(具體證明見[3]),因此上式可以轉化為: 
    這裡寫圖片描述

    它的迭代方式為: 
    這裡寫圖片描述

    這個演算法受到壓縮感知中迭代演算法的啟發,在迭代過程中對矩陣進行SVD,然後將較小的奇異值設定為0,生成新的矩陣進行迭代。該演算法運算速度快,對於高位低秩矩陣的恢復非常有效。

  2. 用拉格朗日乘子法解釋

    原問題為:

    這裡寫圖片描述

    其拉格朗日函式為:

    這裡寫圖片描述

    強對偶成立,且拉格朗日函式的鞍點是原函式與對偶問題的最優解,即

    這裡寫圖片描述

    其迭代解為:

    這裡寫圖片描述

相關推薦

問題的唯一解析奇異收縮運算元可以

為了求解問題因為它是非凸的,我們求解一個它的近似演算法對於一個大的ττ值,它可以用下列等式接近其中第一項為核正規化(奇異值的和),第二項為Frobenius正規化。Singular Value Thresholding (SVT) 奇異值閾值* 奇異值收縮(singular

Python實現-----使用隨機梯度演算法對高斯模型進行學習法

(1)高斯核模型                           其中為樣本。可以看出,核模型的均值是以的元素進行計算的。 (2)隨機梯度下降法 (3)python 程式碼實現 import numpy as np import matplotlib

正則化與條件數cond

來源於自學《凸優化》和《矩陣分析與應用》筆記 正則化最小二乘 給定AϵRm×nAϵRm×n,bϵRmbϵRm,為函式F1和F2兩個目標的優化問題,Ax中A為已知系數矩陣,x表示要求的系數參數,b

python leastsq 函實現

誤差 實現 是個 ipy plt 筆記 matplot otl code 代碼修改自 http://www.cnblogs.com/NanShan2016/p/5493429.html 網上百度了一下,主要是兩個例子,一個利用了多項式函數,一個就是這個。有些細節沒看懂,

L2約束:高斯模型

clear; clc; n = 50; N = 1000; x = linspace(-3, 3, n)'; X = linspace(-3, 3, N)'; pix = pi*x; rng('default'); y = sin(pix) ./ (pix) +

Spark機器學習(10):ALS交替算法

mllib 測試 con 相互 idt color ted 個人 使用 1. Alternating Least Square ALS(Alternating Least Square),交替最小二乘法。在機器學習中,特指使用最小二乘法的一種協同推薦算法。如下圖所示,u表

大似然估計與

現在 最小 bayesian 我不知道 什麽 改變 我不 tps 有關 參考: 最大似然估計,就是利用已知的樣本結果,反推最有可能(最大概率)導致這樣結果的參數值。例如:一個麻袋裏有白球與黑球,但是我不知道它們之間的比例,那我就有放回的抽取10次,結果我發現我抽到了8次黑球

擬合次曲線

.fig pac atp matrix plot .text Coding 運算 提取數據 1 #coding=utf-8 2 from numpy import * 3 import numpy as np 4 import matplotlib.pyplo

極大既然估計和高斯分布推導、LASSO、Ridge回歸

baidu 器) ridge 連續概率 重要 eal 函數 應用 map 最小二乘法可以從Cost/Loss function角度去想,這是統計(機器)學習裏面一個重要概念,一般建立模型就是讓loss function最小,而最小二乘法可以認為是 loss function

線性兩種方法

梯度下降 神經網絡 log des sum 直線 ini 結束 erro 線性最小二乘擬合 y = w0 +w1x (參數 w0, w1) (1)如何評價一條擬合好的直線 y = w0 +w1x 的誤差?   "cost" of a given line : Res

擬合

有用 初始 等於 計算 合成 mage RR 周期性 () 來自:某小皮 最優化函數庫Optimization 優化是找到最小值或等式的數值解的問題。scipy.optimization子模塊提供函數最小值,曲線擬合和尋找等式的跟的有用算法。 最小二乘擬合 假設有一組實驗數

MIT線性代數:16.投影矩陣和

線性代數 技術 最小二乘 最小 image 代數 線性 圖片 投影 MIT線性代數:16.投影矩陣和最小二乘

2018.08.28 ali 梯度下降法實現

4.3 div 數量 ask pre oss 找到 1.7 二維 - 要理解梯度下降和牛頓叠代法的區別 #include<stdio.h> // 1. 線性多維函數原型是 y = f(x1,x2,x3) = a * x1 + b * x2 + c * x

Levmar:Levenberg-Marquardt非線性算法

例子程序 最小二乘 form sele span img pack nco work Levmar:Levenberg-Marquardt非線性最小二乘算法 [email protected] Abstract. Levmar is GPL native ANSI C impl

matlab練習程序多項式擬合

相關 sum 因此 使用 val fit width clas height 最近在分析一些數據,就是數據擬合的一些事情,用到了matlab的polyfit函數,效果不錯。 因此想了解一下這個多項式具體是如何擬合出來的,所以就搜了相關資料。 這個文檔介紹的還不錯,我估計

【Mark Schmidt課件】機器學習與資料探勘——普通

本課件主要內容包括: 有監督學習:迴歸 示例:依賴與解釋變數 數字標籤的處理 一維線性迴歸 最小二乘目標 微分函式最小化 最小二乘解 二維最小二乘 d維最小二乘 偏微分

線性代數筆記18——投影矩陣和

一維空間的投影矩陣   先來看一維空間內向量的投影:   向量p是b在a上的投影,也稱為b在a上的分量,可以用b乘以a方向的單位向量來計算,現在,我們打算嘗試用更“貼近”線性代數的方式表達。   因為p趴在a上,所以p實際上是a的一個子空間,可以將它看作a放縮x倍,因此向量p可以用p = xa來表示

數值分析 matlab

      1. 已知函式在下列各點的值為   -1 -0.75 -0.5 0 0.25 0.5 0.75  

迭代權重演算法

迭代權重最小二乘(Iteratively reweighted least squares, IRLS) [1] 方法用於求解\(p\)範數(\(p\) norm)的最小化問題。問題如下: \[\arg \min_{x} \sum_{i} | y_i - f_i (x) |^p\] 通過迭代的方法,在每次迭代

視覺SLAM常見的QR分解SVD分解等矩陣分解方式求解滿秩和虧秩問題

內容一  首先直接給出AX=B解的情況:  (1)R(A)< r(A|B),方程組無解  (2)r(A)=r(A|B)=n,方程組有唯一解  (3)r(A)=r(A|B) < n,方程組有無窮解  (4)r(A)>r(A|B),這種