【論文標題】 Stochastic PCA with ℓ2 and ℓ1 Regularization   （ICML 2018）

【論文作者】—Poorya Mianjy  (Johns Hopkins University )，Raman Arora (Johns Hopkins University )

【論文連結】Paper （9-pages // Double column）

 

 

【摘要】

　　（本文）我們重新討論了基於凸鬆弛的主成分分析隨機優化方法。

 

　　直接求解非凸問題的方法已被證明具有最優的統計效益和計算效率。

 

　　而基於凸鬆弛的方法已經被證明其實驗效能可以比得上前者，甚至比前者更優越。——這激勵我們需要更深層次的正式的（規範地）對後者進行理解。

 

　　因此，本文研究了凸鬆弛PCA的 (a)ℓ2 正則； (b) ℓ1正則；和(c)彈性網（ℓ1 + ℓ2）正則的隨機梯度下降變體，希望這些變體能夠分別產生(a)更好的迭代複雜性，(b)更好地控制中間迭代的秩，和(c)兩者的結合。

 

　　我們從理論和實驗上表明，與以往基於凸鬆弛的方法相比，我們所提出的變體產生了更快的收斂速度，並改進了總體執行時間，從而在PCA目標上實現了使用者指定的 次最優。

 

　　此外，我們進一步證明了所提方法在主成分分析目標和子空間距離上的收斂性。然而，與現有的非凸方法相比，我們所提出的方法在計算要求上仍然存有一定差距。

 

 

 

 

【論文作者】—Poorya Mianjy  (Johns Hopkins University )，Raman Arora (Johns Hopkins University )

【論文連結】Paper （9-pages // Double column）

 

 

【摘要】

　　（本文）我們重新討論了基於凸鬆弛的主成分分析隨機優化方法。

 

　　直接求解非凸問題的方法已被證明具有最優的統計效益和計算效率。

 

　　而基於凸鬆弛的方法已經被證明其實驗效能可以比得上前者，甚至比前者更優越。——這激勵我們需要更深層次的正式的（規範地）對後者進行理解。

 

　　因此，本文研究了凸鬆弛PCA的 (a)ℓ2 正則； (b) ℓ1正則；和(c)彈性網（ℓ1 + ℓ2）正則的隨機梯度下降變體，希望這些變體能夠分別產生(a)更好的迭代複雜性，(b)更好地控制中間迭代的秩，和(c)兩者的結合。

 

　　我們從理論和實驗上表明，與以往基於凸鬆弛的方法相比，我們所提出的變體產生了更快的收斂速度，並改進了總體執行時間，從而在PCA目標上實現了使用者指定的 次最優。

 

　　此外，我們進一步證明了所提方法在主成分分析目標和子空間距離上的收斂性。然而，與現有的非凸方法相比，我們所提出的方法在計算要求上仍然存有一定差距。

 

【論文作者】—Poorya Mianjy  (Johns Hopkins University )，Raman Arora (Johns Hopkins University )

【論文連結】Paper （9-pages // Double column）

 

 

【摘要】

　　（本文）我們重新討論了基於凸鬆弛的主成分分析隨機優化方法。

 

　　直接求解非凸問題的方法已被證明具有最優的統計效益和計算效率。

 

　　而基於凸鬆弛的方法已經被證明其實驗效能可以比得上前者，甚至比前者更優越。——這激勵我們需要更深層次的正式的（規範地）對後者進行理解。

 

　　因此，本文研究了凸鬆弛PCA的 (a)ℓ2 正則； (b) ℓ1正則；和(c)彈性網（ℓ1 + ℓ2）正則的隨機梯度下降變體，希望這些變體能夠分別產生(a)更好的迭代複雜性，(b)更好地控制中間迭代的秩，和(c)兩者的結合。

 

　　我們從理論和實驗上表明，與以往基於凸鬆弛的方法相比，我們所提出的變體產生了更快的收斂速度，並改進了總體執行時間，從而在PCA目標上實現了使用者指定的 次最優。

 

　　此外，我們進一步證明了所提方法在主成分分析目標和子空間距離上的收斂性。然而，與現有的非凸方法相比，我們所提出的方法在計算要求上仍然存有一定差距。