1. 程式人生 > >線上字典學習(Online dictionary learning for sparse coding)-機器學習

線上字典學習(Online dictionary learning for sparse coding)-機器學習

稀疏編碼—將資料向量建模為基向量的線性組合,大量地應用於機器學習、神經科學、訊號處理及統計學。這篇文章主要學習基向量也就是字典使之適應特定資料,在聲音、影象處理領域訊號重構與分類是一種近來被證明非常有效的方法。這篇文章基於隨機近似,提出了一種新的,可以很容易推廣至大資料情形的線上字典學習優化演算法。

近來使用學習獲得字典的有限原子而不是預先定義的字典如小波對訊號進行分解,在大量的低水平資料處理任務如去噪和高水平資料處理如分類方面取得了非常好的結果,說明學習得到的模型對自然訊號非常適用。不像基於PCA及其變形的分解,這些方法不需要基向量之間是正交的。在字典學習被證明可有效提高學習效率的同時,有效地求解相對應的優化問題也成為了一個重要的計算上的挑戰。最近的字典學習方面的演算法是二階迭代批處理方法,在某些約束下,在每次迭代過程中為了最小化價值函式。與一階方法梯度法相比,儘管運算速度大大提高,但仍然無法有效地處理大規模訓練資料。

經典的字典學習技術研究有限的訊號訓練集,優化經驗損失函式