深度學習基礎（九）—— 稀疏編碼（sparse coding）

稀疏編碼演算法是一種無監督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本資料。稀疏編碼演算法的目的就是找到一組基向量 （自然影象的小波基？）ϕi ，使得我們能將輸入向量 x 表示為這些基向量的線性組合：

x=∑i=1kaiϕi

所謂“超完備”基向量來表示輸入向量 x∈Rn ，也就是說，k>n。超完備基的好處是它們能更有效地找出隱含在輸入資料內部的結構與模式（structure && pattern）。然而，對於超完備基來說，係數 ai 不再由輸入向量 x 唯一確定。

這裡，我們把“稀疏性”定義為：只有很少的幾個非零元素或只有很少的幾個遠大於零（顯著不為零）的元素。要求係數 a

i 是稀疏的意思就是說：對於一組輸入向量，我們只想有儘可能少的幾個係數遠大於零。選擇使用具有稀疏性的分量來表示我們的輸入資料是有原因的，因為絕大多數的感官資料，比如自然影象，可以被表示成少量基元素的疊加，在影象中這些基本元素可以是面或者線。

我們把 m 個輸入向量的稀疏編碼代價函式定義為：

mina(j)i,ϕi∑j=1m∥∥∥∥x(j)−∑i=1ka(j)iϕi∥∥∥∥2+λ∑i=1kS(a(j)i)
基向量（ϕi,i=1,2,…,k）對於全部的輸入向量（訓練樣本都是一致的），係數 a(j)i 是與輸入向量 x(j)相對應的，由基（ϕi）和輸入向量（x(j)）共同決定，通過其上下標（a

(j)i）即可看出。通過最優化函式得到的 k個基向量（ϕi）以及全部的輸入樣本在該基下的表示 a(j)i。

此處 S(.) 是一個稀疏代價函式，由它來對遠大於零的 ai 進行“懲罰”。

雖然“稀疏性”的最直接測度標準是 “L0” 正規化(S(ai)=1|ai|>0)，但這是不可微的，通常很難進行優化。在實際中，稀疏代價函式 S(.) 的普遍選擇是ℓ1 正規化代價函式 S(ai)=|ai|1 及對數代價函式 S(ai)=log(1+a2i) 。

此外，很有可能因為減小 ai 而增加 ϕi 至很大的常量，使得稀疏懲罰變得非常小。為防止此類事件發生，我們將限制 ∥ϕ∥2 要小於某常量 C 。包含了限制條件的稀疏編碼代價函式的完整形式如下：

mina(j)i,ϕi∑j=1m∥∥∥∥x(j)−∑i=1ka(j)iϕi∥∥∥∥2+λ∑i=1kS(a

深度學習基礎（九）—— 稀疏編碼（sparse coding）

深度學習基礎（九）—— 稀疏編碼（sparse coding）

深度學習基礎--loss與啟用函式--CTC（Connectionist temporal classification）的loss

【深度學習基礎-07】神經網路演算法（Neural Network）上--BP神經網路基礎理論

考察深度學習基礎知識的45道題目（附答案）

《神經網絡與深度學習》（三）稀疏編碼

深度學習基礎系列（九）| Dropout VS Batch Normalization? 是時候放棄Dropout了深度學習基礎系列（七）| Batch Normalization

深度學習基礎系列（九）| Dropout VS Batch Normalization? 是時候放棄Dropout了

20180813視頻筆記深度學習基礎上篇（1）之必備基礎知識點深度學習基礎上篇（2）神經網絡模型視頻筆記：深度學習基礎上篇（3）神經網絡案例實戰和深度學習基礎下篇

深度學習基礎系列（二）| 常見的Top-1和Top-5有什麽區別？

深度學習基礎系列（六）| 權重初始化的選擇

（轉載）深度學習基礎（1）——感知器

（轉載）深度學習基礎（3）——神經網路和反向傳播演算法

（轉載）深度學習基礎（7）——遞迴神經網路

深度學習基礎概念（二）（科普入門）

深度學習基礎概念（一）（科普入門）

深度學習基礎系列（十一）| Keras中影象增強技術詳解

深度學習基礎系列（一）| 一文看懂用kersa構建模型的各層含義（掌握輸出尺寸和可訓練引數數量的計算方法）

深度學習基礎系列（五）| 深入理解交叉熵函式及其在tensorflow和keras中的實現

深度學習基礎系列（七）| Batch Normalization

深度學習基礎系列（八）| 偏差和方差

深度學習基礎（九）—— 稀疏編碼（sparse coding）

相關推薦