Deep Learning（深度學習）學習筆記整理系列

作者：Zouxy

version 1.0 2013-04-08

宣告：

1）該Deep Learning的學習系列是整理自網上很大牛和機器學習專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本宣告也參考原文獻。

2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應。如果某部分不小心侵犯了大家的利益，還望海涵，並聯系博主刪除。

3）本人才疏學淺，整理總結的時候難免出錯，還望各位前輩不吝指正，謝謝。

4）閱讀本文需要機器學習、計算機視覺、神經網路等等基礎（如果沒有也沒關係了，沒有就看看，能不能看懂，呵呵）。

5）此屬於第一版本，若有錯誤，還需繼續修正與增刪。還望大家多多指點。大家都共享一點點，一起為祖國科研的推進添磚加瓦（呵呵，好高尚的目標啊）。請聯絡：[email protected]

目錄：

一、概述

二、背景

接上

9.2、Sparse Coding稀疏編碼

       如果我們把輸出必須和輸入相等的限制放鬆，同時利用線性代數中基的概念，即O = a₁*Φ₁ + a₂*Φ₂+….+ a_n*Φ_n， Φ_i是基，a_i是係數，我們可以得到這樣一個優化問題：

Min |I – O|，其中I表示輸入，O表示輸出。

       通過求解這個最優化式子，我們可以求得係數a_i

       因此，它們可以用來表達輸入I，這個過程也是自動學習得到的。如果我們在上述式子上加上L1的Regularity限制，得到：

Min |I – O| + u*(|a₁| + |a₂| + … + |a_n |)

        這種方法被稱為Sparse Coding。通俗的說，就是將一個訊號表示為一組基的線性組合，而且要求只需要較少的幾個基就可以將訊號表示出來。“稀疏性”定義為：只有很少的幾個非零元素或只有很少的幾個遠大於零的元素。要求係數 a_i 是稀疏的意思就是說：對於一組輸入向量，我們只想有儘可能少的幾個係數遠大於零。選擇使用具有稀疏性的分量來表示我們的輸入資料是有原因的，因為絕大多數的感官資料，比如自然影象，可以被表示成少量基本元素的疊加，在影象中這些基本元素可以是面或者線。同時，比如與初級視覺皮層的類比過程也因此得到了提升（人腦有大量的神經元，但對於某些影象或者邊緣只有很少的神經元興奮，其他都處於抑制狀態）。

         稀疏編碼演算法是一種無監督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本資料。雖然形如主成分分析技術（PCA）能使我們方便地找到一組“完備”基向量，但是這裡我們想要做的是找到一組“超完備”基向量來表示輸入向量（也就是說，基向量的個數比輸入向量的維數要大）。超完備基的好處是它們能更有效地找出隱含在輸入資料內部的結構與模式。然而，對於超完備基來說，係數a_i不再由輸入向量唯一確定。因此，在稀疏編碼演算法中，我們另加了一個評判標準“稀疏性”來解決因超完備而導致的退化（degeneracy）問題。（詳細過程請參考：UFLDL Tutorial稀疏編碼）

       比如在影象的Feature Extraction的最底層要做Edge Detector的生成，那麼這裡的工作就是從Natural Images中randomly選取一些小patch，通過這些patch生成能夠描述他們的“基”，也就是右邊的8*8=64個basis組成的basis，然後給定一個test patch, 我們可以按照上面的式子通過basis的線性組合得到，而sparse matrix就是a，下圖中的a中有64個維度，其中非零項只有3個，故稱“sparse”。

       這裡可能大家會有疑問，為什麼把底層作為Edge Detector呢？上層又是什麼呢？這裡做個簡單解釋大家就會明白，之所以是Edge Detector是因為不同方向的Edge就能夠描述出整幅影象，所以不同方向的Edge自然就是影象的basis了……而上一層的basis組合的結果，上上層又是上一層的組合basis……（就是上面第四部分的時候咱們說的那樣）

       Sparse coding分為兩個部分：

1）Training階段：給定一系列的樣本圖片[x1, x 2, …]，我們需要學習得到一組基[Φ1, Φ2, …]，也就是字典。

       稀疏編碼是k-means演算法的變體，其訓練過程也差不多（EM演算法的思想：如果要優化的目標函式包含兩個變數，如L(W, B)，那麼我們可以先固定W，調整B使得L最小，然後再固定B，調整W使L最小，這樣迭代交替，不斷將L推向最小值。EM演算法可以見我的部落格：“從最大似然到EM演算法淺解”）。

       訓練過程就是一個重複迭代的過程，按上面所說，我們交替的更改a和Φ使得下面這個目標函式最小。

      每次迭代分兩步：

a）固定字典Φ[k]，然後調整a[k]，使得上式，即目標函式最小（即解LASSO問題）。

b）然後固定住a [k]，調整Φ [k]，使得上式，即目標函式最小（即解凸QP問題）。

      不斷迭代，直至收斂。這樣就可以得到一組可以良好表示這一系列x的基，也就是字典。

2）Coding階段：給定一個新的圖片x，由上面得到的字典，通過解一個LASSO問題得到稀疏向量a。這個稀疏向量就是這個輸入向量x的一個稀疏表達了。

例如：

下續