2. 程式人生 > >UFLDL：稀疏自編碼器

UFLDL：稀疏自編碼器

阿新 • • 發佈：2019-02-14

吳恩達的 CS294A 是一門很好的深度學習入門課程，打算接下來的學習以這個課程的內容為主。UFLDL Tutorial 是 CS294A 課程的 wiki 頁，包含了課程講義和作業。如果你對 監督學習、邏輯迴歸、梯度下降 等基礎概念並不熟悉，可以先學習 之前的課程。

關於課程作業的 Python 程式碼已經放到了 Github 上，點選 課程程式碼 就能去 Github 檢視（ 無法訪問 Github 的話可以點選 Coding 檢視 ），程式碼中的錯誤和改進歡迎大家指出。

稀疏自編碼器

大家知道現在深度學習在計算機視覺領域全面開花結果，得到了許多之前無法想象的好結果。而就在這之前大家還要花費很大的精力來人工設計特徵。下面要學習的 稀疏自編碼器

正是向自動學習特徵邁出的第一步。（ 下圖為作業中的神經網路，左圖為輸入影象，右圖為訓練後的輸出影象 ）
在這裡插入圖片描述
稀疏自編碼器 的基本模型是一個三層的神經網路，在學習時讓網路輸出的目標值接近於輸入的影象本身，從而學習影象中的特徵。直接學習一個恆等函式的話沒有什麼意義，所以我們要對隱含層做出一些限制，比如減小神經元的個數，網路就會被迫壓縮資料並嘗試重建輸入影象。當我們加入懲罰讓神經元在大部分情況下都不啟用的時候，網路能夠學習到十分有趣的邊緣特徵。隱含層的神經元在觀察到輸入影象中某個特定角度的邊緣特徵時才會被啟用（ 這和神經科學發現的人類視覺皮層V1中的神經元的啟用方式相似 ）。

代價函式

根據機器學習的一般模式，首先給出 稀疏自編碼器

的代價函式：
Jsparse(W,b)=1m∑i=1m(12∣∣hW,b(x(i))−y(i)∣∣2)+λ2∑l=1L−1∑i=1sl∑j=1sl+1(Θji(l))2+β∑j=1s2KL(ρ∣∣ρ^j) J_{sparse}(W,b)= \frac{1}{m}\sum\limits_{i=1}^{m}\big(\frac{1}{2}||h_{W,b}(x^{(i)})-y^{(i)}||^2\big) + \frac{\lambda}{2}\sum\limits_{l=1}^{L-1}\sum\limits_{i=1}^{s_l}\sum\limits_{j=1}^{s_{l+1}}\big(\Theta_{ji}^{(l)}\big)^2 \\+ \beta\sum\limits_{j=1}^{s_2}KL(\rho||\hat\rho_j)

比起熟悉的前兩項，代價函式新增了對於隱含層的懲罰，式中 s2s_2 表示隱含層的神經元個數。ρ^j\hat\rho_j 表示 隱含層神經元 jj 對於所有訓練資料的平均啟用度，ρ^j=∑i=1m[aj(2)(x(i))]\hat\rho_j=\sum\limits_{i=1}^{m}\big[a_j^{(2)}(x^{(i)})\big]（ 注意這裡的 aj(2)(x)a_j^{(2)}(x) 表示一個函式，值為資料 xx 對應的 aj(2)a_j^{(2)} ），ρ\rho 為 ρ^j\hat\rho_j 的目標值，目的就是之前說的讓神經元在大多數時間不啟用。

按照 Ng 的說法，新的懲罰項有多種函式可以選擇，而這裡用來衡量 ρ\rho 與 ρ^j\hat\rho_j 差異的度量為 KLdivergenceKL \ divergence 又稱為 相對熵，定義為：

KL(P∣∣Q)=∑iP(i)log(Q(i)P(i)) KL(P||Q) = \sum\limits_{i}P(i)log\Big(\frac{Q(i)}{P(i)}\Big)

它所度量的是兩個概率分佈間的距離（ 我也不是太懂，有機會再做深入的研究 ）。
有了代價函式，接下來看下原先的反向傳播演算法有什麼變化~

梯度下降

在之前 反向傳播演算法 課程中已經說過它該演算法的兩個重點，一個是它的目的：更快速地計算代價函式的梯度，另一個是它的計算依賴於多元函式求導的鏈式法則。

由於代價函式的增加項直接為隱含層的函式，所以隱含層的誤差：
δj(2)=∂Jsparse∂zj(2)=∂J∂zj(2)+∂KL∂zj(2) \delta^{(2)}_j = \frac{\partial J_{sparse}}{\partial z^{(2)}_j} = \frac{\partial J}{\partial z^{(2)}_j} + \frac{\partial KL}{\partial z^{(2)}_j}
其中後一項可化為：
∂KL∂zj(2)=∑k=1s2∂KL∂ak(2)∂ak(2)∂zj(2)=β(−ρρ^j+1−ρ1−ρ^j)g′(zj(2)) \frac{\partial KL}{\partial z^{(2)}_j}= \sum\limits_{k=1}^{s_{2}} \frac{\partial KL}{\partial a_k^{(2)}} \frac{\partial a_k^{(2)}}{\partial z^{(2)}_j} = \beta\Big(-\frac{\rho}{\hat\rho_j}+\frac{1-\rho}{1-\hat\rho_j}\Big)g'(z^{(2)}_j)
因此 反向傳播演算法 中的 δj(2)\delta^{(2)}_j 計算變為：
δj(2)=(∑k=1s3Θkj(2)δk(3)+(−ρρ^j+1−ρ1−ρ^j))aj(2)(1−aj(2)) \delta^{(2)}_j = \Big(\sum\limits_{k=1}^{s_3} \Theta_{kj}^{(2)} \delta^{(3)}_k +\Big(-\frac{\rho}{\hat\rho_j}+\frac{1-\rho}{1-\hat\rho_j}\Big)\Big)a_j^{(2)} (1-a_j^{(2)})
其餘的計算都和原先的演算法相同。
搞定代價函式和梯度計算，剩下的就是呼叫帶優化的梯度下降演算法了~

視覺化

最後稍微提下課程作業，它讓我們在 10 張風景圖片中隨機取 10000 個 8x8 的區域性圖，然後讓稀疏自編碼器學習其中的特徵。神經網路的隱含層神經元個數為 25，輸入輸出維度都為 64。下圖為每個隱含層神經元對應的輸入層權重，大致可看成該神經元檢測到這種特徵時會被啟用。（ tip: 作業中的學習演算法和梯度檢查函式在之前的課程中都寫過，因此可以直接拿來用。 ）
在這裡插入圖片描述
So~，稀疏自編碼器的內容就是這些了，謝謝大家耐心閱讀。

相關推薦

UFLDL：稀疏自編碼器

吳恩達的 CS294A 是一門很好的深度學習入門課程，打算接下來的學習以這個課程的內容為主。UFLDL Tutorial 是 CS294A 課程的 wiki 頁，包含了課程講義和作業。如果你對 監督學習、邏輯迴歸、梯度下降 等基礎概念並不熟悉，可以先學習 之前的

深度學習入門教程UFLDL學習實驗筆記一：稀疏自編碼器

UFLDL即（unsupervised feature learning & deep learning）。這是斯坦福網站上的一篇經典教程。顧名思義，你將在這篇這篇文章中學習到無監督特徵學習和深度學習的主要觀點。 UFLDL全文出處在這：http://ufldl.stanford.edu/wiki/

深度學習筆記：稀疏自編碼器（1）——神經元與神經網路

  筆者在很久以前就已經學習過UFLDL深度學習教程中的稀疏自編碼器，近期需要用到的時候發現有些遺忘，溫習了一遍之後決定在這裡做一下筆記，本文不是對神經元與神經網路的介紹，而是筆者學習之後做的歸納和整理，打算分為幾篇記錄。詳細教程請見UFLDL教程，看完教程之後

UFLDL向量化程式設計練習：用MNIST資料集的稀疏自編碼器訓練實現

     折騰了兩天，總算實現了用MNIST資料集的稀疏自編碼器訓練。發現了以下問題：      1，matlab程式設計所寫程式碼不能太奢侈。定義變數時要儘量節省記憶體資源，向量能解決的不要用方陣，int8型別能解決的不要用雙精度數；      2，UFLDL提供的min

ufldl 深度學習入門 第一發：基於BP網路實現稀疏自編碼器

目的：打算使用深度學習的方式實現人臉關鍵點的檢測，第一步是要學習深度學習。 步驟：第一步在ufldl上面學習深度學習的演算法基礎知識，然後找部落格上基於python呼叫theano庫實現人臉關鍵點檢測的演算法，看懂後基於C++實現，然後用java實現app，呼叫C++實現的

稀疏自編碼器及事實上現——怎樣搞基

disk initial 圖片 app .com 沒有 back ext 稀疏 自編碼器是什麽？ 自編碼器本身就是一種BP神經網絡。它是一種無監督學習算法。 我們都知道神經網絡能夠從隨意精度逼近隨意函數，這裏我們讓神經網絡目標值等於輸

tensorflow學習筆記(三)：實現自編碼器

sea start ear var logs cos soft 編碼 red 黃文堅的tensorflow實戰一書中的第四章，講述了tensorflow實現多層感知機。Hiton早年提出過自編碼器的非監督學習算法，書中的代碼給出了一個隱藏層的神經網絡，本人擴展到了多層，改進

稀疏自編碼器一覽表

stanford table c51 eight bottom 我們 otto 維數 text 以下是我們在推導sparse autoencoder時使用的符號一覽表： 符號 含義 訓練樣本的輸入特征，. 輸出

[自編碼器] [稀疏自編碼器] Auto Encoder原理詳解

alt mage auto ali 技術 14. 大牛 pca center 　　自編碼器是一種有效的提取特征的方法，與PCA無監督降維不同，它實際上是獨立於有監督、無監督算法外的自監督算法，Hinton大牛主要就是搞這塊的，比如被他當做寶貝的玻爾茲曼機... 下面這個PP

生成模型--稀疏自編碼器(sparse autoencoder，SAE)

稀疏自編碼器(sparse autoencoder，SAE)   在自動編碼的基礎上加上稀疏性限制，就可得到稀疏自動編碼器（Sparse AutoEncoder）。   用來約束自動編碼器重構的方法，是對其損失函式施加約束。比如，可對損失函式新增一個正則化約束，

DeepLearning學習隨記（一）稀疏自編碼器

                講義從稀疏自編碼（Sparse Autoencoder）這一章節開始講起。前面三節是神經網路、BP神經網路以及梯度檢驗的方法。由於還有點神經網路的相關知識，這部分不是太難懂。就從自編碼器和稀疏性（Autoencoders and sparisity）記起吧。稀疏自編碼器構建：假

Deep Learning 16：用自編碼器對資料進行降維_讀論文“Reducing the Dimensionality of Data with Neural Networks”的筆記

前言 筆記 摘要：高維資料可以通過一個多層神經網路把它編碼成一個低維資料，從而重建這個高維資料，其中這個神經網路的中間層神經元數是較少的，可把這個神經網路叫做自動編碼網路或自編碼器（autoencoder）。梯度下降法可用來微調這個自動編碼器的權值，但是隻有在初始化權值較好時才能得到最優解，不然就

稀疏自編碼器tensorflow

        自編碼器是一種無監督機器學習演算法，通過計算自編碼的輸出與原輸入的誤差，不斷調節自編碼器的引數，最終訓練出模型。自編碼器可以用於壓縮輸入資訊，提取有用的輸入特徵。如,[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]四位元資訊可以

深度學習入門 ---稀疏自編碼器

在學習稀疏自編碼器之前，需要讀者有BP神經網路的基礎 1. 為什麼要用稀疏自編碼器   對於沒有帶類別標籤的資料，由於為其增加類別標記是一個非常麻煩的過程，因此我們希望機器能夠自己學習到樣本中的一些重要特徵。通過對隱藏層施加一些限制，能夠使得它在惡劣

系統學習深度學習（二） --自編碼器，DA演算法，SDA，稀疏自編碼器

轉自：http://www.cnblogs.com/neopenx/p/4370350.html，作者寫的很好，輕鬆易懂。 起源：PCA、特徵提取.... 隨著一些奇怪的高維資料出現，比如影象、語音，傳統的統計學-機器學習方法遇到了前所未有的挑戰。 資料維度過高，資料單

關於稀疏自編碼器的自己的理解

一個稀疏自編碼器為什麼最後視覺化得到這樣的結果呢？ 首先輸入是隨機的10000張圖片的任意區域性裁剪出來的8x8的圖片，隨機抽取200張出來看看就是這樣 很亂，沒有任何規律，可以理解成自然界的所有影象的區域性的縮影，然後通過隨機的W,b得到第二層的輸出

深度學習入門教程UFLDL學習實驗筆記二：使用向量化對MNIST資料集做稀疏自編碼

今天來做UFLDL的第二個實驗，向量化。我們都知道，在matlab裡面基本上如果使用for迴圈，程式是會慢的一逼的（可以說基本就執行不下去）所以在這呢，我們需要對程式進行向量化的處理，所謂向量化就是將matlab裡面所有的for迴圈用矩陣運算的方法實現，在這裡呢，因為之前的實驗我已經是按照向量化的形式編寫的程

基於TensorFlow理解三大降維技術：PCA、t-SNE 和自編碼器

余弦相似度 應對 新的 問題 技術 編碼 http 壓縮 方法 在我們開始之前，先看一個問題：如果你要為以下案例選擇一種降維技術，你會怎麽選？ 1. 你的系統可以使用余弦相似度測量距離，但你需要將其可視化，以便不懂技術的董事會成員也能理解，這些人可能甚至從來沒聽說過余弦相

變分自編碼器VAE：原來是這麼一回事 | 附開原始碼

再談變分自編碼器VAE：從貝葉斯觀點出發