一、Abstract

提出一種新的autoencoder —- SWWAE（stacked what-where auto-encoders），更準確的說是一種 convolutional autoencoder，因為在CNN中的pooling處才有 “what-where。SWWAE呢，是一種整合了supervised,semi-supervised and unsupervised learning 的model（暫時不理解這是什麼意思，感覺好厲害的樣子## 標題 ##，先記著）。what-where最根本的作用是在decode中uppooling時，把value放到指定位置（encode時對應的pool層所記錄的位置，即where），看圖吧，一圖勝千言

SWWAE適用於 大量無標籤資料+小量標籤資料的情況

二、Key words:

SWWAE; reconstruction；encoder；decoder

三、Motivation

1.想整合平衡（leverage）labeled and unlabeled data 來學習更好的feature（representation）

四、main contributions

1.提供了一種可以 unified supervised,semi-supervised and unsupervised learning的model
2.提供一個當無標籤樣本多，有標籤樣本少時的一種訓練模型(1 )
3.unsupervised learning 會學習一些 trivial representation ,加入 supervised loss 可以避免（3.2）

五、inspired by

1. Yann LeCun, L ́ eon Bottou, Yoshua Bengio, and Patrick Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998.
2. Matthew D Zeiler, Dilip Krishnan, Graham W Taylor, and Robert Fergus. Deconvolutional networks. In Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pp. 2528–2535. IEEE, 2010.
3. Tom Le Paine, Pooya Khorrami, Wei Han, and Thomas S Huang. An analysis of unsupervised pre-training in light of recent advances. arXiv preprint arXiv:1412.6597, 2014.
   key word:CNN; Deconvolutional network；regularization effect ！

六、文獻具體實驗及結果

4.1 對比 upsampling(what but no where) andunpooling(what-where)，實驗證明 在 reconstruction過程中，“where”是很重要的七、 自己的感悟
4.2 實驗沒看明白，搞不懂 invariance and equivariance是什麼鬼，留著以後看
4.3提高分類效能，說提高了MNIST，SVHN的分類效能

七、 自己的感悟

1. loss function = classification loss + reconstructions loss + middle reconstruction loss
   總共三部分loss，第一部分loss就是我們平時supervised learning中常見的。而後面兩個reconstruction loss 其實就是重構誤差，即decode 與 code 之間的誤差，這兩部分loss相當於一個regularizer，對encoder階段中的weights做了regularization，迫使weights可以使得提出的特徵能通過decoder還原成原訊號（圖片）

2. 針對reconstruction 可以看作一個 regularizer，
   2010年 Erhan就提到，但是證明不足以讓人信服；
   2014年 Paine分析regularization effect，可以追一追，看看是什麼結構（e.g deconvnet？）提供了一個loss，這個loss對weights的更新起到某種限制，從而使得提取出的feature更好，這個可以作為一個研究方向

3. 按道理作者提出 where，應該開門見山就說 有了where的模型會怎麼怎麼樣才對啊，但是從頭一直找啊找，直到實驗4.1，丟出圖，給出結論，where 對reconstruction很重要，會更清晰。。。這種做法感覺怪怪的

4. 可以追的paper 2014 Paine分析 regularization effect ；
   deconvnet 及其 loss 方面，Matthew D Zeiler 大神的系列文章，一開始認識他是2013反捲積 Iamgenet2013冠軍！