paper:

摘要

本文提出了一種新的AE模型，能夠更有效地獲得魯棒特徵

介紹

如何提取魯棒特徵

Jacobian矩陣是多維 $f(x)$ 的一階偏導，表示形式如下：
$\begin{array}{}\text{(1)}\end{array}$

AutoEncoder變種

AutoEncoder包括兩個部分：encoder和decoder，起初AE模型的設計是為了實現資料降維，當encoder生成的code維度小於input維度時，就實現了降維的目標，此時的AE稱為欠完備自編碼器，反之，當code大於input維度時，稱為過完備自編碼器，在之前的部落格中已經介紹，不做贅述。

基礎的AutoEncoder結構

encoder過程將input對映到隱藏表徵層，可以表示為：
$h=f(x)=s_f(Wx+b_h) \tag{2}$ 其中， $s_f$ 是非線性啟用函式，常規的像sigmoid函式，權重矩陣 $W$ 的維度為 $d_h*d_x$，偏置向量 $b_h \in R^{d_n}$。
decoder過程使用隱層輸出重建生成 $y$，表示如下：
$y=g(h)=s_g(W'h+b_y) \tag{3}$ 其中， $s_g$ 是decoder的啟用函式，可以是sigmoid函式。