論文地址：https://arxiv.org/abs/1805.08318

 Ian goodfellow 2018年 新作，在GAN生成中加入了attention的機制，同時將SNgan的思想引入到生成器當中。傳統gan的問題使用小的卷積核很難發現影象中的依賴關係使用大的卷積核就喪失了卷積網路引數與計算的效率

attention層詳解

就是在前一層的feature maps 上加入attention機制，使得gan在生成時能夠區別不同的feature maps，Wf Wg 都是網路的引數
softmax 來得到attention map。
通過下面的式子 進行融合得到加入了attention機制的feature maps。再講這些featuremaps 加入到之前的featuremaps當中。γ的值初始化為0，再逐漸增大權重，這裡的意思就是 一開始attention可能訓練的不太好 用attention來指引效果不好 等 attention層訓練得原來越好之後 加大它的權重作者引用了sngan的思想 不僅在discrimator中將權重除以權重矩陣的特徵值 在generator中也做同樣的處理，得到了不錯的效果。具體思想參考論文SNGAN。作者還討論了attention機制載入網路的哪一層效果最好
作者指出 在一些中層次或者高層次特徵使用attention層 能取得更好的效果。與ACGan SNgan做的對比。