文章地址：https://arxiv.org/abs/1807.02758
補充材料地址：Support-RCAN
作者的專案地址： RCAN-Pytorch

1 網路介紹

    在這篇文章中，作者提出了一種讓CNN更深的方法：首先要做的就是，準備10個殘差組(RG)，其中每組包含20個殘差通道注意模組(RCAB)。

    研究人員表示網路的深度很重要，我們也認為如此，也見證過EDSR和MDSR帶來的一波浪潮。然而，通過簡單堆疊殘差塊來構建更深的網路可能很難得到更大的提升，需要在架構方面有更多進展。

    所以，他們提出了RIR（residual in residual）架構，堆疊的每個殘差組裡包含很多殘差塊，因此我們也可以獲得長跳過(LSC)連線和短跳過(SSC)連線。

上述提到的對映和殘差塊中的快捷鍵可以繞開低頻資訊。

    其實乍一看感覺挺複雜的，但是仔細的閱讀作者的文章，發現也是很容易的理解的。作者的工作主要兩個方面，第一個就是RIR(Residual in Residual)無非就是利用ResNets的相關思想，提出了LSC和SSC策略,讓我們的網路可以達到很深，比如大於400層。另外一個方面就是引入了CA模組,也就是注意力機制，簡單來說，之前的SR文章對待feature map中每一個通道是一樣的，作者認為每一個通道的重要性不一樣，有些通道重要，而有些不那麼重要，所以我們要揚長避短, 增加重要通道的權重，抑制不那麼重要的權重。其實，這個一看RCAB模組，發現就是

2 結果

    從結果上來看，作者做了大量的實驗，並且從結果也證明RCAN網路具有優良的表現。值得一題的是，在作者的補充材料中，作者也做出了更多的對比實驗，這裡列舉一個實驗是作者對比GAN相關的實驗：

3 感想

    從最近的幾篇文章來看，可能會有更多的文章運用注意力機制。比如傳統的NLP領域，以及最近的影象分類、影象標註，推薦幾篇相關的文章，以及比較好的關於注意力機制入門的文章。

1. CVPR2018: Tell Me Where to Look: Guided Attention Inference Network
2. CVPR2017: Residual Attention Network for Image Classification
3. CVPR2017: SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks
   for Image Captioning
4. 深度學習中的注意力機制
5. 知乎：從2017年頂會論文看 Attention Model
6. 知乎：模型彙總24 - 深度學習中Attention Mechanism詳細介紹：原理、分類及應用