論文筆記：i-REVNET: DEEP INVERTIBLE NETWORKS [ICLR2018]
i-REVNET: DEEP INVERTIBLE NETWORKS
基於已有的工作，RevNet，提出了可逆RevNet，能夠達到造IMAGENET上相同的分類準確率。
目錄
摘要
眾所周知，卷積神經網路（CNN）取得了很大的進步。但是由於CNN是通過逐步丟棄掉一些不太重要的資訊(編者按：比如pooling layer)來提取某些特徵從而完成某一特定的task，所以，在通常情況下，我們無法從CNN提取的特徵中恢復原影象。在本文中，作者向我們展示了一個一對一的無資訊損失的特徵提取方法。homeomorphic 層被建立，用來組成一個可逆的神經網路( i-RevNet)，從而可以是實現輸出到輸入的轉化, 在此過程中無任何資訊的丟失。
引言
- 亮點
i-RevNets 是一個可逆的網路。
i-RevNets 保持了所有的資訊，從輸入層到輸出層。
i-RevNets 是在RevNet上進行改進，使用可逆的層代替了原本不可逆的層。
i-RevNets 的performance達到了已有的resnet當前水平。
i-RevNets 降低了由於資訊缺失導致的網路的變異性。
Emma
CUHK
2018.02.25
相關推薦
論文筆記：i-REVNET: DEEP INVERTIBLE NETWORKS [ICLR2018]
i-REVNET: DEEP INVERTIBLE NETWORKS 基於已有的工作，RevNet，提出了可逆RevNet，能夠達到造IMAGENET上相同的分類準確率。 目錄 摘要 眾所周知，卷積神經網路（CNN）取得了很大的進步
深度學習論文筆記：Deep Residual Networks with Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of Planetary Gearboxes
這篇文章將深度學習演算法應用於機械故障診斷，採用了“小波包分解+深度殘差網路(ResNet)”的思路，將機械振動訊號按照故障型別進行分類。 文章的核心創新點：複雜旋轉機械系統的振動訊號包含著很多不同頻率的衝擊和振盪成分，而且不同頻帶內的振動成分在故障診斷中的重要程度經常是不同的，因此可以按照如下步驟設計深度
論文筆記：Deep neural networks for YouTube recommendations
https://blog.csdn.net/xiongjiezk/article/details/73445835 Download [1] Covington P, Adams J, Sargin E. Deep neural networks for youtube recommen
影象隱寫術分析論文筆記：Deep learning for steganalysis via convolutional neural networks
好久沒有寫論文筆記了，這裡開始一個新任務，即影象的steganalysis任務的深度網路模型。現在是論文閱讀階段，會陸續分享一些相關論文，以及基礎知識，以及傳統方法的思路，以資借鑑。 這一篇是Media Watermarking, Security, and Forensi
論文筆記：Learning Social Image Embedding with Deep Multimodal Attention Networks
感想 這篇文章我看了一下作者是北航和微軟亞洲研究院合起來做的一篇文章，我感覺最深的是它的那個image-text network embedding的思想，用取樣的方法來降低訓練的複雜度。這也是一個深度學習注意力模型，更開心的是，論文裡面說程式碼是用keras來寫的，論文接
論文筆記-Personal Recommendation Using Deep Recurrent Neural Networks in NetEase
use clas max onf 一位 url base 輸入 ont 思路：利用RNN對用戶瀏覽順序建模，利用FNN模擬CF，兩個網絡聯合學習 RNN網絡結構： 輸出層的state表示用戶瀏覽的某一頁面，可以看做是一個one-hot表示，state0到3是依次瀏覽的
論文筆記：Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
感想 最近深度學習面試的時候，有個面試官問了我LSTM，我一下子傻眼了，確實不怎麼好懂，學LSTM已經有半年的時間了，但是對這個玩意兒卻還不怎麼明白，可能是沒用過它的緣故吧，我找了一篇它和GRU比較的論文，這篇論文沒有從理論上證明哪個模型的好壞，只是從實驗，應用場景的角度發現GRU在一些場景比LST
論文筆記：Interpret Neural Networks by Identifying Critical Data Routing Paths
這是一篇做可解釋性AI的文章，文章的主要內容就是提出了一種新的資料表示分析方法，在此之上做了一些分析工作。 Abstract： 大概就是說定義了一個叫CDRPs（可分離路徑），這是文章的主要內容。 Introduction： 大多的視覺化分析方法多是定性的，沒法定量分
論文筆記：Deep Attentive Tracking via Reciprocative Learning
Deep Attentive Tracking via Reciprocative Learning NIPS18_tracking Type:Tracking-By-Detection 本篇論文地主要創新是在將注意機制引入到目標跟蹤 摘要：源自認知神經科學地視覺注意促進人類對相關的內
論文筆記：Feature Pyramid Networks for Object Detection
初衷 Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep
論文筆記：Spectral Normalization for Generative Adversarial Networks [ICLR2018 oral]
Spectral Normalization for Generative Adversarial Networks 原文連結：傳送門 一篇純數學類文章，有興趣的時候再看！ Emma CUH
論文筆記：Dual Path Networks
首先分析了 ResNet 和 DenseNet。 借鑑RNN的表達方式。 k: 當前處於哪個步 t：第t步 ht: 第t步的隱藏狀態 ：在第k步中，提取第t狀態特徵的函式 gk：第k步，轉換聚合特徵的函式 如果 ， 那麼可以寫成： 簡化成： 其
論文筆記：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks
Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks ========簡陋的記錄=========== 背景知識：Distant Sup
論文筆記：Tag-Aware Personalized Recommendation Using a Hybrid Deep Model
感想 這篇論文，我斷斷續續的看了幾天，作者做的工作也挺多的，我感覺論文的資料集還是不夠大，還不足以支撐訓練其它深度神經網路的地步。本文提出的混合深度學習完全是autoencoder的一個變體，用來解決標籤資料稀疏性，不可控詞彙表等問題，由於添加了重構誤差函式，和一般深度學習
論文筆記：Deep Learning [nature review by Lecun, Bengio, & Hinton]
假設我們需要訓練一個深度神經網路來預測一段文字序列的下一個單詞。我們用一個one-of-N的0-1向量來表示上下文中出現的單詞。神經網路將首先通過一個embedding層為每一個輸入的0-1向量生成一個word vector，並通過剩下的隱藏層將這些word vector轉化為目標單詞的word vector
論文筆記：Densely Connected Convolutional Networks(DenseNet模型詳解)
摘要 最近的研究表明，當靠近輸入的層和靠近輸出的層之間的連線越短，卷積神經網路就可以做得更深，精度更高且可以更加有效的訓練。本文根據這一結論，提出了一種稠密卷積神經網路(Dense Convolutional Network,DenseNet)
論文筆記：Dual Skipping Networks 雙跳網路
Changmao Cheng1∗, Yanwei Fu2∗, Yu-Gang Jiang1†, Wei Liu3, Wenlian Lu4, Jianfeng Feng4, Xiangyang Xue1 1 School of Computer Science, Fudan
論文筆記：TextBoxes: A Fast Text Detector with a Single Deep Neural Network
在自然場景中，場景文字（Scene text）是最常見的視覺物件（visual objects）之一。經常出現在路標，車牌，產品包裝袋上等等。閱讀場景文字產生了很多有用的應用，例如基於圖片的地理定位（image-basedgeolocation）。儘管它和傳統的OCR很相似，但是場景文字的閱讀更具有挑戰性，因
LightRNN 論文筆記：LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
Introduction 近年來RNN被廣泛的應用於基於神經網路的NLP任務當中，比如說語言模型，QA等等，並且通常來說由RNN的相關結構能夠在這些任務當中取得state of art的表現。 不過呢，雖然RNN相關的網路在NLP任務中表現十分優異，但是其也