引言

現在image caption主要存在的問題有：

1. exposure bias：模型訓練的時候用的是叫“Teacher-Forcing”的方式：輸入RNN的上一時刻的單詞是來自訓練集的ground-truth單詞。而在測試的時候依賴的是自己生成的單詞，一旦生成得不好就會導致誤差的積累，導致後面的單詞也生成得不好。

2. 模型訓練的時候用的是cross entropy loss，而evaluate的時候卻用的是BLEU、ROUGE、METEOR、CIDEr等metrics，存在不對應的問題。

由於生成單詞的操作是不可微的，無法通過反向傳播來直接優化這些metrics，因此很多工作開始使用強化學習來解決這些問題。

但強化學習在計算期望梯度時的方差會很大，通常來說是不穩定的。又有些研究通過引入一個baseline來進行bias correction。還有一些方法比如Actor-Critic，訓練了一個critic網路來估算生成單詞的value。

而本文的方法則沒有直接去估算reward，而是使用了自己在測試時生成的句子作為baseline。sample時，那些比baseline好的句子就會獲得正的權重，差的句子就會被抑制。具體做法會在後面展開。

Caption Models

本文分別使用了兩個caption model作為基礎，分別是

1. FC model [3, 4]。就是以cross entropy loss訓練的image caption模型，公式基本跟
   show and tell裡的公式一樣。
2. Attention Model(Att2in)。本文對原模型的結構進行了一些修改，只把attention feature輸入到LSTM的cell node，並且發現使用ADAM方法優化的時候，這種結構的表現優於其他結構。

FC models

公式就不打了，只需要知道LSTM最後輸出的是每個單詞的分數st$s_t$，再通過softmax得到下一個單詞的概率分佈為wt$w_t$。

訓練目標是最小化cross entropy loss(XE):

L(θ)=−∑Tt=1log(pθ(w∗t|w∗1,...,w∗t−1))$L(\theta )=-\sum _{t=1}^{T}log(p_{\theta }(w_{}^{}$

t∗|w1∗,...,wt−1∗))

θ$\theta$是模型的引數，w∗1,...,w∗t−1$w_1^{\ast },...,w_{t-1}^{\ast }$是訓練集中的語句，st$s_t$、pθ$p_{\theta }$在後面Reinforcement Learning部分會被用到。

Attention Model(Att2in)

公式基本跟FC Model的一樣，只不過在cell node的公式里加了個attention項，其他部分以及loss function也跟上面一樣的。

Reinforcement Learning

把序列問題看作是一個RL的問題：

• Agent: LSTM
• Environment: words and image features
• Action: prediction of the next word（模型的引數θ$\theta$定義了一個policy pθ$p_{\theta }$，也就是上面的pθ$p_{\theta }$，從而導致了這個action）
• State: cells and hidden states of the LSTM, attenion weights etc
• Reward: CIDEr score r

訓練目標是最小化負的期望

L(θ)=−Ews∼pθ[r(ws)]$L(\theta )=-{\mathbb{E}}_{w^s\sim p_{\theta }}[r(w^s)]$

=−∑r(ws)pθ(ws)$=-\sum r(w^s)p_{\theta }(w^s)$

ws=(ws1,...,wsT)$w^s=(w_1^s,...,w_T^s)$是生成的句子。

實際上，ws$w^s$可以依據pθ$p_{\theta }$的概率來進行single sample（而不是選擇概率最大的那一個），L(θ)$L(\theta )$可以近似為：

L(θ)≈−r(ws),ws∼pθ$$L(\theta )\approx -r(w^s),w^s\sim p_{\theta }$$

L關於θ$\theta$的梯度為：

∇θL(θ)=−Ews∼pθ[r(ws)∇θlogpθ(ws)]$${\mathrm{\nabla }}_{\theta }L(\theta )=-{\mathbb{E}}_{w_s\sim p_{\theta }}[r(w^s){\mathrm{\nabla }}_{\theta }\log p_{\theta }(w^s)]$$

推導過程：

再引入一個baseline來減少方差：

∇θL(θ)=−Ews∼pθ[(r(ws)−b)∇θlogpθ(

相關推薦

論文筆記：Self-critical Sequence Training for Image Captioning

引言 現在image caption主要存在的問題有： exposure bias：模型訓練的時候用的是叫“Teacher-Forcing”的方式：輸入RNN的上一時刻的單詞是來自訓練集的ground-truth單詞。而在測試的時候依賴的是自己

論文閱讀筆記：《Contextual String Embeddings for Sequence Labeling》

文章引起我關注的主要原因是在CoNLL03 NER的F1值超過BERT達到了93.09左右，名副其實的state-of-art。考慮到BERT訓練的資料量和引數量都極大，而該文方法只用一個GPU訓了一週，就達到了state-of-art效果，值得花時間看看。 一句話總結：使用BiLSTM模型，用動態embe

論文筆記：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application

1.歷史方法 1）基於字元的DCNN,比如photoOCR.單個字元的檢測與識別。要求單個字元的檢測器效能很強，crop的足夠好。 2）直接對圖片進行分類。9萬個單詞，組合成無數的單詞，無法直接應用 3）RNN,訓練和測試均不需要每個字元的位置。但是需要預處理，從圖片得到特

論文筆記：SGM: Sequence Generation Model for Multi-label Classification

感想 這篇文章是我在參加DeeCamp 2018課程的時候，發現的，當時原作者還只是研一，就中了一篇CCF B類的Best paper，這篇文章的工作跟我的工作非常的像，不過我沒作者做得多，所以我發的論文的檔次沒他的高，anyway，我也學習一下，找一下靈感，模型的程式碼用

論文筆記：目標追蹤-CVPR2014-Adaptive Color Attributes for Real-time Visual Tracking

exploit orm dom ons tail red 最好 早期 形式化 基於自適應顏色屬性的目標追蹤 Adaptive Color Attributes for Real-Time Visual Tracking 基於自適應顏色屬性的實時視覺追蹤 3月講的第一

論文筆記：Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

感想 最近深度學習面試的時候，有個面試官問了我LSTM，我一下子傻眼了，確實不怎麼好懂，學LSTM已經有半年的時間了，但是對這個玩意兒卻還不怎麼明白，可能是沒用過它的緣故吧，我找了一篇它和GRU比較的論文，這篇論文沒有從理論上證明哪個模型的好壞，只是從實驗，應用場景的角度發現GRU在一些場景比LST

論文筆記：Interpret Neural Networks by Identifying Critical Data Routing Paths

這是一篇做可解釋性AI的文章，文章的主要內容就是提出了一種新的資料表示分析方法，在此之上做了一些分析工作。 Abstract： 大概就是說定義了一個叫CDRPs（可分離路徑），這是文章的主要內容。 Introduction： 大多的視覺化分析方法多是定性的，沒法定量分

深度學習論文筆記：Deep Residual Networks with Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of Planetary Gearboxes

這篇文章將深度學習演算法應用於機械故障診斷，採用了“小波包分解+深度殘差網路(ResNet)”的思路，將機械振動訊號按照故障型別進行分類。 文章的核心創新點：複雜旋轉機械系統的振動訊號包含著很多不同頻率的衝擊和振盪成分，而且不同頻帶內的振動成分在故障診斷中的重要程度經常是不同的，因此可以按照如下步驟設計深度

論文筆記：Learning Region Features for Object Detection

中心思想 繼Relation Network實現可學習的nms之後，MSRA的大佬們覺得目標檢測器依然不夠fully learnable，這篇文章類似之前的Deformable ROI Pooling，主要在ROI特徵的組織上做文章，文章總結了現有的各種ROI Pooling變體，提出了一個統一的數學表示式

論文筆記：IRGAN：A Minimax Game for Unifying Generative and Discriminative Information

2017 SIGIR 簡單介紹 IRGAN將GAN用在資訊檢索（Information Retrieval）領域，通過GAN的思想將生成檢索模型和判別檢索模型統一起來，對於生成器採用了基於策略梯度的強化學習來訓練，在三種典型的IR任務上（四個資料集）得到了更顯著的效果。 生成式和判別式的檢索模型 生成式檢索模

論文筆記：雙線性模型 《Bilinear CNN Models for Fine-Grained Visual Recognition》

雙線性模型是2015年提出的一種細粒度影象分類模型。該模型使用的是兩個並列的CNN模型，這種CNN模型使用的是AlexNet或VGGNet去掉最後的全連線層和softmax層，這個作為特徵提取器，然後使用SVM作為最後的線性分類器。當然，作者還在實驗中嘗試了多種方法，比如最後使用softmax但

論文筆記：Feature Pyramid Networks for Object Detection

初衷 Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep

論文筆記：Spectral Normalization for Generative Adversarial Networks [ICLR2018 oral]

Spectral Normalization for Generative Adversarial Networks 原文連結：傳送門 一篇純數學類文章，有興趣的時候再看！ Emma CUH

論文筆記：Is object localization for free?

Is object localization for free? Weakly-supervised learning with convolutional neural networks 摘要 提出一個弱監督卷積神經網路for 分類。主要貢獻有：

論文筆記：MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching

Abstract MatchNet：一個用來從patches中提取特徵的深度卷積網路 + 一個用來比較提取出的特徵相似度的三層全連結網路構成。 Introduction 在MatchNet中，每個patch輸入卷積網路，生成一個固定維度的類似

論文筆記：Deep neural networks for YouTube recommendations

https://blog.csdn.net/xiongjiezk/article/details/73445835 Download [1] Covington P, Adams J, Sargin E. Deep neural networks for youtube recommen

論文筆記：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks

Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks ========簡陋的記錄=========== 背景知識：Distant Sup

影象隱寫術分析論文筆記：Deep learning for steganalysis via convolutional neural networks

好久沒有寫論文筆記了，這裡開始一個新任務，即影象的steganalysis任務的深度網路模型。現在是論文閱讀階段，會陸續分享一些相關論文，以及基礎知識，以及傳統方法的思路，以資借鑑。 這一篇是Media Watermarking, Security, and Forensi

論文筆記：Fisher Kernels on Visual Vocab ularies for Image Categorization

Fisher Kernels on Visual Vocabularies for Image Categorization 論文連結：CVPR 2006 在模式分類領域，Fisher Vector（FV）是一個強有力的構架，因為他結合了生成式（概率密

論文筆記：DRAW: A Recurrent Neural Network For Image Generation

DRAW: A Recurrent Neural Network For Image Generation 2019-01-14 19:42:50   Paper：http://proceedings.mlr.press/v37/gregor15.pdf  本文將 V