本週值得讀：16篇最新論文推薦（NLP/CV/ML）
@Zsank 推薦
#Attention Mechanism
論文連結： ofollow,noindex"> https://www. paperweekly.site/papers /2520
本文來自佐治亞理工學院， 這是一篇 Attention 機制在自然語言處理方面的綜述文章 ，包括基本概念和 Attention 在不同 NLP 任務上的模型變種。
@tobiaslee 推薦
#Text Generation
論文連結： https://www. paperweekly.site/papers /2524
本文是北京大學孫栩老師組和微軟亞洲研究院發表在 AAAI 2019 上的工作。 文章介紹了“彈幕生成”任務，根據一定時間範圍內的視訊幀和評論文字進行彈幕評論的生成，並且構建了基於 B 站的資料集。
通過對資料集的分析發現：彈幕評論長度較短；相鄰時間間隔的評論具有較高的關聯度。基於此，文章先是利用傳統的 Seq2Seq 架構，設計了 Video Encoder 和 Text Encoder 進行影象和文字資訊的融合，再交由 Comment Decoder 進行生成；進一步地，利用 Transformer 替代 RNN Encoder，提出了一個 Unified Transformer Model。
並且，為了更好的評估模型的效能，文章提出了一個基於生成概率對候選評論進行排序的指標，對比之前的 Seq2Seq 模型，文章提出的兩個模型能夠取得更好的效果。
@paperweekly 推薦
#Relation Classification
論文連結： https://www. paperweekly.site/papers /2465
原始碼連結： https:// github.com/thunlp/FewRe l
本文是清華大學劉知遠老師組發表於 EMNLP 2018 的工作。和 SQuAD、QAngaroo、CoQA 和 SWAG 等 QA 資料集不同的是， 本文基於 Few-Shot Learning 提出了一個大規模有監督關係分類資料集——FewRel。
@Arborday 推薦
#Word Embeddings
論文連結： https://www. paperweekly.site/papers /2519
原始碼連結： https:// github.com/zalandoresea rch/flair
本文是 Zalando Research 發表於 COLING 2018 的工作， 論文提出了一種全新產生 embedding 的 BiLSTM 模型結構 ，模型特點：
1. 模型以 character 為原子單位，在網路中，每個 character 都有一個對應的 hidden state。這個特點對需要多一步分詞的中文來說可能有避免因為分詞錯誤導致下游 function 繼續錯誤的弊端；
2. 輸出以 word 為單位的 embedding，這個 embedding 由前向 LSTM 中，該詞最後一個字母的 hidden state 和反向 LSTM 中該詞第一個字母的 hidden state 拼接組成，這樣就能夠兼顧上下文資訊。
這種動態 embedding 的方法在序列標註上取得了良好效果，特別值得一提的是， 在 NER 上的表現甚至超越了 BERT，但訓練成本只是一個 GPU*一週 ，訓練資料在十億個詞量，與 BERT 相比對硬體的要求極大降低，訓練成本的大幅減少卻仍有效能上的提升，動態 embedding 的思路值得借鑑和嘗試。
@paperweekly 推薦
#Dialog Systems
論文連結： https://www. paperweekly.site/papers /2545
原始碼連結： https:// github.com/MiuLab/DDQ
本文是微軟和臺灣大學發表於 ACL 2018 的工作， 論文提出了一種針對任務型對話系統的學習方式——Deep Dyna-Q，在僅使用少量真實使用者互動資料的前提下，基於整合規劃的方法進行對話策略學習。 作者將 world model 引入對話 agent，模模擬實的使用者響應並不斷學習生成模擬的使用者對話，利用真實和模擬的對話經驗對 agent 進行優化。
@CYRYOU 推薦
#Natural Language Inference
論文連結： https://www. paperweekly.site/papers /2455
原始碼連結： https:// github.com/mocherson/po rtableNLP
本文介紹了一種行動式表型系統，它能夠整合基於規則和基於統計機器學習的方法。 論文利用 UMLS 從非結構化文字中提取臨床相關特徵，然後通過結合 OHDSI 的 OMOP 促進不同機構和資料系統的可移植性通用資料模型（CDM），用於標準化必要的資料元素。論文提出的系統還可以以 OMOP-CDM 的格式儲存基於規則的系統的關鍵元件（例如，正則表示式匹配），從而實現許多現有的基於規則的臨床 NLP 系統的重用、適應和擴充套件。
論文在 i2b2 的肥胖挑戰賽中對行動式表型系統進行了實驗，作為一項試點研究。系統基於非結構化患者出院總結，促進肥胖的行動式表型分析及其15種合併症，同時實現了通常在挑戰參與者中排名前十的表現。這種標準化使得能夠在下游一致地應用許多基於規則和基於機器學習的分類技術。
@Luolc 推薦
#Goal-Oriented Dialog
論文連結： https://www. paperweekly.site/papers /2522
本文是微軟亞洲研究院和北京大學孫栩組共同完成即將發表在 AAAI 2019 的工作。為對話系統引入個性化是今年對話領域最為火熱的研究方向之一。此前有一些工作研究在開放式對話（chitchat）中引入個性化，使得對話生成中可以包含一定的對話者身份的資訊，使對話質量更高。而 本文關注在鮮有人研究且更加困難的任務型對話領域 ，探索如何能針對使用者的不同身份採取不同的對話策略，提高任務完成率和使用者滿意度。
本文提出了 Personalized MemN2N 模型，引入 profile embedding，並在對話模型和 KB 之間建立聯絡，有效地提升了對話系統質量，達到任務型對話個性化資料集上新的 state-of-the-art。 在針對任務型研究較少的環境下，這一工作具有非常高的參考價值。
@hsu 推薦
#Semantic Segmentation
論文連結： https://www. paperweekly.site/papers /2555
原始碼連結： https:// github.com/DrSleep/ligh t-weight-refinenet
本文是阿德萊德大學發表於 BMVC 2018 的工作，論文關注的問題為實時語義分割。 作者將源自 CVPR 2017 的 RefineNet 作為基礎網路，結合兩種殘差模組 RCU（殘差卷積單元）和 CRP（鏈式殘差池化）有效減少模型引數和計算量 ，在 512 x 512 大小的輸入影象上將分割速度從 20 FPS 顯著提升至 55 FPS。
@jhy1993 推薦
#Gaussian Embedding
論文連結： https://www. paperweekly.site/papers /2506
資料集連結： https:// github.com/google/n-dig it-mnist
本文來自 Google AI Research。之前的 Gaussian Embedding 都是將 Object 對映為一個高斯分佈來捕捉不確定性，但是一個高斯分佈足夠嗎？ 本文將 Object 對映為一組高斯分佈，即混合高斯。本文提出了 HIB 來解決上述問題，所謂的”hedging its bets”就是為了避免損失，多處下注。 對應到本文，對於有歧義的輸入，將其對映為多個高斯分佈，每個高斯分佈代表其中一個意思。
針對影象的歧義需求，作者設計了 N−digitsMNIST 資料集，即將 MNIST 中的數字組合成一張新圖，這樣每張圖就有歧義了。
@Kralkatorrik 推薦
#Face Recognition
論文連結： https://www. paperweekly.site/papers /2527
原始碼連結： https:// github.com/XiaohangZhan /cdp/
本文是商湯科技、香港中文大學和南洋理工大學發表於 ECCV 2018 的工作。在人臉識別資料獲取成本越來越高的情況下， 作者提出了一種稱為 Consensus-Driven Propagation 的模型，採用少量標註資料和大量無標籤資料訓練，即可獲得接近所有資料都有標註的精度。
@vimjian推薦
#Object Pose Estimation
論文連結： https://www. paperweekly.site/papers /2572
本文來自歐姆龍和中京大學，論文關注的問題是實時 6D 物體姿態估計。 作者提出了一個基於 model 的匹配演算法，效果卓越。 在 CPU 上就可以達到實時，並且訓練只需 CAD 模型。
@SXKDZ 推薦
#Session-based Recommendation
論文連結： https://www. paperweekly.site/papers /2518
原始碼連結： https:// github.com/CRIPAC-DIG/S R-GNN
本文是中國科學院自動化所智慧感知與計算中心被 AAAI 2019 接收的論文。會話（session）是伺服器端用來記錄識別使用者的一種機制。在推薦系統中，基於會話的推薦（session-based recommendation）是依據一個時間視窗內使用者連續的行為進行推薦。比如，一位使用者在登入淘寶的這段時間裡連續點選了 10 個商品，那麼這 10 個商品就構成了一個會話短序列。由於會話資料具有海量、匿名的特點，基於會話的推薦近來受到了廣泛的關注。
為了更好地捕獲會話的結構並考慮節點間的轉換，該論文提出了一種基於圖形神經網路（graph neural network, GNN）的會話推薦（SR-GNN）方法。 該方法將所有會話序列聚合在一起並建模為圖結構。基於該圖，GNN 可以捕獲專案的轉換關係。之後 SR-GNN 使用注意力機制將每個會話表示為全域性偏好和會話當前興趣的組合並據此進行推薦。在兩個開源資料集上，SR-GNN 模型的效能持續並顯著地好於其他 SOTA 方法。
@paperweekly 推薦
#Graph Convolutional Networks
論文連結： https://www. paperweekly.site/papers /2487
原始碼連結： https:// github.com/divelab/lgcn /
本文是華盛頓大學發表於 KDD 2018 的工作。 圖卷積神經網路當前面臨著兩大挑戰 ：1）圖中節點的鄰節點數量具有不確定性；2）鄰節點之間雜亂無序。
本文提出了一個可學習圖卷積層（LGCN）來解決上述挑戰。 LGCL 基於數值排序自動選擇固定數目的鄰居節點作為圖卷積神經網路的輸入特徵，使用常規的卷積操作來進行圖編碼，並藉助子圖訓練方法使 LGCL 能夠適用於大圖訓練。
@Rcypw 推薦
#Network Embedding
論文連結： https://www. paperweekly.site/papers /2530
原始碼連結： http:// dm.nankai.edu.cn/code/S TNE.rar
本文是南開大學發表於 KDD 2018 的工作， 該論文首次將網路表示學習問題轉化為機器翻譯任務，解決了目前網路表示學習方法中向量組合策略結果不理想問題，以及複雜網路難以捕獲長距離路徑結構的問題。 作者在不同的應用上對幾個模型進行比較，取得了較好的效果。
@paperweekly 推薦
#Recommender System
論文連結： https://www. paperweekly.site/papers /2548
本文是新加坡國立大學發表於 WWW 2018 的工作。在推薦系統任務上，基於 embedding 的方法雖然具有良好的推薦表現，但其整體仿若一個黑盒，難以解釋具體推薦原因。相反，基於決策樹的推薦方法則能夠從資料中進行規則推理，進而給出具體的決策原因。
本文的寫作動機便是將二者的優勢加以結合，提出一個全新的 Tree-enhanced Embedding 方法，既保持基於決策樹方法的可解釋性，又具備基於 embedding 方法的良好推薦效果 ，進而保證了整個推薦過程的透明、可解釋性。
@HarryLiu 推薦
#Convolutional Neural Network
論文連結： https://www. paperweekly.site/papers /2571
原始碼連結： https:// github.com/zysszy/Gramm arCNN
本文是北京大學發表於 AAAI 2019 的工作。 作者使用 Grammar-based CNN 對程式碼進行生成 ，CNN + shortcut connect 進行 encode，對於樹結構輸入資料，使用 pre-order 遍歷後做編碼，並結合使用 tree-path 做編碼，為 input 為結構化資料提供了思路。 在 decoder 階段通過對 max-pooling 結果和 encoding 結果做 attention 計算。
文章對 code generation 現有做法了做了一些回顧，網路結構有對現有元件的直接使用，也有做創新性的調整，內容較為豐富。 在結構化相關任務的 end2end 模型思路上值得借鑑。
#投 稿 通 道#
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？ 答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是 最新論文解讀 ，也可以是 學習心得 或 技術乾貨 。我們的目的只有一個，讓知識真正流動起來。
:memo: 來稿標準：
• 稿件確係個人 原創作品 ，來稿需註明作者個人資訊（姓名+學校/工作單位+學歷/職位+研究方向）
• 如果文章並非首發，請在投稿時提醒並附上所有已釋出連結
• PaperWeekly 預設每篇文章都是首發，均會新增“原創”標誌
:mailbox_with_mail: 投稿方式：
• 方法一：在PaperWeekly知乎專欄頁面點選“投稿”，即可遞交文章
• 方法二：傳送郵件至： hr@paperweekly.site ，所有文章配圖，請單獨在附件中傳送
• 請留下即時聯絡方式（微信或手機），以便我們在編輯釋出時和作者溝通
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點選 「交流群」 ，小助手將把你帶入 PaperWeekly 的交流群裡。
加入社群： http:// paperweek.ly
微信公眾號：PaperWeekly