收下這16篇最新論文，週會基本不用愁

資料探勘 · 發表 2018-11-08 13:17:10

摘要： @tobiaslee 推薦 #Attention Mechanism 論文連結：https://www. paperweekly.site/papers /2444 原始碼連結：https:// github.com/lan...

@tobiaslee 推薦

#Attention Mechanism

論文連結： ofollow,noindex"> https://www. paperweekly.site/papers /2444

原始碼連結： https:// github.com/lancopku/SU4 MLC

本文是北京大學孫栩老師組發表在 EMNLP 2018 的作品。文章通過實驗發現， 在利用 Seq2Seq 模型解決 Multi-Label Classific（MLC）問題時，傳統 Attention 機制起到的貢獻較小。 原因在於傳統 Attention 機制關注的是 word-level，而分類任務往往依賴著整個句子的 salient meaning。

作者通過在 LSTM 產生的 word-level 上的表示進行多級的 Dilated Convolution 來捕獲更高級別的 semantic unit（例如 phrases）的資訊，進而增強 Seq2Seq 的效果。 進一步地，作者將高層的 attention 和詞級別的 attention 做了整合，提出 Hybrid Attention 來兼顧各個級別表示的資訊。文章提出的模型在 RCV1-v2 和 Ren-CECps 上對比的 Seq2Seq 模型都有較大的效能提升。

@xwzhong 推薦

#Text Classification

論文連結： https://www. paperweekly.site/papers /1832

原始碼連結： http:// nlp.fast.ai/category/cl assification.html

本文是 fast.ai 和 Aylien 發表於 ACL 2018 的工作。遷移學習在 CV 領域已得到廣泛應用，但 NLP 領域的現有方法通常仍需從頭開始訓練。在 ImageNet 的啟發下，本文提出了基於微調的通用語言模型——ULMFiT，該模型可應用於 NLP 領域的各類任務，未來也可以嘗試將預訓練用於不同的 NLP 任務中。論文在六個文字分類資料集上驗證了本文模型的有效性，此外，作者在實驗中採用的多種 trick 也頗具借鑑意義。

@icaruss 推薦

#Open-domain Chatbot

論文連結： https://www. paperweekly.site/papers /2447

本文是微軟發表於 NIPS 2018 的工作，這是一篇關於增加開放域聊天機器人多樣性的文章。 作者運用了 GAN 和 dual learning 的思想，針對原始的 MMI reranking 方法有所提高。

@paperweekly 推薦

#Word Embeddings

論文連結： https://www. paperweekly.site/papers /2416

本文是香港中文大學發表於 IJCAI 2018 的工作。 為了更好地捕捉詞彙固有語義和句法資訊，本文提出了兩種基於詞彙共現和奇異值分解的嵌入模型。 本文對兩種語義關係進行建模，一種是加和操作，另一種是投影操作，從而確保單詞向量位於特定的超平面中，以清晰地分離具有不同性質的單詞。

@paperweekly 推薦

#Dialog Systems

論文連結： https://www. paperweekly.site/papers /2428

原始碼連結： https:// github.com/budzianowski /multiwoz

本文是劍橋大學和 PolyAI 發表於 EMNLP 2018 的工作，被評為 EMNLP 2018 最佳論文。論文提出了一個多領域綠野仙蹤實驗型資料集，這是一個具有標註的真人對話資料集，涵蓋多個領域和主題。該資料集包含至少一萬組對話，遠超其他特定領域任務型對話研究所用的資料集。此外，本文還介紹了該資料集的構建過程、資料結構分析以及標註方法。作者通過在三個不同領域中進行實驗對比，證明所構建資料集具有良好表現。

@paperweekly 推薦

#Machine Reading Comprehension

論文連結： https://www. paperweekly.site/papers /2355

本文是百度發表於 ACL 2018 的工作， 論文利用強化學習的方法對序列的多文件閱讀理解模組進行聯合訓練。 作者提出了一種新的答案選擇模型，它結合了基於注意力相關矩陣組合所抽取的全部候選資訊。本文模型在兩個具有挑戰性的開放領域閱讀理解資料集 Quasar-T 和Search QA 上大幅超出了目前的最優結果。

@Kralkatorrik 推薦

#Face Recognition

論文連結： https://www. paperweekly.site/papers /2432

本文來自北京郵電大學鄧偉洪老師組， 該論文是目前人臉識別領域的最新綜述，和之前的人臉識別綜述相比，這篇文章的重點是由深度學習引領的人臉識別突破。 文章總結了近年來主流的深度網路結構，基於歐氏/餘弦距離損失函式改進以及各種人臉影象處理的方法。此外還介紹了資料集、資料噪聲影響分析、人臉識別場景等相關問題。從文章引用的近 250 篇文獻中，可以充分了解當前人臉識別領域的現狀。

@jamiechoi 推薦

#Image Captioning

論文連結： https://www. paperweekly.site/papers /2401

本文是一篇來自莫道克大學的綜述文章，論文全面回顧了當前基於深度學習的 Image Captioning 技術 ，討論分析了各類方法的優勢和侷限性，還全面分析了 Image Captioning 任務常用的主流資料集和評估指標。

@Kralkatorrik 推薦

#Face Recognition

論文連結： https://www. paperweekly.site/papers /2452

原始碼連結： Git-Loss-For-Deep-Face-Recognition" target="_blank" rel="nofollow,noindex"> https:// github.com/kjanjua26/Gi t-Loss-For-Deep-Face-Recognition

本文是來自 BMVC 2018 的一篇文章， 論文在 Center Loss 的基礎上增加了額外的約束，使學習到的特徵相比 Center Loss 具有更大的類間距離和更小的類內距離。 論文提供原始碼，但沒有提供預訓練模型。

@Fiersies 推薦

#Semantic Segmentation

論文連結： https://www. paperweekly.site/papers /2378

本文是清華大學、南開大學和曠視科技發表於 ECCV 2018 的工作， 論文通過整合顯著性檢測和圖劃分演算法，提出一種新型弱監督學習方法加速語義分割發展。 其最大亮點是既利用每個顯著性例項的內在屬性，又挖掘整個資料集範圍內不同顯著性例項的相互關係。

@Aspirinkb 推薦

#Neural Networks

論文連結： https://www. paperweekly.site/papers /2433

原始碼連結： https:// github.com/tensorflow/t ensorflow/tree/master/tensorflow/contrib/quantize

本文是 Google 發表於 CVPR 2018 的工作， 論文介紹了一種量化卷積神經網路的方法，使用最大值、最小值均勻量化權重和特徵圖。 作者詳細介紹了實現的細節，量化後的運算只需要整數運算和移位運算，能夠加快推理速度，尤其適用於在 FPGA 等不擅長浮點數運算硬體中實現。

@zhangjun 推薦

#Hyperparameter Optimization

論文連結： https://www. paperweekly.site/papers /2424

原始碼連結： https:// github.com/udellgroup/o boe

本文來自 arXiv 2018， 文章研究的內容是如何利用推薦系統協同過濾的思想來解決機器學習問題中演算法選擇和超引數優化的問題。 文中將推薦系統的評分矩陣概念類比到機器學習任務中，user-item-rating 矩陣在該任務中分別表示 dataset-algorithm-error，通過矩陣分解技術，預測 dataset-algorithm-error 的空白值，來幫助新 dataset 選擇合適的 model。借用同一思想，構造了 runtime 矩陣，可預測 model 在 new dataset 上的 runtime。

本文屬於一種 meta-learning 方法，整體來說很有新意，方法的有效性也在大量實驗中得到了驗證。這種類似 top-K 推薦的問題都是可以利用協同過濾來解決的。

@JasonZHM 推薦

#Weight Pruning

論文連結： https://www. paperweekly.site/papers /2443

原始碼連結： https:// github.com/KaiqiZhang/a dmm-pruning

本文來自雪城大學、佛羅里達國際大學和東北大學， 論文提出了一種使用 ADMM 方法對神經網路權重進行剪枝的通用方法 ，使得 LeNet、AlexNet 等網路在 MNIST、ImageNet 等資料集上的引數得到了大幅壓縮。

@paperweekly 推薦

#Recommender Systems

論文連結： https://www. paperweekly.site/papers /2449

本文是 LinkedIn 發表於 CIKM 2018 的工作。 論文介紹了作者團隊在 LinkedIn Recruiter 上應用深度學習和表示學習模型所取得的一些成果，即如何更高效精準地匹配候選人與招聘單位的招聘需求。 本文創新點之一是引入了知識圖譜對稀疏實體進行語義表示，其次則是基於語義表示採用擴充套件的深度語義匹配模型對人才匹配結果進行排序。