收下這 16 篇最新論文，週會基本不用愁

自然語言處理 · 發表 2018-11-02 15:43:00

摘要： @tobiaslee 推薦 #Attention Mechanism 本文是北京大學孫栩老師組發表在 EMNLP 2018 的作品。文章通過實驗發現，在利用Seq2Seq模型解決 Multi-Label Classific（MLC）問題時，傳統 Atten...

@tobiaslee 推薦

#Attention Mechanism

本文是北京大學孫栩老師組發表在 EMNLP 2018 的作品。文章通過實驗發現，在利用Seq2Seq模型解決 Multi-Label Classific（MLC）問題時，傳統 Attention 機制起到的貢獻較小。原因在於傳統 Attention 機制關注的是 word-level，而分類任務往往依賴著整個句子的 salient meaning。

作者通過在LSTM產生的 word-level 上的表示進行多級的 Dilated Convolution 來捕獲更高級別的 semantic unit（例如 phrases）的資訊，進而增強Seq2Seq的效果。進一步地，作者將高層的 attention 和詞級別的 attention 做了整合，提出 Hybrid Attention 來兼顧各個級別表示的資訊。文章提出的模型在 RCV1-v2 和 Ren-CECps 上對比的Seq2Seq模型都有較大的效能提升。

論文連結

https://www.paperweekly.site/papers/2444

原始碼連結

https://github.com/lancopku/SU4MLC

@xwzhong 推薦

#TextClassification

本文是 fast.ai 和 Aylien 發表於 ACL 2018 的工作。遷移學習在 CV 領域已得到廣泛應用，但 NLP 領域的現有方法通常仍需從頭開始訓練。在ImageNet的啟發下，本文提出了基於微調的通用語言模型——ULMFiT，該模型可應用於 NLP 領域的各類任務，未來也可以嘗試將預訓練用於不同的 NLP 任務中。論文在六個文字分類資料集上驗證了本文模型的有效性，此外，作者在實驗中採用的多種 trick 也頗具借鑑意義。

論文連結

https://www.paperweekly.site/papers/1832

原始碼連結

http://nlp.fast.ai/category/classification.html

@icaruss 推薦

#Open-domainChatbot

本文是微軟發表於 NIPS 2018 的工作，這是一篇關於增加開放域聊天機器人多樣性的文章。作者運用了 GAN 和 dual learning 的思想，針對原始的 MMI reranking 方法有所提高。

論文連結

https://www.paperweekly.site/papers/2447

@paperweekly推薦

#Word Embeddings

本文是香港中文大學發表於 IJCAI 2018 的工作。為了更好地捕捉詞彙固有語義和句法資訊，本文提出了兩種基於詞彙共現和奇異值分解的嵌入模型。本文對兩種語義關係進行建模，一種是加和操作，另一種是投影操作，從而確保單詞向量位於特定的超平面中，以清晰地分離具有不同性質的單詞。

論文連結

https://www.paperweekly.site/papers/2416

@paperweekly 推薦

#Dialog Systems

本文是劍橋大學和 PolyAI 發表於 EMNLP 2018 的工作，被評為 EMNLP 2018 最佳論文。論文提出了一個多領域綠野仙蹤實驗型資料集，這是一個具有標註的真人對話資料集，涵蓋多個領域和主題。該資料集包含至少一萬組對話，遠超其他特定領域任務型對話研究所用的資料集。此外，本文還介紹了該資料集的構建過程、資料結構分析以及標註方法。作者通過在三個不同領域中進行實驗對比，證明所構建資料集具有良好表現。