EMNLP 2018 抽象語義表示中使用基於轉移的方法學習詞到概念對映

ofollow,noindex" target="_blank">哈工大SCIR 原創

2018/10/08 12:04

劉一佳，車萬翔，鄭博，秦兵，劉挺 作者

本文介紹哈爾濱工業大學社會計算與資訊檢索研究中心（HIT-SCIR）錄用於EMNLP 2018的論文《An AMR Aligner Tuned by Transition-based Parser》中的工作。

論文作者：劉一佳，車萬翔，鄭博，秦兵，劉挺

1 簡介

將自然語言分析成機器可以理解的語義表示是自然語言處理的長期以來的一個目標，抽象語義表示(AMR)是這些語義表示方式中的一種。AMR中的“抽象”指的是自然語言以句子為單位被抽象成語義圖(如圖1，節點表示概念，邊表示概念與概念的關係)。這種抽象給標註過程帶來了一定的自由。標註者在標註過程中不需要關心原始句子中詞級別的語義。

圖1. 一個AMR的示例

句子級的抽象是AMR的特點，也是給AMR分析帶來了諸多困難。現階段，大部分的句法語義分析演算法是以詞為最小單位設計的，主流的AMR分析演算法也不例外。Flanigan et al. [2014]提出的演算法是目前大部分AMR分析演算法的基礎。他們的演算法可以歸納為兩步:首先從輸入句子中識別出語義圖中應該包含的概念，然後為這些概念建立關係。這種演算法設計依賴於一個詞到概念的對映。只有知道一個詞對應哪個概念，我們才能訓練概率模型自動完成從輸入句子中識別出語義圖中應該包含概念的目標。

那麼怎樣才能知道一個詞對應哪個概念呢?Flanigan et al. [2014]給出了一個方案:從訓練資料輸入的句子和圖中“猜”這種對應關係(alignment)。圖2給出一個猜alignment的例子。經過數年的發展，Flanigan et al. [2014]提出的猜alignment的方法已經成為諸多AMR語義分析的基礎。然而，他們的alignment遠非完美。他們的“猜”法可以總結為貪心地匹配一個詞與所有概念，這意味著輸出唯一的alignment結果。為了提高準確率，他們的方法放棄召回一些如action到act-01的alignment;同時，alignment的好壞，對於下一步建立概念關係的模型的學習會產生怎樣的影響，這些都沒有考慮。這使得在人工標註的少量alignment資料中，他們的方法只有90%的準確率。

圖2. 從訓練資料輸入的句子和圖中“猜”這種對應關係

而本文要做的就是提高alignment的準確率，進而提高AMR分析的效能。我們的思路可以概括成:

• 在Flanigan et al. [2014]的基礎上取消“貪心匹配”過程。並用外部資源增加匹配的召回率，使得演算法可以輸出多個alignment候選;

• 用一個oracle parser決定上面輸出的alignment哪個最好。oracle parser會保持某個alignment結果的前提下根據訓練資料儘可能找到分數最高的alignment。

上面的過程可以用圖3來描述。 通過這種方法，我們得到了準確率更高的alignment，並且幫助提高了AMR分析的準確率。

圖3. 本文演算法框架，其中a代表alignment，g代表AMR圖，s代表AMR圖比照黃金AMR圖的分數。

2 實驗

圖4. (左)手工標註alignment的準確率，(右)不同的alignment對於最終AMR分析效能的影響。

我們分析了我們的alignment在手工標註資料上的準確率。其結果如圖4所示。我們的alignment優於Flanigan et al. [2014]。然後，我們將開源兩個系統(JAMR:Flanigan et al. [2014]，CMAR:Wang et al. [2015])中的alignment替換為我們的alignment並比較得到的parser的效能。可以看出，我們的alignment可以穩定地提升兩個開源AMR分析器的效能。

3 拓展閱讀

想要更多地瞭解演算法的細節，歡迎參考我們的論文。同時，本文的oracle parser是基於Choi and McCallum [2013]提出的使用cache處理非投射依存句法樹(nonprojective dependency tree)的演算法設計的。我們也在此基礎上設計了自己的基於轉移的AMR分析器。實驗表明，這種基於轉移的分析器速度快、準確率高。如果讀者對於實驗細節感興趣，也歡迎參考我們的開原始碼：https://github.com/Oneplus/tamr。

References

Jinho D. Choi andAndrew McCallum. Transition-based dependency parsing with selectional branching. In Proc. of ACL, 2013.

Jeffrey Flanigan, Sam Thomson, Jaime Carbonell, Chris Dyer, and Noah A. Smith. A discriminative graph-based parser for the abstract meaning repre- sentation. In Proc. of ACL, 2014.

Chuan Wang, Nianwen Xue, and Sameer Pradhan. A transition-based algorithm for amr parsing. In Proc. of NAACL, 2015.

相關資料

推薦文章

揭開知識庫問答KB-QA的面紗1·簡介篇

IJCAI 2018基於圖結構的實體和關係聯合抽取模型簡介

跟著大神回顧ACL 2018：大會亮點一覽