semantic parsing 調研綜述

任務說明

semantic parsing，語義解析，從名稱上來說，是一種相對於語法分析級別上更為高層的分析。具體來說，通常指的是將自然語言轉換成為機器可以理解的意義表示。這種機器可以理解的意義表示，通常指邏輯形式（Logic Forms）。以下給出一個範例說明：

NL（natural language）: article published in 1950
CF（canonical form）: article whose publication date is 1950
LF（logic form）: get[[lambda,s,[filter,s,pubDate,=,1950]],article]
DT（derivation tree）: s0(np0 (np1 (typenp0), cp0 (relnp0, entitynp0))
DS（derivation seqs）: s0 np0 np1 typenp0 cp0 relnp0 entitynp0
 

本文調研角度，主要側重於semantic parsing這個任務的當前進展形式如何，瞭解在各個常用的實驗資料集上的the-state-of-the-art的方法發展等。

調研結果

本文涉及的論文集合主要包含的是2015~2017年在ACL,EMNLP等會議上的文章，其中做了一些篩選，可能有所遺漏。

在所調研的文章中，其中實驗使用較廣的資料集有：GEO,JOBs,WebQuestions,WebQuestionsSP,WIKITABLEQUESTIONS,OVERNIGHT等。接下來從在從各個資料集上出發，做一個 state-of-the-art的報告:

• GEO DATA：89.3

  構建更多的訓練資料：在Data recombination for neural semantic parsing這篇文章中，基於 seq-to-seq 的 RNN 模型，結合 Attention-based Copying 機制，對應的是將一些可能沒有轉換規則的word直接輸出，而不是再去從softmax 層去獲取輸出。這一點可以將 RNN-based的方法從74.6提升至85.0。本文更為重要的貢獻是從給定的初始訓練集中，利用同步上下文文法，以及抽象實體等方式，生成更多的in-domain的訓練樣例，使得模型獲得了提升。

• JOBs DATA：90.0

  不要手工特徵，DL使我 happy：在 Language to logical form with neural attention一文中，作者利用 RNN以及注意力機制構建了seq-to-seq 模型，已經在此基礎上構建了一個 tree-decoder，即為 seq-to-tree。其中 seq-to-tree model 獲得了在神經網路方法上的state-of-the-art,在此之前，Percy liang（2013） 一篇基於DCS-L 的方法擁有更好的效能，但需要一系列手工特徵設計。

• FREE：79.2

  標註，不存在的：Large-scale semantic parsing without question answer pairs。在之前提過的方案中，訓練例項是<sentence,logical forms>，這種形式需要的代價往往較大；還有一些人提到的方案面向 question-answer pair，但本文更厲害，連 question-answer 的 pair 都不需要了。基於 Freebase，利用 CCG parser 將輸入轉為 semantic graph，利用了自然語言與知識庫中的概念之間的聯絡，用該semantic graph去 Freebase 中去進行匹配獲取 answer。

• WebQuestions 52.5/52.6(ranking)

  分級搜尋？知識庫幫我pruning：在Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base中，定義query graph 為可以直接從知識庫轉為 logical form，定義 semantic parsing 的任務為生成 query graph。本文利用 knowledge base 進行預先的實體鏈指，利用 Deep CNN 來進行 question 和 predicate 的匹配程度計算，獲得了當前的 state-of-the-art.

• OVERNIGHT 48.8/58.8/72.7

  該資料集構建之前，諸位大佬的實驗均在GEO 和 JOBs上，該資料構建之後，開始一頓狂刷。但是報結果的人都很奇怪，總共8個 domain，有人報七個，有人報8個，報7個的後來者，就把報8個 domain 的人的結果拿過來算一下平均做對比。

  其中58.8的結果為 Building a semantic parser overnight這篇文章中的結果，做法倒不是特別重要了，因為這個資料集就是從這篇文章中出來的。

  72.7的結果為Sequence-based structured prediction for semantic parsing中所提出，其在 RNN-based 模型上增加了語法的限制。對應的設計了一系列效能結果。

  48.8為IJCAI 2017中Symbolic Priors for RNN-based Semantic Parsing新提出的方法的結果，走的路子與Sequence-based structured prediction for semantic parsing相似，但定位於利用先驗知識在 input dependency上進行處理，利用 well-formedness 的邏輯文法，對相應的實體進行處理。其文中對比了72.7的方法，但評測的指標數卻不是72.7了。

一些結論

以上是在各個資料集合上當前的 state-of-the-art 方法，以下是收集到的文章列表。

• 從訓練方式來看，趨勢是從原始的question-logical form pair到自己生成更多的樣例，到使用集合更大的question-answer pair，甚至是without question-answer pair而直接與海量知識庫結合，即標註不夠用，能不能自己造，能不能不用標註等。
• 從模型來說，緊隨深度學習潮流，新方法很快遷移。seq-to-seq 可以，那就 seq-to-seq，attention 火，那就趕快引進，包括使用multi-head Attention 等。
• 2017年的三篇文章，兩篇是結合文法或者符號先驗的，一篇是 universal learning 方面的。這也算一種趨勢吧，與符號結合以及面向更為通用的場景去設計。
  • Symbolic Priors for RNN-based Semantic Parsing
  • Macro Grammars and Holistic Triggering for Efficient Semantic Parsing
  • Universal Semantic Parsing(2017)

論文收集列表

• Learning Executable Semantic Parsers for Natural Language Understanding - D && P: Geo880,ATIS-3,Regexp824,Free917
  • Semantic parsing on Freebase from question-answer pairs (2013)
    • do not need annotated logical forms data, learn from Q-A pairs
    • mapping phrase to predicates using Knowledge base and text corpus
    • D && P: Free917 71.3 WebQ 32.9
  • Semantic Parsing as Machine Translation(2013)
    • D && P: GEO 81.8
  • End-to-end Learning of Semantic Role Labeling Using Recurrent Neural Networks(2015)
    • using rnn encoder-decoder
    • D && P F1: Conll-2005 Dev 79.6 WSJ 82.8 Brown 69.4 Conll-2012 dev 81.1 test 81.3
  • Deep Semantic Role Labeling with Self-Attention(2017)
    • using Multi-head attention
    • D && P F1: Conll-2005 Dev 84.6 WSJ 86.1 Brown 74.8 Conll-2012 dev 84.1 test 83.9