《Joint Event Extraction via RNN》閱讀筆記

來源：NAACL 2016

連結： https://aclanthology.info/papers/N16-1034/n16- I

Introduction

對於一段待進行事件抽取的文字，其中可能含有不只一個事件，且同時出現在同一段文字中的事件具有一定的關聯性，例如對於一個“Attack”事件，往往伴隨有“Die”或者“Injure”事件，而很少會有“Start-Position”事件，同時“Attack”事件的“Victim”實體往往會是“Die”事件的“Target”實體。故考慮事件關聯性有利於事件的分類。

JRNN模型

為了利用上述事件關聯性，論文中採用了memory機制記錄事件分類資訊、角色分類資訊，來指導當前分類結果，整體模型如下：

BiRNN

模型輸入層每個時間步包含三個部分，詞向量 + 實體向量 + 依存樹向量，其中詞向量採用C-CBOW方式進行訓練，實體向量隨機初始化，依存樹向量採用二進位制形式，每一維表示當前詞是否存在於某個依存關係中；隨後通過BiRNN得到上下文敏感的語義表徵。

記憶模組

記憶模組包括三個：Trigger Memory、Argument Memory、Argument/Trigger Memory，所有記憶模組初始化為0，在每個時間步i進行i槽位的memory更新。

Trigger Memory

該記憶模組用符號 表示，其中 表示句子長度， 表示事件型別數量（包括“Other”型別）， 表示包括當前時間步在內的預測的事件集合， 當事件型別 在 時間步裡被預測過。

Argument Memory

該記憶模組用 表示，其中 表示句子中的實體數量， 表示角色型別數量（包括“Other”型別）， 表示包括當前時間步在內的預測的角色集合， 當角色型別 在 時間步裡被預測過。

Argument/Trigger Memory

該記憶模組用 表示，其中 表示句子中的實體數量， 表示事件型別的數量（包括“Other”型別）， 表示實體 在某個事件型別為 的事件作為某種角色實體。

事件分類

事件分類採用前饋神經網路，其特徵為 ，其中 為視窗大小為 的臨近詞向量的拼接向量。

角色分類

角色分類採用前饋神經網路，其特徵為 ，其中 ， 表示先驗資訊的編碼，包括最短依存路徑等，由二進位制特徵通過前饋神經網路得到。

實驗