1. 程式人生 > >【論文閱讀】Slot-Gated Modeling for Joint Slot Filling and Intent Prediction

【論文閱讀】Slot-Gated Modeling for Joint Slot Filling and Intent Prediction

文章目錄

論文部分

Abstract

根據slot和intent之間的關係,提出了一種slot gate來學習intent和slot向量之間的關係,通過全域性優化來獲得更好地語義資訊。

Introduction

由於slot通常高度依賴於intent,因此本工作重點介紹如何通過引入slot gate來建模slot和intent向量之間的顯式關係:

  • slot gated模型效果比基於注意力的模型具有更好的效能;
  • 對兩個SLU資料集的實驗表明了所提出的slot gate的推廣和有效性;
  • gating表示有助於我們學習 slot-intent 之間的關係。

Proposed Approach

2.1 基於注意力機制的RNN模型

雙向長短期記憶(BLSTM)模型將單詞序列 x = ( x

1 , x 2 , . . . , x
T
) x=(x_1, x_2, ..., x_T) 作為輸入,然後生成前向隱藏狀態和反向隱藏狀態,第 i i 個時間點的隱藏狀態

2.2

實驗部分

  1. 程式碼下載:SlotGated-SLU

  2. 環境要求:
    python3.5 + tensorflow1.4

  3. 環境配置:

    • 安裝虛擬環境
      安裝虛擬環境
      pip install virtualenv
      在當前目錄下,建立虛擬環境目錄,並指定python直譯器。
      virtualenv -p /usr/bin/python3.5 tensorflow-py3.5
      啟用虛擬環境
      source tensorflow-py3.5/bin/activate
      啟用之後可以看到:

    • tensorflow下載安裝:可以使用清華大學提供的映象,選擇相應的計算單元、作業系統、python版本、tensorflow版本進行下載安裝,會自動生成安裝命令。
      清華大學tensorflow映象
      我使用的安裝命令:
      pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/cpu/tensorflow-1.4.0-cp35-cp35m-linux_x86_64.whl

    • 安裝完畢之後就可以根據readme裡的Usage來執行程式了。