Abstract

基於Aspect的情感分析（ABSA）能提供比一般情感分析更詳細的資訊，因為它旨在預測文字中給定的aspect或實體的情感極性。我們把以前的工作總結為兩類：aspect分類情感分析（aspect-category sentiment analysis (ACSA)） 和aspect實體情感分析（ aspect-term sentiment analysis (ATSA) ）。大部分以前的工作使用了LSTM和attenion機制來預測有關目標的情感極性，但是常常模型很複雜並且需要很長的訓練時間。我們提出了一個更精確有效的基於卷積神經網路（convolutional neural networks ）和門機制（ gating mechanisms ）的模型。首先一種新的Tanh-ReLU 門單元能夠根據給定的aspect或實體選擇輸出的情感特徵。這個結構比應用於現有模型的注意力層簡單得多。然後，我們的模型的計算在訓練中很容易並行化，因為卷積層不像LSTM層那樣有時間依賴性，並且門單元也能夠獨立的工作。在SemEval 資料集上的實驗表明我們工作的效率。

Introduction

在使用者生成的評論進行意見挖掘和情緒分析 (龐和李, 2008) 可以為提供商和消費者提供有價值的資訊。除了預測整體情緒極性, 基於細粒度方面的情緒分析 (ABSA) (劉和張, 2012) 能夠比傳統情緒分析更好地理解評論。具體地說, 我們對文字中的aspect類別或目標實體的情緒極性感興趣。有時, 也會加上aspect實體提取 (薛等, 2017)。有關ABSA已經開發了許多模型, 但有兩個不同的子任務, 即aspect分類情緒分析 (ACSA) 和aspect實體的情緒分析 (ATSA)。ACSA 的目標是對於給定的幾個預定義的類別之一的aspect預測情緒極性。另一方面, ATSA 的目標是識別文字中出現的目標實體的情緒極性, 這可能是一個多詞短語或一個單詞。對aspect實體作出貢獻的不同詞語的數量可能超過1000。例如, 在句子 "Average to good Thai food, but terrible delivery. .", ATSA 會問情緒極性對實體Thai food ;雖然 ACSA 會問aspect情感極性 service , 即使詞service 沒有出現在句子中。

我們的模型在更少的訓練時間下能得到更好的精確度。對於ACSA任務，我們的模型有兩個單獨的卷積層在embedding層之上，這個embedding層的輸出是由新型門單元的組合組成的。有多重過濾器的卷積層能夠在每個可接受的領域的許多粒度下有效的抽取n-gram特徵。門單元被設計為有兩個非線性門，兩個中的任何一個都和一個卷積層連結。在給定的aspect資訊下，對於情感的預測能夠抽取aspect-specific 情感資訊。比如說，在句子“Average to good Thai food, but terrible delivery ”中當food這個aspect被提供，門單元能夠自動忽視在第二個子句中delivery這個aspect的消極情緒，並且只輸出第一個子句的積極情緒。因為模型中的每個組成部分都能夠並行，因此比LSTM和attention機制需要更少的訓練時間。對於ATSA任務，當這個aspect實體由多個單片語成時，

對於目標表達式我們將我們的模型擴充套件到包括另一個卷積層。我們評估我們的模型在 SemEval 資料集, 其中包含餐廳和膝上型電腦評論與標籤上的方面水平。據我們所知, 迄今為止, 還沒有提出基於aspect的情緒分析的基於CNN 模型。

2 Related Work

現有工作主要由以下兩方面分析。

2.1 Neural Networks

近年來神經網路非常流行

語法翻譯方面：Tree-LSTM ，Recursive Neural Tensor Network

情感分析方面：RNN（比如LSTM和GRU）

NLP：CNN，被證明無需花費太多計算能力就能捕獲豐富的語義資訊

2.2 Aspect based Sentiment Analysis

ABSA主要分為兩種子任務

Aspect-Term Sentiment Analysis.

最近的：

TD-LSTM，gated neural networks 使用兩或三層LSTM對目標的左右上下文分別建模。一層有門單元的全連線層在LSTM的輸出下預測句子極性

Memory network ：由於知識庫建立在單個的詞向量模型上，因此難以學習到在更復雜的文字中的有附加詞的意見詞。

Aspect-Category Sentiment Analysis. 

Attention-based LSTM 用aspect向量來有選擇的參與LSTM生成的表示區域

3 Gated Convolutional Network withAspect Embedding 

我們提出了一個模型名叫Gated Convolutional network with Aspect Embedding (GCAE) 

6 Experiments

6.1 Datasets and Experiment Preparation

實驗資料集：SemEval(Pontiki et al., 2014)，關於餐館和膝上型電腦的使用者評論。

一些現有的工作從從四類情緒標籤刪除了 "衝突" 的標籤, 這使得他們的結果非常好 (Kiritchenko et al., 2014).本文重現了這種比較方法。

在評論資料中, 對句子中不同aspect或目標有不同情緒標籤的句子比標準情緒分類更常見。表1中的句子顯示了評論者對兩個方面的不同態度: 食物和配送。因此, 為了更準確地評估模型對評論句子的執行方式, 我們建立了一些小而困難的資料集, 它們由對不同aspect/目標有相反或不同情緒的句子組成。在表1中, 資料集包括像這樣的兩個相同的句子, 但有不同的情緒標籤。如果一個句子有4個aspect的目標, 這個句子將有4個副本在資料集, 其中每一個副本都與不同的目標和情緒標籤相關聯。

ACSA任務

我們在SemEva 2014 任務4中的餐館評論資料中進行實驗，有5個aspect :food, price, service, ambience, and misc；4個情感極性：positive,negative, neutral, and conflict。通過合併2014-2016年的餐館評論，我們得到一個大資料集“Restaurant-Large”。其中不相容的部分在合併時已經被修剪。在2014年的資料中我們將conflict標籤用neutral標籤替代。在2015和2016年的資料中，一個句子可能有多對“aspect terms”“aspect category”。對於每個句子，用p來表示積極標籤的數量減去消極標籤的數量的結果。當p>0時我們分配這個句子積極標籤，當p<0時消極標籤，或者p=0是neutral標籤。統計結果如下表2，最後的資料集有8個aspect：restaurant, food, drinks, ambience, service, price, misc and location.

ATSA 任務

我們在SemEva 2014 任務4中的餐館評論資料中進行實驗，在每個資料集中，我們把每個句子複製na次，na等於相應的aspect
categories (ACSA) 或者 aspect terms (ATSA) (Ruder et al., 2016b,a)的數量。統計結果如下表2。

hard data的大小也在表2中展示出來，這個測試集被設計為評估模型是否能夠判斷同一個句子中對於不同的實體的多個情感極性。沒有這個測試集，也許一個全域性的情感分類器就足以應對只有一個情感標籤的句子了。

然後是一些詞向量初始化的介紹

in our experiments, word embedding vectors are initialized with 300-dimension GloVe vectors which are pre-trained on unlabeled data of 840 billion tokens (Pennington et al., 2014). Words out of the vocabulary of GloVe are randomly initialized
with a uniform distribution U(-0:25; 0:25). We use Adagrad (Duchi et al., 2011) with a batch size of 32 instances, default learning rate of 1e-2, and maximal epochs of 30. We only fine tune early stopping with 5-fold cross validation on training datasets. All neural models are implemented in PyTorch.
 

6.3 Results and Analysis

6.3.1 ACSA

6.3.2 ATSA

6.4 Training Time

6.5 Gating Mechanisms

7 Visualization

8 Conclusions and Future Work

本文提出了一種高效的卷積神經網路來處理 ACSA 和 ATSA 任務。GTRU 可以根據給定的方面資訊有效地控制情緒流, 兩個卷積層分別對aspect和情緒資訊進行建模。通過對 SemEval 資料集的廣泛實驗, 證明了與其它神經模型相比, 效能的改進。如何利用神經網路中的大規模情緒詞彙是我們未來的工作