author: 張俊林     

關於社群問答系統的問題背景，我們在之前的“利用卷積神經網路構造社群問答系統”一文裡已經說明得很清楚，本文就不再贅述，不清楚背景的讀者可自行參照上文，我們這些相關的研發工作主要是為了開發暢捷通“會計家園”交流社群的相關功能。為了保持行文完整，簡明敘述形式化描述的問題如下：

假設我們已知問答庫如下：

其中，Qi是問答社群中的歷史問題，Ai是Qi問題的精華答案；

現有社群使用者提出的新問題：Qnew

我們需要學習對映函式：

意即對於新問題Qnew，我們希望通過學習系統找到社群中已經出現過的語義相同問題

除了上篇文章講述的利用CNN來構造ML系統外，我們還嘗試了使用RNN及其改進模型LSTM，本文主體內容即為使用深度雙向LSTM構造社群問答系統的思路及效果。

|深度雙向LSTM模型

                                                       圖1 深度雙向LSTM

深度雙向LSTM模型的結構如圖1所示。首先強調一下，這個結構也是一個解決對比兩個句子相似性的通用RNN解決方案，不僅僅能夠使用在問答社群，凡是涉及到對比兩個句子或者實體關係的場合完全可以套用這個模型來解決，這點希望讀者注意。

首先，因為我們面臨的問題是對比兩個問題Qi和Qj是否語義相同，那麼對於RNN來說存在一個神經網路的輸入層如何構造的難題。CNN解決這類問題就比較直觀，一般一個輸入套上一個CNN來抽取出句子特徵，然後再套上MLP神經網路來表達兩者之間的關係即可。RNN表達單個輸入句子是非常直觀的，但是直接表達兩個句子之間的關係相對而言就沒那麼直觀。一般可以如圖1這麼做，就是把兩個問題Qi和Qj拼接起來，中間用一個特殊分隔符EOS分割，這裡EOS不代表一個句子的結束，而是代表兩個句子的分隔符號，這個也請讀者注意。如此就構造出了RNN的輸入層。

有了輸入層，上面就好處理了。首先我們在輸入層之上，套上一層雙向LSTM層，

我們可以把神經網路的深度不斷拓展，就是在第一層BLSTM基礎上，再疊加一層BLSTM，疊加方法就是把每個輸入對應的BLSTM層的輸出作為下一層BLSTM神經網路層相應節點的輸入，因為兩者完全是一一對應的，所以很好疊加這兩層神經網路。如果你覺得有必要，完全可以如此不斷疊加更深一層的BLSTM來構造多層深度的BLSTM神經網路。

在最後一層BLSTM神經網路之上，可以使用Mean Pooling機制來融合BLSTM各個節點的結果資訊。所謂Mean Pooling，具體做法就是把BLSTM各個節點的輸出結果求等權平均，首先把BLSTM各個輸出內容疊加，這是pooling的含義，然後除以輸入節點個數，這是mean的含義，Mean Pooling就是這個意思。

如何從物理意義上來理解Mean Pooling呢？這其實可以理解為在這一層，兩個句子中每個單詞都對最終分類結果進行投票，因為每個BLSTM的輸出可以理解為這個輸入單詞看到了所有上文和所有下文（包含兩個句子）後作出的兩者是否語義相同的判斷，而通過Mean Pooling層投出自己寶貴的一票。所以RNN場景下的Mean Pooling可以看作一種深度學習裡的“民主黨”投票機制。

在Mean Pooling之上，我們還可以套上一層SoftMax層，這樣就可以實現最終的分類目的。

通過以上方式，我們就通過輸入層、多層BLSTM層、Mean Pooling層和輸出層構造出一個通用的判斷兩個句子語義是否相同的深度學習系統。其實這個結構是非常通用的，除了判斷兩個句子關係，對於單句子分類明顯也是可以套用這個結構的。

模型結構已經講完，後面我們將進入實驗部分，因為希望和CNN結果進行效果對比，我們先簡單說明下兩個同樣可以用來解決社群問答問題的CNN結構，這兩個結構在之前的“利用卷積神經網路構造社群問答系統”文中都有詳細描述，這裡不展開講，只是列出結構圖，以方便理解和對比模型。

|兩個CNN模型結構

兩個CNN模型結構參考圖2和圖3，圖2這種結構是利用CNN判斷多個輸入句子關係的簡單直接的結構，含義是先各自抽取每個句子的特徵然後比較兩者的關係。而圖3這種結構的含義是先把兩個句子之間的關係明確表達出來作為輸入，然後再套上一個CNN模型來進行分類預測。

圖2 CNN模型1

圖3 CNN模型2

|實驗結果及與兩個CNN模型對比

在之前的文章“利用卷積神經網路構造社群問答系統”中我們使用自己構造的實驗資料驗證了CNN模型2的效果。之後，我們增加了訓練資料的數量，以及加大了負例的難度，其實在這個社群問答問題中，負例的難度對於實驗效果指標影響是比較大的。所謂難度，是指負例中兩個句子間語義相關程度到底有多強，如果負例中兩個句子語義相關程度越強，則分類難度越高。

至於模型，我們補充了CNN模型1，在新資料集合下測試了CNN模型2的效果，對於BLSTM來說，則做了雙層BLSTM和單層BLSTM的實驗，所以可以認為有四個模型參與效果對比。

經過引數調優，這四個模型在這個新的訓練集和測試集下，具體實驗結果如下：

     CNN模型1             分類精度：89.47%

     CNN模型2             分類精度：80.08%

     雙層BLSTM模型分類精度：84.96%

     單層BLSTM模型分類精度：89.10%

可以看出，在這個問答社群問題裡，CNN模型1和單層BLSTM效果接近，而雙層BLSTM模型效果有下降，這也許跟實驗資料規模不夠大有一定關係，所以複雜模型的優勢發揮不出來，而CNN模型2則效果相對差些，這也許說明了CNN模型2沒有將兩個句子的原始資訊輸入到模型裡，而是直接將其關係作為輸入，這種情況下存在資訊損失的可能。

致謝：感謝暢捷通智慧平臺的沈磊、薛會萍、黃通文、桑海巖等同事在模型訓練及訓練資料的收集整理方面的工作。

掃一掃關注微訊號：“布洛卡區” ，深度學習在自然語言處理等智慧應用的技術研討與科普公眾號。