1. 程式人生 > >Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks的理解以及翻譯

Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks的理解以及翻譯

模型關於語句的相似度,由於變異以及長短不同表達,設計了一個這些中間,探究了輸入的多個角度運用多個卷積型別以及多種型別的pooling,類似於運用了多個相似度函式。模型包括兩個組成部分如圖:

如圖1,兩個輸入的句子由兩個並行的神經網路處理,輸出句子representation,兩個句子表示由一個結構化的相似性測量層,然後相似性的特徵通過一個全連線來最終計算相似度。

1、第一部分,為了句子相似性計算,把句子轉化為為representation,運用不同的卷積型別以及pooling來獲取輸入的多個角度的不同的資訊。

第二部分:一種語句相似性測量方式,運用多個相似測量方法,比較來自於句子模型中的區域性表示

   我們的模型有一個連體結構,分別有兩個子網路,每一個處理一個句子,分別;子網路共享所有的權重,並且用一個相似測量層連線,然後用一個full獲取最後的相似分數。

更重要的是我們並不需要額外的資源,例如wordnet或者語法解析對於文章感興趣的;我們僅僅選擇性的用詞性標籤和預訓練好的詞向量,最主要的不同時我們運用了不同型別的卷積核和在區域性區域運用結構相似的測量方式。後來的實驗會展示我們的大部分成功來自於輸入句子的多角度提取特徵,運用不同的卷積型別。

        在第四章介紹句子模型,第五章介紹是我們的相似測量層

4、句子模型

        這一章,我們的模型卷積模型對於每一個句子,用了兩種不同的卷積型別核,將會在4.1進行描述,也會運用多種型別的pooling型別。

        我們的輸入是一個單詞流,把句子可以理解為時間序列,鄰近的單詞具有關聯性,那麼sent是一個句子長度為len,單詞維度為dim維的,其中第i個單詞的embedding,而表示從i到j包括j的連線embedding,