搜狗語義匹配技術前沿

2.2  用於資訊檢索的 IR-Transformer

搜狗搜尋對機器翻譯Transformer模型進行了一定的改造，建立了用於資訊檢索的IR-Transformer模型。下文將簡要介紹我們模型的架構。

類似於原始的Transformer模型， IR-Transformer模型也分為兩大模組：處理查詢資訊的query編碼器（記為q編碼器）和處理網頁標題的title編碼器（記為t編碼器）。注意，由於處理資訊檢索問題時僅需分析已有網頁，而不需要生成文字或者網頁，所以IR-Transformer架構中不包含解碼器。

q編碼器、t編碼器均為多層結構，較低層的輸出作為較高層的輸入被進一步處理，不同層的內部結構相同。每層q編碼器由兩個亞層組成，而每層t編碼器由三個亞層組成。q編碼器和t編碼器的第一個亞層主要執行self multi-head attention操作；q編碼器和t編碼器的最後一個亞層主要執行非線性變換操作；t編碼器的第二層主要執行q->t multi-head attention操作。

細心的讀者會發現，該模型共用到兩種multi-head attention操作，即self multi-head attention（兩種編碼器均採用）以及q->t multi-head attention（僅用於t編碼器）。實際上，這兩種multi-head attention的差別僅在於輸入的來源有所不同：前者的輸入只包含自身相關的資訊；而後者的輸入不僅包含t編碼器自身的資訊，還包含來自q編碼器的資訊。

為了更形象的說明multi-head attention的運算過程，我們在圖2中展示了一個具體的例子：假設q編碼器的輸入（即使用者的查詢）是“今天/天氣/如何”（斜槓代表分詞），一個待分析網頁的標題是“近期/天氣/彙總”。那麼，對於q編碼器而言，如圖2(a)所示，執行self multi-head attention運算意味著要計算N個相關性矩陣（每個矩陣由如(今天,今天)，(今天,天氣)，(今天,如何)等詞對的相關性數值組成）。換言之，詞與詞之間的相關性即為attention機制，而計算N個相關性矩陣意味著multi-head。由於詞對均由q編碼器的輸入組成，所以對於q編碼器而言，這個操作也叫self multi-head attention。利用N個相關性矩陣以及查詢語句的初始語義向量（embedding），“今天”、“天氣”、“如何”的語義可被進一步深化為三個新向量，如圖2(a)的大括號右側所示。

相對於未經過self multi-head attention的語義向量，新的語義向量含有了上下文的資訊（資訊來自N個相關性矩陣），內涵更加豐富、全面。所以，IR-Transformer模型擁有結合上下文語境來分析語義的能力，而該能力對於資訊檢索精度至關重要，我們將在下一小節重點介紹這一特點。

同理，如圖2(b)所示，q->t multi-head attention操作需要計算N個相關性矩陣（每個矩陣由如(近期，今天)，(近期，天氣)，(近期，如何)等詞對的相關性數值組成）。需要注意的是，詞對的組成不光來自t編碼器，還來自q編碼器（如“今天”等詞）。

圖2 (a) self multi-head attention與 (b) q->t multi-head attention示意

經過q編碼器、t編碼器的多層處理，使用者查詢和網頁標題的語義已被充分抽象。利用加權平均、神經網路處理等方法，我們可以用兩個高維向量來分別表示查詢和網頁標題。比如對於圖2中的例子，查詢和網頁標題的資訊可以分別表示為q=(q ₁ , q ₂ , …, q _k )以及t=(t ₁ , t ₂ ,…, t _k )。基於這兩個高維向量的相似度（例如cos內積的大小），搜尋引擎可以給網頁打分，將高分的網頁返回給發出查詢請求的使用者。

為了提高模型的精度以及收斂效率，我們也參考了原始文獻，在IR-Transformer中加入了殘差連線（residual connection）、層正則化（layer normalization）等技術；為了增加語序分析能力，我們在模型中加入了位置編碼（positional encoding）等操作。

2.3 IR-Transformer 的效果

資訊檢索領域的一個重要的難題是：如何結合上下文語境分析語義，並對查詢與網頁的語義進行匹配。舉個例子，假設使用者的查詢是“哪家/醫院/看/XX病/水平/好”，一個相關性較好的網頁標題資訊是“各大/醫院/治/XX病/效果”。對於該查詢，其語義的核心在於“看/XX病”，而網頁資訊的核心則是“治/XX病”。在一般的語義環境中，“看”字的語義和“治”字的語義差別很大，所以如果直接計算“看”和“治”的相關性，則使用者的查詢和該網頁的匹配度會比較差。但是，如果結合“XX病”這個上下文語境，“看”字和“治”字的語義相關性就非常強了。換言之，一個好的搜尋演算法必須能夠在感知上下文的前提下進行語義匹配。然而，K-NRM以及DSSM等深度學習模型從原理上無法做到這一點，所以這些演算法的搜尋精度有限。

那麼IR-Transformer感知上下文語境的能力怎樣呢？我們做了如下實驗：選擇6個不同型別的網站，分別是（0）新浪部落格，（1）道客巴巴，（2）寶寶樹，（3）56網，（4）大眾點評和（5）土巴兔。每個網站確定100個互不重複的專屬關鍵詞，例如新浪部落格的專屬關鍵詞是“部落格”、“口述”等，道客巴巴是“彙報”、“文獻”等，寶寶樹是“試紙”、“分泌物”等。接下來，對每個網站分別選擇含有專屬關鍵詞的網頁標題，並利用self multi-head attention對這些網頁標題進行處理。為了視覺化顯示self multi-head attention的語義分析能力，我們採用了T-SNE演算法對這些專屬關鍵詞的語義向量進行了降維。

圖3 self multi-head attention的語境分析能力。本圖採用了T-SNE降維演算法對語義向量進行視覺化。散點之間的距離越近意味著它們的語義相關性越強。

如圖3(a)所示，在沒有經過self multi-head attention之前，這些專屬關鍵詞的語義向量的區別並不大（各個顏色的散點並沒有被明確區分成簇）。但是經過了兩層self multi-head attention操作後，這些關鍵詞的語義被明顯區分開了。

那麼圖3背後的道理是什麼呢？經過self multi-head attention之前，網頁標題中不同詞之間沒有任何的相關性操作，即該語義向量中並沒有任何的上下文的資訊；經過self multi-head attention之後，由於attention操作（具體見上一節），這些關鍵詞的語義中包含了上下文的資訊。因為不同型別的（如新浪部落格和道客巴巴）網頁標題的上下文語境會有巨大差別，所以經過self multi-head attention之後，語義向量會被分在不同的簇內。

總結上文，圖3的結果顯示了IR-Transformer具有很強的感知上下文語境的能力，因此該模型的檢索能力遠超DSSM、KNRM等傳統深度資訊檢索模型，甚至超越瞭如RNN、CNN等經典的模型。可以想見，對於在本節開頭提出的“看病”的查詢和“治病”的網頁之間的匹配問題，IR-Transformer會表現的非常出色。

3IRGAN 模型

3.1  資訊檢索問題的模型訓練

機器學習的基礎理論指出，任何機器學習方法都是由模型、策略以及尋優演算法構成的。其中，模型指的是機器學習方法的框架結構；策略以及尋優演算法主要針對模型的訓練：如何設定損失函式、梯度優化演算法等環節來高效獲得最優的模型引數。換言之，從方法論的角度，為了得到一個高精度的機器學習（深度學習）模型，設計完了模型框架並非大功告成，訓練方法的設計也異常關鍵：我們必須確定模型的有效訓練方法，才能獲得最優模型資料，從而進行結果預測。

對於傳統的訓練方法，輸入給模型的訓練資料會被提前製作好並封裝成為訓練集合。在訓練過程中，模型會從集合中隨機抽樣獲得某條訓練資料。可以想見，採用這樣的訓練方法，訓練資料整體的學習難度就等於被構造的訓練集的學習難度。換言之，訓練難度是靜態的。

然而，模型會隨著訓練而“成長”，靜態的訓練難度不容易獲得最優的訓練模型。這是為什麼呢？舉個例子來解釋：當一個高中生剛開始學習高中知識時，他開始可能會覺得有點難，但後來會越來越適應，並很快掌握了這些知識；當這個高中生畢業後進入了大學，如果他還只學習高中難度的知識，他就學不到什麼新的內容了。對於深度學習的模型訓練，道理亦是如此：一成不變的學習難度難以完全激發模型的潛力。

為了解決訓練集難度不變的問題，搜狗搜尋引入了IRGAN強化學習訓練框架：採用該框架可以動態的提升訓練資料的難度，從而提高訓練效率以及預測精度。

3.2IRGAN 原理

IRGAN模型最初發表在《Irgan: A minimax game for unifying generative and discriminative information retrieval models》。該模型脫胎於在圖片生成領域得到廣泛應用的生成對抗網路（Generative Adversarial Network，GAN）。

為了更好地理解IRGAN的工作機制，我們首先介紹GAN。GAN是一種強化學習方法，其基本思想是讓模型在對抗中學習訓練樣本的特徵。GAN由生成器（generator，記為G）和判別器（discriminator，記為D）組成。以圖片生成領域的上色問題為例，為了訓練GAN，我們需要一系列彩色圖片以及與彩色圖片對應的黑白圖片。生成器以黑白圖片輸入，利用CNN等神經網路結構，生成黑白上色的彩色圖片。此後，生成器將生成的彩色圖片（或者說偽彩色照片）與真實的彩色圖片一起提交給判別器，讓其從中選擇哪個是真實的彩色圖片。如果判別器選錯了，判別器將會受到懲罰；反之如果判別器選對了，生成器將會受到懲罰。在GAN的訓練過程中，生成器和判別器會動態的尋找彼此的弱點，並不斷增強自身。在訓練結束後，生成器為模型有效的部分：生成器會將待上色的黑白照片處理成為逼真的彩色照片。

對於IRGAN而言，其設計思想與傳統的GAN大同小異：同樣是利用生成器和判別器之間的博弈來讓兩者相輔相成，共同成長。然而，由於IR的任務並不是生成以假亂真的虛假網頁，而是返回更準確的檢索結果，所以IRGAN的模型架構、訓練方法、訓練資料構造均與傳統的GAN有一定差別。

3.3IRGAN 訓練框架

IRGAN的訓練資料必須滿足一定的格式要求。比如，每條訓練資料要包括一個查詢語句query以及多個（個數大於2）與查詢相關的網頁資料。此外，每條訓練資料還要在多個網頁資料中標明哪個與本條query最為相關。記與當前查詢最為相關的網頁為doc ₊ ，其他網頁資訊為doc _- ，那麼訓練集的格式即為(query, doc ₊ , doc _- , doc _- , … ,doc _- )。

圖4 IRGAN模型架構

如圖4所示，IRGAN的訓練過程可分為判別器的訓練和生成器的訓練兩部分。在訓練判別器時，生成器首先會拿到形如(query, doc ₊ , doc _- , doc _- , … ,doc _- )的初始資料。為了最大程度的欺騙判別器，生成器會從諸多doc _- 中挑選一個它認為與查詢最相關的網頁資料，並將這個doc _- 與doc ₊ （實際上最相關的網頁資料）拼在一起形成新的資料對(query, doc ₊ , doc _- )。判別器會對生成器產生的資料對做出選擇：究竟哪個網頁與查詢最相關。如果判別器選擇錯誤（換言之，被生成器騙到了），那麼它將會被懲罰，從而得到訓練。

必須要指出的是，由於生成器在不斷進化，所以它產生的資料對(query, doc ₊ , doc _- )也在不斷髮生改變。該變化即上文所述的“動態對抗使得訓練資料的難度發生變化”。

生成器的前半部分訓練流程基本與判別器的訓練流程一致：生成器獲得原始資料，生成為了欺騙判別器的資料對。此後，當判別器對資料對做出判斷之後，會輸出一個混淆評分給生成器。混淆評分越大意味著判別器越容易被生成器產生的資料所迷惑；反之，評分越小意味著生成器產生的資料並沒有讓判別器特別困擾。該混淆評分會作為生成器的獎勵，指導生成器的優化方向。隨著生成器訓練的推進，它會分析出除了doc ₊ 外哪個doc _- 的語義最接近query，從而更準確的攻擊判別器的選擇盲區並得到更高的獎勵。

IRGAN是一種對抗訓練的模式，有對抗就有強弱（即檢索能力的高低），所以在訓練完成後，我們可以選生成器和判別器中能力更強的那個來進行資訊檢索。

值得一提的是，IRGAN模型規定的是訓練的框架，而沒有對判別器和生成器的內部結構做出任何限定。換言之，任何可用作資訊檢索的深度學習模型都可以當作IRGAN的生成器或者判別器。例如上文介紹的IR-transformer模型就可嵌入IRGAN框架中。

3.4IRGAN 的效果

為了證實IRGAN的確在動態對抗中優化了輸入的訓練集，我們做了如下實驗：對於某一深度資訊檢索模型，我們讓其在普通的訓練模式下訓練一定時間，並將該狀態作為初始狀態進一步進行兩種方式的訓練：(a)繼續進行普通訓練；(b)分別當作IRGAN的生成器和判別器的初始狀態，並讓生成器和判別器進行對抗訓練。

如圖5所示，(a)圖表示採用普通模式得到的預測精度（DCG5）隨訓練的變化，(b)圖表示採用IRGAN模式得到的預測精度隨訓練的變化。圖5(b)中藍色點為生成器的預測精度，綠色點為判別器的預測精度，黑色點為在訓練開始前的預測精度，紅色區域代表生成器訓練的階段。

訓練集由大量的訓練資料組成，從微觀角度，部分訓練資料較難學習，而部分訓練資料較容易被學習。在普通的訓練模式中，模型通過從集合中抽樣獲得訓練資料，所以訓練資料的難度隨機變化，起伏較大。可想而知，以這樣的訓練方式得到的結果的精度也必然是隨機起伏的，恰如圖5(a)所示。不幸的是，當預測精度出現隨訓練時長的隨機性波動，一般也就意味著訓練的效率大幅下降了。

那麼，有沒有什麼辦法可以降低這種隨機性呢？答案就是採用IRGAN訓練框架。在動態對抗下，生成器會學到判別器的弱點，並對原始訓練集進行“提純”，即從4個doc _- 中選擇一個最難分辨的doc _- 交給判別器去抉擇。值得注意的是，經過了生成器的提純，判別器得到的訓練資料難度再也不是隨機變化的了。如圖5(b)所示，在IRGAN訓練框架下，生成器和判別器的預測精度具有明確的週期性變化趨勢，且生成器和判別器的能力交替上升和下降。判別器預測精度上升意味著在此階段判別器很好地“擊敗了”生成器；反之，如果預測精度下降，意味著在此階段判別器完全被搞迷糊了，學錯了很多“知識”。

精度的週期性波動取代隨機性波動說明了IRGAN訓練模式對訓練資料提純的有效性。換言之，將深度學習模型嵌入到IRGAN框架下再進行訓練具有大幅提高訓練效率、充分發掘模型能力等優勢。我們的研究結果顯示，達到同樣的資訊檢索精度，使用IRGAN框架可以節省一半甚至更多的訓練時間。

圖5 使用IRGAN訓練框架，可以“精煉”訓練資料，並在一定程度上消除預測精度的隨機性波動。

4  總結與展望

隨著學術界對深度學習研究的不斷深入，優秀的演算法和技術手段在不斷湧現。本文介紹的IR-transformer模型和IRGAN訓練框架就是近期學界的新鮮成果。

然而必須要指出的是，雖然資訊檢索中的很多問題可以利用深度學習模型較好的解決，但是還有大量的問題亟待研究。比如，深度學習的模型訓練需要大量的高質量資料（data-hungry），如何通過使用者點選或者其他行為得到足夠純淨的訓練集是決定深度學習模型能力強弱的重要難題；此外，未來的深度學習模型還需考慮更多樣的搜尋需求，比如考慮使用者的個性化特點，搜尋產生的時間、地點，使用者的搜尋歷史等資訊。

道路雖然曲折，但前途依然光明。隨著大資料技術的不斷髮展以及對深度學習、機器學習演算法研究的不斷深入，我們有理由相信，未來的搜尋引擎一定會越發智慧化、個性化，伴隨在人們上網衝浪的點滴時刻。

參考文獻：

[[i]]     Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al., editors. Attention is all you need. Advances in Neural Information Processing Systems; 2017.

Neural Network

（人工）神經網路是一種起源於 20 世紀 50 年代的監督式機器學習模型，那時候研究者構想了「感知器（perceptron）」的想法。這一領域的研究者通常被稱為「聯結主義者（Connectionist）」，因為這種模型模擬了人腦的功能。神經網路模型通常是通過反向傳播演算法應用梯度下降訓練的。目前神經網路有兩大主要型別，它們都是前饋神經網路：卷積神經網路（CNN）和迴圈神經網路（RNN），其中 RNN 又包含長短期記憶（LSTM）、門控迴圈單元（GRU）等等。深度學習是一種主要應用於神經網路幫助其取得更好結果的技術。儘管神經網路主要用於監督學習，但也有一些為無監督學習設計的變體，比如自動編碼器和生成對抗網路（GAN）。

來源：機器之心

Big data

大資料，又稱為巨量資料，指的是傳統資料處理應用軟體不足以處理它們的大或複雜的資料集的術語。

來源： 維基百科

Convergence

在數學，電腦科學和邏輯學中，收斂指的是不同的變換序列在有限的時間內達到一個結論（變換終止），並且得出的結論是獨立於達到它的路徑（他們是融合的）。 通俗來說，收斂通常是指在訓練期間達到的一種狀態，即經過一定次數的迭代之後，訓練損失和驗證損失在每次迭代中的變化都非常小或根本沒有變化。也就是說，如果採用當前資料進行額外的訓練將無法改進模型，模型即達到收斂狀態。在深度學習中，損失值有時會在最終下降之前的多次迭代中保持不變或幾乎保持不變，暫時形成收斂的假象。

來源： Wikipedia Google ML glossary

BM25

在資訊檢索領域，Okapi BM25（BM代表最佳匹配）是搜尋引擎根據其與給定搜尋查詢的相關性對匹配文件進行排名的排名函式。它基於Stephen E. Robertson，KarenSpärckJones等人在70年代和80年代開發的概率檢索框架。

來源： Robertson, S., & Zaragoza, H. (2009). The probabilistic relevance framework: BM25 and beyond. Foundations and Trends® in Information Retrieval, 3(4), 333-389.

Dimensionality reduction

降維演算法是將 p+1 個係數的問題簡化為 M+1 個係數的問題，其中 M<p。演算法執行包括計算變數的 M 個不同線性組合或投射（projection）。然後這 M 個投射作為預測器通過最小二乘法擬合一個線性迴歸模型。兩個主要的方法是主成分迴歸（principal component regression）和偏最小二乘法（partial least squares）。

來源：機器之心

Sogou

搜狗成立於2003年，是中國搜尋行業挑戰者，AI領域的創新者。目前搜狗月活躍使用者數僅次於BAT，是中國使用者規模第四大網際網路公司。2004年8月，搜狗推出搜狗搜尋，現已成為中國第二大搜索引擎。2006年6月，推出搜狗輸入法，重新定義了中文輸入，目前搜狗輸入法覆蓋超5億使用者，是國內第一大中文輸入法。2017年11月9日，搜狗在美國紐約證券交易所正式掛牌上市，股票交易程式碼為“SOGO”，開盤價為13.00美元，市值超50億美元。