短視訊那麼多，快手如何利用GRU實現各種炫酷的語音應用

隨著短視訊的興起，如何使用演算法理解視訊內容，並對其進行描述與檢索就顯得非常重要。最近快手多媒體內容理解部的語音組提出了一種能使用下文資訊的門控迴圈單元，該模型能為快手大量的短視訊提供語音識別、語音特效和語音評論等優秀的應用。快手提出的該論文已經被 Interspeech 2018 接收為 oral 論文，目前它同樣也部署在了快手的各種語音業務中。

本文介紹了快手這一研究成果以及它在實際業務中的應用，同時也介紹了 Interspeech 2018 中比較有意思的主題。本文首先會討論語音在快手業務中的應用，以及為什麼需要高效能門控迴圈單元以及較低的解碼延遲。隨後文章會重點討論快手如何選擇 GRU、mGRU 以及更加精簡的迴圈單元 mGRUIP，同時會介紹如何將下文資訊嵌入迴圈單元以處理語音的協同發音問題，這些帶下文資訊的高效模組在處理快手短視訊語音資訊中處於核心地位。最後，本文還會介紹快手整個多媒體理解部門所研究的方向與情況。

快手多媒體內容理解部語音組的李傑博士在 Interspeech2018 做 oral 報告。

為什麼語音需要新單元

首先語音在快手業務中的應用主要分為兩大類。第一類是語音內容分析，主要目的是對每天快手使用者產生的海量語音資料進行內容分析，為接下來的資訊保安、內容理解、廣告與推薦等提供基礎服務。涉及到的技術主要包括：語音識別、關鍵詞識別、說話人識別、聲學事件檢測等。這類業務快手使用者可能不太容易感受的到，但對快手而言是很重要的業務。具體的應用，比如，短視訊語音識別、短視訊音訊標籤、直播語音識別、直播髒詞過濾等。

第二類是語音互動。其目的是提升使用者與快手產品互動時的便利性，此外，可以通過語音設計一些新的玩法，提升趣味性。涉及的技術包括語音識別、關鍵詞喚醒等。比如，快手產品中的魔法表情語音特效觸發、語音自動生成字幕、語音評論、語音搜尋等。

在語音識別領域，設計一個「又快又好」的聲學模型一直是從業者不斷追求的目標。「快」指的是模型延遲要小，計算要高效。「好」指的是識別準確率要高。本次快手提出的「具備下文語境的門控迴圈單元聲學模型」就具有這樣的特點。在語音內容分析和語音互動兩類業務中，語音識別相關部分都可以用此模型。

•論文：Gated Recurrent Unit Based Acoustic Modeling with Future Context 

•    論文地址：https://arxiv.org/abs/1805.07024

帶下文語境的門控迴圈單元

正因為快手需要快速與準確地處理語音資訊，所以快手的李傑博士等研究者提出了一種能利用下文資訊的門控迴圈單元。這裡需要注意的是，利用下文資訊在語音識別和關鍵詞識別等任務中非常重要。正如快手所述，很多時候語音識別不能僅考慮當前話語的資訊，我們還需要一定長度的後文資訊才能降低口音和連讀等協同發音的影響。

為了利用下文資訊，我們首先想到的可能就是 BiLSTM，它廣泛應用於機器翻譯和其它需要下文資訊的序列任務中。但是在語音識別中，雙向LSTM的延遲非常大，它也做不到實時解碼。例如在使用 BiLSTM實現語音建模的過程中，模型的延遲是整句話，也就是說在識別第 5 個詞時，我們需要等整句話結束並將資訊由句末傳遞到第 5 個詞，這樣結合前向資訊與反向資訊才能完成第 5 個詞的識別。這種延遲是非常大的，通常也是不可忍受的，沒有人希望模型在整句話都說完才開始計算。

整個延遲的控制在語音識別中都處於核心地位，因此正式來說，模型延遲指在解碼當前幀時，模型需要等待多久才能對當前幀進行預測。而模型等的時間就應該是識別當前幀所需要的未來資訊，這個延遲是一定存在的，只要在可接受的範圍內就完全沒問題。快手多媒體內容理解部語音組李傑博士表示一般最簡單的方法就是在輸入特徵的時候，除了輸入當前特徵以外，還要把未來的比如說一百毫秒以內的特徵都輸入進去。因此在真正使用，並解碼的當前時刻 T 的時候，我們必須要等待一百毫秒。

其實有很多方法都能在聲學建模中利用下文資訊，例如 時延神經網路 （TDNN）和控制延遲的 LC-BiLSTM網路等。其中 TDNN 是一種 前饋神經網路 架構，它可以在上下文執行時間卷積而高效地建模長期依賴性關係。而 LC-BiLSTM嘗試控制解碼延遲，希望不再需要等整個句子完成再解碼，但這些模型的延遲仍然非常高，達不到實際的需求。

為了降低延遲並提高計算效率，快手的研究者在該論文中以 GRU 為基礎進行了修正並添加了上下文模組。總的而言，他們採用了只包含更新門的最小門控迴圈單元（mGRU），並進一步新增線性輸入對映層以作為「瓶頸層」，從而提出大大提升運算效率的門控迴圈單元mGRUIP。使用 mGRUIP 再加上能建模下文資訊的模組，就能得到高效能與低模型延遲的聲學建模方法。

李傑博士表示一般來說，「建模下文資訊」總會帶來一定的延遲，「建模下文資訊」與「低延遲」經常會相互矛盾。這篇論文提出的模型是在兩者之間找到了一個比較好的平衡點。模型中的 input projection 形成了一個 bottleneck，而快手在這個 bottleneck 上設計了下文語境建模模組，從而實現了在低延遲的條件下，對下文語境進行有效建模。

從 GRU 到 mGRUIP

為了構建計算效率更高的單元，快手從 GRU、mGRU 到 mGRUIP 探索了新型門控單元。GRU 背後的原理與LSTM非常相似，即用門控機制控制輸入、記憶等資訊而在當前時間步做出預測。GRU 只有兩個門，即一個重置門（reset gate）和一個更新門（update gate）。這兩個門控機制的特殊之處在於，它們能夠儲存長期序列中的資訊，且不會隨時間而清除或因為與預測不相關而移除。

從直觀上來說，重置門決定了如何將新的輸入資訊與前面的記憶相結合，更新門定義了前面記憶儲存到當前時間步的量。在 Kyunghyun Cho 等人第一次提出 GRU 的論文中，他們用下圖展示了門控迴圈單元的結構：

上圖的更新 z 將選擇隱藏狀態 h 是否更新為新的 h tilde，重置門 r 將決定前面的隱藏狀態是否需要遺忘。以下圖左的方程式展示了 GRU 的具體運算過程：

其中 z_t 表示第 t 個時間步的更新門，它會根據當前時間步的資訊 X_t 與前一時間步的記憶 h_t-1 計算到底需要保留多少以前的記憶。而 r_t 表示重置門，它同樣會通過 Sigmoid 函式判斷當前資訊與多少以前的記憶能形成新的記憶。而上圖右側所展示的 mGRU 進一步減少了門控的數量，它移除了重置門，並將雙曲正切函式換為 ReLU啟用函式。此外，mGRU 相當於令 GRU 中的重置門恆等於 1。

通過上圖的左右對比，很明顯我們會發現 mGRU 的計算要簡單地多，但是如果網路的每一層神經元都非常多，那麼 mGRU 的計算量還是非常大，且隨著神經元數量的增加計算成線性增長。這就限制了 mGRU 在大型網路和大規模場景中的應用。因此李傑等研究者進一步提出了帶輸入對映的 mGRUIP，它相當於給輸入增加了一個瓶頸層，先將高維特徵壓縮為低維，然後在低維特徵上發生實際的運算，再恢復到應有的高維特徵。

上圖展示了 mGRU 到 mGRUIP 的演變，其中 mGRUIP 會先將當前輸入 x_t 與前一時間步的記憶（或輸出，h_t-1）拼接在一起，然後再通過矩陣 W_v 將拼接的高維特徵壓縮為低維向量 v_t，這裡就相當於瓶頸層。然後通過批歸一化 BN 和啟用函式ReLU 計算出當前需要記憶的資訊 h_t tilde，再結合以前需要保留的記憶就能給出當前最終的輸出。

mGRUIP 顯著地減少了 mGRU 的引數量，它們之間的引數量之比即 InputProj 層的單元數比上隱藏層的單元數。例如我們可以將 InputProj 層的單元數（或 v_t 向量的維度）設定為 256，而神經網路隱藏層的單元數設定為 2048，那麼同樣一層迴圈單元，mGRUIP 比 mGRU 的引數量少了 8 倍。

很多讀者可能會疑惑既然等大小的兩層網路引數量相差這麼多，那麼它們之間的表徵能力是不是也有差別，mGRUIP 是不是在效能上會有損失。李傑表示他們經過實驗發現，這種降維不僅不會降低 GRU 模型的表達能力，反而可以提升模型的效能。不僅本文的 GRU 如此，其他人所做的關於LSTM的工作也有類似的發現。在LSTM中增加線性輸出層，或者輸入層，大部分情況下，不僅沒有效能損失，反而有一定的收益。可能的原因在於，語音連續幀之間具有較多的冗餘資訊，這種線性層可以進行一定程度的壓縮，降低冗餘。

mGRUIP 與上下文模組

完成高效的門控迴圈單元后，接下來我們需要基於這種單元構建利用下文資訊的方法。在快手的論文中，他們提出了兩種上下文模組，即時間編碼與時間卷積。

在時間編碼中，未來幀的語境資訊會編碼為定長的表徵並新增到輸入對映層中。如下向量 v 的表示式為添加了時間編碼的輸入對映層，其中藍色虛線框表示為時間編碼，且 l 表示層級、K 表示利用未來語境的數量、s 為未來每一個語境移動到下一個語境的步幅。在向量 v 的表示式中，左側 W_v[x_t; h_t-1] 為 mGRUIP 計算輸入對映層的表示式，而右側時間編碼則表示將前一層涉及下文資訊的 InputProj 加和在一起，並與當前層的 InputProj 相加而作為最終的瓶頸層輸出。這樣就相當於在當前時間步上利用了未來幾個時間步的資訊，有利於更準確地識別協同發音。

上圖展示了帶有時間編碼的 mGRUIP 計算過程，在 l 層時先利用當前輸入與上一層輸出計算出不帶下文資訊的 InputProj，然後從 l-1 層取當前時間步往後的幾個時間框，並將它們的 InputProj 向量加和在一起。將該加和向量與當前層的 InputProj 向量相加就能得出帶有下文資訊的瓶頸層向量，它可以進一步完成 mGRUIP 其它的運算。如上所示轉換函式 f(x) 一般可以是數乘、矩陣乘法或者是恆等函式，但快手在實驗中發現恆等函式在效能上要更好一些，所以它們選擇了 f(x)=x。

李傑等研究者還採用了第二種方法為 mGRUIP 引入下文資訊，即時間卷積。前面時間編碼會使用低層級的輸入映射向量表徵下文資訊，而時間卷積會從低層級的輸出狀態向量中抽取下文資訊，並通過輸入對映壓縮下文資訊的維度。如下 v 向量的計算式為整個模組的計算過程，其中左側同樣為 mGRUIP 計算 InputProj 的標準方法，右側藍色虛線框表示時間卷積。

簡單而言，時間卷積即將所需要的前層輸出拼接在一起，並通過 W_p 構建表徵下文資訊的輸入對映層。其中所需要的前層輸出表示模型需要等多少幀語音資訊，例如需要等 10 幀，那麼前一層當前往後 10 個時間步的輸出會拼接在一起。此外，這兩種方式的延遲都是逐層疊加的，也就是說每一層需要等 10 毫秒，那麼 5 層就需要等 50 毫秒。

如上所示為帶時間卷積的 mGRUIP 具體過程，它會利用 l-1 層的 t_1 和 t_2 等時間步輸出的隱藏單元狀態，並在第 l 層拼接在一起。然後將下文資訊壓縮為 Projection 向量並與 l 層當前時間步的 InputProj 相加而成為帶下文資訊的瓶頸層向量。

至此，整個模型就完成了構建，快手在兩個語音識別任務上測試了該模型，即 309 小時的 Swichboard 電話語音任務和 1400 小時的國內普通話語音輸入任務。mGRUIP 在引數量上顯著地小於LSTM與 mGRU，且在詞錯率和效能上比它們更優秀。此外，帶有上下文模組的 mGRUIP 在延遲控制和模型效能上都有非常優秀的表現，感興趣的讀者可檢視原論文。

Interspeech 2018 與快手研究

這篇論文也被語音頂會 Interspeech 2018 接收為 Oral 論文，李傑同樣在大會上對這種能使用下文資訊的門控迴圈單元給出了詳細的介紹。前面我們已經瞭解了該模型的主要思想與過程，但是在 Interspeech 2018 還有非常多優秀的研究與趨勢。李傑表示：「從今年的大會看，主流的聲學模型依然是基於 RNN 結構，只不過大家所做的工作、所解的問題會更加細緻。比如，對於 RNN 模型低延遲條件下，下文語境建模問題，除了我們在關注，Yoshua Bengio他們也有一篇工作聚焦在該問題上。此外，如何提升 RNN 聲學模型的噪聲魯棒性、低資源多語言聲學模型建模、說話人和領域聲學模型自適應、新的 RNN 結構等問題，也受到了很多關注。」

除此之外，李傑表示端到端模型依然是大家研究的熱點。主要的技術方向有三個，第一，CTC；第二，基於 RNN 的帶注意力機制的編解碼模型；第三，也是今年 Interspeech 新出現的，基於 self-attention 的無 RNN 結構的編解碼模型。

其實除了 Interspeech 接收的這篇 Oral 論文，快手還有很多不同方向的研究，包括計算機視覺、自然語言處理和情感計算等等。因為快手平臺每天都有大量的短視訊上傳，因此如何分層有序地提取視訊資訊、理解視訊內容就顯得尤為重要。針對該問題，快手多媒體內容理解部門通過感知和推理兩個階段來解讀一個視訊，首先感知獲取視訊的客觀內容資訊，進而推理獲取視訊的高層語義資訊。

在感知階段，除了上文所述的語音處理，快手還會從另外三個維度來分析理解視訊內容，包括人臉、影象和音樂。

• 對於語音資訊，快手不僅進行語音識別，還需要實現說話人識別、情緒年齡等語音屬性資訊分析。

• 對於人臉資訊，快手會對視訊中的人臉進行檢測、跟蹤、識別，並分析其年齡、性別、3D 形狀和表情等資訊。

• 對於影象資訊，快手會通過分類、物體檢測等演算法分析場景、物體，通過影象質量分析演算法對影象的主觀質量進行評估，通過 OCR 分析影象中包含的文字資訊等。

• 對於音樂資訊，快手需要進行音樂識別、歌聲/伴奏分離、歌聲美化打分等分析，對音樂資訊進行結構化。

從以上四個方面，快手能抽取足夠的視訊語義資訊，併為推理階段提供資訊基礎。推理階段可以將視訊看做一個整體，進行分類、描述、檢索。此外，高階視訊資訊也可以整理並存儲到快手知識圖譜中，這樣融合感知內容和知識圖譜，就可以完成對視訊高層語義及情感的識別。因此，感知與推理，基本上也就是快手多媒體理解部門最為關注的兩大方面。

相關資料