函式分佈視角下的神經過程

神經網路 · 發表 2018-09-26 11:18:06

摘要：作者：KasparMärtens 編譯：Bot 編者按：幾個月前，Deepmind在ICML上發表了一篇論文《Neural Processes》，提出了一種兼具神經網路高效性和高斯過程靈活性的方法——神經過程，被稱為是高斯過程的深度學習版本。雖然倍受關注，但目前真正能直觀解讀...

作者：KasparMärtens

編譯：Bot

編者按：幾個月前，Deepmind在ICML上發表了一篇論文《Neural Processes》，提出了一種兼具神經網路高效性和高斯過程靈活性的方法——神經過程，被稱為是高斯過程的深度學習版本。雖然倍受關注，但目前真正能直觀解讀神經過程的文章並不多，今天論智帶來的是牛津大學在讀PHD Kaspar Märtens的一篇視覺化佳作。

在今年的ICML上，研究人員提出了不少有趣的工作，其中神經過程（NPs）引起了許多人的注意，它基於神經網路概率模型，但又可以表示隨機過程的分佈。這意味著NPs結合了兩個領域的元素：

深度學習：神經網路是靈活的非線性函式，可以直接訓練
高斯過程：GP提供了一個概率框架，可用於學習非線性函式的分佈

兩者都有各自的優點和缺點。當資料量有限時，由於本身具備概率性質可以描述不確定性，GP是首選（這和非貝葉斯神經網路不同，後者只能捕捉單個函式，而不是函式分佈）；而當有大量資料時，訓練神經網路比GP推斷更具擴充套件性，因此優勢更大。

神經過程的目標就是實現神經網路和GP的優勢融合。

什麼是神經過程？

NP是一種基於神經網路的方法，用於表示函式的分佈。下圖展示瞭如何建立NP模型，以及訓練模型背後的一般想法：

給定一系列觀察值，把它們分成“context points”和“target points”兩組。現在，我們要根據“context points”中已知的輸入輸出對，其中，和“target points”中的未知輸入，其中，預測其相應的函式值。

我們可以把NP看作是根據“context points”中的“target points”建模的模型，相關資訊通過潛在空間從左側流向右側，從而提供新的預測。右側本質上是從對映到的有限維嵌入，而是個隨機變數，這就使NP成了概率模型，能捕捉函式的不確定性。一旦模型完成訓練，我們就可以用的近似後驗分佈作為測試時進行預測的先驗。

乍看之下，這種分“context points”和“target points”的做法有點類似把資料集分成訓練集和測試集，但事實並非如此，因為“target points”集也是直接參與NP模型訓練的——這意味著模型的（概率）損失函式在這個集上有明確意義。這樣做也有助於防止模型過擬合和提供更好的泛化性。在實踐中，我們還需要反覆把訓練資料通過隨機取樣分為“context points”中的“target points”，以獲得更全面的概括。

讓我們來思考以下兩種情況：

基於單個數據集推斷函式的分佈
當存在多個數據集且它們之間存在某種相關性時，推斷函式的分佈

對於情況一，常規的（概率）監督學習就能解決：給定一個包含N個樣本的資料集，比如，其中。假設確實存在一個函式，它能產生，我們的目標就是學習的後驗分佈，然後用它預測測試集上某點的函式值。

對於情況二，我們則需要從元學習的角度去觀察。給定D個數據集，其中，每個資料集包含個數據對。如果我們假設每個資料集都有自己的基函式，輸入後，它們有，那麼在這種情況下，我們就可能想要了解每個的後驗分佈，然後把經驗推廣到新資料集上。

對於資料集很多但它們的樣本很少的情況，情況二的做法特別有用，因為這時模型學到的經驗基於所有，它的核心、超引數是這些函式共享的。當給出新的資料集時，我們可以用後驗函式作為先驗函式，然後執行函式迴歸。

之所以要舉著兩個例子，是因為一般來說，GP適用於情況一，即便N很小，這種做法也很有效。而NP背後的思路似乎主要來自元學習——在這種情況下，潛在的z可以被看作是用於不同資料集間資訊共享的機制。但是，NP同樣具有概率模型的特徵，事實上，它同時適用於以上兩種情況，具體分析請見下文。

NP模型是怎麼實現的？

下面是NP生成模型的詳細圖解：

如果要逐步分解這個過程，就是：

首先，“context points”裡的資料通過神經網路對映，獲得潛在表徵
其次，這個向量經聚合（操作：平均）獲得單個值（和每個具有相同的維數）
這個的作用是使的分佈引數化，例如
最後，為了預測輸入後的函式值，對取樣並將樣本與組成數對，用神經網路對映獲得預測分佈中的樣本。

NP的推斷是在變分推斷（VI）框架中進行的。具體來說，我們介紹了兩種近似分佈：

讓去近似條件先驗
讓 Line"/> 去近似於各自的，其中，

下圖是近似後驗的具體推斷過程。也就是說，我們用相同的神經網路對映兩個資料集，獲得聚合的，再把對映到和，使後驗被引數化。

變分下界包含兩個項（下式），其中第一項是target集上的預期對數似然，即先從上取樣（上圖左側），然後用這個在target set上預測（上圖右側）。

第二項是個正則項，它描述了和之間的KL散度。這和常規的有點不同，因為我們的生成模型一開始就把當做條件先驗，不是，而這個條件先驗又依賴於神經網路，這就使我們沒法得到確切值，只能用一個近似值。

實驗

NP作為先驗

我們先來看看把NP作為先驗的效果，也就是沒有觀察任何資料，模型也沒有經過訓練。初始化權重後，對進行取樣，然後通過值的生成先驗預測分佈並繪製函式圖。

和具有可解釋核心超引數的GP相反，NP先驗不太明確，它涉及各種架構選擇（如多少隱藏層，用什麼啟用函式等），這些都會影響函式空間的先驗分佈。

例如，如果我們用的啟用函式是sigmoid，調整z的維數為{1, 2, 4, 8}。

如果用的是ReLU：

在一個小資料集上訓練NP

假設我們只有5個數據點：

由於NP模型需要context set和target set兩個資料集，一種方法是選取固定大小的context set，另一種方法則是用不同大小的context set，然後多迭代幾次（1個點、2個點……以此類推）。一旦模型在這些隨機子集上完成訓練，我們就可以用它作為所有資料的先驗和條件，然後根據預測結果繪製圖像。下圖展示了NP模型訓練時的預測分佈變化。