簡單的圖神經網路介紹

摘要： 最近，Graph Neural Network（GNN）在很多領域日益普及，包括社交網路、知識圖譜、推薦系統甚至於生命科學。GNN在對節點關係建模方面表現十分突出，使得相關的研究領域取得了一定突破。本文旨在對GNN做一個簡單的介紹，並介紹兩種前沿演算法，DeepWalk和GraphSage。...

最近，Graph Neural Network（GNN）在很多領域日益普及，包括社交網路、知識圖譜、推薦系統甚至於生命科學。GNN在對節點關係建模方面表現十分突出，使得相關的研究領域取得了一定突破。本文旨在對GNN做一個簡單的介紹，並介紹兩種前沿演算法，DeepWalk和GraphSage。

Graph

在學習GNN之前，先讓我們瞭解一下什麼是Graph。在電腦科學中，graph是一種資料結構，由兩部分組成，頂點和邊。圖G可以通過頂點集V和邊集E來描述：

根據頂點之間是否有方向，邊可以分為無向和有向。

有向圖

頂點又稱節點，本文中兩者可以互換。

Graph Neural Network

GNN是直接在圖資料結構上執行的神經網路。GNN的典型應用便是節點分類。圖中的每個節點都有一個標籤，我們希望不需要標註資料，可以預測新的節點標籤。本節將講解論文《The graph neural network model》中的GNN演算法，算得上第一個GNN。

在節點分類問題中，每個節點 v 的特徵用 x v 表示，並且和標籤 t v 相關聯。給定部分標記的圖 G ，目標是利用這些標記的節點來預測未標記節點的標籤。網路學會用 d 維向量（狀態） h v 表示每個節點，其中包含其鄰域資訊。

其中， x co[v] 表示與 v 連線的邊的特徵， h ne[v] 表示 v 的相鄰節點嵌入特徵， x ne[v] 表示 v 的相鄰節點的特徵。函式 f 是將這些輸入投影到 d 維空間的傳遞函式。由於我們正在尋找 h v 的唯一解，可以應用Banach不動點定理並將上述等式重寫為迭代更新過程。

H 和 X 分別表示所有 h 和 x 的連線。通過將狀態 h v 以及特徵 x v 傳遞給輸出函式 g 來計算GNN的輸出。

f 和這裡的 g 都可以解釋為前饋全連線神經網路。 L1損失可以直接表述如下：

再通過梯度下降優化。上述的GNN演算法有三個限制：

1、如果放寬“固定點”的假設，可以利用多層感知機來學習更穩定的表示，並刪除迭代更新過程。這是因為，在該提議中，不同的迭代使用傳遞函式f的相同引數，而不同MLP層中的不同引數允許分層特徵提取。

2、它不能處理邊資訊（例如知識圖中的不同邊可能表示節點之間的不同關係）。

3、固定點可以阻止節點分佈的多樣化，因此可能不適合學習表示節點。

當然，已經有幾種GNN的變體來解決上述問題，我在這裡不展開講解了。

DeepWalk

DeepWalk是以無監督的方式學習node embedding的演算法。它的訓練過程非常類似word embedding。動機是圖表中的節點和語料庫中的單詞的分佈遵循冪定律，如下圖所示:

演算法包括兩個步驟：

1、在圖中的節點上進行隨機遊走以生成節點序列；

2、使用skip-gram，根據步驟1中生成的節點序列學習每個節點的嵌入。

在隨機遊走的每個時間步驟，從前一節點的鄰居統一取樣下一個節點。然後將每個序列截短為長度為 2| w |+1 的子序列，其中 w 表示skip-gram中的視窗大小。

在提出DeepWalk的論文中，分層softmax用於解決由於節點數量龐大而導致的softmax計算成本高昂的問題。為了計算每個單獨輸出元素的softmax值，我們必須計算所有元素 k 的所有 e x k 。

因此，原始softmax的計算時間為O(|V|)，其中 V 表示圖中的頂點集。

分層softmax利用二叉樹來處理問題。在這個二叉樹中，所有葉子（上圖中的 v 1 ， v 2 ，...， v 8 ）都是圖中的頂點。在每個內部節點中，有一個二元分類器來決定選擇哪條路徑。為了計算給定頂點 v k 的概率，可以簡單地計算沿著從根節點到離開 v k 的路徑中的每個子路徑的概率。由於每個節點的子概率為1，因此所有頂點的概率之和等於1的特性仍然保持在分層softmax中。現在，元素的計算時間減少到O( log | V |)，因為二叉樹的最長路徑由O( log | n |)限定，其中是 n 葉子的數量。

分層Softmax

在訓練DeepWalk GNN之後，模型已經學習了每個節點的良好表示，如下圖所示。不同的顏色表示輸入圖中的不同標籤。我們可以看到，在輸出圖形（嵌入2維）中，具有相同標籤的節點聚集在一起，而具有不同標籤的大多數節點被正確分開。

然而，DeepWalk的主要問題是缺乏泛化能力。每當有新節點加入時，它必須重新訓練模型以表示該節點。因此，這種GNN不適用於圖中節點不斷變化的動態圖。

GraphSage

GraphSage提供解決上述問題的方案，以歸納方式學習每個節點的嵌入。具體而言，每個節點由其鄰域的聚合表示。因此，即使在訓練時間內看不到的新節點出現在圖中，它仍然可以由其相鄰節點正確地表示。下面顯示了GraphSage的演算法。

可以用mean-pooling或任何其他對稱池化函式替換。文章指出pooling aggregator執行最佳，而mean-pooling和max-pooling具有相似的效能。本文使用max-pooling作為預設聚合函式。

損失函式定義如下：

其中 u 和 v 共同出現在固定長度的隨機遊走中，而 v n 是不與 u 共同出現的負樣本。這種損失函式鼓勵具有類似嵌入的節點更接近，而那些相距很遠的節點在投影空間中分離。通過這種方法，節點將獲得越來越多關於其鄰域的資訊。

GraphSage通過聚合其附近的節點，可以為看不見的節點生成可表示的嵌入。它允許將節點嵌入應用於涉及動態圖的域，其中圖的結構不斷變化。例如，Pinterest採用了GraphSage的擴充套件版本PinSage作為其內容發現系統的核心。

總結