DeepWalk論文精讀：（2）核心演算法
阿新 • • 發佈：2020-05-03
# 模組2
## 1. 核心思想及其形成過程
DeepWalk結合了兩個不相干領域的模型與演算法：隨機遊走（Random Walk）及語言模型（Language Modeling）。
### 1.1 隨機遊走
由於網路嵌入需要提取節點的**區域性結構**，所以作者很自然地想到可以使用隨機遊走演算法。隨機遊走是相似性度量的一種方法，曾被用於內容推薦[11]、社群識別[1, 38]等。除了捕捉區域性結構，隨機遊走還有以下兩個好處：
1. 容易並行，使用不同的執行緒、程序、機器，可以同時在一個圖的不同部分運算；
2. 關注節點的區域性結構使得模型能更好地適應變化中的網路，在網路發生微小變化時，無需在整個圖上重新計算。
### 1.2 語言模型
語言模型（Language Modeling）有一次顛覆性創新[26, 27]，體現在以下三點：
1. 從原來的利用上下文預測缺失單詞，變為**利用一個單詞預測上下文**；
2. 不僅考慮了給定單詞左側的單詞，還考慮了右側的單詞；
3. 將給定單詞前後文打亂順序，不再考慮單詞的前後順序因素。
這些特性非常適合節點的表示學習問題：第一點使得較長的序列也可以在允許時間內計算完畢；第二、三點的順序無關使得學習到的特徵能更好地表徵“臨近”這一概念的對稱性。
### 1.3 如何結合
可以結合的原因，是作者觀察到：
1. 如果不論規模大小，節點的度服從冪律分佈，那麼在隨機遊走序列上節點的出現頻率也應當服從**冪律分佈**。
2. 自然語言中詞頻服從**冪律分佈**，自然語言模型可以很好地處理這種分佈。
所以作者將自然語言模型中的方法遷移到了網路社群結構問題上，這也正是DeepWalk的一個核心貢獻。
## 2. 具體演算法
演算法由兩部分組成：第一部分是隨機遊走序列生成器，第二部分是向量更新。
### 2.1 隨機遊走生成器
DeepWalk用$W_{v_i}$表示以$v_i$為根節點的隨機遊走序列，它的生成方式是：從$v_i$出發，隨機訪問一個鄰居，然後再訪問鄰居的鄰居...每一步都訪問前一步所在節點的鄰居，直到序列長度達到設定的最大值$t$。在進行上述過程的時候，可能會發生“掉頭”的情況，但實驗證明這並沒有什麼影響。在實際操作中，規定每一個節點都要作為根節點遊走$\gamma$次，序列長度為$t$。
Algorithm 2展示了SkipGram演算法[26]。第3行為演算法核心，其思想是“利用中心節點預測臨近節點”。對於一個隨機遊走序列，每一個節點都可作為中心節點，根據設定的視窗大小$\omega$，選取序列裡中心節點前後各$\omega$，共$2\omega$個節點。SkipGram的優化目標是：
$$
minimize \space -\log \Pr(u_k|\Phi(v_j))
$$
即最大化在$v_j$附近出現$u_k$的概率。其中，$u_k$是這$2\omega$個節點中的每一個，$\Phi(v_j) \in \mathbb{R}^d$是將節點對映到它的嵌入表示的函式，也即我們最終要得到的結果。但這樣做有一個很大的不足：在學習和計算$\Pr(u_k|\Phi(v_j))$的分佈時，由於節點個數非常多，標籤個數將會與$|V|$相同，需要非常多個分類器，需要大量的計算資源[3]。為了加速計算，可以使用Hierarchical Softmax近似求解，將在2.2.2中具體介紹。
第4行是利用隨機梯度SGD[4]下降更新對映函式（形式為矩陣），其中學習率初始值為2.5%（2.5e-2），在訓練中隨著見過的節點數量增多而線性地減小。
#### 2.2.2 Hierarchical Softmax
在計算$\Pr(u_k|\Phi(v_i))$時，可以利用Hierarchical Softmax二叉樹[29, 30]加速。作者將所有節點作為二叉樹的葉子節點，就可以用從根節點到葉子節點的路徑來表示每個節點。二叉樹若有$|V|$個葉子節點，則深度至多為$\log|V|$。這樣就會有：
$$
\Pr(u_k|\Phi(v_j))=\prod_{l=1}^{\lceil\log|V|\rceil}\Pr(b_l|\Phi(v_j))
$$
其中$b_0, b_1, ..., b_{\lceil\log|V|\rceil}$是一系列二叉樹中的非葉子節點。這樣就可以用較少的分類器完成這個任務，將計算複雜度由$O(|V|)$降低至$O(\log|V|)$。
更進一步，還可以結合節點出現頻率，使用霍夫曼編碼，為更頻繁出現的節點分配稍短的路徑，再次降低計算複雜度。
## 3. 並行化
如前文所述，隨機序列中節點出現頻率服從冪律分佈，長尾中包含了大量的不經常出現的節點，所以對於$\Phi$的更新應當是十分稀疏的。因此，作者使用了非同步的隨機梯度下降（ASGD）方法，平行計算以提高收斂速度[36]，使得可以用於大規模的機器學習[8]。
所以作者將自然語言模型中的方法遷移到了網路社群結構問題上，這也正是DeepWalk的一個核心貢獻。
## 2. 具體演算法
演算法由兩部分組成：第一部分是隨機遊走序列生成器，第二部分是向量更新。
### 2.1 隨機遊走生成器
DeepWalk用$W_{v_i}$表示以$v_i$為根節點的隨機遊走序列，它的生成方式是：從$v_i$出發，隨機訪問一個鄰居，然後再訪問鄰居的鄰居...每一步都訪問前一步所在節點的鄰居，直到序列長度達到設定的最大值$t$。在進行上述過程的時候，可能會發生“掉頭”的情況，但實驗證明這並沒有什麼影響。在實際操作中，規定每一個節點都要作為根節點遊走$\gamma$次，序列長度為$t$。
Algorithm 2展示了SkipGram演算法[26]。第3行為演算法核心，其思想是“利用中心節點預測臨近節點”。對於一個隨機遊走序列，每一個節點都可作為中心節點，根據設定的視窗大小$\omega$，選取序列裡中心節點前後各$\omega$，共$2\omega$個節點。SkipGram的優化目標是：
$$
minimize \space -\log \Pr(u_k|\Phi(v_j))
$$
即最大化在$v_j$附近出現$u_k$的概率。其中，$u_k$是這$2\omega$個節點中的每一個，$\Phi(v_j) \in \mathbb{R}^d$是將節點對映到它的嵌入表示的函式，也即我們最終要得到的結果。但這樣做有一個很大的不足：在學習和計算$\Pr(u_k|\Phi(v_j))$的分佈時，由於節點個數非常多，標籤個數將會與$|V|$相同，需要非常多個分類器，需要大量的計算資源[3]。為了加速計算，可以使用Hierarchical Softmax近似求解，將在2.2.2中具體介紹。
第4行是利用隨機梯度SGD[4]下降更新對映函式（形式為矩陣），其中學習率初始值為2.5%（2.5e-2），在訓練中隨著見過的節點數量增多而線性地減小。
#### 2.2.2 Hierarchical Softmax
在計算$\Pr(u_k|\Phi(v_i))$時，可以利用Hierarchical Softmax二叉樹[29, 30]加速。作者將所有節點作為二叉樹的葉子節點，就可以用從根節點到葉子節點的路徑來表示每個節點。二叉樹若有$|V|$個葉子節點，則深度至多為$\log|V|$。這樣就會有：
$$
\Pr(u_k|\Phi(v_j))=\prod_{l=1}^{\lceil\log|V|\rceil}\Pr(b_l|\Phi(v_j))
$$
其中$b_0, b_1, ..., b_{\lceil\log|V|\rceil}$是一系列二叉樹中的非葉子節點。這樣就可以用較少的分類器完成這個任務，將計算複雜度由$O(|V|)$降低至$O(\log|V|)$。
更進一步，還可以結合節點出現頻率，使用霍夫曼編碼，為更頻繁出現的節點分配稍短的路徑，再次降低計算複雜度。
## 3. 並行化
如前文所述，隨機序列中節點出現頻率服從冪律分佈，長尾中包含了大量的不經常出現的節點，所以對於$\Phi$的更新應當是十分稀疏的。因此，作者使用了非同步的隨機梯度下降（ASGD）方法，平行計算以提高收斂速度[36]，使得可以用於大規模的機器學習[8]。