Hierarchical Attention Based Semi-supervised Network Representation Learning
Hierarchical Attention Based Semi-supervised Network Representation Learning
1. 任務
給定：節點資訊網路
目標：為每個節點生成一個低維向量
基於半監督的分層關注網路嵌入方法
2. 創新點：
以半監督的方式結合外部資訊
1. 提出SHANE 模型，整合節點結構，文字和標籤資訊，並以半監督的方式學習網路嵌入
2. 使用分層注意網路學習節點的文字特徵， 兩層雙向GRU 提取單詞和句子的潛在特徵
3. 背景
1. 現有方法通常基於單詞獲取節點的文字特徵矩陣，忽略分層結構（單詞、句子）
2. 不同單詞和句子包含不同數量資訊，如何評估節點內容的差異性
3. 標籤，也是重要的監督資訊
4. 網路中存在大量未標記節點，如何合理利用
4. 模型
整合節點的結構，文字和標籤資訊
基於文字的表示學習
使用分層注意機制
4.1. 問題定義
G = (V, E, T, L）
（ V： 節點集
E： 邊集合
T： 節點的文字資訊
L： 標籤節點資訊 ）
節點u 的文字資訊Du = （Su1, Su2,...,Suq)
句子資訊 Sui = （Wui..)
給定資訊網路，目標：為每個節點u 整合其結構和文字資訊 學習一個低維向量 u，
4.2. 基於文字的表示
分層學習可獲取不同粒度的文字資訊
- 詞嵌入：捕獲詞彙特徵
- 句子嵌入： 捕獲文字特徵
4.2.1. word 編碼器
- 使用雙向 GRU 編碼單詞序列
- 使用注意力機制識別重要單詞
- 類似：使用雙向GRU 編碼句子
假設節點 u 包含 q 個句子， 每個句子包含 m 個單詞，通過查詢獲取句子 Sui 的詞語序列
使用雙向 GRU 編碼單詞序列
（ 通過連線以上兩個方向的 h 可包含兩個方向的資訊，使用注意機制識別詞語的重要性，如下）
（ Sui 是節點 u 第 i 個句子的嵌入， Cw 是全域性的詞語向量，a 是用於句子表示，融合單詞嵌入的權重）
4.2.2. 句子編碼器
類似單詞編碼器，類似的雙向GRU ，得到分層編碼的文字嵌入 ut
為了避免新的表示與原始文字的偏差，獲取分層關注網路的嵌入後，新增該節點詞嵌入的平均值向量 Uta，得到節點 u 的文字表示 ut
4.3. 基於結構的表示
含有邊的兩個節點結構相似
CANE 中將每個部分的對數似然表示為
（ u 與 v 相連線， Wu，v為權重，Us 是基於結構的嵌入）
u 生成 v 的條件概率為
節點 u 的基於結構的嵌入區別於所連線的節點，結構的最終嵌入為與不同節點連線所得的平均值
（ E 為 u 的邊）
4.4. 半監督的分層網路嵌入
未標記的節點：只考慮結構和文字特徵
為了匹配標籤丟失的節點，我們通過全連線層將節點的嵌入對映到標籤空間，可預測節點的標籤分佈
（ Ll 表示有標籤的節點子集，有標籤的節點的目標函式為：）
（ lamda 是標籤損失權重）
SHANE 的全域性目標函式：
5. 實驗
