2. 程式人生 > >Hierarchical Attention Based Semi-supervised Network Representation Learning

Hierarchical Attention Based Semi-supervised Network Representation Learning

阿新 • • 發佈：2018-10-09
can 識別 sent 新的 序列 -type 信息 註意力 semi

Hierarchical Attention Based Semi-supervised Network Representation Learning

1. 任務

給定：節點信息網絡 目標：為每個節點生成一個低維向量 基於半監督的分層關註網絡嵌入方法

2. 創新點：

以半監督的方式結合外部信息 1. 提出SHANE 模型，集成節點結構，文本和標簽信息，並以半監督的方式學習網絡嵌入 2. 使用分層註意網絡學習節點的文本特征， 兩層雙向GRU 提取單詞和句子的潛在特征

3. 背景

1. 現有方法通常基於單詞獲取節點的文本特征矩陣，忽略分層結構（單詞、句子） 2. 不同單詞和句子包含不同數量信息，如何評估節點內容的差異性 3. 標簽，也是重要的監督信息 4. 網絡中存在大量未標記節點，如何合理利用 技術分享圖片

4. 模型

整合節點的結構，文本和標簽信息 基於文本的表示學習 使用分層註意機制

4.1. 問題定義

G = (V, E, T, L） （ V： 節點集 E： 邊集合 T： 節點的文本信息 L： 標簽節點信息 ） 節點u 的文本信息Du = （Su1, Su2,...,Suq) 句子信息 Sui = （Wui..) 給定信息網絡，目標：為每個節點u 整合其結構和文本信息 學習一個低維向量 u，

4.2. 基於文本的表示

分層學習可獲取不同粒度的文本信息
  • 詞嵌入：捕獲詞匯特征
  • 句子嵌入： 捕獲文本特征

4.2.1. word 編碼器

  • 使用雙向 GRU 編碼單詞序列
  • 使用註意力機制識別重要單詞
  • 類似：使用雙向GRU 編碼句子
假設節點 u 包含 q 個句子， 每個句子包含 m 個單詞，通過查詢獲取句子 Sui 的詞語序列 技術分享圖片 使用雙向 GRU 編碼單詞序列 技術分享圖片 （ 通過連接以上兩個方向的 h 可包含兩個方向的信息，使用註意機制識別詞語的重要性，如下） 技術分享圖片 （ Sui 是節點 u 第 i 個句子的嵌入， Cw 是全局的詞語向量，a 是用於句子表示，融合單詞嵌入的權重）

4.2.2. 句子編碼器

類似單詞編碼器，類似的雙向GRU ，得到分層編碼的文本嵌入 ut 為了避免新的表示與原始文本的偏差，獲取分層關註網絡的嵌入後，添加該節點詞嵌入的平均值向量 Uta，得到節點 u 的文本表示 ut 技術分享圖片

4.3. 基於結構的表示

含有邊的兩個節點結構相似 CANE 中將每個部分的對數似然表示為 技術分享圖片 （ u 與 v 相連接， Wu，v為權重，Us 是基於結構的嵌入） u 生成 v 的條件概率為 技術分享圖片 節點 u 的基於結構的嵌入區別於所連接的節點，結構的最終嵌入為與不同節點連接所得的平均值 技術分享圖片 （ E 為 u 的邊）

4.4. 半監督的分層網絡嵌入

未標記的節點：只考慮結構和文本特征 技術分享圖片 為了匹配標簽丟失的節點，我們通過全連接層將節點的嵌入映射到標簽空間，可預測節點的標簽分布 技術分享圖片 （ Ll 表示有標簽的節點子集，有標簽的節點的目標函數為：） 技術分享圖片 （ lamda 是標簽損失權重） SHANE 的全局目標函數： 技術分享圖片

5. 實驗

技術分享圖片 技術分享圖片

Hierarchical Attention Based Semi-supervised Network Representation Learning

相關推薦

Hierarchical Attention Based Semi-supervised Network Representation Learning

can 識別 sent 新的 序列 -type 信息 註意力 semi Hierarchical Attention Based Semi-supervised Network Representation Learning 1. 任務 給定：節點信息網絡 目標：為每

Network Representation Learning/Embedding

次數 align 自然語言 original lob tag 存在 網絡 有關 轉載自： http://blog.csdn.net/u013527419/article/details/74853633 http://blog.csdn.net/u013527419

ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs（閱讀理解）

在卷積前進行attention，通過attention矩陣計算出相應句對的attentionfeature map，然後連同原來的featuremap一起輸入到卷積層。主要的原來是將輸入擴充套件成雙通道，新增的新通道就是通過Attention Matrix計算出來的attention feature map

『 論文閱讀』Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

來自於論文：《Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling》 基於attention的encoder-decoder網

Machine Learning：Neural Network---Representation

white div and for 設計 rop out fcm multi Machine Learning：Neural Network---Representation 1。Non-Linear Classification 假設還採取簡

5、AFM（Attention+FM）-----Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Network

factor eat .com 問題 架構 機器 tran 權重 machine 1、摘要： 提出一個Attentional FM，Attention模型+因子分解機，其通過Attention學習到特征交叉的權重。因為很顯然不是所有的二階特征交互的重要性都是一樣的，如何

13.Hierarchical Graph Representation Learning with Differentiable Pooling

可微分池化的層級圖形表徵學習 摘要 最近，圖神經網路（GNNs）通過有效學習的節點嵌入，改變了圖形表徵學習的領域，在節點分類和連線預測等任務中表現了不錯的效果。然而，現有的 GNN 方法本質上是平面化的，因此無法學習圖形的層級表徵——這對於圖形分類任務而言尤其成問題，因為圖形分類任務的目的是

Strong Baselines for Neural Semi-supervised Learning under Domain Shift半監督學習

2018 ACL 論文 Strong Baselines for Neural Semi-supervised Learning under Domain Shift 不同資料集的遷移學習 MT-Tri方法在情感分析上（無監督域適應）超過DANN方法 半監督學習結合了監督學習和無監督學

機器學習與深度學習系列連載： 第一部分 機器學習（十三）半監督學習（semi-supervised learning）

在實際資料收集的過程中，帶標籤的資料遠遠少於未帶標籤的資料。 我們據需要用帶label 和不帶label的資料一起進行學習，我們稱作半監督學習。 Transductive learning：沒有標籤的資料是測試資料 Inductive learning：沒有標

【GAN ZOO翻譯系列】Cat GAN：UNSUPERVISED AND SEMI-SUPERVISED LEARNING WITH CATEGORICAL GAN 用於監督和半監督學習的GAN

Jost Tobias Springenberg 弗萊堡大學 79110 Freiburg, Germany [email protected] 原文連結https://arxiv.org/abs

Semi-supervised Learning ;半監督學習

1. 進入半監督學習 2. 半監督學習 出現的原因？？？ 原因：收集樣本資料容易，但是給每個樣本打標籤 成本就很高。 Collecting data is easy, but collecting “labelled” data is expensive. 3. 本篇

論文筆記-深度估計(4) Semi-Supervised Deep Learning for Monocular Depth Map Prediction

CVPR2017_Semi-Supervised Deep Learning for Monocular Depth Map Prediction 這是一篇用雙目進行無監督學習估計深度的論文。 對一幅圖進行有監督訓練進行深度估計時，由於採集裝置的侷限，並非影

Hierarchical Attention Network for Document Classification--tensorflow實現篇

上週我們介紹了Hierarchical Attention Network for Document Classification這篇論文的模型架構，這周抽空用tensorflow實現了一下，接下來主要從程式碼的角度介紹如何實現用於文字分類的HAN模型。 資料

[CVPR2017]CFNet_End-to-end representation learning for Correlation Filter based tracking

引言  多層神經網路是計算機視覺中做影象表達很有用的工具，但是，訓練時沒有的類別或者某類訓練樣本很少時，仍是一個很有挑戰的問題。這一問題自然在視覺跟蹤任務中遇到，因為跟蹤的目標是在只在序列的初始幀給定目標包圍盒的單一監督，在整個視訊上重檢測目標位置，主要的

[論文理解] Good Semi-supervised Learning That Requires a Bad GAN

# Good Semi-supervised Learning That Requires a Bad GAN 恢復部落格更新，最近沒那麼忙了，記錄一下學習。 ## Intro 本文是一篇稍微偏理論的半監督學習的文章，通過證明一個能夠生成非目標分佈的、低樣本密度的樣本的生成器，對半監督學習的效果有很大的

【論文解讀】【半監督學習】【Google教你水論文】A Simple Semi-Supervised Learning Framework for Object Detection

題記：最近在做LLL(Life Long Learning)，接觸到了SSL(Semi-Supervised Learning)正好讀到了谷歌今年的論文，也是比較有點開創性的，淺顯易懂，對比實驗豐富，非常適合缺乏基礎科學常識和剛剛讀研不會寫論文的同學讀一讀，觸類旁通嘛。 　　這篇論文思路等等也非常適合剛剛開始

Semi-supervised Segmentation of Optic Cup in Retinal Fundus Images Using Variational Autoencoder 論文筆記

str 很好 流程 Coding 測試 eat www tin nal MICCAI 2017年論文 Overview： 視杯視盤精確分割後，就可以計算杯盤比了，杯盤比是青光眼疾病的主要manifestation。以往的方法往往采用監督學習的方法，這樣需要大量的精確像素

Representation Learning: A Review and New Perspectives閱讀筆記

文章 構建 review 什麽 幫助 函數 深度 表示 工程 摘要-機器學習算法依賴於數據表示，盡管特定的領域知識可以被幫助用來學習知識表示，先驗知識也是可以用來學習的，並且應用先驗知識設計更有效的知識表示學習算法正是AI的需求。這篇文章回顧了非監督特征學習和深度學習相關領

論文閱讀-Attention-based Transactional Context Embedding for Next-Item Recommendation

Paper Reading —— Attention-based Transactional Context Embedding for Next-Item Recommendation 基於注意力的事務上下文嵌入下一項推薦 Abstract 在電商交易環境中向user推薦下一個

[深度學習]Machine Comprehension機器閱讀中Attention-based Model注意力機制論文集合

目錄   機器閱讀概念 論文集合 網路結構比較 機器閱讀概念 所謂機器閱讀理解任務，指的就是給一段context描述，然後對應的給一個query，然後機器通過閱讀context後，給出對應query的答案。這裡做了一個假設，就是query的答案必須是能夠在con