可微分池化的層級圖形表徵學習

摘要

最近，圖神經網路（GNNs）通過有效學習的節點嵌入，改變了圖形表徵學習的領域，在節點分類和連線預測等任務中表現了不錯的效果。然而，現有的 GNN 方法本質上是平面化的，因此無法學習圖形的層級表徵——這對於圖形分類任務而言尤其成問題，因為圖形分類任務的目的是預測與整個影象相關的標籤。在這裡，我們提出了DIFFPOOL，一個可微分的圖形池化模組，可以生成圖形的層級表徵，並可以使用端到端的方式與各種圖神經網路架構相結合。DIFFPOOL為深GNN的每一層的節點學習一個可微分的軟簇分配，將節點對映到一組簇中，然後形成下一個GNN層的粗化輸入。實驗結果表明將現有的GNN方法與DIFFPOOL結合後，在圖形分類基準中的準確率平均可以提高5～10%，與現有的所有池化方法相比，在5個基準資料集中，有4個都得到了當前最佳的表現。

引言

近年來，人們對開發圖神經網路（GNN）的興趣激增。圖神經網路可以理解為，能在如社交網路資料[16,21,36]或基於圖形的分子表徵[7,11,15]的圖形結構資料上執行的一般的深度學習架構。GNN的一般方法是將底層圖作為計算圖，通過在圖上傳遞，轉換和聚合節點特徵資訊來學習生成單個節點嵌入的神經網路基元[15,16]。然後，生成的節點可嵌入用作任何可微分預測層的輸入，例如，用於節點分類[16]或連線預測[32]，並且可以以端到端的方式訓練整個模型。

然而，當前GNN體系結構的一個主要限制是它們本身是平面化的，因為它們僅在圖的邊緣傳播資訊，以致於它們不能以層級方式推斷和聚合資訊。例如，為了成功編碼有機分子的圖形結構，理想情況下需要編碼區域性分子結構（例如，單個原子和與這些原子直接相連的鍵）以及分子圖的粗粒結構（例如，在分子中表示功能單元的原子基團和鍵）。對圖形分類任務而言，層級結構的缺失是尤為重要的問題，因為這類任務是要預測與整個圖相關的標籤。在圖分類任務中應用 GNN，標準的方法是針對圖中所有的節點的生成嵌入，然後對這些嵌入的節點進行全域性聚合（池化），如簡單地求和或在資料集上執行神經網路 [7,11,15,25]。這種全域性聚合的方法忽略了圖中可能存在的任何層級結構，並且它妨礙了研究人員為整個圖形上的預測任務構而建立有效的GNN模型。

在這裡，我們提出了DIFFPOOL，一個可微分的圖形池化模組，它可以以層級和端到端的方式適應各種圖形神經網路架構（圖1）。DIFFPOOL允許開發更深層的GNN模型，可以執行圖的層級表示來進行學習。我們開發了CNN中，圖形的空間池化操作的變體[23]，它允許深度CNN架構能夠在一張表徵越來越粗糙的影象上迭代地執行。與標準的CNN相比，GNN面臨的挑戰是圖形不包含空間區域性性的自然概念，即所有節點不能簡單地以「m*m 補丁」的方式聚合在一張影象上，因為圖的複雜的拓撲結構排除了任何直接、決定性的「補丁」的定義。此外，與影象資料不同，圖形資料集通常包含具有不同數量的節點和邊緣的圖形，這使得定義一般圖形池化操作更具挑戰性。

為了解決上述挑戰，我們需要一個模型來學習如何將節點聚集在一起，以在底層圖形之上構建層級多層支架。我們的方法DIFFPOOL在深度GNN的每一層學習一個可微分的軟分配，基於其學習的嵌入，將節點對映為一組簇。在這個框架中，我們通過以層級方式“堆疊”GNN層來生成深度GNN（圖1）：GNN模組中層l的輸入節點對應於在層l -1 處學習的簇。因此，DIFFPOOL的每一層都能使影象越來越粗化，並且經過訓練後的DIFFPOOL能夠生成任何輸入圖形的層級表徵。我們證明DIFFPOOL可以與各種GNN方法結合使用，使得精確度平均提高7％，並且在五種基準圖分類任務中有四種是達到顯著水平。最後，DIFFPOOL可以學習到與輸入圖形中明確定義的集合相對應的可解釋的層級簇。

相關工作

我們的工作建立在最近對圖神經網路和圖分類的研究基礎之上。

一般圖神經網路。近年來已經提出了各種各樣的圖神經網路（GNN）模型，包括受卷積神經網路啟發的方法[5,8,11,16,21,24,29,36]，迴圈神經網路[25]， 遞迴神經網路[1,30]和環路信念傳播[7]。這些方法中的大多數都在Gilmer等人提出的“神經資訊傳遞”的框架內[15]。在訊息傳遞框架中，GNN被視為對從鄰居節點得到的特徵使用一個可微分聚合函式來迭代的計算節點表徵的訊息傳遞演算法。Hamilton等人[17]對這一領域的最新進展進行了概念性回顧，Bronstein等人[4]概述了連線頻譜圖卷積。

圖形分類與圖神經網路。GNN已經應用於各種各樣的任務，包括節點分類[16,21]，連線預測[31]，圖形分類[7,11,39]和化學資訊學[28,27,14,19,32]。在圖形分類的背景下，應用GNN的一個主要挑戰是從節點嵌入（GNN的輸出）到整個圖的表徵。解決這個問題的常見方法包括簡單地對最後一層中的所有節點嵌入進行求和或平均[11]，引入一個虛擬節點來連線圖中所有的節點[25]，或者使用在集合上操作的深度學習架構來聚合節點嵌入[15]。然而，所有這些方法都具侷限性：它們不能學習到層級表徵（即所有節點嵌入在單個層中全域性彙集在一起​​），因此不能捕獲許多真實世界中圖的自然結構。最近的一些方法也提出將CNN架構應用於所有節點嵌入的連線[29,39]，但這需要指定（或學習）對節點的規範排序，這通常非常困難並且等同於解決圖同構。

最後，有一些最近的工作通過將GNN與確定性圖聚類演算法[8,35,13]相結合來學習層級圖表徵，遵循兩階段方法。然而，與以前的方法不同，我們尋求以端到端的方式學習層級結構，而不依賴於確定性圖形聚類子程式。

方法

DIFFPOOL的關鍵思想是通過為層級池化圖節點提供可微分的模組，來構建深層，多層GNN模型。在本節中，我們概述了DIFFPOOL模組，並展示了它如何應用深度GNN架構。

初期

我們將圖G表示為（A，F），其中A∈{0,1}n×n是鄰接矩陣，並且F∈Rn×d是假設每個節點具有d個特徵的節點特徵矩陣（我們不考慮邊緣特徵，儘管可以使用[35]中介紹的技術輕鬆擴充套件演算法以支援邊緣特徵）。給定一組標記圖D = {（G1，y1），（G2，y2），...}其中yi∈Y是對應於圖Gi∈G的標籤，圖形分類的目標是學習對映f：G → Y將圖形對映到標籤集。與標準監督機器學習相比，我們所面臨的挑戰是，我們需要一種從這些輸入圖中提取有用特徵向量的方法。也就是說，為了將標準機器學習方法應用於分類，例如神經網路，我們需要一種程式將每個圖形轉換為RD中的有限維向量。

圖神經網路。在這項工作中，我們建立了圖神經網路，以便使用端到端的方式為圖形分類學習到有用的表徵。特別是，我們考慮採用以下一般“訊息傳遞”架構的GNN：

H（k）= M（A，H（k-1）;θ（k）），        （1）

其中H（k）∈Rn×d是GNN和M經過k個步驟之後計算的節點嵌入（即“訊息”）的訊息傳播函式，它取決於鄰接矩陣，可訓練引數θ（k）和從先前的訊息傳遞步驟生成的節點嵌入H（k-1）（為了符號方便，我們假設所有H（k）的嵌入維數為d; 但是，一般來說，這種限制是不必要的）。在初始訊息傳遞迭代（k = 1）處嵌入    H（0）的輸入節點，並且使用圖上的節點特徵進行初始化，H（0）= F。

傳播函式M[15,16]有許多可能的實現。例如，Kipf等人提出的[21]圖卷積網路（GCNs），是GNNs的一種流行變體。使用線性變換和ReLU非線性的組合實現M（訊息傳遞）：

其中~A = A + I，~D = ∑j~Aij和W（k）∈Rd×d是可訓練的權重矩陣。我們提出的可微池化模型可以通過運用等式（1）將其應用於任何GNN模型，並且對於如何實現M的具體化是不可知的。

完整GNN模組將迭代K次等式（1）以生成最終輸出節點嵌入Z=H（K）∈Rn×d，其中K通常在2-6範圍內。為簡單起見，在以下部分中，我們將抽象出GNN的內部結構，並使用Z = GNN（A，X）來表示任意根據某些鄰接矩陣A和初始輸入節點特徵X來實現的K次迭代後訊息傳遞的GNN模組。

堆疊GNN和池化層。實現等式（1）的GNN本質上是因為它們僅在圖的邊緣傳播資訊。這項工作的目標是定義一個通用的，端到端的可微分策略，允許以層級方式堆疊多個GNN模組。形式上，給定Z = GNN（A，X），GNN模組的輸出和圖形鄰接矩陣A∈Rn×n，我們尋求定義一種策略來輸出包含m <n個節點的新粗化圖，其中加權鄰接矩陣A’∈Rm×m和節點嵌入Z’∈Rm×d。這個新的粗化圖可以用作另一個GNN層的輸入，整個過程可以重複L次，生成一個具有L層GNN的模型，該模型可以在輸入圖的一系列較粗糙和較粗糙的版本上執行（圖1）。因此，我們的目標是學習如何使用一個GNN模型的輸出將節點聚類或彙集在一起​​，以便我們可以將這種粗化圖作為另一個GNN層的輸入。與通常的圖形粗化任務相比，對於GNNs使得設計（如池化層）變得極具挑戰性的是，我們的目標不是簡單地將節點集中在一個圖形中，而是提供一個通用的配方，以便在一組廣泛的輸入圖形中分層地聚合節點。也就是說，我們需要我們的模型來學習池化策略，該策略將在具有不同節點，不同邊緣的圖形上進行推廣，並且可以在推理中適應各種圖形結構。

通過學習分配進行的可微池化

我們提出的方法DIFFPOOL通過使用GNN模型的輸出在節點上學習聚類分配矩陣來解決上述挑戰。關鍵的直覺是我們堆疊L個GNN模組並學習使用從層l -1的GNN生成的嵌入，以端到端的方式將節點分配給第1層的叢集。因此，我們使用GNN來提取對圖形分類有用的節點嵌入，以及提取對層級池化有用的節點嵌入。使用這種結構，DIFFPOOL中的GNN學習編碼一個通用池化策略，該策略對大量訓練圖有用。 我們首先描述DIFFPOOL模組如何在給定分配矩陣的情況下彙集每層的節點;接下來，我們將討論如何使用GNN架構生成分配矩陣。

池化分配矩陣。我們將第1層的學習聚類分配矩陣表示為S（l）∈Rnl×nl + 1。  S（1）的每一行對應於l層的n1個節點（或簇）中的一個，並且S（1）的每列對應於下一層1 + 1處的n1 + 1個簇中的一個。直觀地，S（l）提供第1層的每個節點到下一個粗化層1 + 1中簇的軟分配。

假設已經計算了S（l），即我們已經計算了模型的第l層的分配矩陣。我們將該層的輸入鄰接矩陣表示為A（1），並將該層的輸入節點嵌入矩陣表示為Z（1）。給定這些輸入，DIFFPOOL層（A（l + 1），X（l + 1））= DIFFPOOL（A（1），Z（l））粗化輸入圖，A（l + 1）是生成新的粗化鄰接矩陣，和用於粗化圖中的每個節點/簇的新的嵌入矩陣X（1 + 1）。特別是，我們應用以下兩個方程式：

等式（3）採用節點嵌入Z（1）並根據聚類分配S（1）聚合這些嵌入，從而為每個n1 + 1聚類生成嵌入。類似地，等式（4）取鄰接矩陣A（1）並生成表示每對簇之間連通強度的粗化鄰接矩陣。

通過等式（3）和（4），DIFFPOOL層粗化圖：下一層鄰接矩陣A（l + 1）表示具有nl + 1個節點或簇節點的粗化圖，其中新粗化圖中的每個單獨的簇節點對應於圖中，l層中的節點簇。值得注意的是，A（l + 1）是實矩陣，表示完全連通圖;每個條目A（l + 1）ij可以被視為聚類i和聚類j之間的連線強度。類似地，X（1 + 1）的第i行對應於簇i的嵌入。粗化的鄰接矩陣A（1 + 1）和簇嵌入X（1 + 1）合在一起可以用作另一個GNN層的輸入，這個過程我們在下面詳細描述。

分配矩陣的學習。在下文中，我們描述了DIFFPOOL的體系結構，即DIFFPOOL如何使用等式（3）和（4）生成的分配矩陣S（1）和嵌入矩陣Z（1）。我們使用兩個單獨的GNN生成這兩個矩陣，這兩個GNN都應用於輸入聚類節點特徵X（1）和粗化鄰接矩陣A（1）。第1層嵌入GNN是應用於這些輸入的標準GNN模組：

即我們採用第1層的聚類節點（來自等式4）與聚類的聚類特徵（來自等式3）之間的鄰接矩陣，並通過標準GNN傳遞這些矩陣，以獲得聚類的新嵌入Z（l）節點。相反，第1層的池化GNN使用輸入簇特徵X（l）和簇鄰接矩陣A（l）來生成分配矩陣：

其中softmax函式以行方式應用。請注意，這兩個GNN使用相同的輸入資料，但使用不同的引數化並扮演不同的角色：嵌入GNN為此層的輸入節點生成新的嵌入，而池化GNN生成輸入節點到nl + 1簇的概率分配。

在基本情況下，層1 = 0處的等式（5）和等式（6）的輸入僅僅是輸入鄰接矩陣A和原始圖的節點特徵F。在使用DIFFPOOL的深GNN模型的倒數第二層L-1處，我們將分配矩陣S（L-1）設定為1’s的向量，即最終層L處的所有節點被分配給單個簇，從而生成最終嵌入對應於整個圖形的向量。然後，該最終輸出嵌入可以用作可微分類（例如，softmax層）的特徵輸入，並且可以使用隨機梯度下降來端對端地訓練整個系統。

置換不變性。注意，為了對圖形分類有用，池化層在節點排列下應該是不變的。對於DIFFPOOL，我們得到以下積極結果，這表明任何基於DIFFPOOL的深度GNN模型都是置換不變的，只要元件GNN是置換不變的。

命題1.令P∈{0,1} n×n為任何置換矩陣，然後DIFFPOOL（A，Z）= DIFFPOOL（PAPT，PX），只要GNN（A，X）= GNN（PAPT，X）（ 即只要使用的GNN方法是置換不變數）。

證明。等式（5）和（6）是假設GNN模組是置換不變的置換不變數。並且由於任何置換矩陣都是正交的，因此將PTP = I應用於等式（3）和（4）來完成證明。

輔助連線預測目標與熵正則化

在實踐中，僅使用來自圖分類任務的梯度訊號來訓練池化GNN（等式4）可能是困難的。直觀地說，我們有一個非凸優化問題，並且在訓練早期將池化GNN推離虛假區域性最小值是很困難的。為了緩解這個問題，我們使用輔助連結預測目標訓練池化GNN，該目標編碼了附近節點應該彙集在一起的直覺。特別地，在每個層l，我們最小化LLP = || A（1）-S（1）S（1）T ||F，其中||·||F表示Frobenius範數。注意，較深層的鄰接矩陣A（1）是較低級別分配矩陣的函式，並且在訓練期間是變化的。

池化GNN（等式4）的另一個重要特徵是每個節點的輸出聚類分配通常應該接近獨熱向量，以便明確定義每個簇或子圖之間的關係。因此，我們通過最小化LE = 1 /n∑ni = 1 H（Si）來規範簇分配的熵，其中H表示熵函式，Si是S的第i行。在訓練期間，每層的LLP和LE 被加入到分類損失中。在實踐中，我們觀察到側面目標的訓練需要更長時間才能收斂，但仍然可以實現更好的效能和更可解釋的聚類分配。

實驗

我們評估了DIFFPOOL對一些最先進的圖形分類方法的好處，目的是回答以下問題：

 Q1：與其他已提出的GNN池化方法（如使用排序池化 [39] 或 SET2SET 方法 [15]）相比，DIFFPOOL如何？

Q2：與現有最好的圖形分類任務模型（包括 GNN 和基於核的方法）相比，結合了 DIFFPOOL的GNN 如何？

Q3：DIFFPOOL是否在輸入圖上計算有意義且可解釋的簇？

資料集。為了探究DIFFPOOL從不同域中的圖形學習複雜層級結構的能力，我們評估了從圖形分類中常用的基準中選擇的各種相對較大的圖形資料集[20]。 我們使用蛋白質資料集，包括ENZYMES，PROTEINS [3,12]，D＆D [10]，社交網路資料集REDDIT-MULTI-12K [38]和科學協作資料集COLLAB [38]。有關統計資訊和屬性，請參閱附錄A.對於所有這些資料集，我們隨機抽樣10％的圖形用作驗證集，其餘圖表用於執行10折交叉驗證以評估模型效能。

模型配置。在我們的實驗中，用於DIFFPOOL的GNN模型建立在GRAPHSAGE架構之上，因為我們發現這種架構與[21]中介紹的標準GCN方法相比具有更好的效能。我們使用GRAPHSAGE [16]的“mean”變體，並在我們的體系結構中每兩個GRAPHSAGE層之後應用DIFFPOOL層。共有三個DIFFPOOL層用於D＆D，REDDIT-MULTI-12K和COLLAB資料集，兩個DIFFPOOL層用於ENZYMES和PROTEINS資料集。嵌入矩陣和分配矩陣分別由兩個單獨的GRAPHSAGE模型計算。在每個DIFFPOOL層，在應用DIFFPOOL之前，簇的數量設定為節點數的25％。批量標準化[18]應用於GRAPHSAGE的每一層之後。我們還發現，在每層的節點嵌入中新增“L2歸一化”使訓練更加穩定。在第4.2節中，我們還在STRUCTURE2VEC [7]架構上測試了DIFFPOOL的類似變體，以演示如何在其他GNN模型之上應用DIFFPOOL。所有型號都經過3000個週期的訓練，在驗證損失開始下降時應用早期停止。我們還評估了DIFFPOOL的兩個簡化版本：

•DIFFPOOL-DET，是一種DIFFPOOL模型，其中使用確定性圖聚類演算法生成分配矩陣[9]。

•DIFFPOOL-NOLP是DIFFPOOL的變體，其中連線預測部分目標已關閉。

基線方法

在圖形分類的效能比較中，我們考慮基於GNN的基線（結合不同的彙集方法）以及最先進的基於核心的方法。

基於GNN的方法。

•具有全域性平均池化的GRAPHSAGE[16]。其他GNN變體（例如[21]中提出的變體）被省略，因為經驗上GraphSAGE在任務中獲得了更高的效能。

•STRUCTURE2VEC（S2V）[7]是一種先進的圖形表示學習演算法，它將潛變數模型與GNN結合起來，它使用全域性平均池化。

•CNN中用於圖形（ECC）的邊緣條件過濾器[35]將邊緣資訊合併到GCN模型中，並使用圖形粗化演算法執行池化。

•PATCHYSAN [29]為每個節點定義一個感受域（鄰域），並使用規範節點排序，對節點嵌入的線性序列應用卷積。

•SET2SET通過在SET2SET[37]中使用的聚合替換了傳統GNN體系結構中的全域性平均池化。在以前的工作中，Set2Set聚合的效能優於平均池化[15]。我們使用GRAPHSAGE作為基本GNN模型。

•SORTPOOL[39]應用GNN架構，然後執行單層軟池化，然後對已排序的節點嵌入執行1D卷積。

對於所有GNN基線，我們使用原始作者在可能時報告的10倍交叉驗證數。 對於GRAPHSAGE和SET2SET基線，我們使用基本實現和超引數掃描，如我們的DIFFPOOL方法。當基線方法沒有必要的公佈數字時，我們聯絡了原作者，並使用他們的程式碼（如果有的話）執行模型，根據原作者的指南執行超引數搜尋。

基於核心的演算法。我們使用GRAPHLET[34]，SHORTEST-PATH[2]，WEISFEILERLEHMAN核心（WL）[33]和WEISFEILER-LEHMAN OPTIMAL ASSIGNMENT KERNEL（WLOA）[22]作為核心基線。對於每個核心，我們計算了歸一化的gram矩陣。我們使用LIBSVM[6]的C-SVM實現計算了分類精度，使用10倍交叉驗證。 通過在訓練摺疊上進行的10倍交叉驗證，從{10-3,10-2，...，102,103}中選擇C引數。此外，對於WL和WL-OA，我們還從{0，...，5}中選擇了迭代次數。

DIFFPOOL程式碼和所有已實施的基線將在釋出前公佈。

圖分類的結果

表1比較了DIFFPOOL與這些最先進的圖表分類基線的效能。這些結果為我們的激勵問題Q1和Q2提供了積極的答案：我們觀察到我們的DIFFPOOL方法在GNN的所有池化方法中獲得最高的平均效能，在基礎GRAPHSAGE架構上平均提高了7.01％，並實現了 5個基準測試中有4個是最先進的。有趣的是，我們簡化的模型變體DIFFPOOLDET在COLLAB基準測試中實現了最先進的效能。這是因為COLLAB中的許多協作圖僅顯示單層社群結構，可以使用預先計算的圖形聚類演算法[9]很好地捕獲這些結構。

STRUCTURE2VEC的可微分池化。除了GRAPHSAGE之外，DIFFPOOL還可以應用於其他GNN體系結構，以捕獲圖形資料中的層次結構。為了進一步支援回答Q1，我們還在Structure2Vec（S2V）上應用了DIFFPOOL。我們使用具有三層架構的S2V進行了實驗，如[7]中所述。在第一個變體中，在S2V的第一層之後應用一個DIFFPOOL層，並且在DIFFPOOL的輸出之上堆疊另外兩個S2V層。第二種變體分別在S2V的第一層和第二層之後應用一個DIFFPOOL層。在兩種變體中，S2V模型用於計算嵌入矩陣，而GRAPHSAGE模型用於計算分配矩陣。

表2中總結了分類精度的結果。我們觀察到DIFFPOOL顯著改善了S2V在ENZYMES和D＆D資料集上的效能。在其他資料集上也觀察到類似的效能趨勢。 結果表明，DIFFPOOL是一種池化層次結構的一般策略，可以使用不同的GNN架構。

執行時間。儘管應用DIFFPOOL需要額外計算分配矩陣，但我們觀察到DIFFPOOL在實踐中不會產生大量額外的執行時間。這是因為每個DIFFPOOL層通過提取圖形的較粗略表示來減小圖形的大小，這加速了下一層中的圖形卷積操作。 具體而言，我們發現使用DIFFPOOL的GRAPHSAGE比使用SET2SET池化的GRAPHSAGE模型快12倍，同時在所有基準測試中仍然可以獲得顯著更高的準確度。

分析DIFFPOOL中的聚類分配

層級聚類結構。為了解決Q3，我們研究了DIFFPOOL通過視覺化不同層中的聚類分配來學習有意義的節點聚類的程度。圖2顯示了COLLAB資料集圖表中第一層和第二層中節點分配的視覺化，其中節點顏色表示其聚類成員。節點聚類成員是通過獲取其聚類分配概率的最大引數值來確定的。我們觀察到即使在僅基於圖形分類目標（即沒有輔助連線預測目標）學習聚類分配時，DIFFPOOL仍然可以捕獲層級結構。

密集與稀疏子圖結構。此外，我們觀察到DIFFPOOL學會以非均勻的方式將節點摺疊成軟簇，並且傾向於將密集連線的子圖摺疊成簇。由於GNN可以在密集的，類似clique的子圖上有效地執行訊息傳遞（由於它們的直徑較小）[26]，因此將這些密集子圖中的節點聚合在一起不太可能導致任何結構資訊的丟失。 這直觀地解釋了為什麼崩潰的是密集的子圖，因為DIFFPOOL會導致策略錯誤。 相比之下，稀疏子圖可能包含許多有趣的結構，包括路徑，迴圈和樹狀結構，並且由於稀疏性引起的高直徑，GNN訊息傳遞可能無法捕獲這些結構。因此，通過分別聚合稀疏子圖的不同部分，DIFFPOOL可以學習捕獲稀疏圖區域中存在的有意義的結構（例如，如圖2所示）。

結論

我們為GNN引入了一種可微分的池化方法，它能夠提取真實圖形的複雜層次結構。通過將提出的池化層與現有的GNN模型結合使用，我們在幾個圖形分類基準測試中獲得了顯著的效果。有趣的未來方向包括學習硬聚類分配以進一步降低更高層的計算成本，同時還確保可微分性，並將層級池化方法應用於需要對整個圖形結構進行建模的其他下游任務。