Related works

1. visual relationships

2. Neural networks on a graph

3. Memory augmented neural network

文章方法上值得關注的地方

This paper propose a dynamic adjacency tensor memory (DATM) for the DGGN to store information about the relationships among the elements in a diagram.
將graph的邊與動態的memory network結合在一起，蠻創新的。基礎框架仍然是DGGN

，但結合進memory network不僅能在節點之間傳遞訊息(message-passing between nodes) ，而且能線上地構建圖的邊(build the edges of a graph online)，為圖的生成和推理提供了很大的潛力。

dynamic adjacency tensor memory(DATM)其實是一個 $n\ast n\ast$

( m + 1 ) n*n*(m+1) 的三維矩陣，該三維矩陣由兩部分拼接而成，一部分是鄰接矩陣 $A\in$

R n ∗ n A\in R^{n*n} ，另一部分是對應的隱單元H，其 $(i,j)$元素 $h_{(i,j)}$是GRU的m維隱向量，與節點 $o_i$和 $o_j$之間的連線有關。鄰接矩陣A表示有向圖中n個節點之間的連線狀態。對於每個GRU 單元的輸入就是 $f_t$即 $f_t^{(l)}, t = 1,2,...,n^2$, $f_t$表示兩個object特徵之間的拼接。


對於Retrieval而言，就是用邊的存在概率 $a$加權了 $o_i$和 $o_j$的相鄰向量 $h$, 並且新增全域性特徵 $f^{(g)}$以反映圖表的全域性形狀, 形成 $t$時刻的GRU隱層向量 $h_t$。

對於Update而言，其中memory裡面的一個cell $D_{i,j}$是由一個GRU cell的輸出 $a_t$與隱層單元 $h_t$拼接而成。

為了得到隱藏狀態 $h_t$，使用了向量 $h_{t−1}$和 $f_t$作為標準GRU的先前隱藏狀態和輸入向量。

這是包含detection與graph generation的多工學習，因此其loss包含三項，目標檢測分支的分類損失 $L_c$和位置迴歸損失 $L_l$，圖生成網路的關係分類損失 $L_r$。