Cao Z, Wei F, Dong L, et al. Ranking with recursive neural networks and its application to multi-document summarization[C]// Twenty-Ninth AAAI Conference on Artificial Intelligence. AAAI Press, 2015:2153-2159.
##Abstract
RNN MDS
它將句子排序任務劃分為一個層次迴歸過程，它將在解析樹種同時測量句子及其成分的顯著性。(每個非終結節點)
##Introduction

• RNN 句法分析，情感分析，話語分析表現不錯
  從單詞級到句級的引導，RNN能夠自動學習排名特徵
• 具體說來，R2N2採用手工字特徵作為輸入。在前向傳播步驟中，它用其子節點對遞迴地計算父節點的表示。
• 在反向傳播步驟，對模型的權重監督性指導下更新樹
• RNN對多文件摘要的貢獻

1. 它將句子排序轉換成一個分層的迴歸任務。因此，可以考慮更多的監督知識。
2. 它能夠自動學習額外的句子排序特徵，同時解析樹上的成分
3. 它提供了從單詞到句子的一致的排名分數，這使得更準確的句子選擇方法成為可能
   ##Relatedwork

• n-grams
  N元模型詳解-csdn
• SVM
  SVM原理詳解
  ##Model
• 輸入都是相同維數的向量
  RNN通過在每個節點重複應用相同的神經網路來處理結構化輸入（通常是二叉樹）。可以從下往上計算每個節點的表示式：
  
  
  Wt是轉移矩陣，at是啟用函式
  l(,)表示節點的向量
  為了複製神經網路，所有節點必須具有相同的維數作為輸入。
• 對於排序問題，每個非終端節點n與顯著度s（n）相關聯。在這種情況下，遞迴神經網路的目標是雙重的。首先，它根據公式1計算樹上的新表示。第二，它通過迴歸過程度量節點的重要性：
  
  Wr1是迴歸矩陣，ar是迴歸函式
  反向傳播演算法，更新Wt，以下面兩個的誤差作為引導
  

##Ranking Framework upon RNN (R2N2)

• Pre-processing
  模型的輸入結構是句子的解析樹
  一個前端節點，因為它與一個字相關聯，我們只是用rouge-1（R1）得分，它的上一層，rouge-1（R1）和rouge-2（R2）組合評分來衡量其重要性
  
  
  一個顯著的父節點預示著它的孩子也是顯著的，反之不成立。由於ROUGE得分範圍從0到1，我們選擇
  sigmoid（？）作為迴歸函式（ar =？）並進行評估
  交叉熵（CE）的結果：
  
• Ranking with RNN
  新增一個投影層，將原始fw轉換成隱藏特徵fh。
  
  HT的優點是廉價的計算，同時留下良好的泛化效能。
  我們發現raw features大大提高了學習功能的效能。這種現象在機器翻譯任務中也可以找到
• 模型如圖：
  
  一個圓表示一個值，而矩形代表一個向量。不同的顏色被用來區分特徵型別，黑色邊框表示這種型別的功能是手工製作的。我們使用虛線矩形表示三個文字級別的迴歸差異
  ##Features for Sentence Ranking
  The input of our model consists of two parts: word-level features
  fw and sentence-level features fs
  ##Sentence Selection
• Greedy based Sentence Selection
• ILP based Sentence Selection