為了在不同尺度檢測物體，特徵金字塔很重要。作者提出了一個具有橫向連線的自上而下的結構，來構造每個尺度的高層語義特組圖。這個結構成為特徵金字塔網路（FPB）。

幾種不同的檢測結構對比，圖（a）是使用影象金字塔構造特徵金字塔，圖（b）只使用一個尺度的特徵進行快速檢測，圖（c）使用深度卷積結構的不同特徵檢測，圖（d）是論文提出的具有自下而上，自上而下和橫向連線結構的特徵金字塔網路：

論文的目標是構造一個每層都具有強語義性的特徵金字塔，它通過綜合低解析度、強語義性的資訊和高解析度、弱語義性的資訊實現，即自上而下和橫向連結的結構。這種自上而下的結構又有兩種形式，如圖2Top,使用最精細層來預測，而本文使用自上而下的每層來預測。

自上而下的結構：
通過對上層金字塔資訊進行上取樣，得到高解析度的特徵。特徵之後使用橫向連結與自下而上結構的特徵進行綜合，即簡單的元素間相加。迭代該過程直至得到最精細層的特徵，迭代之前，先對C5進行1*1的卷積生成粗糙特組圖，最後一層特徵進行3*3的卷積消除上取樣產生的對齊影響。下圖即自上而下結構的表示：

實驗結果