作者 | 劉雲、程明明、胡曉偉、邊佳旺等

譯者 | 劉暢

整理 | Jane

出品 | AI科技大本營

近日，南開大學媒體計算實驗室提出的最新邊緣檢測和影象過分割（可用於生成超畫素）被 IEEE PAMI 錄用。研究的第一作者也發微博稱：“這是第一個在最廣泛使用的影象分割資料集 BSD500 上 F-Measure 評價值超越資料集本身人工標註平均值的實時演算法。影象分割效果也重新整理了精度記錄。其演算法也已經開源。”

先對各位作者進行簡單的介紹：

一作 劉雲，目前在實驗室內攻讀博士學位，他的博導也是程明明老師。從劉博士釋出過的論文成果列表中可以看到，他在 CVPR、ICCV、ECCV 上都有投過論文。

論文的第二作者——程明明老師。2012 年博士畢業於清華大學，之後在英國牛津從事計算機視覺研究，並於 2014 年回國任教，2016 年起任南開大學教授，國家“萬人計劃”青年拔尖人才，首批天津市傑出青年基金獲得者。其主要研究方向包括：計算機圖形學、計算機視覺、影象處理等。已在 IEEE PAMI, ACM TOG 等 CCF-A 類國際會議及期刊發表論文 30 餘篇。

三作 胡曉偉。四作 邊佳旺，目前就職於華為 media computing Lab。這四位作者都來自於南開大學媒體計算實驗室。另外三位作者為 Le Zhang（南洋理工大學，ADSC）、Xiang Bai（華中科技大學，HUST）、

下面 AI科技大本營就為大家分析講解這個演算法。先把相關介紹和開源地址分享給大家：

https://mmcheng.net/zh/rcfedge/

http://mftp.mmcheng.net/Papers/19PamiEdge.pdf

https://github.com/yun-liu/rcf

在計算機視覺領域，邊緣檢測屬於一個經典問題。在近期的研究中，卷積神經網路（CNN）方法已經顯著的推動該領域的發展。現有的方法，由於使用特定層數的卷積神經網路，可能無法成功提取複雜的資料模型，其中這些資料會隨著影象尺度和縱橫比進行變化。在本文中，我們提出了一種使用更豐富的卷積特徵（Richer convolution features, RCF）的精準邊緣檢測方法。

RCF 方法將所有卷積特徵封裝成一種更具判別性的表達，這樣就可以很好地利用豐富的特徵層次結構，並且該方法也可以通過反向傳播進行訓練。RCF 方法充分利用目標的多尺度和多級資訊來實現影象到影象（image-to-image）的預測。

程明明老師在他的微博中分享說：”這裡面最核心的是 Richer feature： 每個 stage 裡面的所有 conv 層都是有用的，而不是傳統只要每個 stage 的最後一個 conv 層。這是很通用的技巧，基本上幹什麼任務都用得著，而且改幾行程式碼就能實現。“

（來源：程明明老師的個人微博）

使用 VGG16 網路，我們的方法在幾個公共資料集上有最好的效能（state-of-the-art）。在BSDS500基準資料集上進行測試評估時，F-Measure 分數（F-measure） 我們取得了 0.811 的成績 ，並同時獲得了8 FPS的速度。此外，快速版的 RCF 方法取得了 0.806 分和 30 FPS 的速度。為了證明所提出方法的多功能性，我們還將 RCF 檢測的邊緣應用於影象分割問題。

我們構建了一個基於 VGG16 的簡單神經網路，以得到 conv3_1，conv3_2，conv3_3，conv4_1，conv4_2 和 conv4_3 這幾層每層的輸出。通過上圖，可以清楚地看到卷積特徵逐漸變得粗糙，並且中間層 conv3_1，conv3_2，conv4_1 和 conv4_2包含許多有用的精確細節，而這些細節沒有在其他層中出現。



上圖展示的是 RCF 網路架構。網路的輸入是具有任意大小的影象，而網路的輸出是具有相同大小的邊緣檢測圖。我們將每個卷積層的層次特徵組合成一個整體框架，而其中的所有引數都是可以訓練學習的。由於 VGG16 中卷積層的感受野大小彼此不同，因此我們的網路可以學習多尺度，包括低尺度和物件級的資訊，而這些資訊將有助於邊緣檢測。





上圖是該多尺度演算法的管道圖。調整原始影象的大小以構建影象金字塔。然後將這些多尺度影象輸入到 RCF 網路中進行正向傳遞。接著，我們使用雙線性插值將結果邊緣檢測圖恢復為原始大小。對這些邊緣圖進行簡單平均計算就可以輸出高質量邊緣圖。

在 BSDS500 資料集上的評估結果





上圖是超過 50 年的邊緣檢測方法效能總結。 我們的方法是第一個比人類註釋器獲得更好 F-Measure 分數的實時系統。



--【完】--

2018 AI開發者大會

AI技術年度盛會即將開啟！11月8-9日，來自Google、Amazon、微軟、Facebook、LinkedIn、阿里巴巴、百度、騰訊、美團、京東、小米、位元組跳動、滴滴、商湯、曠視、思必馳、第四正規化、雲知聲等企業的技術大咖將帶來工業界AI應用的最新思維。

如果你是某個AI技術領域的專業人才，或想尋求將AI技術整合至傳統企業業務當中，掃碼填寫大會註冊資訊表，我們將從中挑選出20名相關性最高的幸運讀者，送出單場分論壇入場券。大會嘉賓陣容和議題，請檢視文末海報。

此外，如果你想與所有參會大牛充分交流溝通，點選閱讀原文購票，使用優惠碼：AI2018-DBY 購買兩日通票，立減999元；此外大會還推出了1024定製票，主會+分會自由組合，精彩隨心。