雷鋒網（公眾號：雷鋒網） AI科技評論按：當今在AI、自動駕駛等技術越發成熟的時期，如何將一張圖像中的物體自動分割歸類，也即所謂圖像語義分割，顯得尤為重要。
當前大多數圖像語義分割算法都是基於深度學習的方式，但是深度學習的效果很大程度上是依賴於大量訓練數據的。目前的圖像分割方法無非兩種，一種是通過標註人員手動標註，如Cityscapes（提供無人駕駛環境下圖像分割的數據集）中的標註，但這種方法需要花費大量的人力、物力和時間。例如，下面這張包含28個目標事例的圖，處理它就需要人工手動點擊580次，這真的要點到手疼。
另一種則是將目標分割看作是像素標註的問題（pixel-labeling problem）自動完成分割工作。但是這種方法自身有較大的不精確性，而又無法通過人員幹涉來修正，所以很難用來作為地面實況的評測數據。那麽在填充評測數據集（例如Cityscapes）時，我們能否做到既可以自動標註以節省成本，在需要的時候又能通過人工修正來保證精度呢？
在《用Polygon-RNN標註目標事例》（Annotating Object Instances with a Polygon-RNN ）這篇論文中，作者給了我們肯定的回答。作者采用了一種不同於像素標註的方法，而是將目標分割看做是一個多邊形預測的問題（polygon prediction problem），然後基於深度學習實現“半自動化”目標事例的標註。
這種算法首先需要給定一個邊框真值，簡單的說就是你用框選中要標註的事例。隨後它會基於RNN（Recurrent Neural Network，遞歸神經網絡）算法來預測一個包圍目標事例的封閉的多邊形輪廓。
這個多邊形的預測先是通過CNN（Convolutional Neural Network，卷積神經網絡）找到一個起點，然後以順時針方向每次叠代生成多邊形下一個頂點。RNN每一次的叠代輸入都包含三個方面：
第一是圖片的CNN特征表示（圖中綠色方塊）；
第二是前兩個RNN叠代輸出的頂點（圖中t-1和t-2的結果）；
第三就是起點，它用來幫助RNN決定何時封閉多邊形。
通過連續生成多邊形的其他頂點，然後順序連接所有頂點即形成這個多邊形輪廓，整個過程（每一個目標事例）平均只需要250毫秒。這個過程有一個奇妙的特點就是，它的每一次叠代結果都會影響以後的叠代，這就給人工幹預留了機會。如果有一個頂點的叠代偏離了目標事例，那麽人們就可以通過修正這個頂點來改進目標分割的精度。
那麽這種方法的結果怎樣呢？在這之前我們先了解一個概念：交並比（IoU，Intersection over Union），也即兩個圖形的交集面積比上並集面積
顯然，在目標分割中，標註圖形與目標事例之間的IoU值越大，說明精度越高。我們來看Polygon-RNN自動標記與像素標記方法標記的比較。在假設Cityscapes中人工標註的IoU為100%的情況下，Polygon-RNN自動預測的結果（沒有標註人員幹預）與通過像素標記方法分割目標的DeepMask和SharpMask（與DeepMask比有更高的分辨率，160 vs 56）比較如下圖所示：
這裏橫軸指標記物體最長邊的像素大小，縱軸為交並比（IoU）。顯然，在目標事例像素較小的時候，Polygon-RNN方法要比像素標記方法精確度更高，而當目標事例較大時，Polygon-RNN的誤差將會變得很大。
與人工標註相比會是怎樣的結果呢？幾位研究人員一方面雇傭了一個熟練的標註員，讓他在隨機選出的10張Cityscapes圖上標記出所有的小汽車。而另一方面，研究人員通過算法模擬了一個“標註員”，讓它修正Polygon-RNN自動生成的多邊形。其結果發現使用Polygon-RNN，模擬“標註員”只需要大約9.39次點擊，IoU值就可以達到78.4%，這要比人工標記快4.74倍。我們來感受下作者的結果：
幾位研究人員同樣還采用了KITTI的數據重復了上述的比較，結果毫不例外，Polygon-RNN在自動標註上和其他像素標註方法DeepMask、SharpMask等的精度不相上下，在人工幹預的情況下則會明顯優於後兩者。這說明Polygon-RNN的方法根本不依賴於具體的某一個數據庫，完全是一個能普遍使用的即節省成本，又節約時間，精度還完全勝任的半自動化標記工具。
當然，Polygon-RNN目前仍然有一個比較嚴重的問題，我們前面也說了，那就是對大尺寸目標事例它的誤差會急劇增大。解決這一問題需要模型有更高的分辨率，這也就意味著需要更大的內存。能否通過優化模型本身來降低誤差，而不增加內存需求呢？讓我們拭目以待！
雷鋒網（公眾號：雷鋒網）（公眾號：雷鋒網） 註：原文鏈接Annotating Object Instances with a Polygon-RNN
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
Tags: 標註 分割 事例 目標 圖像 語義
文章來源：