1. 程式人生 > >CVPR 2019 論文解讀 | 小樣本域適應的目標檢測

CVPR 2019 論文解讀 | 小樣本域適應的目標檢測

引文

​ 最近筆者也在尋找目標檢測的其他方向,一般可以繼續挖掘的方向是從目標檢測的資料入手,困難樣本的目標檢測,如檢測物體被遮擋,極小人臉檢測,亦或者資料樣本不足的演算法。這裡筆者介紹一篇小樣本(few-shot)資料方向下的域適應(Domain Adaptation)的目標檢測演算法,這篇新加坡國立大學&華為諾亞方舟實驗室的paper《Few-shot Adaptive Faster R-CNN》被收錄於CVPR2019,解決的具體問題場景是我們有在普通常見場景下的汽車目標檢測,我們只有少量霧天暴雨極劣天氣環境下的汽車樣本,那麼我們可以使用成對取樣(pairing-sampling)的方法,源域(source domain)即普通場景下的汽車樣本\(Car_{s}\)和目標域(target domain)即惡劣天氣下的汽車樣本\(Car_{t}\)成對\((Car_s,Car_t)\)組成負樣本,另一方面源域下成對組成正樣本\((Car_s,Car_s)\),使用GAN的結構,判別器(discriminator)儘可能去分辨正負樣本的不同,也就是分辨出源域和目標域的樣本,生成器(generator)是嘗試去迷惑判別器。這就是這個演算法的主要思想,主要是把域適應的思想應用到了目標檢測上。

​ 論文原始碼還沒完全開源,只找到了個官方的repo:https://github.com/twangnh/FAFRCNN

思考

在介紹文章具體網路設計和損失函式的設計之前,我們可以帶著一個問題去思考。

  1. 用GAN的結構,資料樣本使用\(Car_s\)作為正樣本、\(Car_t\)作為負樣本也可以使判別器(discriminator)分辨出源域和目標域的樣本,為什麼這裡要組成對的去訓練?

演算法設計

Fig 1. Few-shot Adaptive Faster R-CNN (FAFRCNN)的整體網路結構(其中的SMFR模組後面會介紹到)

在目標檢測的任務中,論文作者把域適應問題分成兩個層次:

    1. 影象級別的域適應
    1. 例項級別的域適應

具體可以看下面Fig2的第一行和第三行,影象級別下的域遷移是整體影象各個畫素組成的域遷移,例項級別的域遷移是汽車樣本下的域遷移。

Fig 2. 中間為兩張來自Cityspaces和Foggy Cityspaces的圖片。第一行為影象級別的域遷移,第三行為例項級別的域遷移。

影象級別的域適應

​ 影象級別的域適應(Image-level Adaptation) 是為了完成image-to-image的轉換,論文提出了split pooling(SP)的方法,作用是為了隨機放置grid,做法也是十分簡單,grid cell的寬為w,高為h,然後隨機生成sx和xy,grid根據sx和sy調整位置。

Fig 3. grid的選擇

​ 得到grid之後,論文把grid與Faster R-CNN中選取anchor boxes一樣,採取了三種scale和三種ratio,split pooling對應在提取的特徵\(f(x)\)中也是有大(l)、中(m)、小(s)三種scale: \(sp_l(f(x)),sp_m(f(x)),sp_s(f(x))\)。

​ 後面就可以用對抗訓練的方式訓練生成器和判別器了,但是因為目標域的樣本是小樣本資料,所以這裡提出了成對訓練的方式,即源域對\(G_{s_1}={(g_s,g_s)}\)和源域-目標域對\(G_{s_2}={(g_s,g_t)}\)。判別器判斷樣本來源,生成器是特徵提取器器目標是混淆判別器。
\[ g_s\sim sp_kf(X_s),g_t\sim sp_k(f(X_T)),k=\{l,m,s\} \]

\[ L_{sp_{sd}}=-\mathbb{E}_{x\sim{G_{s1}}}[logD^{sp_s}(x)]-\mathbb{E}_{x\sim{G_{s2}}}[log(1-D^{sp_s}(x))] \]

\[ L_{im_d}=L_{sp_{sd}}+L_{sp_{md}}+L_{sp_{ld}} \]
​ 另外論文在影象級別的域適應用了三個GAN,實用性不知道如何。
本文會在一週後重新編輯,欲覽全文可轉至推文:


相關推薦

CVPR 2019 論文解讀 | 樣本適應目標檢測

引文 ​ 最近筆者也在尋找目標檢測的其他方向,一般可以繼續挖掘的方向是從目標檢測的資料入手,困難樣本的目標檢測,如檢測物體被遮擋,極小人臉檢測,亦或者資料樣本不足的演算法。這裡筆者介紹一篇小樣本(few-shot)資料方向下的域適應(Domain Adaptation)的目標檢測演算法,這篇新加坡國立大學

CVPR 2018 論文解讀(部分)

CVPR 2018還有3個月就開始了,目前已經公佈了所有收錄論文名單,為了能夠讓大家更深刻了解C

CVPR 2017論文解讀:特徵金字塔網路FPN

這裡介紹的文章是來自 Facebook 的特徵金字塔網路 Feature Pyramid Networks(FPN)。FPN 主要解決的是物體檢測中的多尺度問題,通過簡單的網路連線改變,在基本不增加原有模型計算量情況下,大幅度提升了小物體檢測的效能。我們將從論文背景,論

【轉】CVPR 2017論文解讀:用於單目影象車輛3D檢測的多工網路

轉自:https://baijiahao.baidu.com/s?id=1573792022850309&wfr=spider&for=pc 昨日,CVPR 2017獲獎論文公佈,引起了業內極大的關注。但除了這些獲獎論文,還有眾多精彩的論文值得一讀。因此在

曠世提出類別正則化的適應目標檢測模型,緩解場景多樣的痛點 | CVPR 2020

> 論文基於DA Faster R-CNN系列提出類別正則化框架,充分利用多標籤分類的弱定位能力以及圖片級預測和例項級預測的類一致性,從實驗結果來看,類該方法能夠很好地提升DA Faster R-CNN系列的效能   來源:曉飛的演算法工程筆記 公眾號 **論文: Exploring Cate

Domain Adaptive Faster R-CNN:經典適應目標檢測演算法,解決現實中痛點,程式碼開源 | CVPR2018

> 論文從理論的角度出發,對目標檢測的域自適應問題進行了深入的研究,基於H-divergence的對抗訓練提出了DA Faster R-CNN,從圖片級和例項級兩種角度進行域對齊,並且加入一致性正則化來學習域不變的RPN。從實驗來看,論文的方法十分有效,這是一個很符合實際需求的研究,能解決現實中場景多樣

ECCV18 | 如何正確使用樣本擴充改進目標檢測效能

眾所周知,在計算機視覺識別任務中,對訓練樣本進行增廣是非常重要的,可以減少過擬合、改進模型泛化效能。 在大多數視覺任務中,對影象進行顏色改變或是增加隨機噪聲等這些通用資料增廣操作,都會改進模型預測能力,但如果能利用特定任務的先驗知識則往往會獲得更大的效能改進。比如在目標

論文閱讀筆記3——基於適應弱監督學習的目標檢測Cross-Domain Weakly-Supervised Object Detection through Progressive Domain A

本文是東京大學發表於 CVPR 2018 的工作,論文提出了基於域適應的弱監督學習策略,在源域擁有充足的例項級標註的資料,但目標域僅有少量影象級標註的資料的情況下,儘可能準確地實現對目標域資料的物體檢測。 ■ 連結 | https://www.paperweekly.site/papers/21

CVPR 2017 全部及部分論文解讀集錦

計算機視覺頂會之一的CVPR2017將於7月21日至7月26日在夏威夷舉行。目前文章都已出來(連結:http://openaccess.thecvf.com/CVPR2017.py 或者點選底下閱讀原文直接進入),大家可以在週末盡情得閱讀啦。下面為我們整理的一些關

CVPR 2020 三篇有趣的論文解讀

**作者 | 文永亮** **學校 | 哈爾濱工業大學(深圳)** **研究方向 | 視訊預測、時空序列預測** ## 目錄 - **AdderNet** — 其實不需要這麼多乘法 - **Deep Snake for Real-Time Instance Segmentation** — 用輪廓

輪廓檢測論文解讀 | 整體巢狀邊緣檢測HED | CVPR | 2015

--- # 主題列表:juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable # 貢獻

輪廓檢測論文解讀 | Richer Convolutional Features for Edge Detection | CVPR | 2017

有什麼問題可以加作者微信討論,cyx645016617 上千人的粉絲群已經成立,氛圍超好。為大家提供一個遇到問題有可能得到答案的平臺。 ## 0 概述 - 論文名稱:“Richer Convolutional Features for Edge Detection” - 論文連結:https://opena

阿拉丁程序生態課7月開課,解讀程序的“前世今生”

二維 鳳凰網 jic 資源 創業 web 動力 數據 part 阿拉丁小程序生態課·北京站將於7月8日13:30-17:30在北京京糧大廈四層方糖小鎮舉行,開課前期工作正在緊鑼密鼓籌備中。會務方透露,本次生態課將從小程序對O2O商業帶來的變革、小程序未來的發展、以及小程序如

概率生成模型在驗證碼上的成果論文解讀

研究 輪廓 一般來說 分解 作用 nsh 級別 優秀 框架 摘要從少數樣本學習並泛化至截然不同的情況是人類視覺智能所擁有的能力,這種能力尚未被先進的機器學習模型所學習到。通過系統神經科學的啟示,我們引入了視覺的概率生成模型,其中基於消息傳送(message-passing)

程序音視頻能力技術負責人解讀程序直播”

微信小程序 音視頻 直播 策劃 / LiveVideoStack責編 / 包研一夜之間,“小程序+直播”成為多媒體開發者熱議的話題。從底層技術實現到接口開放程度,是否綁定騰訊雲?價格體系?低延遲性能如何?......一連串的問題背後是開發者乃至整個生態對“小程序+直播”的關註。LiveVideoS

前端知識 | CSS技巧-自適應橢圓

小技巧 圓角 網站 技術幹貨 自動調整 soft ack 顯示 相等 背景知識:border-radius 屬性的基本用法。難題:你可能註意到過,給任何正方形元素設置一個足夠大的 border-radius,就可以把它變成一個圓形。所用到的 CSS 代碼如下所示: 圖1

樸素貝葉斯python樣本實例

else take dataset 核心 inpu lis def hle 模型 樸素貝葉斯優點:在數據較少的情況下仍然有效,可以處理多類別問題缺點:對於輸入數據的準備方式較為敏感適用數據類型:標稱型數據樸素貝葉斯決策理論的核心思想:選擇具有最高概率的決策樸素貝葉斯的一般過

《Playing hard exploration games by watching YouTube》論文解讀

cati 由於 表示 [1] array 大小 好的 log 循環 論文鏈接 油管鏈接 一、摘要 ??當環境獎勵特別稀疏的時候,強化學習方法通常很難訓練(traditionally struggle)。一個有效的方式是通過人類示範者(human demonstrator

An Analysis of Scale Invariance in Object Detection – SNIP 論文解讀

記錄 測試的 one zhang 不可 策略 correct 抽象 alt 前言 本來想按照慣例來一個overview的,結果看到一篇十分不錯而且詳細的介紹,因此copy過來,自己在前面大體總結一下論文,細節不做贅述,引用文章講得很詳細。 論文概述 引用文章 以下內容來自: