2. 程式人生 > >計算機視覺-論文閱讀筆記-基於高效能檢測器與表觀特徵的多目標跟蹤

計算機視覺-論文閱讀筆記-基於高效能檢測器與表觀特徵的多目標跟蹤

阿新 • • 發佈：2019-01-12

這篇筆記主要是對今年ECCV2016上的論文:POI:Multiple Object Tracking with High Performance Detection and Appearance Feature 進行整理. 這篇文章的基本思路是在每幀上用檢測器檢測行人位置,在每幀之前利用行人檢測框的表觀特徵(Appearance Feature)進行前後幀行人框的匹配,從而實現對行人的跟蹤.所以這篇文章的演算法算是Tracking by Detection.這篇文章在行人檢測器和表觀特徵提取兩處均使用了基於深度學習的方法.並達到了較好的效果.作者給這個跟蹤演算法起了個叫POI:Person of Interest.

行人檢測

一個準確的行人檢測器對於跟蹤有很大的幫助.POI中使用檢測器資訊如下:
* 模型:Faster RCNN
* 資料庫:使用了多個數據庫.包括ImageNet, ETHZ pedestrain dataset, Caltech pedestrain dataset 以及作者自己準備的資料集(接近40w個樣本,但並沒有公開).
* 策略:作者額外使用了skip pooling [參考文獻1]和multi-region[參考文獻2]這兩個策略提高檢測器的效果.

作者在MOT16 train set上對比了Faster RCNN 和 DPM的效果對比.其中添加了skip pooling和multi-region兩個策略的Faster RCNN獲得了最好的綜合效果,如下圖所示.

POI1.png

表觀特徵(Appearance Feature)

表觀特徵是用來計算行人影象框之間的相似度的.在用理想的表觀特徵計算時,來自相同個體的影象框的相似度應該很大,而來自不同個體的影象框的相似度應該很小.從而能夠通過相似度確定影象框集合之間的對應關係.
* 模型:GoolgeNet的修改版本,輸入尺寸為96 * 96,pool5的kernel size從7 * 7換成了3 * 3
* 訓練資料:多個person re-id datasets:包括PRW,Market-1501,VIPeR,CUHK03. 包括來自19835個個體的119000對左右patches.
* 訓練方法:同時使用softmax和triplet loss. softmax loss用來提高表觀特徵的區分度, triplet loss 用來保證同個個體的表觀特徵距離較小
* 相似度計算: 通過特徵的餘弦距離計算相似度, 餘弦距離即計算兩個向量夾角的餘弦值.完全相關時為1,完全無關時為0

線上跟蹤器(Online Tracker)

Online Tracker Algorithm

以上即為POI中線上跟蹤器的演算法,其中輸入和輸出為:
* 輸入資訊:t時刻的影象幀,t時刻影象幀上的檢測框集合Dt,以及t-1時刻的跟蹤框集合Tt−1
* 輸出資訊:t時刻的跟蹤框集合Tt
在Online Tracker中, POI使用Kalman Filter [參考文獻3]做動作預測, Kuhn-Munkres 演算法[參考文獻4]做資料對應(即兩個行人框集合之間的對應)

相似矩陣構建(Affinity Matrix Construction)

Kuhn-Munkres演算法需要構建相似矩陣來進行兩個集合之間的對應,相似矩陣中的元素即兩個集合對應資料的相似度. POI中集合了運動,形狀,表觀特徵來計算跟蹤集和檢測集之間的相似度.其中表觀特徵即上面討論的用深度學習模型提取的特徵.

affapp(trki,detj)=cosine(feattrki,featdetj)
affmot(trki,detj)=e−w1∗((Xtrki−XdetjWdetj)2+(Ytrki−YdetjHdetj)2)
affshp(trki,detj)=e−w2∗(|Htrki−Hdetj|Htrki+Hdetj+|Wtrki−Wdetj|Wtrki+Wdetj)
affinity(trki,detj)=affapp(trki,detj)∗affmot(trki,detj)∗

相關推薦

計算機視覺-論文閱讀筆記-基於高效能檢測器與表觀特徵的多目標跟蹤

這篇筆記主要是對今年ECCV2016上的論文:POI:Multiple Object Tracking with High Performance Detection and Appearance Feature 進行整理. 這篇文章的基本思路是在每幀上用檢測器

基於擁擠距離與變異支配的多目標PSO演算法

這一篇是Xue Bing在一區cybernetics發的論文，裡面提出了兩個多目標PSO特徵選擇演算法，一個是NSPSO另一個是CMDPSO。其中NSPSO是參考了NSGA2的框架和思想。下面具體說說CMDPSO。 CMDPSO全稱是Crowding，Mutat

論文閱讀筆記3——基於域適應弱監督學習的目標檢測Cross-Domain Weakly-Supervised Object Detection through Progressive Domain A

本文是東京大學發表於 CVPR 2018 的工作，論文提出了基於域適應的弱監督學習策略，在源域擁有充足的例項級標註的資料，但目標域僅有少量影象級標註的資料的情況下，儘可能準確地實現對目標域資料的物體檢測。 ■ 連結 | https://www.paperweekly.site/papers/21

基於pytorch的ESRGAN（論文閱讀筆記+復現）

程式碼的框架——《https://github.com/xinntao/BasicSR》 ESRGAN論文《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》的連結——https://arxiv.org/pdf

視覺場景理解論文閱讀筆記:Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

一、文章相關資料3.發表時間:2018二、閱讀筆記1.論文思想        文章提出一種自上而下與自下而上相結合的注意力模型方法，應用於視覺場景理解和視覺問答系統的相關問題。其中基於自下而上的關注模型（一般使用Faster R-CNN）用於提取影象中的興趣區域，獲取物件特徵

經典計算機視覺論文筆記——《Robust Real-Time Face Detection》

        第一次讀這篇傳奇之作大概是九年前了，也就是2007年，而那時距論文正式發表（2004年）也已經有四年之久了。現在讀來，一些想法，在深度學習大行其道的今天仍然具有借鑑意義，讓人敬佩不已。         VJ人臉檢測器應該是歷史上第一個成功商業應用的實時人臉檢

經典計算機視覺論文筆記——《Going Deeper with Convolutions》

        2014年imageNet挑戰賽冠軍，Inception系列的開創者，caffe作者賈揚清，google研發……使這篇論文成為深度學習與視覺領域的必讀論文，兩年時間引用量過千。私以為文中理論部分有點囉嗦，反覆強調sparse structure。但精彩之處還

視覺場景理解論文閱讀筆記2:Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story

一、文章相關資料二、閱讀筆記1.論文思想       針對序列影象生成故事描述的需求，使用層次結構的網路進行解碼學習。高階網路用於學習序列中每幅影象的語義資訊，所屬主題；低階網路用於根據學到的主題與語義屬性逐詞逐句生成句子描述。2.結構（1）Manager-Worker 框架

基於深度學習的影象去噪暨SRMD論文閱讀筆記

最近一直在做基於卷積神經網路的影象去噪~感覺資料比較凌亂，本博文就是整理好經典的論文材料~ 同時本博文也結合了閱讀論文《Learning a Single Convolutional Super-Resolution Network for Multiple Degradations》時的心

經典計算機視覺論文筆記——DeepFace\DeepID\DeepID2\DeepID3\FaceNet\VGGFace彙總

1. DeepFace:Closing the Gap to Human-Level Performance in Face Verification 最早將深度學習用於人臉驗證的開創性工作。Facebook AI實驗室出品。動用了百萬級的大規模資料庫。典型的識別訊號提特

計算機視覺論文筆記五：Maximal Linear Embedding for Dimensionality Reduction

版權論文作者所有，本筆記僅用作學術交流,主要是做個筆記。這篇論文寫的很友好，很清楚，你腦子裡出現了什麼疑問，下一句就是答案。而且是工科思維，很多實現細節作者也會提到，整篇論文幾乎就是有不能更詳細註釋的程式碼！！我的鴿，被校友的論文圈粉了。我也要向著這種方向思考，寫作。IEEE

基於條件知識庫（CKB）的對話問答系統--論文閱讀筆記

本文是‘’Learning to Extract Conditional Knowledge for Question Answering using Dialogue‘’論文的閱讀筆記。最近開始看QA方面的一些論文，剛入門，很多東西都不太懂，感覺很吃力，慢慢堅

關鍵字抽取論文閱讀筆記

三種 度量 gin 提高 簡單 類模型 分類問題 同時 權重 劉知遠老師博士論文-基於文檔主題結構的關鍵詞抽取方法研究 一、研究背景和論文工作介紹 　　關鍵詞抽取分為兩步：選取候選關鍵詞和從候選集合中推薦關鍵詞。 1.1. 選取候選關鍵詞 關鍵詞：單個詞或者多個單詞組成的短

《深入理解計算機系統》閱讀筆記--程序的機器級表示（上）

還要 所有 執行文件 命令 不同的 指向 local 變量 section 一、為什麽要學習和了解匯編 編譯器基於編程語言的規則，目標機器的指令集和操作系統遵循的慣例，經過一系列的階段生成機器代碼。GCC c語言編譯器以匯編代碼的形式產生輸出，匯編代碼是機器代碼的文

《The challenge of realistic music generation: modelling raw audio at scale》論文閱讀筆記

mes esc color del strac argmax bst repr 幫助 The challenge of realistic music generation: modelling raw audio at scale 作者：Deep mind三位大神

《Macro-Micro Adversarial Network for Human Parsing》論文閱讀筆記

邊界 分享圖片 strong 避免 也有 ima 1.4 以及 potential 《Macro-Micro Adversarial Network for Human Parsing》 摘要：在人體語義分割中，像素級別的分類損失在其低級局部不一致性和高級語義不一致性方面存

論文閱讀筆記《The Contextual Loss for Image Transformation with Non-Aligned Data》（ECCV2018 oral）

github 區域 偏移 org nbsp 修改 transfer style 但是 目錄： 相關鏈接 方法亮點 相關工作 方法細節 實驗結果 總結與收獲 相關鏈接 論文：https://arxiv.org/abs/1803.02077 代碼：https://

論文閱讀筆記（一）LeNet--Gradient-Based Learning Applied to Document Recognition

輸入 共享 rbf map 內部 field dex title 手動 作者：Yann LeCun，Leon Botton， Yoshua Bengio，and Patrick Haffner這篇論文內容較多，這裏只對部分內容進行記錄：以下是對論文原文的翻譯：在傳統的模式識

論文閱讀筆記（十一）Network In Network

hole orm 後來 entropy function ppr master 3層 上進 該論文提出了一種新穎的深度網絡結構，稱為“Network In Network”(NIN)，以增強模型對感受野內local patches的辨別能力。與傳統的CNNs相比，NIN主要

論文閱讀筆記（六）Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

采樣 分享 最終 產生 pre 運算 減少 att 我們 作者：Shaoqing Ren, Kaiming He, Ross Girshick, and Jian SunSPPnet、Fast R-CNN等目標檢測算法已經大幅降低了目標檢測網絡的運行時間。可是盡管如此，仍然