1. 程式人生 > >計算機視覺之目標跟蹤

計算機視覺之目標跟蹤

跟蹤定義:
在一系列的影象中,標註出關於運動物體的可能位置。

一、單目標跟蹤

產生候選box方法:
滑動視窗(窮舉法)即目標附近所有可能的樣本作為候選樣本
為了避免匹配整個影象的box,估計物體的運動(通過運動模型),在下一幀物體可能出現的位置處產生候選box。
粒子濾波(Particle Filter)

如何為候選樣本評分:
三種方式!
1.生成式:模板匹配(需要估計運動模型的),得到patch描述(可以是灰度畫素值,梯度方向直方圖,HOG),根據運動模型估計下一幀影象可能出現的位置,得到一系列的patch並獲取其描述,計算相似度。

2.判別式(針對前景和背景訓練分類器,把跟蹤問題視為分類問題,需要計算特徵和分類器):
問題就是在下一幀影象如何產生候選box?
傳統的目標跟蹤方法(線上學習)
僅使用一個影象塊來訓練分類器(輸入正樣本和負樣本),相對於離線學習來說,僅使用少量的訓練集,即先前幀的box。

多示例學習(Multiple Instance Learning)
構造正樣本包!即用確定的目標box和在其周圍畫素進行取樣得到的patch來形成包(由於包含確定目標的box,肯定是正樣本包啦),通過正樣本包和負樣本來訓練分類器。通過構造樣本包可以有效地防止形變、遮擋、位置偏移的問題

在這裡插入圖片描述
3.Bag of Patch(使用KNN獲取目標位置,不用訓練分類器,但依舊使用了前一個幀中的正負樣本)
對於預測影象,獲取多個patch(根據運動模型在預測位置周圍獲取),同前序幀的patch和label做KNN,便可得到預測物件出現的位置。
在這裡插入圖片描述

更新分類器:
僅使用前一幀的跟蹤結果來訓練分類器有可能跟丟了,提出了anchor方法,使用第一幀目標和當前幀的目標來訓練分類器。
在這裡插入圖片描述

二、多目標跟蹤
核心問題:
 Data association
Assignment problems
Discrete combinatorial optimization

具體來說,有兩種方法:
ABT(association based track)和CFT(category free track)
在這裡插入圖片描述
ABT依賴的是預訓練好的detector,用在知道物件是什麼(且物件型別屬於同一種)的跟蹤上。
CFT需要在第一幀進行標註,在後續幀上找到一個Object,是單目標的跟蹤的擴充,相比單目標跟蹤會考慮到多個目標的關係。
關於兩種方法的比較:
在這裡插入圖片描述當前幀檢測的物件o4對應於上一幀的哪個物件呢?從下圖中方形和三角形的得分差不多,該如何匹配?(每個物件在不同的幀位置形成一個track)
在這裡插入圖片描述


可以使用貪心演算法分配分類器,但最好的是Hungarian演算法,能獲得獲得全域性最優。
貪心演算法在這裡插入圖片描述