多目標跟蹤：(Multiple Object Tracking or Multiple Target Tracking, MOT or MTT)主要任務是在給定視訊中同時對多個感興趣的目標進行定位，並且維持他們的ID、記錄他們的軌跡。

多目標跟蹤主要存在的問題：

1. 確定跟蹤目標的數量

2.維持各自的ID

3.頻繁的遮擋

4.軌道初始化和終止

5.相似的外觀

6.多目標之間的影響

在設計MOT演算法的時候有兩個問題需要考慮：

1. 是怎樣測量幀內目標的相似性。
2. 是基於這個相似性怎樣判斷幀間目標是否相同。

前者主要包括外觀，運動，交叉，排斥和碰撞的建模問題，後者主要和資料關聯有關。

多目標跟蹤分類：

1.按照跟蹤目標初始化方式分類：DBT（檢測目標需要訓練檢測器）和DFT（第一幀初始化目標）。

2.處理模式：Offline跟蹤和Online跟蹤。（區別是否用到後面幾幀的檢測目標的結果）

基於目標檢測的多目標跟蹤演算法：

跟蹤流程：

1）在上一幀中的N個目標中找到了本次檢測到的目標，說明正常跟蹤到了；

2）在上一幀中的N個目標中沒有找到本次檢測到的目標，說明這個目標是這一幀中新出現的，所以我們需要把它記錄下來，用於下下一次的跟蹤關聯；

3）在上一幀中存在某個目標，這一幀中並沒有與之關聯的目標，那麼說明該目標可能從視野中消失了，我們需要將其移除。(注意這裡的可能，因為有可能由於檢測誤差，在這一幀中該目標並沒有被檢測到)

一般模式：

要想跟蹤目標，先要將視訊中的目標檢測出來，這一步稱為“目標檢測”，然後根據檢測得到的結果，將每幀中的目標關聯起來。目標檢測演算法很多，SSD和YOLO等，網上開源實現版本也有很多。

資料關聯方式：

1.通過計算兩幀中兩個目標之間的距離，認為距離最短的一個就是同一個目標。

2.還可以加上判斷條件例如是IOU判斷條件，當IOU超過一定的閾值就說明是同一個目標。

這種方式優點就是簡單、匹配速度快，而缺點就是當碰到目標被遮擋、目標過於密集、視訊跳幀太大檢測等情況時，跟蹤就會失敗。

存在問題：

基於軌跡預測的跟蹤演算法：

先預測目標的下一幀會出現的位置，然後與該預測的位置來進行對比關聯。這樣的話，只要預測足夠精確，那麼幾乎不會出現前面提到的由於速度太快而存在的誤差。

跟蹤預測方法：

1.卡爾曼濾波

2.粒子濾波

3.均值漂移演算法

資料關聯演算法：

1. 多假設跟蹤方法、
2. 關聯濾波器方法
3. 馬爾可夫鏈蒙特卡羅方法
4. 匈牙利演算法
5. 貪婪關聯演算法

基於目標特徵建模的跟蹤演算法：

該方式會引入另外一個外觀特徵提取模型，對於每個檢測到的目標，先利用該模型計算它的特徵（可以理解為該目標的一種特徵編碼），然後計算每個目標特徵之間的餘弦距離。

存在問題雖然會提高準確率，但是時耗增多。

執行流程：

調研的演算法：

傳統演算法：

1. 背景差分法

背景差分法是一種對靜止場景進行運動分割的通用方法，它將當前獲取的影象幀與背景影象做差分運算，得到目標運動區域的灰度圖，對灰度圖進行閾值化提取運動區域，而且為避免環境光照變化影響，背景影象根據當前獲取影象幀進行更新。

優點：速度快，簡單。

缺點：無法使用運動攝像頭，背景實時更新困難。

1. 幀間差分法

幀間差分法是將視訊流中相鄰兩幀或相隔幾幀影象的兩幅影象畫素值相減，並對相減後的影象進行閾值化來提取影象中的運動區域。

優點：演算法簡單，不受光線影響。

缺點：攝像頭只能靜止，無法檢測到靜止的物體和運動慢的物體

基於目標檢測：

1. SIMPLE ONLINE AND REALTIME TRACKING (SORT)

主要使用了Faster-Rcnn檢測演算法，卡爾曼濾波預測演算法和匈牙利演算法結合。

1. SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC (Deep SORT)

在SORT的基礎上增加了外觀模型，精度提高但是速度變慢。通過在大規模re-id資料集上pre-trained深度網路來提取128維的appearance特徵。

1. Multiple Object Tracking with High Performance Detection and Appearance Feature

Faster-Rcnn檢測演算法。

使用類似於GoogLeNet的網路來提取128維的特徵，並使用cosine距離來度量表觀特徵。

使用卡爾曼濾波來預測，和匈牙利演算法來關聯。