雙攝像頭的實時視訊拼接及目標跟蹤（二）
阿新 • • 發佈：2018-12-17
視訊拼接演算法
視訊拼接思想及總體框圖
影象拼接是視訊拼接的基礎，是將多張影象生成一張全景圖，衡量的指標主要在於全景圖的質量，而對拼接速度的要求並不高。對於視訊拼接而言，視訊流的輸入是源源不斷的，需要將多個攝像頭採集的圖片進行拼接，每個攝像頭的影象幀序列必須一一對應（時間一致性），即保證每次輸入的對應的待拼接圖片是在同一時刻進行採集的， 圖片之間幾乎不存在時間差，否則，當有運動物體在待拼接影象幀的重合區域時，將會導致許多誤匹配，拼接影象將會產生嚴重的虛影和模糊現象，甚至無法匹配導致影象拼接失敗。
在對應好相應影象拼接幀後，利用上一章介紹的影象拼接演算法進行影象拼接，可以保證影象拼接的質量。但是在保證質量的同時，也要兼顧拼接速度。考慮到實用性，此影象拼接演算法耗費的時間過多，根本無法用來做視訊拼接，因此需要對演算法進行優化，都思路進行拓展。 其中優化措施有以下幾點：
- 固定攝像頭位置，保證相機引數不改變。
- 開啟攝像頭，採集影象，為了消除攝像頭剛開始採集影象時，攝像頭之間存在一定的初始化時間差異這一現象，先等待攝像頭穩定，再讀取攝像頭影象幀進行影象拼接，此拼接影象作為視訊拼接的背景幀，選取的背景一定要是靜態的。
- 對後續幀序列，由於相機位置是固定的，可以不再進行特徵點提取、匹配、篩選以及相機引數計算等步驟，即變換矩陣不再逐幀計算，而是利用背景幀的拼接引數做處理，只對後續幀序列進行影象融合，從而生成拼接視訊流。
通過該思路可看出，後續對應幀的拼接速度僅僅取決於影象融合的速度，也即是影象融合的速度決定視訊拼接的速度。因為省去了每一對應影象幀的影象配準和影象變換，只進行影象採集，影象預處理和影象融合，大大減少了視訊拼接的時間，提高了拼接影象的幀率。在兼顧質量的同時，也提高了速度。
對於首幀背景幀影象，流程框圖如下：
生成背景幀之後，對後續幀的處理，流程如下，
