實時視訊拼接

初步視訊拼接虛影問題的探討

經過上述方案處理之後的初步拼接視訊，將會存在目前視訊拼接技術中一個普遍的問題，即重合區域存在運動物體產生虛影。效果圖如下，

									產生偽影的影象幀

可以看到，重疊區域內，存在運動物體時，出現了虛影，並且都是出現在縫合線附近，由遠及近存在不同的差異，經過仔細分析和觀察，聯絡生活實際，類比到將人的雙眼作為攝像頭，雙眼保證焦距不變，放一根筆在兩眼之間，筆由近到遠運動，將會觀察到筆也存在重影問題，並且與上圖中效果一樣。同時，倘若要使觀察到的筆由近及遠不出現重影問題，那麼人的的雙眼就需要不斷的聚焦，匯聚於目標點，這樣就能完美解決重影問題。

那麼再重新回到攝像頭的重影問題上，由於位置的不一樣，兩個攝像頭採集到的影象產生了視差。初始化靜態拼接模板時，背景幀的焦距是通過八個值取平均後求得，並且通過光束法平差，消除累積誤差，聯合兩相機之間的引數。兩攝像頭光心匯聚於重疊區域的背景上，但當採集後續幀時，用的依然是背景幀的相機引數，倘若有前景物體出現在重疊區域時，此時若想要前景物體不出現虛影，則必須重新調整相機引數，將光心匯聚於前景物體上。因此，需要隨時更新拼接模板。

而當隨時更新拼接模板時，意味著每一幀拼接影象都需要重新進行特徵點提取、匹配、描述、篩選，相機引數估計，影象變換以及尋找縫合線這幾個步驟，這與每一幀影象分別進行整個過程的影象拼接無異，將會使視訊幀率極大程度的降低，為此將會付出很多的代價，這是十分不可行的方式。因此，需要有選擇性的更新拼接模板。方案如下：

得到背景幀之後，在重合區域內檢測是否存在運動的物體，如果存在，則更新背景模板及獲得新的拼接引數，如果不存在，則繼續使用當前背景幀的相關引數進行後續幀的拼接。

因為檢測的代價遠遠小於模板更新的代價，對每一拼接幀的重合區域進行運動物體檢測，有選擇性的更新背景模板，將可以極大地提高拼接速度，並且一定程度的地消除運動物體穿過縫合線時產生的虛影