在目前的AR應用中，2D AR跟蹤，如海報、卡牌等平面物體的跟蹤已經成為核心技術之一，在營銷、教育、遊戲、展示展覽等方面都很常見。然而，儘管近年來2D AR跟蹤演算法已經取得了很大的進步，但在一些外部條件、環境因素影響下的效果仍然有很大提升空間，如何處理光照變化、運動模糊等因素帶來的挑戰，也是目前進行底層演算法研發的AR公司以及學者的研發熱點。

雷鋒網(公眾號：雷鋒網)近日訊息，AR公司亮風臺在2D AR跟蹤方面取得了新突破，其研發人員提出的基於約束置信度的魯棒跟蹤演算法（CCM），提高了在區域性遮擋、光照變化和運動模糊等各種因素干擾情況下的魯棒性，並在UCSB和TMT兩個國際評測集中重新整理了最好成績。目前，這一成果已經在機器人領域頂級會議ICRA 2018上發表。ICRA 是機器人領域三大頂級會議之一（其它兩個為IROS和RSS），AR跟蹤的很多經典工作（例如ESM跟蹤演算法）都曾在ICRA和IROS上發表。

                       在區域性遮擋、運動模糊和照明改變條件下的CCM演算法效果示例（只顯示在目標周圍放大的區域以便展示）

據瞭解，這兩年亮風臺依然有不少工作在針對2D AR的演算法優化，在2017年的ICRA上發表了針對光照變化的基於梯度方向的AR跟蹤演算法；同年提出的基於圖匹配的跟蹤演算法利用圖結構來處理目標物體內部的空間關聯，從而實現在強幹擾的準確平面物體跟蹤，該工作已被人工智慧領域國際頂級期刊《PAMI》（IEEE模式分析和機器智慧彙刊）錄用。其它在CVPR、ICCV、ECCV、ICRA、ISMAR、PAMI 等AI、CV、AR相關領域頂級期刊會議上公開發表的研究成果涉及影象語義識別、人臉影象分析、手勢識別、AR場景建模定位、超圖匹配，視覺顯著性等方面。

基於約束置信度的魯棒跟蹤演算法（CCM）

跟蹤平面物體，例如2D標記，通常是相機定位和場景配準的重要步驟。在過去的幾十年中，大量的研究致力於視覺跟蹤問題，平面目標跟蹤的流行方法可以大致分為基於關鍵點的方法和基於模板的方法。基於模板的方法直接利用畫素的外觀而不提取特徵，並基於牛頓法或其變體優化模板與捕獲影象之間的相似性度量，以確定平面的姿態。

不同與傳統的基於模板的跟蹤方法，CCM（ Constrained Confidence Matching）根據測量噪聲對每個畫素分配不同的匹配係數，而不是在計算運動引數時對模板中的每個畫素進行相同的處理。在此基礎上，為了進一步提高對光照變化和重運動模糊的魯棒性，亮風臺研發人員還提出了一種魯棒卡爾曼濾波器，它採用新的控制輸入模型來處理物體的外觀變化。

給定目標的初始影象或位置，新方法（即CCM）自動從視訊中跟蹤定位目標所在位置。

第一步：從視訊第一幀中提取目標區域作為模板T；

第二步：從視訊讀取下一幀影象It；

第三步：在影象It中跟蹤匹配目標；

傳統的基於模板的演算法通常在計算運動引數時對模板中的每個畫素進行相同處理，因此對一些外在噪聲(特別是對於遮擋)特別敏感。為了解決這個問題，不同於傳統模板跟蹤方法，亮風臺研發人員提出一個“置信匹配”策略，在計算運動引數時為每個畫素分配不同的匹配置信度。直觀來看，將低置信度分配給被噪聲干擾的畫素。考慮到匹配的置信度，CCM的模板跟蹤問題擴充套件為如下形式：

其中C表示置信圖，它的每個元素C(x)記錄畫素x的匹配置信度的，b表示幾何變化的容忍度。新增約束的目的是禁止連續幀之間的大幅度運動跳躍。

基於“置信匹配”的目標跟蹤匹配過程可以分為置信圖計算、遮擋圖計算、最優匹配求解幾個子步驟。

(1) 置信圖計算

對於每個畫素x，置信度圖C被均勻初始化，並且根據之前觀察和模板之間的差異每幀進行更新

其中ε表示最大差異：

(2) 遮擋檢測

為了能在目標被遮擋的情況下準確的跟蹤目標，CCM需要對目標進行遮擋檢測。為了提高遮擋檢查的魯棒性，還根據兩種實踐指導原則提出遮擋檢測的新方法。首先，從遮擋匯出的外觀變化足夠以區別於其它擾動因素，例如照明變化和運動模糊，其通常對所有畫素產生類似的干擾。第二，封閉部分通常是連線緊湊的區域。

在上述指導原則的基礎上，構造當前差異影象D如下：

其中 |.| 表示向量的絕對值。然後使用以下兩個標準搜尋遮擋。

多樣性標準：首先計算差異影象D的平均值μ(D)和標準差σ(D)。顯然，低σ(D)表示差異影象D中的多樣性較少。如果

則認為目標沒有被遮擋，其中θ0 = 0.8是多樣性的預定義容差。否則，根據空間標準進一步判斷。

空間標準：對差異影象D進行二值化後，應用形態學操作去除小區域，並填充區域之間的小孔。為每個連線區域R計算兩個屬性(a1(R), a2(R))，其中a1(R)表示區域R的面積，a2(R)表示包含區域R的最小凸多邊形面積。如果區域R滿足

則認為R為遮擋區域，其中θ1 = 0.1和θ1 = 0.5是兩個預定義的閾值，|.| 表示向量的絕對值。第一個不等式目的是過濾掉太小的區域，第二個過濾掉太稀疏的區域。

為了從模板匹配和更新中排除遮擋的部分，將所有遮擋畫素的置信度直接設定為零。

(3) 最優匹配求解

先考慮無約束的置信度匹配問題，即，放棄公式(2)中的約束條件。用J(p;I)表示的目標函式ε2針對引數p和影象I的雅可比矩陣，我們有

對於傳入幀It，運動引數最初估計為pt=pt-1。根據均值偽反轉法(PMJ)，位移Δp計算為

迭代更新直到達到收斂或最大迭代次數。

在實踐中的觀察，上面獲得的運動引數pt通常滿足問題(2)中定義的約束。然而，一旦獲得的pt違反(2)的約束，即採用一種簡單而有效的方法來重新計算變換函式。用Ωt={q ∣-b≤q≤b}表示有效解空間。從中均勻地進行Ns = 2500 次取樣選取候選解決方案qi(1 ≤ i ≤ Ns)，並選擇具有最小差異的引數

第四步：根據第三步的跟蹤結果更新模板T；

CCM採用卡爾曼濾波器來進行模板更新。分別用yt和zt表示模板T的亮度在時間t的向量化狀態估計和觀察，卡爾曼濾波器用控制輸入模型來定義狀態預測和觀測模型

其中At是應用於先前狀態yt-1的狀態轉換矩陣，Bt是應用於控制向量ut的控制輸入模型，Ht是將真實狀態空間對映到觀察空間的觀察矩陣，wt和vt分別是狀態噪聲和觀測噪聲。在卡爾曼濾波中，通常假定wt和vt為零均值的高斯分佈，並且分別記其方差為Qt和Lt。

在下文中，用符號^yt|t’表示給出觀察時間 t'≤t 下y在時間t的估計值，^Pt|t’表示對應的誤差協方差。利用卡爾曼濾波器更新模板T(即yt)的過程可以分為計算狀態矩陣、建立控制輸入模型、模板更新幾個子步驟。

(1) 計算狀態矩陣

儘管存在外在環境的干擾，物體本身保持不變且可以直接觀察。它意味著可以採用簡單的狀態轉換和觀察模型，使得At = I和 Ht = I (這裡I代表單位矩陣)。採用自動協方差最小二乘法(ALS)技術來學習噪聲協方差矩陣Qt和Lt。為了減少計算複雜度和對訓練資料的依賴性，在畫素的噪聲彼此獨立的假設下，將噪聲協方差矩陣Qt和Lt簡化為對角線矩陣。

(2) 建立控制輸入模型

控制輸入模型根據畫素之間強度共生的概率近似來構建。特別地，控制矩陣Bt被構建為

其中Bt(i, j)表示控制矩陣Bt的第i行第j列的元素，k控制用於計算的視窗的大小。共生函式定義為

其中ym(i)和ym(j)分別表示畫素i和畫素j在時刻m的亮度。這種做法的原因是具有相似亮度的畫素傾向於保持與輸入相似的反應。在構建控制矩陣Bt之後，需要將其歸一化為行隨機矩陣。

初始控制矩陣B0根據初始模板y0構建。為了計算簡單，一旦計算了Bt，我們固定

直到Bt+k下次更新。我們在實驗中設定k = 20。

在獲得後驗估計^yt|t’之後，計算環境輸入ut以最小化先前模板與當前估計之間的平方誤差：

(3) 模板更新

首先計算先驗狀態估計和協方差：

步驟三的最優匹配結果It(φ(x；pt))被用作觀察zt。因此計算殘差和協方差：

隨後更新後驗狀態估計和協方差：

其中

為最優卡爾曼增益，I表示單位矩陣。

第五步：跳轉到步驟二處理下一幀影象。

測試結果

為了徹底評估，CCM演算法在兩個公共資料集上進行了測試：加利福尼亞大學提出的UCSB基準和加拿大阿爾伯塔大學提出的操作任務跟蹤（TMT）基準。UCSB資料集包括96個視訊流，顯示6個不同紋理的平面目標，總共6889幀，具有幾何失真（搖攝、縮放、傾斜、旋轉）、九個運動模糊等級以及不同的照明條件，所有幀都受到不同程度的噪音影響。TMT資料集由人為和機器記錄的操作任務的影象序列組成，它包含109個影象序列，共70592幀。

對應於每個視訊類別的平均跟蹤精度彙總在表I（UCSB）和II（TMT）中，如下：

從實驗結果可以看出，所提出的CCM演算法在兩個資料集上顯著地優於所有基線。事實上，CCM在幾乎所有視訊類別中都獲得了最佳或幾乎最佳的跟蹤效能，明顯優於現有的主流跟蹤演算法，如基於關鍵點的跟蹤（keypoint-based tracker）,基於模板的跟蹤（ template-based tracker）以及概率跟蹤（probabilistic tracker），並且它對於極端姿態變化以及嚴重的環境擾動都表現出很高的魯棒性。

CCM演算法與其他演算法相比，在各類內在和外在變化的幾個典型示例如下，包括具有重複圖案的影象傾斜；劇烈而動態的日落畫面引起照明變化，紋理非常弱；存在部分遮擋；運動模糊，在這種情況下檢測不到可靠的關鍵點。

AR的研究仍需持續努力

儘管計算機對於“常規”平面物體的認識已經能達到很高的速度、精度，以及穩定性，但這明顯還不夠，研究人員希望計算機能夠儘可能“模擬”人的視覺效果，甚至在一定條件下超過人眼，這樣，在演算法工程化之後面向普通使用者時，才能保障優質的使用者體驗，如在傳統的平面物體跟蹤中，容易出現快速運動丟失或漂移等現象，反映到使用者體驗上，車窗外的廣告牌就容易識別不到，在走動過程中玩AR遊戲發現地面上的傢俱會“飄”起來等。

這就需要相關的學術人員以及企業研發人員不斷的優化演算法、提出新方法，如此才能結合不斷升級的硬體環境實現高度的市場化。對於目前的2D AR甚至整個AR行業來說，需要從業人員把現有技術應用化市場化，但同樣需要大量真正的創新人員向前推進底層技術邊界，讓AR走向成熟。