一、摘要

作者將一個影象（image patch）看做是一個保留了原始影象結構的二階張量，然後設計了兩個圖來描繪目標和背景所在的張量樣本中固有的區域性幾何結構，從而構建一個判別式嵌入空間。圖嵌入可以在降低張量維度的同時保留著圖的結構。此外，作者提出了兩種思路(？)用來尋找原始張量樣本到基於張量的圖嵌入空間的變換矩陣。為了能夠在嵌入空間編碼出更多的判別資訊，作者提出了基於遷移學習的的半監督策略，用以交替迭代修正嵌入空間，使得其之前獲得的判別資訊遷移過來。演算法應用到目標追蹤中能很好地捕獲目標的外觀特徵，通過粒子濾波估計最優目標狀態。最後，作者在CVPR2013基準資料庫上證明了演算法在追蹤領域上的高效性。

注：半監督學習的基本思想是利用資料分佈上的模型假設建立學習器對未標註樣本進行標註。論文中使用從當前幀收集到的很多未標籤影象塊，來修正判別式嵌入空間。

二、相關工作

影象的向量表示

將影象patch拉伸成為向量，破壞了影象固有的二維結構。

影象的特徵表示

儘管提取的特徵能夠很好用於判別式學習方法中，仍然會有很多有用的資訊會被特徵所遺漏。

影象的矩陣表示

基於張量的子空間學習可以被用到目標追蹤中[11][13][24][25][26]，其中一些基於張量的追蹤演算法[13][24][25]在k模展開矩陣中運用PCA降維，[11][26]在k模展開矩陣上運用協方差矩陣特徵值分解。這些演算法存在如下侷限：

• 子空間學習退化問題；
• 無法完整檢測到收集到的影象patch在張量形式下固有的區域性幾何和判別資訊；
• 忽略了背景的影響，當背景和目標相似時會混淆。

注：二維線性判別分析（2DLDA）可以用來檢測二階張量樣本的判別結構，然而，還是不能夠檢測出樣本固有的區域性集合結構，因為2DLDA沒有考慮到同類樣本的變化。
用於降維的圖嵌入提供瞭解決上述侷限的新框架。

三、文章的貢獻

基於張量的圖嵌入半監督學習演算法框架如下圖所示：

• 首先，將影象patch看做一個二階張量。在歷史幀中收集已標註的目標和背景樣本，在當前幀中收集未標註樣本；
• 將這些張量樣本餵給作者提出的圖嵌入半監督學習演算法，訓練出一個基於張量的圖嵌入空間；
• 然後，在粒子濾波的追蹤框架內實現目標追蹤；
• 最後，將當前幀的追蹤結果用來更新已標註的樣本集合。

在該演算法中，作者設計了：

• 一個固有圖用來表示目標張量樣本之間、背景張量樣本之間的關係；
• 一個懲罰圖用來分離目標張量樣本和背景張量樣本；
• 圖嵌入降維框架用來尋找原始張量樣本到基於張量的圖嵌入空間的變換矩陣。

由於子空間學習退化問題的存在，該嵌入可能不能包含足夠的判別資訊用於追蹤。為了編碼出更多判別資訊，作者提出，通過用半監督學習的方式，使用未標註的張量樣本來修正基於張量的判別式嵌入空間。
在判別式追蹤中，已有的基於矩陣的方法通過給目標函式增加約束項來修正判別式空間。這種方法很難直接在基於二階張量的圖嵌入學習（需要兩個變換矩陣）中使用，因為很難定義一個合適的正則化器來處理兩個相關的變換矩陣。
作者在文章中提出了在交替迭代下基於遷移學習的半監督改進方法。在每次迭代中，在前一個迭代中最可能被誤判的未標記張量樣本是根據它們與在早期的跟蹤階段收集的標記樣本的相似程度而選擇的。修正後的類標籤被分配給所選的未標記的樣本，並用於學習新的判別嵌入空間，在新嵌入空間中關於目標早期形變的判別資訊得到遷移。從不同的迭代中學習的嵌入空間被線性組合成終極版嵌入空間。
文章的貢獻有以下3點：

• 提出了一個基於二階張量的圖嵌入學習演算法，使得張量樣本固有的區域性幾何的和判別結構得到很好的表示；
• 提出了一個基於遷移學習的半監督學習方法，用來修正二階張量圖嵌入空間；
• 將提出的基於二階張量的半監督圖嵌入學習方法整合到貝葉斯推理框架中，構成了一個追蹤器。

四、基於張量的圖嵌入

4.1 張量操作

張量的內積：

張量的k模展開與矩陣M的積：
<=>$C_{(k)}=MA_{(k)}$

4.2 基於張量的圖嵌入

圖嵌入演算法使用無向有權圖來描述資料集的流行結構，在保持圖的鄰接關係的前提下，尋找圖在低維空間中的表示，目前很多流行學習演算法都可以統一到這個框架下。
令$\{\mathcal{X}_i\in R^{I_1\times I_2 \times ... \times I_n}\}_{i=1,2,...,N}$表示N個訓練樣本集合，每個樣本是一個n階張量。
固有圖$\mathcal{G}$和懲罰圖$\mathcal{G}^p$用來描述張量樣本的區域性幾何和判別結構。
令$W、W^p$分別表示$\mathcal{G}、\mathcal{G}^p$的邊權重矩陣，

• $W_{ij}$衡量頂點$\mathcal{X_i}、\mathcal{X_j}$之間的相似性，固有圖描述了樣本的期望統計或幾何性質（？）；
• $W_{ij}^p$衡量頂點$\mathcal{X_i}、\mathcal{X_j}$之間的差異性，懲罰圖描述了被抑制的統計或幾何屬性（？）。

基於張量的圖嵌入的任務是尋找一個最優的低維張量表示固有圖中的每個頂點。這樣一個低維張量可以很好地描述頂點間的相似性特徵，使得原始的固有圖的特徵被保留下來，同時懲罰圖所識別的特徵也被抑制了。
令$\{M^k\in R^{l_k \times I_k}\}_{k=1,2,...,n,l_k<I_k}$表示從樣本$\{\mathcal{X}_i\}_{i=1,2,...,N}$到N個頂點$\{\mathcal{Y}_i\in R^{l_1\times l_2 \times ... \times l_n}\}_{i=1,2,...,N}$的n個變換矩陣集合。換句話說，$\mathcal{Y_i}=\mathcal{X_i}\times_1M^1\times_2M^2...\times_nM^n$。

【注】：$\mathcal{X}_i\in R^{I_1\times I_2 \times ... \times I_n} \to \mathcal{Y}_i\in R^{l_1\times l_2 \times ... \times l_n}$，都是n階張量，但是每一階的維度降低了！

通過求解下面的優化問題可以求出一個能保留著圖結構的最優變換矩陣：

其中，d是常數。注意目標函式裡是

相關推薦