本篇思維導圖

注：中層視覺主要關注的是影象中的幾何結構以及特定物件和目標，應用領域包括目標分割和跟蹤

通過聚類分割

分割的目的是為了得到一幅圖片中有用部分的一個精簡的表示，其具體的理論和方法取決於應用的需求

1 人類視覺：分類和格式塔(Gestalt)

• 分割的普遍經驗認為：一幅影象能分解為圖形（一般是有意義的、重要的物體）和背景
• 心理學格式塔學派根據人類視覺系統中周圍環境影響著事物的感知的特徵，制定了一系列的規則，用來將影象元素分類和分組
• 元素集合分組的一些規律性質
  

2 重要應用

2.1 背景差分

• 在很多應用中，物體總是出現在一個相對穩定的背景中
• 在這些應用中，通常可以通過從影象中減去背景影象的估計值，然後從結果中尋找絕對值比較大的部分來獲得有用的分割
• 背景差分演算法
  
  注：使用運動平均方法估計背景畫素點的值

2.2 鏡頭的邊界檢測

• 鏡頭：指基本顯示的是同一物體的較短視訊流
• 關鍵幀：一個鏡頭通常可以用一個關鍵幀來表示，這種表示可以用於視訊的檢索或者概況視訊內容以便使用者進行瀏覽
• 鏡頭邊界檢測演算法
  
• 計算距離的幾種準則：幀差分演算法、基於直方圖的演算法、塊比較演算法、邊緣差分演算法

2.3 互動分割

人為指定一些分離區域，計算機在此基礎上完成自動分割

3 基於聚類畫素的影象分割

3.1 基本聚類方法

3.1.1 凝聚式聚類（合併聚類）

定義每個點為獨立的一個類
直到聚類達到所要求的
    將類間距離最小的兩類合併
end
 

3.1.2 分解式聚類（分裂聚類）

定義一個包含所有點的類
直到聚類達到所要求的
    將一個類分裂成兩個類，條件時所產生的兩個類的類間距離最大
end

3.1.3 類間距離計算方法

• 單連線聚類：選擇兩類之間最近的兩個元素之間的距離作為類間距離
• 全連線聚類：選擇兩類之間最遠的兩個元素之間的距離作為類間距離
• 基於集團均值的聚類：選擇聚類中元素間距離的平均值

3.1.4 應劃分多少類
通過樹狀圖（一種顯示類間距離的層次結構表示），讓使用者據其做出一個適當的聚類選擇

3.2 分水嶺演算法

分水嶺演算法可以較好地得到超畫素（具有相似顏色或紋理的影象塊）

3.3 K-均值演算法

3.3.1 基本步驟

1. 假設聚類中心已知，並且分配每個點到最近的聚類中心
2. 假設分配已確定，選擇一個新的聚類中心（每個中心是分佈在這個類中各個點的平均值）集

隨機的選擇聚類中心作為起始點，並輪流迭代執行這些步驟，直至收斂於目標函式的區域性最小值。

3.3.2 實現細節
具體細節會略有差異，比如初始化聚類中心後，將其它點一次性就近分配到各聚類，然後重新計算聚類中心再不斷調整樣本點分配；也可一次將一個樣本點依順序歸入就近的聚類，並立即重新計算該類的聚類中心，然後再計算下一個樣本的歸類，直到所有的樣本都歸到相應的類中。

基於模型擬合的分割

與基於聚類的分割不同的是，基於模型擬合的分割中模型是已知的，而且是從更大尺度的關係看問題，而不僅僅是樣本到樣本的關係。通常選擇一個模型，然後確定一個擬合好壞的準則，來審視一組樣本是否具有擬合該模型的屬性。

1 哈夫（Hough）變換

1.1 基本思想

通過記錄所有樣本點能具有的所有結構，然後看看哪一個結構有最多的投票來把在同樣結構上的點聚類

1.2 用哈夫變換擬合直線

哈夫變換最成功的應用是在直線檢測上，利用點-線對偶性原理尋找引數空間網格中投票最多的網格來確定對應的直線

1.3 用哈夫變換擬合圓

原理與擬合直線大體上類似，只是點對應的二維極徑極角空間被三維的圓心點x, y還有半徑r空間取代，實際實現中是通過哈夫梯度法求解。

1.4 哈夫變換在實際中的問題及應對措施

問題：

• 量化誤差（合適的網格尺寸很難選擇）
• 受噪聲影響大

應對措施：

• 減少不相關樣本（包括去噪）
• 小心地選擇網格（試演算法）

2 擬合直線

• 最小二乘直線擬合
• 增量直線擬合：通過沿著曲線走，對曲線上的點擬合直線，當殘差足夠大時截斷曲線
• k-均值直線擬合：通過把點分配到最近的直線然後重新擬合

3 擬合曲線結構

4 魯棒性

最小二乘擬合對外點非常敏感，為了增強模型，通常將噪聲的影響削弱，或者允許一個顯式表示外點的模型（也可搜尋看上去好的點）

4.1 M估計

• 最好的估計是在接近引數模型的最壞分佈下還可以表現得非常好的估計。
• 一個M估計可以認為是一種策略，其可以保證外點作用被衰減的概率要比它們產生平方誤差的概率要高
• 一個M估計通過最小化後面的表示式來估計引數Σiρ(ri(xi,θ);σ),ri(xi,θ)表示殘留誤差

4.2 隨機取樣一致演算法(RANSAC)

基於在資料點中搜索好的點的思想，具體搜尋一個隨機取樣，對其進行擬合，並判斷其是否得到許多資料點支援

跟蹤

1 概述

1.1 定義

跟蹤（tracking)是根據一組給定影象序列（視訊），對影象中物體的運動形態進行分析。

1.2 應用

• 運動捕捉
• 從運動中識別
• 監視
• 定位

1.3 術語

• 狀態（跟蹤的基本假設為當前狀態僅依賴於前一狀態）
• 觀測：是對運動物體狀態的測量（當前觀測僅僅依賴當前狀態）

跟蹤包括利用觀測去推測狀態，狀態和觀測的基本假設意味著跟蹤問題的推理結構是個隱馬爾可夫模型。

2 簡單跟蹤策略

• 通過檢測來跟蹤：當視訊中只有一個簡單物件時，可以通過報告檢測器在視訊每一幀中響應的位置來跟蹤物件；有多個物體或複雜情況可以採取軌跡跟蹤
• 通過匹配平移來跟蹤：在相鄰幀間可以把物件看作是緩慢運動的box,通過在幀間鄰近位置搜尋最佳匹配的平移後的box來跟蹤物件
• 利用仿射變換來確認匹配：如果觀測時間較長，物件有可能發生形變（如三維旋轉），需要修改為基於仿射變換的匹配