1.前言

camshift利用目標的顏色直方圖模型將影象轉換為顏色概率分佈圖，初始化一個搜尋窗的大小和位置，並根據上一幀得到的結果自適應調整搜尋視窗的位置和大小，從而定位出當前影象中目標的中心位置。

camshift的核心步驟仍然是Meanshift，只是在距離相似性度量的基礎之上，又增加了影象灰度相似性的度量。兩者共同作用，實現了目標的跟蹤。

2.MeanShift

Meanshift作為一種有效地特徵空間分析方法，在影象濾波，影象分割，物體跟蹤等方面都有廣泛的應用。Meanshift演算法的詳細介紹，可以參見PAMI 2002的paper[1]。

給定d維空間R的n個樣本點 ,i=1,…,n,在空間中任選一點x，那麼Mean Shift向量的基本形式定義為:   

       

Sk是一個半徑為h的高維球區域,滿足以下關係的y點的集合:

k表示在這n個樣本點xi中,有k個點落入Sk區域中.

簡單的理解就是，在d維空間中，任選一個點，然後以這個點為圓心，h為半徑做一個高維球，因為有d維，d可能大於2，所以是高維球。落在這個球內的所有點和圓心都會產生一個向量，向量是以圓心為起點落在球內的點位終點。然後把這些向量都相加。相加的結果就是Meanshift向量。
具體如下圖所示。其中黃色箭頭就是Mh（meanshift向量）。

再以meanshift向量的終點為圓心，再做一個高維的球。如下圖所以，重複以上步驟，就可得到一個meanshift向量。如此重複下去，meanshift演算法可以收斂到概率密度最大得地方。也就是最稠密的地方。

最終的結果如下：

當然，目前Meanshift研究多集中在非線性領域（核函式），基本推到可以參考部落格[2]。

3.CamShift用於目標跟蹤的原理與MATLAB模擬

camshift利用目標的顏色直方圖模型將影象轉換為顏色概率分佈圖，初始化一個搜尋窗的大小和位置，並根據上一幀得到的結果自適應調整搜尋視窗的位置和大小，從而定位出當前影象中目標的中心位置。其具體步驟可以理解為三步：

1.色彩投影圖（反向投影）

(1)RGB顏色空間對光照亮度變化較敏感，為了減少此變化對跟蹤效果的影響，將影象從RGB空間轉換到HSV空間。

(2)對其中的H分量作直方圖，在直方圖中代表了不同H分量值出現的概率或者畫素個數，就是說可以查找出H分量大小為h的概率或者畫素個數，即得到了顏色概率查詢表。

(3)將影象中每個畫素的值用其顏色出現的概率對替換，就得到了顏色概率分佈圖。這個過程就叫反向投影，顏色概率分佈圖是一個灰度影象。

2.meanshift

meanshift演算法是一種密度函式梯度估計的非引數方法，通過迭代尋優找到概率分佈的極值來定位目標。計算搜尋窗的質心：

(4)調整搜尋窗大小,移動搜尋窗的中心到質心，如果移動距離大於預設的固定閾值，則重複，直到搜尋窗的中心與質心間的移動距離小於預設的固定閾值，或者迴圈運算的次數達到某一最大值，停止計算。關於meanshift的收斂性證明可以google相關文獻。

3.camshift

將meanshift演算法擴充套件到連續影象序列，就是camshift演算法。它將視訊的所有幀做meanshift運算，並將上一幀的結果，即搜尋窗的大小和中心，作為下一幀meanshift演算法搜尋窗的初始值。如此迭代下去，就可以實現對目標的跟蹤。
演算法過程為：
(1).初始化搜尋窗
(2).計算搜尋窗的顏色概率分佈（反向投影）
(3).執行meanshift演算法，獲得搜尋窗新的大小和位置。
(4).在下一幀視訊影象中用(3)中的值重新初始化搜尋窗的大小和位置，再跳轉到(2)繼續進行。

camshift能有效解決目標變形和遮擋的問題，對系統資源要求不高，時間複雜度低，在簡單背景下能夠取得良好的跟蹤效果。但當背景較為複雜，或者有許多與目標顏色相似畫素干擾的情況下，會導致跟蹤失敗。因為它單純的考慮顏色直方圖，忽略了目標的空間分佈特性，所以這種情況下需加入對跟蹤目標的預測演算法。

4.matlab模擬

%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%Author: Ziheng H. Shen @Tsinghua Univ.
%ObjectTrangking by CamShift @Digital Image Process Practice
%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
function camshift()
clc; close all; clear;

L = [150 116];
W = [100 73];
% For plotting motion
Xpoints = []; Ypoints = [];
binNum=128;

NFrames = length(dir('./videoImage/*.jpg')); %計算圖片的數目
for frame = 1:NFrames
    filename = sprintf('./videoImage/%02d.jpg', frame); %讀根目錄下的影象名
    R = imread(filename);
    I = rgb2hsv(R); 
    hue = I(:,:,1); % 提取色調資訊
    hueDiscrete= uint8( hue/ max(hue(:))*(binNum-1));
    if frame==1
        pHist = calHistOfROI(hueDiscrete,L,W); %第一幀初始化，可以用互動
    else
        lambda = 0.9;
        pHist= pHist*lambda+(1-lambda)* calHistOfROI(hueDiscrete,L,W);%更新直方圖
    end
    %反投影
    probImage = Projection(hueDiscrete,pHist);
    probImage = probImage/max(probImage(:));
    %標記矩形框
    probImage=drawRect( probImage,L,W);
    %imshow(probImage,[]); title(num2str(frame)); pause(0.1);
    %MeanShift
    [L,W] = Meanshift(probImage, L,W);
    t=L+W/2;
    xc=round(t(1));
    yc=round(t(2));
    % Output the centroid's coordinates
    %disp(sprintf('%3i:   %3i, %3i', frame, xc, yc));
    Xpoints = [Xpoints xc];
    Ypoints = [Ypoints yc];
    S = drawRect(R,L,W);imshow(S);title(num2str(frame));
    pause(0.1);
end
plot(Xpoints,Ypoints, 'go' , Xpoints, Ypoints);
axis([0 320 0 240]);
end

%% 計算ROI區域的直方圖
function probabilityHist = calHistOfROI(hue,L,W)
minY = max([L(2),1]);
maxY = min([L(2)+W(2)-1, size(hue,1)]);
minX = max([L(1),1]);
maxX = min([L(1)+W(1)-1, size(hue,2)]);
roiVal = hue(minY:maxY,minX:maxX);
probabilityHist = hist( double(roiVal(:)),double(0:max(hue(:))));
probabilityHist = probabilityHist/sum(probabilityHist);
end

%% 反向投影，將 hue 的畫素對映為 對應的 概率
function probImage = Projection(hue,pHist) %色調圖  ROI直方圖
probImage=zeros(size(hue));
[M,N]=size(hue);
for r=1:M
    for c=1:N
        probImage(r,c) = pHist(hue(r,c)+1); %色調值對應的概率
    end
end
end 

function  [newLocation,newWndSize] = Meanshift(pImage,location,wndSize) %% meanshift
L = location;
W = wndSize;
count=0;
while 1
    count = count+1;
    minY = max([L(2),1]);
    maxY = min([L(2)+W(2)-1, size(pImage,1)]);
    minX = max([L(1),1]);
    maxX = min([L(1)+W(1)-1, size(pImage,2)]);
    roiVal = pImage(minY:maxY,minX:maxX);
    [newLocation,isConverged,~,~,M00] = calCenterOfMax(roiVal,L);
    L = newLocation;
    if(isConverged )
        break
    end
end
% 調整窗的大小???
%s = round(1.8 * sqrt(M00));
%newWndSize = [floor(1.2*s)  s];
newWndSize = wndSize;
disp('mean shift converged');
end

function [newLocation,isConverged,M01,M10,M00]=calCenterOfMax(roiVal,location)
% 計算roiVal區域的質心，從而計算出新的視窗位置
M01=0; M10=0; M00=0;
[M,N]=size(roiVal);
for r=1:M
    for c=1:N
        val=roiVal(r,c);
        M01=M01+r*val;
        M10=M10+c*val;
        M00=M00+val;
    end
end
xCenter = M10 / M00;
yCenter =M01 / M00;
xCenterOld = (size(roiVal,2)+1)/2;
yCenterOld = (size(roiVal,1)+1)/2;
displacement = [xCenter yCenter]-[xCenterOld yCenterOld];
t=abs(displacement)<2;
isConverged = all(t);
newLocation = location+round(displacement);
end

function imNew = drawRect(im,L,W)% 繪製矩形框
minY = max([L(2),1]);
maxY = min([L(2)+W(2)-1, size(im,1)]);
minX = max([L(1),1]);
maxX = min([L(1)+W(1)-1, size(im,2)]);
imNew = im;
imNew(minY:minY+2,minX:maxX,:) = 0;
imNew(maxY-2:maxY,minX:maxX,:) = 0;
imNew(minY:maxY,minX:minX+2,:) = 0;
imNew(minY:maxY,maxX-2:maxX,:) = 0;
end

輸出結果（0,1,10,20,30,40,50,60幀）：

MeanShift重心移動軌跡為：

4.參看資料

[1].Comaniciu, D. and P. Meer (2002). "Mean shift: A robust approach toward feature space analysis." Pattern Analysis and Machine Intelligence, IEEE Transactions on 24(5): 603-619.

[2].http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495788.html