2. 程式人生 > >立體視覺-opencv中立體匹配相關程式碼 三種匹配演算法比較

立體視覺-opencv中立體匹配相關程式碼 三種匹配演算法比較

阿新 • • 發佈：2019-01-13

BM 演算法：

該演算法程式碼：

  1. CvStereoBMState *BMState = cvCreateStereoBMState();  
  2. int SADWindowSize=15;   
  3. BMState->SADWindowSize = SADWindowSize > 0 ? SADWindowSize : 9;  
  4. BMState->minDisparity = 0;  
  5. BMState->numberOfDisparities = 32;  
  6. BMState->textureThreshold = 10;  
  7. BMState->uniquenessRatio = 15;  
  8. BMState->speckleWindowSize = 100;  
  9. BMState->speckleRange = 32;  
  10. BMState->disp12MaxDiff = 1;  
  11. cvFindStereoCorrespondenceBM( left, right, left_disp_,BMState);  
  12.    cvNormalize( left_disp_, left_vdisp, 0, 256, CV_MINMAX ); 

其中minDisparity是控制匹配搜尋的第一個引數，代表了匹配搜蘇從哪裡開始，numberOfDisparities表示最大搜索視差數uniquenessRatio表示匹配功能函式，這三個引數比較重要，可以根據實驗給予引數值。

該方法速度最快，一副320*240的灰度圖匹配時間為31ms，視差圖如下。

clip_image001

這圖是解釋BM（bidirectional matching)演算法的很好的例子。進行雙向匹配，首先通過匹配代價在右圖中計算得出匹配點。然後相同的原理及計算在左圖中的匹配點。比較找到的左匹配點和源匹配點是否一致，如果你是，則匹配成功。

image

第二種方法是SGBM方法這是OpenCV的一種新演算法：

view plaincopy to clipboardprint?

  1. cv::StereoSGBM sgbm;  
  2.         sgbm.preFilterCap = 63;  
  3.         int SADWindowSize=11;   
  4.         int cn = 1;  
  5.         sgbm.SADWindowSize = SADWindowSize > 0 ? SADWindowSize : 3;  
  6.         sgbm.P1 = 4*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;  
  7.         sgbm.P2 = 32*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;  
  8.         sgbm.minDisparity = 0;  
  9.         sgbm.numberOfDisparities = 32;  
  10.         sgbm.uniquenessRatio = 10;  
  11.         sgbm.speckleWindowSize = 100;  
  12.         sgbm.speckleRange = 32;  
  13.         sgbm.disp12MaxDiff = 1;  
  14.         sgbm(left , right , left_disp_);  
  15.         sgbm(right, left  , right_disp_); 

各引數設定如BM方法，速度比較快，320*240的灰度圖匹配時間為78ms，視差效果如下圖。

clip_image002

第三種為GC方法：

view plaincopy to clipboardprint?

  1. CvStereoGCState* state = cvCreateStereoGCState( 16, 2 );  
  2. left_disp_  =cvCreateMat( left->height,left->width, CV_32F );  
  3. right_disp_ =cvCreateMat( right->height,right->width,CV_32F );  
  4. cvFindStereoCorrespondenceGC( left, right, left_disp_, right_disp_, state, 0 );  
  5. cvReleaseStereoGCState( &state ); 

該方法速度超慢，但效果超好。

clip_image003

各方法理論可以參考文獻。

函式解釋

引數註釋

（1）StereoBMState

// 預處理濾波引數

  • preFilterType：預處理濾波器的型別，主要是用於降低亮度失真（photometric distortions）、消除噪聲和增強紋理等, 有兩種可選型別：CV_STEREO_BM_NORMALIZED_RESPONSE（歸一化響應） 或者 CV_STEREO_BM_XSOBEL（水平方向Sobel運算元，預設型別）, 該引數為 int 型；
  • preFilterSize：預處理濾波器視窗大小，容許範圍是[5,255]，一般應該在 5x5..21x21 之間，引數必須為奇數值, int 型
  • preFilterCap：預處理濾波器的截斷值，預處理的輸出值僅保留[-preFilterCap, preFilterCap]範圍內的值，引數範圍：1 - 31（文件中是31，但程式碼中是 63）, int

// SAD 引數

  • SADWindowSize：SAD視窗大小，容許範圍是[5,255]，一般應該在 5x5 至 21x21 之間，引數必須是奇數，int 型
  • minDisparity：最小視差，預設值為 0, 可以是負值，int 型
  • numberOfDisparities：視差視窗，即最大視差值與最小視差值之差, 視窗大小必須是 16 的整數倍，int 型

// 後處理引數

  • textureThreshold：低紋理區域的判斷閾值。如果當前SAD視窗內所有鄰居畫素點的x導數絕對值之和小於指定閾值，則該視窗對應的畫素點的視差值為 0（That is, if the sum of absolute values of x-derivatives computed over SADWindowSize by SADWindowSize pixel neighborhood is smaller than the parameter, no disparity is computed at the pixel），該引數不能為負值，int 型
  • uniquenessRatio：視差唯一性百分比， 視差視窗範圍內最低代價是次低代價的(1 + uniquenessRatio/100)倍時，最低代價對應的視差值才是該畫素點的視差，否則該畫素點的視差為 0 （the minimum margin in percents between the best (minimum) cost function value and the second best value to accept the computed disparity, that is, accept the computed disparity d^ only if SAD(d) >= SAD(d^) x (1 + uniquenessRatio/100.) for any d != d*+/-1 within the search range ），該引數不能為負值，一般5-15左右的值比較合適，int 型
  • speckleWindowSize：檢查視差連通區域變化度的視窗大小, 值為 0 時取消 speckle 檢查，int 型
  • speckleRange：視差變化閾值，當視窗內視差變化大於閾值時，該視窗內的視差清零，int 型

// OpenCV2.1 新增的狀態引數

  • roi1, roi2：左右檢視的有效畫素區域，一般由雙目校正階段的 cvStereoRectify 函式傳遞，也可以自行設定。一旦在狀態引數中設定了 roi1 和 roi2，OpenCV 會通過cvGetValidDisparityROI 函式計算出視差圖的有效區域，在有效區域外的視差值將被清零。
  • disp12MaxDiff：左視差圖（直接計算得出）和右視差圖（通過cvValidateDisparity計算得出）之間的最大容許差異。超過該閾值的視差值將被清零。該引數預設為 -1，即不執行左右視差檢查。int 型。注意在程式除錯階段最好保持該值為 -1，以便檢視不同視差視窗生成的視差效果。具體請參見《使用OpenGL動態顯示雙目視覺三維重構效果示例》一文中的討論。

在上述引數中，對視差生成效果影響較大的主要引數是 SADWindowSize、numberOfDisparities 和 uniquenessRatio 三個，一般只需對這三個引數進行調整，其餘引數按預設設定即可。

在OpenCV2.1中，BM演算法有C和C++ 兩種實現模組。

（2）StereoSGBMState

SGBM演算法的狀態引數大部分與BM演算法的一致，下面只解釋不同的部分：

  • SADWindowSize：SAD視窗大小，容許範圍是[1,11]，一般應該在 3x3 至 11x11 之間，引數必須是奇數，int 型
  • P1, P2：控制視差變化平滑性的引數。P1、P2的值越大，視差越平滑。P1是相鄰畫素點視差增/減 1 時的懲罰係數；P2是相鄰畫素點視差變化值大於1時的懲罰係數。P2必須大於P1。OpenCV2.1提供的例程 stereo_match.cpp 給出了 P1 和 P2 比較合適的數值。
  • fullDP：布林值，當設定為 TRUE 時，執行雙通道動態程式設計演算法（full-scale 2-pass dynamic programming algorithm），會佔用O(W*H*numDisparities)個位元組，對於高解析度影象將佔用較大的記憶體空間。一般設定為FALSE。

注意OpenCV2.1的SGBM演算法是用C++ 語言編寫的，沒有C實現模組。與H. Hirschmuller提出的原演算法相比，主要有如下變化：

  1. 演算法預設執行單通道DP演算法，只用了5個方向，而fullDP使能時則使用8個方向（可能需要佔用大量記憶體）。
  2. 演算法在計算匹配代價函式時，採用塊匹配方法而非畫素匹配（不過SADWindowSize=1時就等於畫素匹配了）。
  3. 匹配代價的計算採用BT演算法（"Depth Discontinuities by Pixel-to-Pixel Stereo" by S. Birchfield and C. Tomasi），並沒有實現基於互熵資訊的匹配代價計算。
  4. 增加了一些BM演算法中的預處理和後處理程式。

 

（3）StereoGCState

GC演算法的狀態引數只有兩個：numberOfDisparities 和 maxIters ，並且只能通過 cvCreateStereoGCState 在建立演算法狀態結構體時一次性確定，不能在迴圈中更新狀態資訊。GC演算法並不是一種實時演算法，但可以得到物體輪廓清晰準確的視差圖，適用於靜態環境物體的深度重構。

注意GC演算法只能在C語言模式下執行，並且不能對視差圖進行預先的邊界延拓，左右檢視和左右視差矩陣的大小必須一致。

原理解釋

目前立體匹配演算法是計算機視覺中的一個難點和熱點，演算法很多，但是一般的步驟是：

 

A、匹配代價計算

匹配代價計算是整個立體匹配演算法的基礎，實際是對不同視差下進行灰度相似性測量。常見的方法有灰度差的平方SD（squared intensity differences），灰度差的絕對值AD（absolute intensity differences）等。另外，在求原始匹配代價時可以設定一個上限值，來減弱疊加過程中的誤匹配的影響。以AD法求匹配代價為例，可用下式進行計算，其中T為設定的閾值。

 

這就是在引數設定中閾值的作用，在視差圖中經常有黑色區域，就是和閾值的設定關。

 

 

B、 匹配代價疊加

一般來說，全域性演算法基於原始匹配代價進行後續演算法計算。而區域演算法則需要通過視窗疊加來增強匹配代價的可靠性，根據原始匹配代價不同，可分為：

 

此圖是核心演算法的解釋，就是計算區域內畫素差值，可以為單個畫素也可以為一定區域內，主要看SAD的視窗大小的設定，同時SAD設定決定誤匹配的多少和運算效率問題，所以大小設定一定要很慎重。

 

C、 視差獲取

對於區域演算法來說，在完成匹配代價的疊加以後，視差的獲取就很容易了，只需在一定範圍內選取疊加匹配代價最優的點（SAD和SSD取最小值，NCC取最大值）作為對應匹配點，如勝者為王演算法WTA（Winner-take-all）。而全域性演算法則直接對原始匹配代價進行處理，一般會先給出一個能量評價函式，然後通過不同的優化演算法來求得能量的最小值，同時每個點的視差值也就計算出來了。

 

D、視差細化（亞畫素級）

大多數立體匹配演算法計算出來的視差都是一些離散的特定整數值，可滿足一般應用的精度要求。但在一些精度要求比較高的場合，如精確的三維重構中，就需要在初始視差獲取後採用一些措施對視差進行細化，如匹配代價的曲線擬合、影象濾波、影象分割等。

亞畫素級的處理就是涉及到BMState引數設定後後續引數的設定了。

有關立體匹配的介紹和常見匹配演算法的比較，推薦大家看看Stefano Mattoccia 的講義 Stereo Vision: algorithms and applications，190頁的ppt，講解得非常形象詳盡。

 

 

 

 

 

1． opencv2.1和opencv2.0在做stereo vision方面有什麼區別了？

2.1版增強了Stereo Vision方面的功能：

(1) 新增了 SGBM 立體匹配演算法（源自Heiko Hirschmuller的《Stereo Processing by Semi-global Matching and Mutual Information》），可以獲得比 BM 演算法物體輪廓更清晰的視差圖（但低紋理區域容易出現橫/斜紋路，在 GCstate->fullDP 選項使能時可消減這種異常紋路，但對應區域視差變為0，且執行速度會有所下降），速度比 BM 稍慢， 352*288的幀處理速度大約是 5 幀/秒；

(2) 視差效果：BM < SGBM < GC；處理速度：BM > SGBM > GC ；

(3) BM 演算法比2.0版效能有所提升，其狀態引數新增了對左右檢視感興趣區域 ROI 的支援（roi1 和 roi2，由stereoRectify函式產生）；

(4) BM 演算法和 GC 演算法的核心程式碼改動不大，主要是面向多執行緒運算方面的（由 OpenMP 轉向 Intel TBB）；

(5) cvFindStereoCorrespondenceBM 函式的disparity引數的資料格式新增了 CV_32F 的支援，這種格式的資料給出實際視差，而 2.0 版只支援 CV_16S，需要除以 16.0 才能得到實際的視差數值。

2． 用於立體匹配的影象可以是彩色的嗎？

在OpenCV2.1中，BM和GC演算法只能對8位灰度影象計算視差，SGBM演算法則可以處理24位（8bits*3）彩色影象。所以在讀入影象時，應該根據採用的演算法來處理影象：

int color_mode = alg == STEREO_SGBM ? 1 : 0;
//////////////////////////////////////////////////////////////////////////
// 載入影象
cvGrabFrame( lfCam );
cvGrabFrame( riCam );
frame1 = cvRetrieveFrame( lfCam );
frame2 = cvRetrieveFrame( riCam );
if(frame1.empty()) break;
resize(frame1, img1, img_size, 0, 0);
resize(frame2, img2, img_size, 0, 0);
// 選擇彩色或灰度格式作為雙目匹配的處理影象
if (!color_mode && cn>1)
{
cvtColor(img1, img1gray, CV_BGR2GRAY);
cvtColor(img2, img2gray, CV_BGR2GRAY);
img1p = img1gray;
img2p = img2gray;
}
else
{
img1p = img1;
img2p = img2;
}

3． 怎樣獲取與原影象有效畫素區域相同的視差圖？

在OpenCV2.0及以前的版本中，所獲取的視差圖總是在左側和右側有明顯的黑色區域，這些區域沒有有效的視差資料。視差圖有效畫素區域與視差視窗（ndisp，一般取正值且能被16整除）和最小視差值（mindisp，一般取0或負值）相關，視差視窗越大，視差圖左側的黑色區域越大，最小視差值越小，視差圖右側的黑色區域越大。其原因是為了保證參考影象（一般是左檢視）的畫素點能在目標影象（右檢視）中按照設定的視差匹配視窗匹配對應點，OpenCV 只從參考影象的第 (ndisp - 1 + mindisp) 列開始向右計算視差，第 0 列到第 (ndisp - 1 + mindisp) 列的區域視差統一設定為 (mindisp - 1) *16；視差計算到第 width + mindisp 列時停止，餘下的右側區域視差值也統一設定為 (mindisp - 1) *16。 

 static const int DISPARITY_SHIFT = 4;
…
 int ndisp = state->numberOfDisparities;
    int mindisp = state->minDisparity;
     int lofs = MAX(ndisp - 1 + mindisp, 0);
    int rofs = -MIN(ndisp - 1 + mindisp, 0);
     int width = left->cols, height = left->rows;
    int width1 = width - rofs - ndisp + 1;
     short FILTERED = (short)((mindisp - 1) << DISPARITY_SHIFT);
   initialize the left and right borders of the disparity map
     for( y = 0; y < height; y++ )
    {
        for( x = 0; x < lofs; x++ )
             dptr[y*dstep + x] = FILTERED;
         for( x = lofs + width1; x < width; x++ )
             dptr[y*dstep + x] = FILTERED;
     }
     dptr += lofs;
    for( x = 0; x < width1; x++, dptr++ )

這樣的設定很明顯是不符合實際應用的需求的，它相當於把攝像頭的視場範圍縮窄了。因此，OpenCV2.1 做了明顯的改進，不再要求左右檢視和視差圖的大小（size）一致，允許對視差圖進行左右邊界延拓，這樣，雖然計算視差時還是按上面的程式碼思路來處理左右邊界，但是視差圖的邊界得到延拓後，有效視差的範圍就能夠與對應檢視完全對應。具體的實現程式碼範例如下：

//////////////////////////////////////////////////////////////////////////
// 對左右檢視的左邊進行邊界延拓，以獲取與原始檢視相同大小的有效視差區域
copyMakeBorder(img1r, img1b, 0, 0, m_nMaxDisp, 0, IPL_BORDER_REPLICATE);
copyMakeBorder(img2r, img2b, 0, 0, m_nMaxDisp, 0, IPL_BORDER_REPLICATE);

//////////////////////////////////////////////////////////////////////////
// 計算視差
if( alg == STEREO_BM )
{
	bm(img1b, img2b, dispb);
	// 擷取與原始畫面對應的視差區域（捨去加寬的部分）
	displf = dispb.colRange(m_nMaxDisp, img1b.cols);	
}
else if(alg == STEREO_SGBM)
{
	sgbm(img1b, img2b, dispb);
	displf = dispb.colRange(m_nMaxDisp, img1b.cols);
}

 

 

 

4． cvFindStereoCorrespondenceBM的輸出結果好像不是以畫素點為單位的視差？

“@scyscyao：在OpenCV2.0中，BM函式得出的結果是以16位符號數的形式的儲存的，出於精度需要，所有的視差在輸出時都擴大了16倍(2^4)。其具體程式碼表示如下：

dptr[y*dstep] = (short)(((ndisp - mind - 1 + mindisp)*256 + (d != 0 ? (p-n)*128/d : 0) + 15) >> 4);

可以看到，原始視差在左移8位(256)並且加上一個修正值之後又右移了4位，最終的結果就是左移4位。

因此，在實際求距離時，cvReprojectTo3D出來的X/W,Y/W,Z/W都要乘以16 (也就是W除以16)，才能得到正確的三維座標資訊。”

在OpenCV2.1中，BM演算法可以用 CV_16S 或者 CV_32F 的方式輸出視差資料，使用32位float格式可以得到真實的視差值，而CV_16S 格式得到的視差矩陣則需要 除以16 才能得到正確的視差。另外，OpenCV2.1另外兩種立體匹配演算法 SGBM 和 GC 只支援 CV_16S 格式的 disparity 矩陣。

 

5． 如何設定BM、SGBM和GC演算法的狀態引數？

 

 

6． 如何實現視差圖的偽彩色顯示？

首先要將16位符號整形的視差矩陣轉換為8位無符號整形矩陣，然後按照一定的變換關係進行偽彩色處理。我的實現程式碼如下：

// 轉換為 CV_8U 格式，彩色顯示
dispLfcv = displf, dispRicv = dispri, disp8cv = disp8;
if (alg == STEREO_GC)
{
	cvNormalize( &dispLfcv, &disp8cv, 0, 256, CV_MINMAX );
} 
else
{
	displf.convertTo(disp8, CV_8U, 255/(m_nMaxDisp*16.));
}
F_Gray2Color(&disp8cv, vdispRGB);

灰度圖轉偽彩色圖的程式碼，主要功能是使灰度圖中 亮度越高的畫素點，在偽彩色圖中對應的點越趨向於 紅色；亮度越低，則對應的偽彩色越趨向於 藍色；總體上按照灰度值高低，由紅漸變至藍，中間色為綠色。其對應關係如下圖所示：

 

圖20

void F_Gray2Color(CvMat* gray_mat, CvMat* color_mat)
{
	if(color_mat)
		cvZero(color_mat);
		
	int stype = CV_MAT_TYPE(gray_mat->type), dtype = CV_MAT_TYPE(color_mat->type);
	int rows = gray_mat->rows, cols = gray_mat->cols;

	// 判斷輸入的灰度圖和輸出的偽彩色圖是否大小相同、格式是否符合要求
	if (CV_ARE_SIZES_EQ(gray_mat, color_mat) && stype == CV_8UC1 && dtype == CV_8UC3)
	{
		CvMat* red = cvCreateMat(gray_mat->rows, gray_mat->cols, CV_8U);
		CvMat* green = cvCreateMat(gray_mat->rows, gray_mat->cols, CV_8U);
		CvMat* blue = cvCreateMat(gray_mat->rows, gray_mat->cols, CV_8U);
		CvMat* mask = cvCreateMat(gray_mat->rows, gray_mat->cols, CV_8U);

		// 計算各彩色通道的畫素值
		cvSubRS(gray_mat, cvScalar(255), blue);	// blue(I) = 255 - gray(I)
		cvCopy(gray_mat, red);			// red(I) = gray(I)
		cvCopy(gray_mat, green);			// green(I) = gray(I),if gray(I) < 128
		cvCmpS(green, 128, mask, CV_CMP_GE );	// green(I) = 255 - gray(I), if gray(I) >= 128
		cvSubRS(green, cvScalar(255), green, mask);
		cvConvertScale(green, green, 2.0, 0.0);

		// 合成偽彩色圖
		cvMerge(blue, green, red, NULL, color_mat);

		cvReleaseMat( &red );
		cvReleaseMat( &green );
		cvReleaseMat( &blue );
		cvReleaseMat( &mask );
	}
}

 

 

7． 如何將視差資料儲存為 txt 資料檔案以便在 Matlab 中讀取分析？

由於OpenCV本身只支援 xml、yml 的資料檔案讀寫功能，並且其xml檔案與構建網頁資料所用的xml檔案格式不一致，在Matlab中無法讀取。我們可以通過以下方式將視差資料儲存為txt檔案，再匯入到Matlab中。

void saveDisp(const char* filename, const Mat& mat)		
{
	FILE* fp = fopen(filename, "wt");
	fprintf(fp, "%02d/n", mat.rows);
	fprintf(fp, "%02d/n", mat.cols);
	for(int y = 0; y < mat.rows; y++)
	{
		for(int x = 0; x < mat.cols; x++)
		{
			short disp = mat.at<short>(y, x); // 這裡視差矩陣是CV_16S 格式的，故用 short 型別讀取
			fprintf(fp, "%d/n", disp); // 若視差矩陣是 CV_32F 格式，則用 float 型別讀取
		}
	}
	fclose(fp);
}

相應的Matlab程式碼為：

function img = txt2img(filename)
data = importdata(filename);
r = data(1);    % 行數
c = data(2);    % 列數
disp = data(3:end); % 視差
vmin = min(disp);
vmax = max(disp);
disp = reshape(disp, [c,r])'; % 將列向量形式的 disp 重構為 矩陣形式
%  OpenCV 是行掃描儲存影象，Matlab 是列掃描儲存影象
%  故對 disp 的重新排列是首先變成 c 行 r 列的矩陣，然後再轉置回 r 行 c 列
img = uint8( 255 * ( disp - vmin ) / ( vmax - vmin ) );
mesh(disp);
set(gca,'YDir','reverse');  % 通過 mesh 方式繪圖時，需倒置 Y 軸方向
axis tight; % 使座標軸顯示範圍與資料範圍相貼合，去除空白顯示區

顯示效果如下：

 

SGBM演算法原理

emi-global matching（縮寫SGM）是一種用於計算雙目視覺中disparity的半全域性匹配演算法。在OpenCV中的實現為semi-global block matching（SGBM）。

SGBM的思路是：

通過選取每個畫素點的disparity，組成一個disparity map，設定一個和disparity map相關的全域性能量函式，使這個能量函式最小化，以達到求解每個畫素最優disparity的目的。

能量函式形式如下：

D指disparity map。E(D)是該disparity map對應的能量函式。

p, q代表影象中的某個畫素

Np 指畫素p的相鄰畫素點（一般認為8連通）

C(p, Dp)指當前畫素點disparity為Dp時，該畫素點的cost

P1 是一個懲罰係數，它適用於畫素p相鄰畫素中dsparity值與p的dsparity值相差1的那些畫素。

P2 是一個懲罰係數，它適用於畫素p相鄰畫素中dsparity值與p的dsparity值相差大於1的那些畫素。

I[.]函式返回1如果函式中的引數為真，否則返回0

利用上述函式在一個二維影象中尋找最優解是一個NP-complete問題，耗時過於巨大，因此該問題被近似分解為多個一維問題，即線性問題。而且每個一維問題都可以用動態規劃來解決。因為1個畫素有8個相鄰畫素，因此一般分解為8個一維問題。

考慮從左到右這一方向，如下圖所示：

則每個畫素的disparity只和其左邊的畫素相關，有如下公式：

r指某個指向當前畫素p的方向，在此可以理解為畫素p左邊的相鄰畫素。
Lr(p, d) 表示沿著當前方向（即從左向右），當目前畫素p的disparity取值為d時，其最小cost值。

這個最小值是從4種可能的候選值中選取的最小值：

1.前一個畫素（左相鄰畫素）disparity取值為d時，其最小的cost值。

2.前一個畫素（左相鄰畫素）disparity取值為d-1時，其最小的cost值+懲罰係數P1。

3.前一個畫素（左相鄰畫素）disparity取值為d+1時，其最小的cost值+懲罰係數P1。

4.前一個畫素（左相鄰畫素）disparity取值為其他時，其最小的cost值+懲罰係數P2。

另外，當前畫素p的cost值還需要減去前一個畫素取不同disparity值時最小的cost。這是因為Lr(p, d)是會隨著當前畫素的右移不停增長的，為了防止數值溢位，所以要讓它維持在一個較小的數值。

C(p, d)的計算很簡單，由如下兩個公式計算：

即，當前畫素p和移動d之後的畫素q之間，經過半個畫素插值後，尋找兩個畫素點灰度或者RGB差值的最小值，作為C(p, d)的值。

具體來說：設畫素p的灰度/RGB值為I(p)，先從I(p)，(I(p)+I(p-1))/2,(I(p)+I(p+1))/2三個值中選擇出和I(q)差值最小的,即

d(p,p-d)。然後再從I(q)，(I(q)+I(q-1))/2,(I(q)+I(q+1))/2三個值中選擇出和I(p)差值最小的,即d(p-d,p)。最後從兩個值中選取最小值，就是C(p, d)

上面是從一個方向（從左至右）計算出的畫素在取值為某一disparity值時的最小cost值。但是一個畫素有8個鄰域，所以一共要從8個方向計算（左右，右左，上下，下上，左上右下，右下左上，右上左下，左下右上）這個cost值。

然後把八個方向上的cost值累加，選取累加cost值最小的disparity值作為該畫素的最終disparity值。對於每個畫素進行該操作後，就形成了整個影象的disparity map。公式表達如下：

SGBM演算法遍歷每個畫素，針對每個畫素的操作和disparity的範圍有關，故時間複雜度為：

轉：http://www.cnblogs.com/polly333/p/5130375.html

相關推薦

立體視覺-opencv中立體匹配相關程式碼 三種匹配演算法比較

BM 演算法： 該演算法程式碼： CvStereoBMState *BMState = cvCreateStereoBMState();   int SADWindowSize=15;    BMState->SADW

Python中列表元素刪除的三種方法的比較

1.remove 從左往右刪除第一個符合條件的元素，返回值是None，（）中填要刪除的值 list1=[1,2,3,4,5,6,7,1,2,3,4,4] print(list1.remove(2))

【JAVA學習】java中==、equals()、hashCode()都和物件的比較有關，在java中這三者各有什麼用處呢，即java中為什麼需要設計這三種物件的比較方法呢？

關於hashCode() 為什麼會設計hashCode()方法？    hashCode()方法返回的就是一個數值，我們稱之為hashCode吧。從方法的名稱上就可以看出，其目的是生成一個hash碼。hash碼的主要用途就是在對物件進行雜湊的時候作為key輸入，據此很容易推斷出，我們需要每個物件的ha

計算機視覺中upsampling(上取樣)的三種方式

版權宣告：新建了專注於語義分割的QQ群704803384，歡迎交流!!!    https://blog.csdn.net/u014451076/article/details/79156967 bilinear 雙線性插值是目前在語義分割中用的比較多的一種方式，比如F

Struts xml中Action的method與路徑的三種匹配方法

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

opencv中最小外接矩形2 的演算法

之前用到opencv最小外接矩形去表示一個類橢圓形的高度，特此記錄備查。 對給定的 2D 點集，尋找最小面積的包圍矩形，使用函式： CvBox2DcvMinAreaRect2(constCvArr*points,CvMemStorage*storage=NULL);

Java中從鍵盤輸入的三種方法

readline 鍵盤 輸入 exception nbsp stack clas system reader import java.io.BufferedReader; import java.io.IOException; import java.io.Input

JavaScript中BOOLEAN類型之三種情景代碼舉例

flag art 代碼 解讀 track .org lan 對象 alert <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w

Electron與jQuery中$符號沖突的三種解決方法

jquer obj define export tro conf jquery blog ack 　　在Electron工程中引用jQuery時，經常會出現以下錯誤： Uncaught ReferenceError: $ is not defined 　　解決的具體方

頁面中插入CSS樣式的三種方法

text 總結 聲明 特殊 優勢 color 應該 -c -- 頁面中插入css樣式的三種方法總結 1、 外部樣式 當樣式需要應用於很多頁面時，外部樣式表將是理想的選擇。在使用外部樣式表的情況下，你可以通過改變一個文件來改變整個站點的外觀。每個頁面使用<link>

PHP中遍歷數組有三種常用的方法

log jin 存儲 方法 執行 ron () ech ++ 在PHP中操作最多的數據估計也就是數組了，有著效率高、速度快、存儲方便的特點。 PHP中遍歷數組有三種常用的方法：1、for循環，用法最為靈活，靈活到懷疑人生，但記住格式也非常簡單。2、foreach，是PHP為

JS中事件綁定的三種方式

events load textarea sch 事件 ron 事件綁定 upload fun 以下是搜集的在JS中事件綁定的三種方式。 1. HTML onclick attribute <button type="button" id="upload"

JavaScript中事件綁定的三種方式

element blog href 轉載 pre 模型 www. 初學者 進行 JavaScript使得網頁與用戶友好交互，在使用 js 進行時間綁定的時候有三種綁定方式。 第一種：初學者以及普通寫法 1 <div id="dom0"> 2 &

Java中數組定義的三種方式

++ pan stat div 方式 clas 空間 inf bsp 方法一： 　　1.先聲明　　 2.分配空間　　3.賦值 　　　 public class arr{ public static void main(String[] args){

關於SpringMVC中Controller接口的三種實現類的使用與說明

resolv term strac editor 服務 xml配置 數據加載 edi add 要說Controller接口的實現類使用與說明之前，先簡要說明一下SpringMVC的工作原理。 ①客戶端發出一個請求，web服務器接受了這個請求後，就會與web.xml中配置的D

Eclipse中安裝插件的三種方法

ons plugs soft new 文件夾 分隔 假設 clip oca Eclipse插件的安裝方法大體可以分為三種：直接復制、使用link文件，以及使用eclipse自帶的圖形界面的插件安裝方法。 一、使用link文件（建議使用） eclipse的安裝目錄：E:\

JAVA中初始化ArrayList的三種方式

　　下面講一下ArrayList初始化的幾種不同方式。   一、最常用的初始化方式。 1 List<String> list1 = new ArrayList<String>(); 2 list1.add("apple"); 3 lis

ASP.NET中 C#訪問資料庫用三種方式顯示資料表

第一種方式：使用DataReader從資料庫中每次提取一條資料，用迴圈遍歷表                下面是我寫的一個例子：  &nbs

在VS中新增lib庫的三種方法

在VS中新增lib庫的三種方法 注意： 1、每種方法也要複製相應的DLL檔案到相應目錄，或者設定DLL目錄的位置，具體方法為："Properties" -> "Configuration Properties" -> "Deb

深度解析 Go 語言中「切片」的三種特殊狀態

我們今天要來講一個非常細節的小知識，這個知識被大多數 Go 語言的開發者無視了，它就是切片的三種特殊狀態 —— 「零切片」、「空切片」和「nil 切片」。 切片被視為 Go 語言中最為重要的基礎資料結構，使用起來非常簡單，有趣的內部結構讓它成了 Go 語言面試中最為常見的考點。切片的底層是