https://blog.csdn.net/u014629875/article/details/51227534由於專案和畢設的需要，最近在做一些立體視覺的東西，總算是把立體視覺建立起來了，中途查了很多相關資料，這裡做一個總結。1.簡介：雙目視覺是模擬人類視覺原理，使用計算機被動感知距離的方法。從兩個或者多個點觀察一個物體，獲取在不同視角下的影象，根據影象之間畫素的匹配關係，通過三角測量原理計算出畫素之間的偏移來獲取物體的三維資訊。得到了物體的景深資訊，就可以計算出物體與相機之間的實際距離，物體3維大小，兩點之間實際距離。2.建立立體視覺為了精確地求得某個點在三維空間裡的深度資訊，我們需要獲得的引數有焦距f、視差d、攝像頭中心距Tx； 為了獲得某個點的X座標和Y座標，還需要知道左右像平面的座標系與立體座標系中原點的偏移cx和cy。 因此我們需要進行下列三個步驟：相機標定，影象校正，立體匹配。相機標定標定目的：獲取相機的內參（焦距，影象中心，畸變係數等）和外參（R（旋轉）矩陣T（平移）矩陣） 相機標定需要採集標定資料，通常使用列印棋盤格的紙作為特製的標定參照物，攝像頭獲取該物體的影象，並由此計算攝像頭的內外引數。相機標定有兩種方法： 方法一：Bouguet的Matlab標定工具箱（http://www.vision.caltech.edu/bouguetj/calib_doc/）；有比較詳細的介紹和使用方法，用起來還是比較方便的，只不過做完標定要繼續的話要把標定結果存入xml匯入OpenCV再進行。 方法二：OpenCV的cvStereoCalibrate；在《學習OpenCV》第11，12章有比較詳細的介紹。12章後有相關程式程式碼。雙目影象校正雙目校正是根據攝像頭定標後獲得的單目內參資料（焦距、成像原點、畸變係數）和雙目相對位置關係（旋轉矩陣和平移向量），分別對左右檢視進行消除畸變和行對準，使得左右檢視的成像原點座標一致、兩攝像頭光軸平行、左右成像平面共面、對極線行對齊。將左右檢視調整成完全平行對準的理想形式（如下圖）。 校正反映到影象上就是要把消除畸變後的兩幅影象嚴格地行對應，使得兩幅影象的對極線恰好在同一水平線上，這樣一幅影象上任意一點與其在另一幅影象上的對應點就必然具有相同的行號，只需在該行進行一維搜尋即可匹配到對應點。下圖來自於Stefano Mattoccia “Stereo vision: algorithms and applications”http://vision.deis.unibo.it/~smatt/Seminars/StereoVision.pdf （這個ppt對立體視覺做了一個很詳盡的講述，讀了可以對立體視覺方面有一個比較好的瞭解） 我在這部分用的是OpenCV中的cvStereoRectify，得出校準引數之後用cvRemap來校準輸入的左右影象。這裡要提一下cvRemap這個函式src與dst大小格式通道必須一致，所以在使用之前要先對左右影象做處理。立體匹配立體匹配主要是通過找出每對影象間的對應關係，根據三角測量原理，得到視差圖；在獲得了視差資訊後，根據投影模型很容易地可以得到原始影象的深度資訊和三維資訊。 立體匹配是建立立體視覺中最重要的一環，立體匹配的效果直接影響得到的三維資訊。 由於現在只是使用了OpenCV的BM方法和SGBM方法，並沒有做深入的瞭解，所以關於這方面後續會再寫篇部落格討論一下這方面的問題。 BM方法：CvStereoBMState *BMState = cvCreateStereoBMState();assert(BMState != 0);BMState->preFilterSize=41;BMState->preFilterCap=31;BMState->SADWindowSize=41;BMState->minDisparity=-64;BMState->numberOfDisparities=128;BMState->textureThreshold=10;BMState->uniquenessRatio=10;12345678910SGBM方法：cv::StereoSGBM sgbm;sgbm.preFilterCap = 63;int SADWindowSize=11;int cn = 1;sgbm.SADWindowSize = SADWindowSize > 0 ? SADWindowSize : 3;sgbm.P1 = 4*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;sgbm.P2 = 32*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;sgbm.minDisparity = 0;sgbm.numberOfDisparities = 32;sgbm.uniquenessRatio = 10;sgbm.speckleWindowSize = 100;sgbm.speckleRange = 32;sgbm.disp12MaxDiff = 1;12345678910111213立體匹配後得到視差圖後獲取三維資訊的方式（世界座標系是以左相機光心為原點，光軸為Z軸，基線為X軸的右手系） 這裡有一點要注意，立體匹配得出的視差結果是以16位符號數的形式的儲存的，出於精度需要，所有的視差在輸出時都擴大了16倍(2^4)，因此，在實際求距離時，cvReprojectTo3D出來的X/W,Y/W,Z/W都要乘以16 (也就是W除以16)，才能得到正確的三維座標資訊。 一個簡單的輸出某個畫素點三維資訊的例子：cvReprojectImageTo3D(disp,depth,&_Qtest);//_Qtest是雙目校正得到的Q矩陣Point p;p.x = 400;p.y = 300;Mat tempDepth = Mat(depth);cout << "in world coordinate: " << tempDepth.at<Vec3f>(p)*16 << endl;--------------------- 作者：Array03 來源：CSDN 原文：https://blog.csdn.net/u014629875/article/details/51227534 

posted on 2018-11-13 14:52 zmj 閱讀(5) 評論(0)  編輯 收藏 引用