• 安裝教程可以參考本人之前的一篇部落格：
• 可以使OpenCV2和OpenCV3共存。那麼這裡為什麼又要提到OpenCV2和OpenCV3的區別了呢？其實本人也覺得挺奇葩的，因為從OpenCV3以來，一些比較新的功能都挪到了“opencv_contrib”庫裡，原因是他們覺得這些庫“不安全”，因此並沒有預設自帶這些庫，而影象拼接所要用到的很多特徵運算元，比如本文這次使用的SIFT和SURF特徵又比較悲催地被列入到opencv_contrib庫中。所以使用OpenCV2的童鞋們先無視這裡，使用OpenCV3想要進行接下來的實驗就必須先安裝和配置好這個opencv_contrib庫，可以參考以下的教程：

二、基於SIFT特徵的微旋轉影象拼接與融合生成全景影象

SIFT特徵匹配主要包括2個階段：
第一階段：SIFT特徵的生成，即從多幅影象中提取對尺度縮放、旋轉、亮度變化無關的特徵向量。
第二階段：SIFT特徵向量的匹配。
SIFT特徵的生成一般包括以下幾個步驟：
1. 構建尺度空間，檢測極值點，獲得尺度不變性。

2. 特徵點過濾並進行精確定位。

3. 為特徵點分配方向值。

4. 生成特徵描述子。
以特徵點為中心取16×16的鄰域作為取樣視窗，將取樣點與特徵點的相對方向通過高斯加權後歸入包含8個bin的方向直方圖，最後獲得4×4×8的128維特徵描述子。示意圖如下：

當兩幅影象的SIFT特徵向量生成以後，下一步就可以採用關鍵點特徵向量的歐式距離來作為兩幅影象中關鍵點的相似性判定度量。取圖1的某個關鍵點，通過遍歷找到影象2中的距離最近的兩個關鍵點。在這兩個關鍵點中，如果最近距離除以次近距離小於某個閾值，則判定為一對匹配點。
SIFT特徵匹配的例子：

基於SIFT特徵的微旋轉影象拼接生成全景影象效果如下（還未融合，原圖見上文章開頭的兩圖）：

融合後：

再來點測試結果，方便與之後的SURF特徵作比較：

左圖：

右圖：

可以看到待拼接的左圖、右圖是有明顯的、角度不大的旋轉。現在給出基於SIFT特徵的微旋轉影象拼接與融合生成全景影象執行結果：

以及效果：

三、基於SURF特徵的微旋轉影象拼接與融合生成全景影象

用SIFT演算法來實現影象拼接是很常用的方法，但是因為SIFT計算量很大，所以在速度要求很高的場合下不再適用。所以，它的改進方法SURF因為在速度方面有了明顯的提高（速度是SIFT的3倍），所以在影象拼接領域還是大有作為（雖然說SURF精確度和穩定性不及SIFT，這點接下來就通過實際效果圖進行比較）。下面將給出基於SIFT特徵的微旋轉影象拼接與融合生成全景影象的執行結果和效果圖。

與SIFT比較的第一張圖，拼接融合後的：

第二張的執行結果：

以及其效果圖：

四、程式碼解析

• IDE：Visual Studio 2013

• 語言：C++

• 依賴：OpenCV 3.3.0

	//提取特徵點（原始碼第27行）    
	Ptr<Feature2D> f2d = xfeatures2d::SIFT::create();	//修改程式碼中的SIFT引數即可修改演算法（比如SURF等）

#include <opencv2/opencv.hpp>  
#include "highgui/highgui.hpp"    
#include <opencv2/xfeatures2d.hpp>

using namespace cv;
using namespace std;

//計算原始影象點位在經過矩陣變換後在目標影象上對應位置  
Point2f getTransformPoint(const Point2f originalPoint, const Mat &transformMaxtri);

int main(int argc, char *argv[])
{
	Mat image01 = imread("left2.jpg");
	Mat image02 = imread("right2.jpg");

	if (image01.data == NULL || image02.data == NULL)
		return 0;
	imshow("待拼接影象左圖", image01);
	imshow("待拼接影象右圖", image02);

	//灰度圖轉換  
	Mat image1, image2;
	cvtColor(image01, image1, CV_RGB2GRAY);
	cvtColor(image02, image2, CV_RGB2GRAY);

	//提取特徵點    
	Ptr<Feature2D> f2d = xfeatures2d::SIFT::create();	//修改SIFT引數即可修改演算法（比如SURF）
	vector<KeyPoint> keyPoint1, keyPoint2;
	f2d->detect(image1, keyPoint1);
	f2d->detect(image2, keyPoint2);

	//特徵點描述，為下邊的特徵點匹配做準備    
	Mat imageDesc1, imageDesc2;
	f2d->compute(image1, keyPoint1, imageDesc1);
	f2d->compute(image2, keyPoint2, imageDesc2);

	//獲得匹配特徵點，並提取最優配對     
	FlannBasedMatcher matcher;
	vector<DMatch> matchePoints;
	matcher.match(imageDesc1, imageDesc2, matchePoints, Mat());
	sort(matchePoints.begin(), matchePoints.end()); //特徵點排序    
	//獲取排在前N個的最優匹配特徵點  
	vector<Point2f> imagePoints1, imagePoints2;
	for (int i = 0; i<10; i++)
	{
		imagePoints1.push_back(keyPoint1[matchePoints[i].queryIdx].pt);
		imagePoints2.push_back(keyPoint2[matchePoints[i].trainIdx].pt);
	}

	//獲取影象1到影象2的投影對映矩陣，尺寸為3*3  
	Mat homo = findHomography(imagePoints1, imagePoints2, CV_RANSAC);
	Mat adjustMat = (Mat_<double>(3, 3) << 1.0, 0, image01.cols, 0, 1.0, 0, 0, 0, 1.0);
	Mat adjustHomo = adjustMat*homo;

	//獲取最強配對點在原始影象和矩陣變換後圖像上的對應位置，用於影象拼接點的定位  
	Point2f originalLinkPoint, targetLinkPoint, basedImagePoint;
	originalLinkPoint = keyPoint1[matchePoints[0].queryIdx].pt;
	targetLinkPoint = getTransformPoint(originalLinkPoint, adjustHomo);
	basedImagePoint = keyPoint2[matchePoints[0].trainIdx].pt;

	//影象配準  
	Mat imageTransform1;
	warpPerspective(image01, imageTransform1, adjustMat*homo, Size(image02.cols + image01.cols + 110, image02.rows));

	//在最強匹配點左側的重疊區域進行累加，是銜接穩定過渡，消除突變  
	Mat image1Overlap, image2Overlap; //圖1和圖2的重疊部分     
	image1Overlap = imageTransform1(Rect(Point(targetLinkPoint.x - basedImagePoint.x, 0), Point(targetLinkPoint.x, image02.rows)));
	image2Overlap = image02(Rect(0, 0, image1Overlap.cols, image1Overlap.rows));
	Mat image1ROICopy = image1Overlap.clone();  //複製一份圖1的重疊部分  
	for (int i = 0; i<image1Overlap.rows; i++)
	{
		for (int j = 0; j<image1Overlap.cols; j++)
		{
			double weight;
			weight = (double)j / image1Overlap.cols;  //隨距離改變而改變的疊加係數  
			image1Overlap.at<Vec3b>(i, j)[0] = (1 - weight)*image1ROICopy.at<Vec3b>(i, j)[0] + weight*image2Overlap.at<Vec3b>(i, j)[0];
			image1Overlap.at<Vec3b>(i, j)[1] = (1 - weight)*image1ROICopy.at<Vec3b>(i, j)[1] + weight*image2Overlap.at<Vec3b>(i, j)[1];
			image1Overlap.at<Vec3b>(i, j)[2] = (1 - weight)*image1ROICopy.at<Vec3b>(i, j)[2] + weight*image2Overlap.at<Vec3b>(i, j)[2];
		}
	}
	Mat ROIMat = image02(Rect(Point(image1Overlap.cols, 0), Point(image02.cols, image02.rows)));  //圖2中不重合的部分  
	ROIMat.copyTo(Mat(imageTransform1, Rect(targetLinkPoint.x, 0, ROIMat.cols, image02.rows))); //不重合的部分直接銜接上去  
	namedWindow("拼接結果-SIFT", 0);
	imshow("拼接結果-SIFT", imageTransform1);
	imwrite("拼接結果-SIFT.jpg", imageTransform1);
	waitKey();
	return 0;
}

//計算原始影象點位在經過矩陣變換後在目標影象上對應位置  
Point2f getTransformPoint(const Point2f originalPoint, const Mat &transformMaxtri)
{
	Mat originelP, targetP;
	originelP = (Mat_<double>(3, 1) << originalPoint.x, originalPoint.y, 1.0);
	targetP = transformMaxtri*originelP;
	float x = targetP.at<double>(0, 0) / targetP.at<double>(2, 0);
	float y = targetP.at<double>(1, 0) / targetP.at<double>(2, 0);
	return Point2f(x, y);
}

五、兩種特徵的結果比較與總結

1.測試圖片不宜過大。

測試用的圖片不能過大，如果直接輸入拍好的照片（比如3456*4608），不但導致程式需要執行數分鐘才出結果，還容易導致拼接失敗（主要是特徵點匹配太多）。

2.儘量使用靜態圖片（沒有動態因素干擾的）

在第一張測試圖片中，我們可以很清楚地看到中間拼接處有一輛黑色車輛的“鬼影”，這是為什麼？因為兩幅圖中的黑色車輛移動剛好在中間接縫處了啊！所以要做影象拼接，儘量保證使用的是靜態圖片，不要加入一些動態因素干擾拼接。

3.影象融合（去裂縫處理）：

在拼接圖的交界處，兩圖因為光照色澤的原因使得兩圖交界處的過渡很糟糕，所以需要特定的處理解決這種不自然。本文的處理思路是加權融合，在重疊部分由前一幅影象慢慢過渡到第二幅影象，即將影象的重疊區域的畫素值按一定的權值相加合成新的影象。

與有做影象融合處理的效果（見二、的最後一張效果圖）相比，拼接處明顯很突兀，不自然，有斷裂的感覺。

4.基於SIFT特徵和SURF特徵的微旋轉影象拼接與融合生成全景影象的比較。

通過剛剛的處理效果圖的比較，可以明顯地比較出SIFT的優勢在於對待拼接圖片小幅度旋轉的適應性，精準度較高；而SURF演算法對於待拼接圖片的平直性要求很高，稍微旋轉的圖片拼接後已經失真。查閱資料得知SURF演算法的優勢在於速度方面有明顯的提高（速度是SIFT的3倍）。

基於SIFT特徵和SURF特徵的微旋轉影象拼接與融合生成全景影象，整個工程檔案見下載頁面

OpenCV影象處理入門學習教程系列，下一篇第四篇：基於LoG運算元的影象邊緣檢測