sift演算法在cv領域的重要性不言而喻，該作者的文章引用率在cv界是number1.本篇部落格只是本人把sift演算法知識點整理了下，以免忘記。本文比較早的一篇博文opencv原始碼解析之(3)：特徵點檢查前言1 中有使用opencv自帶的sift做了個簡單的實驗，而這次主要是利用Rob Hess的sift原始碼來做實驗，其實現在的opencv版本中帶的sift演算法也是Rob Hess的，只是稍微包裝了下。

　　首先網上有不少文章介紹了sift演算法，寫得都不錯，比如： 

     該部落格對sift演算法理論做了介紹,且有示意圖輔助理解,從該文中可以瞭解sift演算法的大概流程.

     這篇文章對sift演算法做了通俗易懂的解釋.

　　這篇部落格有教你怎樣用c語言一步一步寫sift演算法。

　　該文也對sift做了詳細的介紹，部落格的作者還對sift匹配做了講解。

　　下面還是簡單看下sift演算法的理論，具體的內容可以參考上面的幾篇文章。

　　一、Sift描述子形成的步驟

　　1、 構造高斯差分空間影象。

　　Sift特徵點的檢測時在DOG影象上進行的，DOG影象是將相鄰尺度空間影象相減得到的。且金字塔的每一層都要構造一個DOG空間影象。預設引數是金字塔4層，即4個octave，每一個octave中有5張不同尺度的圖片，不同octave的圖片尺寸大小不同，所以每一層中就會得到4幅DOG影象。

高斯金字塔的第1層第1副原影象是將原影象放大2倍且sigma(sigma=1.6)模糊，第2幅影象是k*sigma(k等於根號2)模糊，第3幅是k*k*sigma模糊，後面類推…

     高斯金字塔第2層第1幅圖是選擇金字塔上一層(這裡是第1層)中尺度空間引數為k*k*sigma的那幅圖(實際上是2倍的尺度空間)進行降取樣(尺寸大小為原來的1/4倍)得到，如果k不等於根號2，那麼取原圖的2*sigma降取樣得到。第2層第2幅圖是在本層第一幅圖尺度模糊係數增加k倍模糊後的影象，後面類似…

　　示意圖如下所示：

     尺度不變當然是與圖片尺寸有關，即圖片的尺寸大小變化，但是其檢測結果不變。

　　2、尋找極大極小值點。

　　將每個畫素點與其所在的那幅影象鄰域的8個畫素，它所在的向量尺度空間上下2幅圖對應位置鄰域各9個點，總共26個點進行畫素值比較，如果該點是最大或者最小點，則改點就暫時列為特徵點。

　　其鄰圖如下：

　　3、精確定位極值點

　　子畫素級極值點：

　　由於上面找到的近似極值點落在畫素點的位置上，實際上我們在畫素點附近如果用空間曲面去擬合的話，很多情況下極值點都不是恰好在畫素點上，而是在附近。所以sift演算法提出的作者用泰勒展開找到了亞畫素級的特徵點。這種點更穩定，更具有代表性。

　　消除對比度低的特徵點：

　　對求出亮度比較低的那些點直接過濾點，程式中的閾值為0.03.

　　消除邊界上的點：

　　處理方法類似harrs角點，把平坦區域和直線邊界上的點去掉，即對於是邊界上的點但又不是直角上的點,sift演算法是不把這些點作為特徵點的。

　　4、選取特徵點主方向

　　在特徵點附近選取一個區域，該區域大小與圖影象的尺度有關，尺度越大，區域越大。並對該區域統計36個bin的方向直方圖，將直方圖中最大bin的那個方向作為該點的主方向，另外大於最大bin80%的方向也可以同時作為主方向。這樣的話，由於1個特徵點有可能有多個主方向，所以一個特徵點有可能有多個128維的描述子。如下圖所示：

     5、 構造特徵點描述運算元。

     以特徵點為中心，取領域內16*16大小的區域，並把這個區域分成4*4個大小為4*4的小區域，每個小區域內計算加權梯度直方圖，該權值分為2部分，其一是該點的梯度大小，其二是改點離特徵點的距離(二維高斯的關係)，每個小區域直方圖分為8個bin，所以一個特徵點的維數=4*4*8=128維。示意圖如下（該圖取的領域為8*8個點，因此描述子向量的維數為32維）：

 　　6、實驗部分

         下面來做下試驗,試驗sift程式碼採用Rob Hess的程式碼，opencv目前版本中的sift原始碼也是採用Rob Hess的。程式碼可以在他的主頁上下載：http://blogs.oregonstate.edu/hess/code/sift/

這裡我下載的是windows版本的，並採用Qt做了個簡單的介面。

         環境：WindowsXP+Opencv2.4.2+Qt4.8.2+QtCreator2.5.1，QtCreator內部採用的是vc的編譯器。

         執行軟體，單擊Open Image後選擇一張需要進行特徵點檢測的圖片，我這裡顯示的結果如下：　　

         單擊Sift Detect按鈕後，檢測到的效果如下:

主要程式碼部分如下（附錄有工程code下載連結）：

SiftDetect.h:

#ifndef SIFTDETECT_H
#define SIFTDETECT_H

#include <QDialog>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
//#include <opencv/cxcore.h>
//#include <opencv/highgui.h>
//#include <opencv/imgproc.h>
#include <stdio.h>
#include <stdio.h>
#include "sift.h"
#include "imgfeatures.h"
#include "utils.h"


using namespace cv;

namespace Ui {
class SiftDetect;
}

class SiftDetect : public QDialog
{
    Q_OBJECT
    
public:
    explicit SiftDetect(QWidget *parent = 0);
    ~SiftDetect();
    
private slots:


    void on_openButton_clicked();

    void on_detectButton_clicked();

    void on_closeButton_clicked();

private:
    Ui::SiftDetect *ui;

    Mat src, dst;
    IplImage* img;
    struct  feature* features;
    int n;
    int display;
    int intvls;
    double sigma;
    double contr_thr;
    int curv_thr;
    int img_dbl;
    int descr_width;
    int descr_hist_bins;
};

#endif // SIFTDETECT_H

SiftDetect.cpp:

#include "siftdetect.h"
#include "ui_siftdetect.h"
#include <QtGui>
#include <QtCore>
#include "sift.h"
#include "imgfeatures.h"
#include "utils.h"
//#include <sift.c>

SiftDetect::SiftDetect(QWidget *parent) :
    QDialog(parent),
    ui(new Ui::SiftDetect)
{
    ui->setupUi(this);

    n = 0;
    display = 1;
    intvls = SIFT_INTVLS;
    sigma = SIFT_SIGMA;
    contr_thr = SIFT_CONTR_THR;
    curv_thr = SIFT_CURV_THR;
    img_dbl = SIFT_IMG_DBL;
    descr_width = SIFT_DESCR_WIDTH;
    descr_hist_bins = SIFT_DESCR_HIST_BINS;
}

SiftDetect::~SiftDetect()
{
 //   cvReleaseImage( &img );//釋放記憶體退出程式後竟然報錯
    delete ui;
}



void SiftDetect::on_openButton_clicked()
{
    QString img_name = QFileDialog::getOpenFileName(this, "Open Image", "../sift_detect",
                                                    tr("Image Files(*.png *.jpeg *.jpg *.bmp)"));
  //  img = cvLoadImage( img_name.toAscii().data() );
    src = imread( img_name.toAscii().data() );
    imwrite( "../sift_detect/src.jpg", src );
    ui->textBrowser->clear();
    ui->textBrowser->setFixedSize( src.cols, src.rows );
    ui->textBrowser->append( "<img src=../sift_detect/src.jpg>" );

}

void SiftDetect::on_detectButton_clicked()
{
    //將Mat型的src轉換成IplImage*型的img，因為這裡是opencv新老版本混合程式設計的方法。
     img = &src.operator IplImage();
     n = _sift_features( img, &features, intvls, sigma, contr_thr, curv_thr, img_dbl, descr_width, descr_hist_bins );
     if( display )
         {
             draw_features( img, features, n );
             ui->textBrowser->clear();
             //將IplImage*型的img轉換成Mat型的dst，這也是opencv新老版本混合程式設計的一種方法。
             dst = Mat( img );
             imwrite( "../sift_detect/dst.jpg", dst );
             //cvSaveImage( "../sift_detect/dst.jpg", img );
             ui->textBrowser->append( "<img src=../sift_detect/dst.jpg>" );
         }
}

void SiftDetect::on_closeButton_clicked()
{
    close();
}

　　二、Sift特徵點匹配過程

　　由步驟一我們已經獲得了圖片的特徵點向量集合。現在來看看特徵點匹配，特徵點匹配的一個應用就是物體的識別，比如說我有2張圖片A和B，圖片的內容相同，只是圖片的大小尺寸不同。假設A圖片尺寸比較大，且我們已經採用sift演算法對圖片A和B都進行了檢測，獲得了它們的特徵點集合，現在我們的問題是需要把A和B中相應的特徵點給對應連線起來。

　　既然是匹配，當然每個特徵點向量要相似才能匹配到一起，這裡採用的是歐式距離來衡量其相似度。

　　對B中的特徵點x，去尋找A中最相似的點y，最簡單的方法就是拿x與A中所有點進行相似度比較，距離最小的那個為匹配點。但是如果圖片中特徵點數目很多的話，這樣效率會很低。所以我們需要把A中特徵點向量集合用一種資料結構來描述，這種描述要有利於x在A中的搜尋，即減少時間複雜度。在sift匹配中，這種資料結構採用的是kd-tree。

　　裡面講得比較詳細，且舉了例子，很容易理解，這裡就沒有必要重複了。

     同樣，採用Rob Hess的程式碼做了個sift匹配的實驗，開發環境與上面的一樣。

     開啟軟體後，單擊Open Image按鈕，依次開啟需要匹配的2張圖片，如下圖所示：

     單擊Sift Detect按鈕，則程式會單獨對這2幅圖片進行sift特徵點檢測，結果如下圖所示：

     單擊Sift Match按鈕，則會對這2幅圖的特徵點結果進行匹配，本次實驗的匹配圖如下所示：

實驗主要部分程式碼(附錄有工程code連結下載)：

SiftMatch.h:

#ifndef SIFTMATCH_H
#define SIFTMATCH_H

#include <QDialog>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>

using namespace cv;

namespace Ui {
class SiftMatch;
}

class SiftMatch : public QDialog
{
    Q_OBJECT
    
public:
    explicit SiftMatch(QWidget *parent = 0);
    ~SiftMatch();
    
private slots:
    void on_openButton_clicked();

    void on_detectButton_clicked();

    void on_matchButton_clicked();

    void on_closeButton_clicked();

private:
    Ui::SiftMatch *ui;
    Mat src1, src2, src1_c, src2_c, dst;
    IplImage *img1, *img2, *img3, *stacked;
    Point pt1, pt2;
    double d0, d1;
    struct feature *feat1, *feat2, *feat;
    struct feature **nbrs;
    struct kd_node *kd_root;
    int open_image_number;
    int n1, n2, k, i, m;
};

#endif // SIFTMATCH_H

SiftMatch.cpp：

#include "siftmatch.h"
#include "ui_siftmatch.h"

#include <QtCore>
#include <QtGui>
#include "imgfeatures.h"
#include "kdtree.h"
#include "minpq.h"
#include "sift.h"
#include "utils.h"
#include "xform.h"

/* the maximum number of keypoint NN candidates to check during BBF search */
#define KDTREE_BBF_MAX_NN_CHKS 200

/* threshold on squared ratio of distances between NN and 2nd NN */
#define NN_SQ_DIST_RATIO_THR 0.49

SiftMatch::SiftMatch(QWidget *parent) :
    QDialog(parent),
    ui(new Ui::SiftMatch)
{    
    open_image_number = 0;
    m = 0;

    ui->setupUi(this);   
}

SiftMatch::~SiftMatch()
{
    delete ui;
}

void SiftMatch::on_openButton_clicked()
{
    QString img_name = QFileDialog::getOpenFileName(this, "Open Image", "../sift_detect",
                                                    tr("Image Files(*.png *.jpeg *.jpg *.bmp)"));
    open_image_number++;
    //開啟第1張圖片
    if( 1 == open_image_number )
        {
            src1 = imread( img_name.toAscii().data() );
            img1 = cvLoadImage( img_name.toAscii().data() );
            //轉換成IplImage*型別,但是這樣轉換過的後面使用起來感覺還是不特別順利，說明並不是完全100%相容了。
      //      img1 = &src1.operator IplImage();
            imwrite( "../sift_match/src1.jpg", src1 );
            ui->textBrowser->setFixedSize( src1.cols, src1.rows );
            ui->textBrowser->append( "<img src=../sift_match/src1.jpg>" );
         }
    //開啟第2張圖片
    else if( 2 == open_image_number )
        {
            src2 = imread( img_name.toAscii().data() );
            img2 = cvLoadImage( img_name.toAscii().data() );
         //   img2 = &src2.operator IplImage();
            imwrite( "../sift_match/src2.jpg", src2 );
            ui->textBrowser->setFixedSize( src2.cols+src1.cols, src2.rows+src1.rows );
            ui->textBrowser->append( "<img src=../sift_match/src2.jpg>" );
        }
    else
        open_image_number = 0;

}

void SiftMatch::on_detectButton_clicked()
{
    //將2幅圖片合成1幅圖片
    //img1 = cvLoadImage();
    stacked = stack_imgs( img1, img2 );
    ui->textBrowser->clear();

    //顯示第1幅圖片上的特徵點
    n1 = sift_features( img1, &feat1 );
    draw_features( img1, feat1, n1 );
    src1_c = Mat(img1);
    imwrite("../sift_match/src1_c.jpg", src1_c);
    ui->textBrowser->append("<img src=../sift_match/src1_c.jpg>");

    //顯示第2幅圖片上的特徵點
    n2 = sift_features( img2, &feat2 );
    draw_features( img2, feat2, n2 );
    src2_c = Mat(img2);
    imwrite("../sift_match/src2_c.jpg", src2_c);
    ui->textBrowser->append("<img src=../sift_match/src2_c.jpg>");
}

void SiftMatch::on_matchButton_clicked()
{
    kd_root = kdtree_build( feat2, n2 );
    for( i = 0; i < n1; i++ )
        {
            feat = feat1+i;
            k = kdtree_bbf_knn( kd_root, feat, 2, &nbrs, KDTREE_BBF_MAX_NN_CHKS );
            if( k == 2 )
                {
                    d0 = descr_dist_sq( feat, nbrs[0] );
                    d1 = descr_dist_sq( feat, nbrs[1] );
                    if( d0 < d1 * NN_SQ_DIST_RATIO_THR )
                        {
                            pt1 = Point( cvRound( feat->x ), cvRound( feat->y ) );
                            pt2 = Point( cvRound( nbrs[0]->x ), cvRound( nbrs[0]->y ) );
                            pt2.y += img1->height;
                            cvLine( stacked, pt1, pt2, CV_RGB(255,0,255), 1, 8, 0 );
                            m++;
                            feat1[i].fwd_match = nbrs[0];
                        }
                }
             free( nbrs );
         }
    dst = Mat( stacked );
    imwrite( "../sift_match/dst.jpg", dst );
    ui->textBrowser->clear();
    ui->textBrowser->setFixedSize( dst.cols, dst.rows );
    ui->textBrowser->append("<img src=../sift_match/dst.jpg>");

}

void SiftMatch::on_closeButton_clicked()
{
    close();
}

　　　總結：

　　　通過整理下sift演算法知識點，對sift演算法有了更全面的認識，另外感謝Rob Hess開源了sift演算法的程式碼，感覺寫好這個演算法確實不同意的。（另外，本文部落格中引用了上面提到的部落格中的圖片，在此宣告一下。）

         附錄一：

         Rob Hess sift的c程式碼在c++中的使用。

由於Rob Hess的程式碼是基於c的，如果在其它關於介面開發的c++程式中，比如Qt，MFC等。我這裡是Qt，連線時會報如下錯誤：

siftdetect.obj:-1: error: LNK2019: 無法解析的外部符號 "int __cdecl _sift_features(struct _IplImage *,struct feature * *,int,double,double,int,int,int,int)" ([email protected]@[email protected]@[email protected]@[email protected])，該符號在函式 "private: void __thiscall SiftDetect::on_detectButton_clicked(void)" ([email protected]@@AAEXXZ) 中被引用

         因此我們要找本質的原因，原因就是c語法和c++語法畢竟不同，所以難免有些相容性問題。看錯誤提示我們知道是在函式_sift_features時報的錯，該函式在Rob Hess的標頭檔案中是被定義的extern型別。而在c的編譯器中，extern的函式檔名編譯後會自動在前面加一杆，”_”；而c++語法中會有函式過載的現象，因此它不是像c那樣直接在前面加”_”,否則會衝突，因此c++編譯器會在其函式名後面加入一些像亂碼的東西(反正連結時是機器去尋找，只要能區分即可)。

         本次實驗的解決方法是在Rob Hess的sift.h等幾個標頭檔案檔案開始處加入語句：

#ifdef __cplusplus

extern "C" {

#endif     

該檔案的結處加入語句：

#ifdef __cplusplus

}

#endif

　　這樣的話編譯器在編譯該檔案時會知道這是C語法，所以其中間檔案命名規則會相應改變，問題也就相應的解決了。

     另外，如果出現錯誤提示：

　　utils.obj:-1: error: LNK2019: 無法解析的外部符號 _va_end，該符號在函式 _fatal_error 中被引用。

　   則在utils.c程式碼中找到va_start( ap, format );和va_end( ap );並將其註釋起來即可。

　　附錄二：