目录

demo.c

CMakeLists.txt

效果

注

直接上代码吧：

demo.c

#include <iostream>
#include <opencv2/highgui.hpp>
#include <opencv2/core.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    int64 t1, t2;
    double tkpt, tdes, tmatch_bf, tmatch_knn;

    // 1. 读取图片
    const cv::Mat image1 = cv::imread("../../images/1.png", 0); //Load as grayscale
    const cv::Mat image2 = cv::imread("../../images/2.png", 0); //Load as grayscale
    std::vector<cv::KeyPoint> keypoints1;
    std::vector<cv::KeyPoint> keypoints2;

    cv::Ptr<cv::SiftFeatureDetector> sift = cv::SiftFeatureDetector::create();
    // 2. 计算特征点
    t1 = cv::getTickCount();
    sift->detect(image1, keypoints1);
    t2 = cv::getTickCount();
    tkpt = 1000.0*(t2-t1) / cv::getTickFrequency();
    sift->detect(image2, keypoints2);


    // 3. 计算特征描述符
    cv::Mat descriptors1, descriptors2;
    t1 = cv::getTickCount();
    sift->compute(image1, keypoints1, descriptors1);
    t2 = cv::getTickCount();
    tdes = 1000.0*(t2-t1) / cv::getTickFrequency();
    sift->compute(image2, keypoints2, descriptors2);


    // 4. 特征匹配
    cv::Ptr<cv::DescriptorMatcher> matcher = cv::DescriptorMatcher::create(cv::DescriptorMatcher::BRUTEFORCE);
    // cv::BFMatcher matcher(cv::NORM_L2);

    // (1) 直接暴力匹配
    std::vector<cv::DMatch> matches;
    t1 = cv::getTickCount();
    matcher->match(descriptors1, descriptors2, matches);
    t2 = cv::getTickCount();
    tmatch_bf = 1000.0*(t2-t1) / cv::getTickFrequency();
    // 画匹配图
    cv::Mat img_matches_bf;
    drawMatches(image1, keypoints1, image2, keypoints2, matches, img_matches_bf);
    imshow("bf_matches", img_matches_bf);

    // (2) KNN-NNDR匹配法
    std::vector<std::vector<cv::DMatch> > knn_matches;
    const float ratio_thresh = 0.7f;
    std::vector<cv::DMatch> good_matches;
    t1 = cv::getTickCount();
    matcher->knnMatch( descriptors1, descriptors2, knn_matches, 2);
    for (auto & knn_matche : knn_matches) {
        if (knn_matche[0].distance < ratio_thresh * knn_matche[1].distance) {
            good_matches.push_back(knn_matche[0]);
        }
    }
    t2 = cv::getTickCount();
    tmatch_knn = 1000.0*(t2-t1) / cv::getTickFrequency();

    // 画匹配图
    cv::Mat img_matches_knn;
    drawMatches( image1, keypoints1, image2, keypoints2, good_matches, img_matches_knn, cv::Scalar::all(-1),
                 cv::Scalar::all(-1), std::vector<char>(), cv::DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
    cv::imshow("knn_matches", img_matches_knn);
    cv::waitKey(0);



    cv::Mat output;
    cv::drawKeypoints(image1, keypoints1, output);
    cv::imwrite("sift_image1_keypoints.jpg", output);
    cv::drawKeypoints(image2, keypoints2, output);
    cv::imwrite("sift_image2_keypoints.jpg", output);


    std::cout << "图1特征点检测耗时(ms)：" << tkpt << std::endl;
    std::cout << "图1特征描述符耗时(ms)：" << tdes << std::endl;
    std::cout << "BF特征匹配耗时(ms)：" << tmatch_bf << std::endl;
    std::cout << "KNN-NNDR特征匹配耗时(ms)：" << tmatch_knn << std::endl;
    return 0;
}

CMakeLists.txt

cmake_minimum_required(VERSION 3.22)
project(demo)
find_package(OpenCV REQUIRED)

IF(UNIX)
    SET(CMAKE_C_FLAGS_DEBUG "${CMAKE_C_FLAGS} -g -O0  -Wall -Wextra -Wunused-variable -DDEBUG -D_DEBUG")
    SET(CMAKE_CXX_FLAGS_DEBUG "${CMAKE_CXX_FLAGS} -O0 -g  -Wall -Wextra -Wunused-variable -DDEBUG -D_DEBUG")
ENDIF(UNIX)


set(CMAKE_CXX_STANDARD 20)

add_executable(demo main.cpp)
target_link_libraries(demo ${OpenCV_LIBS})

效果

注

其他算法如SURF、AKAZE等可类似修改，但注意SIFT这些是浮点数特征描述符，而ORB这些是二进制特征描述符，因此在特征匹配时注意区分是L2还是Hamming。

尺度不变特征变换匹配算法 Scale Invariant Feature Transform(SIFT) 是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe在1999年所发表，2004年完善总结。

基本步骤：

1. 尺度空间的极值检测
2. 删除不好的极值点，留下来的就是特征点
3. 特征方向幅值 
4. 特征点描述

step1:差分高斯金字塔

图像金字塔、高斯金字塔、差分高斯金字塔

step1.5:尺度空间的极值检测

图像金字塔、高斯金字塔、差分高斯金字塔尾部

step2:删除不好的极值点

(求导链接)

step3-去除边缘效应

由于DoG函数在图像边缘有较强的边缘响应，而边缘上的极值点抗噪性较差，因此我们还需要排除边缘响应。为什么边缘上的点不好呢？一方面图像边缘上的点是很难定位的，具有定位歧义性；另一方面这样的点很容易受到噪声的干扰而变得不稳定。

怎么消除这些在边缘的极值点呢？

假设图像像素如图所示，边缘位置像素值急剧变化

 一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率(红色)，而在垂直边缘的方向有较小的主曲率（紫色）。

对于分布在边缘上附近的极值点，它们的较大的主曲率和较小的主曲率之比，一般情况下要比非边缘点的比值大

根据这种思想，我们可以设一个比值的阈值，当比值大于这个阈值就认为极值点在边缘上。

参考公式：--------------------------------------------------------------------------------

 -------------------------------------------------------------------------------------

step4-确定关键点(极值点)方向

为什么要确定方向，确定啥方向？

为了使描述符具有旋转不变性，需要利用图像的局部特征为给每一个关键点分配一个基准方向。这样就算目标旋转，其他特征都相对与基准方向，并不会因为目标旋转而改变。那么怎么求这个基准方向呢？

统计的是以该特征点为圆心，以该特征点所在的高斯图像的尺度 σ 的4.5倍为半径的范围内像素点。

在此区域内做1.5σ的高斯滤波(高斯加权，离圆心也就是关键点近的幅值所占权重较高).

当关键点有两个方向，一个主方向，一个辅方向(梯度幅值>=80%主方向梯度幅值)，

那么把这个关键点看成两个关键点，只不过这两个关键点的坐标和σ一样，只是方向不一样.

至此，我们计算出的带有位置、尺度和方向的关键点也就是sift特征点。

关键点描述

step5. 关键点描述

现在我们算出来的特征点，都是在固定在图片坐标系中的特征描述。我们需要脱离图片坐标系的固定限制，提取出特征点的局部描述，这样就可以与其他图片的相似的部分去作对比，我们来看看怎么提取局部描述子。

生成局部描述符的思路就是：通过对关键点的周围区域分块，计算块内的梯度直方图，生成具有独特性的向量，这个向量应该是该区域图像信息的一种抽象，并且具有唯一性。