在MATLAB的Computer Vision System Toolbox™工具箱中，有FAST，Harris和Shi & Tomasi 角点检测子和SURF、MSER斑点检测子。这个工具箱还有SURF,FREAK,BRISK,LBP以及HOG描述子。

局部点的检测和提取：

一般用于：1）用于定位图像拼接或三维重建的锚点。2）在不需要图像分割的情况下，紧凑地表示图像内容以进行检测或分类。

1，图像配准与拼接MATLAB案例

第一步：加载需要拼接的图像；

% Load images.
buildingDir = fullfile(toolboxdir('vision'), 'visiondata', 'building');
buildingScene = imageSet(buildingDir);

% Display images to be stitched
montage(buildingScene.ImageLocation)

第二步：存储图像对；在I(n)和I(n-1)之间检测和匹配特征点；估计几何变换T(n)，从I(n)映射到I(n-1)；计算和转换映射I(n)成全景图像T(1)*...T(n-1)*T(n).

% Read the first image from the image set.
I = read(buildingScene, 1);

% Initialize features for I(1)
grayImage = rgb2gray(I);
points = detectSURFFeatures(grayImage);
[features, points] = extractFeatures(grayImage, points);

% Initialize all the transforms to the identity matrix. Note that the
% projective transform is used here because the building images are fairly
% close to the camera. Had the scene been captured from a further distance,
% an affine transform would suffice.
tforms(buildingScene.Count) = projective2d(eye(3));

% Iterate over remaining image pairs
for n = 2:buildingScene.Count

    % Store points and features for I(n-1).
    pointsPrevious = points;
    featuresPrevious = features;

    % Read I(n).
    I = read(buildingScene, n);

    % Detect and extract SURF features for I(n).
    grayImage = rgb2gray(I);
    points = detectSURFFeatures(grayImage);
    [features, points] = extractFeatures(grayImage, points);

    % Find correspondences between I(n) and I(n-1).
    indexPairs = matchFeatures(features, featuresPrevious, 'Unique', true);

    matchedPoints = points(indexPairs(:,1), :);
    matchedPointsPrev = pointsPrevious(indexPairs(:,2), :);

    % Estimate the transformation between I(n) and I(n-1).
    tforms(n) = estimateGeometricTransform(matchedPoints, matchedPointsPrev,...
        'projective', 'Confidence', 99.9, 'MaxNumTrials', 2000);

    % Compute T(1) * ... * T(n-1) * T(n)
    tforms(n).T = tforms(n-1).T * tforms(n).T;
end

开始使用projective2d outputLimits 方法来找到每个变换的输出限制。然后，使用输出限制来自动找到大致位于场景中心的图像。

imageSize = size(I);  % all the images are the same size
% Compute the output limits  for each transform
for i = 1:numel(tforms)
    [xlim(i,:), ylim(i,:)] = outputLimits(tforms(i), [1 imageSize(2)], [1 imageSize(1)]);
end

接下来，计算每个变换的平均极限X，并找到位于中心的图像。这里只使用限制X，因为场景是水平的。如果使用另一组图像，则可能需要使用X和Y限制来找到中心图像。

avgXLim = mean(xlim, 2);

[~, idx] = sort(avgXLim);

centerIdx = floor((numel(tforms)+1)/2);

centerImageIdx = idx(centerIdx);
Tinv = invert(tforms(centerImageIdx));

for i = 1:numel(tforms)
    tforms(i).T = Tinv.T * tforms(i).T;
end

第三步：初始化全景图像

for i = 1:numel(tforms)
    [xlim(i,:), ylim(i,:)] = outputLimits(tforms(i), [1 imageSize(2)], [1 imageSize(1)]);
end

% Find the minimum and maximum output limits
xMin = min([1; xlim(:)]);
xMax = max([imageSize(2); xlim(:)]);

yMin = min([1; ylim(:)]);
yMax = max([imageSize(1); ylim(:)]);

% Width and height of panorama.
width  = round(xMax - xMin);
height = round(yMax - yMin);

% Initialize the "empty" panorama.
panorama = zeros([height width 3], 'like', I);

第四步：创造全景图像

blender = vision.AlphaBlender('Operation', 'Binary mask', ...
    'MaskSource', 'Input port');

% Create a 2-D spatial reference object defining the size of the panorama.
xLimits = [xMin xMax];
yLimits = [yMin yMax];
panoramaView = imref2d([height width], xLimits, yLimits);

% Create the panorama.
for i = 1:buildingScene.Count

    I = read(buildingScene, i);

    % Transform I into the panorama.
    warpedImage = imwarp(I, tforms(i), 'OutputView', panoramaView);

    % Overlay the warpedImage onto the panorama.
    panorama = step(blender, panorama, warpedImage, warpedImage(:,:,1));
end

figure
imshow(panorama)

 

人脸特征点（Face Feature）定位

ASM
http://code.google.com/p/asmlibrary/
http://code.google.com/p/asmlib-opencv/

AAM

flandmark
flandmark是一个开源的C库（与MATLAB的接口）实施面部的地标检测器，静态图像。 检测器参数的学习只在MATLAB写的，也有一部分的flandmark。 flandmark输入是一张脸的图像。 使用人脸检测器礼貌的Eydea识别有限公司提供的参数的学习过程中检测到人脸。 然而，flandmark软件包包括了充分的演示应用程序使用OpenCV的人脸检测器。 （版本1.06）flandmark也可用于，在蟒蛇感谢以下项目： xbob.flandmark 1.0.2

 http://www.ics.uci.edu/~xzhu/face/

Labeled Faces in the Wild

平均合成精确的过滤器
      
PDF andC source code

Matlab机器视觉工具箱（MVTB）教程（3）——使用多幅图像
前言
特征匹配
稀疏立体匹配

前言
单一视图的像素坐标只能把空间点约束在某一条射线上。如果我们可以把同空间点定位在另一张图像中,且已知该图像是从不同的位姿拍摄的,那么就可以确定这个空间点所在的另一条射线。最后,两条射线的相点就是空间点所在的位置一这个过程称为三角测量或者三维重构。本博客介绍使用视觉工具箱对多幅图像进行操作的方法。
特征匹配
特征匹配问题是在两幅不同视角的图像中找出对应于实际空间中同一点的像素坐标。示例如下。
%读取本地图像
im1 = iread( 'eiffel2-1.jpg', 'mono', 'double') ;
im2 = iread( 'eiffel2-2.jpg', 'mono', 'double') ;
%计算每一幅图像的SURF特征
s1 = isurf (im1);
s2 = isurf (im2 );
%基于SURF描述符之间的距离来匹配两组SURF特征:
m = s1.match(s2);
m(1:5)
figure(1);
idisp({im1,im2});
% 在两幅原始图像上叠加这些匹配的一个子集
m.subset(100).plot('w');
m2 = s1. match(s2, 'thresh', []);
figure(2);

特征匹配结果如下图所示。白色线把每一幅图像中的匹配特征连接起来，这些线展示出了一致的模式。把图像的一个单元数组传递给了函数idisp,因此它显示了一个水平方向拼接的单一图像。


稀疏立体匹配
稀疏立体匹配问题是在两幅不同视角的图像中，基于特征匹配和相机内参，完成对场景的三维重构，并计算各特征点的深度。示例如下。
%读取本地图像
im1=iread('garden-l.jpg','double') ;
im2=iread('garden-r.jpg','double') ;
%寻找SURF特征
s1 = isurf(im1) ;
s2 = isurf (im2);
m = s1.match(s2 )
[F,r]= m.ransac(@fmatrix,1e-4,'verbose') ;
cam = CentralCamera( 'image', im1);
figure(1);
%把一部分点的核线叠加显示在左侧图像上:
cam.plot_epiline(F', m.inlier.subset(30).p2, 'r');
figure(3);
idisp(im1);
figure(4);
idisp(im2);
%计算深度,需要先运行starup_rvc.com
%基于已知的焦距长度、像素大小和图像尺寸创建一个CentralCamera对象
cam = CentralCamera('image', im1, 'focal', 5.2e-3, ...
'sensor', [7.18e-3,5.32e-3]);
%本质矩阵通过把相机内在参数作用到基本矩阵来获得
 E=cam.E(F)
 %对本质矩阵进行分解来确定相机运动
sol = cam.invE(E, [0,0,10]');
[R,t] = tr2rt(sol) ;
tr2rpy(R,'deg')
t=0.3*t/t(1);
%得到一齐次变换形式表示的相机2相对于相机1的相对位姿
T=rt2tr(R,t);
%来自相机1的射线
r1 = cam.ray(m(1) .p1)
%来自相机2的射线
r2 = cam.move(T) .ray(m(1).p2)
%计算这两条射线相交点
 [x,e] = r1.intersect(r2) ;
 %从内点集合中选择一个有20个对应点的子集,并绘制
m2 = m.inlier.subset(20) ;
r1=cam.ray(m2.p1);
r2 = cam. move(T).ray( m2.p2 );
%求相交点，P是代表最近点的一个矩阵，每一列是一个点，且最后一行是深度坐标:
[P,e] = r1.intersect(r2) ;
z=P(3,:);%取深度坐标:
figure(2);
%在庭院的图像上叠加到每一个点的距离，即深度坐标
idisp(im1)
plot_point (m.inlier.subset(20).p1,'w*','textcolor', 'w', ...
'printf',{'%.1f',z});

如下如为把一部分点的核线叠加显示在左侧图像（左视角的图像）上的结果。在这里，核线几乎是水平的，且互相平行，这与相机单纯在x方向上的平移运动是一致的。


三维重构结果如图下图所示，特征点处标注着计算的深度。

	

〔此篇介绍Harris角点检测算法〕
作者 | zhangJA来源 | 程序算法实验室
Harris角点检测算法是一个对图像的角点检测，通常在计算机视觉算法中用于提取角点并推断图像特征。它是由Chris Harris和Mike Stephens在1988年对Moravec的转角检测算法进行改进后提出的。
Harris角点检测算法可以计算角度的变化，实现定位；实现图像匹配；
1：原理
原理概述：
Harris角点检测算法的基本思想：使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点。
如下图：part1为平坦区域-任意方向移动，无灰度变换；part2为边缘-沿着边缘方向移动，无灰度变化；part3为角点-沿任意方向移动，明显有灰度变化。
数学描述：
①当窗口发生[u,v]移动时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述如下： 
$E(u,v)=\sum_{x,y\in W}w(x,y)[I(x+u,y+v)-I(x,y)]^2 \tag{1}$
[u,v]是窗口W的偏移量；
(x,y)是窗口W所对应的像素坐标位置，窗口有多大，就有多少个位置；
I(x,y) 是像素坐标位置(x,y)的图像灰度值；
I(x+u,y+v)是像素坐标位置(x+u,y+v)的图像灰度值；
w(x,y) 是窗口函数，最简单情形就是窗口W内的所有像素所对应的w权重系数均为1；
根据上述表达式，当窗口在平坦区域上移动，显然灰度不会发生什么变换，E(u,v)=0；如果窗口处在纹理比较丰富的区域上滑动，那么灰度变化会很大。算法最终思想就是计算灰度发生较大变化时所对应的位置，此处的变化大小是指任意方向上的滑动，并非单一个方向。
②由泰勒一阶展开公式对\tag{1}：
$f(x+u,y+v)\approx f(x,y)+uf_x(x,y)+vf_y(x,y) \tag{2}$
代入①得：
$E(u,v)=\sum_{x,y\in W}w(x,y)[I(x+u,y+v)-I(x,y)]^2\approx\sum_{x,y\in W}w(x,y)[I(x,y)+uI_x+vI_y-I(x,y)]^2$
$=\sum_{x,y\in W}w(x,y)[u^2I_x^2+2uvI_xI_y+v^2I_y^2]=\sum_{x,y\in W}w(x,y)\begin{bmatrix} u&v \end{bmatrix}\begin{bmatrix} I_x^2&I_xI_y \\ I_xI_y&&I_y^2 \end{bmatrix}\begin{bmatrix} u\\v  \end{bmatrix}=\begin{bmatrix} u&v \end{bmatrix}(\sum_{x,y\in W}w(x,y)\begin{bmatrix} I_x^2&&I_xI_y \\ I_xI_y&&I_y^2 \end{bmatrix})\begin{bmatrix} u\\v  \end{bmatrix} \tag{3}$
③令[]=M，即：
$\sum_{x,y\in W}w(x,y)\begin{bmatrix} I_x^2&&I_xI_y \\ I_xI_y&&I_y^2 \end{bmatrix}=M \tag{4}$
整理得出矩阵表达形式：
$E(u,v)\approx  \begin{bmatrix} u&v  \end{bmatrix}M\begin{bmatrix} u\\v  \end{bmatrix}\tag{5}$
M是梯度协方差矩阵\tag{4}；
\tag{4}中Ix ,Iy分别为窗口内像素点(x,y)在x方向上和y方向上的梯度值；
④令\tag{5}中梯度协方差矩阵：
代入\tag{5}得：
$E(u,v)\approx Au^2+2Cuv+Bv^2 \tag{6}
其中：
以上\tag{6}式为椭圆函数，其长宽由M的特征值λ1,λ2决定，(椭圆的长短轴正是矩阵M特征值平方根的倒数)，椭圆的方向是由M的特征向量决定的，椭圆方程为：
$\begin{bmatrix} u&v  \end{bmatrix}M\begin{bmatrix} u\\v  \end{bmatrix}=1 \tag{7}$
⑤Harris角点评价系数：
$R=det(M)-k(trace(M))^2 \tag{8}$
det(M)=λ1λ2
trace(M)=λ1+λ2
k是指定值(经验值需要实验确定大小，通常0.04~0.06)
⑥特征向量评价系数：
$R=\lambda_1\lambda_2-k(\lambda_1+\lambda_2)^2 \tag{9}$
⑦根据M的两个特征向量λ1、λ2的大小对图像点进行分类：平坦、边缘、角点 如果λ1、λ2都很小，图像窗口在所有方向上移动都无明显灰度变化则为平坦区域；如果λ1、λ2都很大，图像窗口在所有方向上移动都产生明显灰度变化则为角点区域；
⑧如何度量角点 ：从\tag{8}、\tag{9}可以看出：R只与M的特征值有关；R为大数值正数即角点；R为大数值负数即边缘；R为小数值即平坦区域，如图：
2：步骤
计算图像I(x,y)在x,y两个方向的梯度Ix,Iy;
计算图像两个方向梯度的乘积(点乘)；
使用高斯函数对(Ix)^2、(Iy)^2、IxIy进行高斯加权(取σ=2,ksize=3)，计算中心点(x,y)在窗口W对应的矩阵M；
计算每个像素点(x,y)处的Harris响应值R；
过滤大于某阈值t的R值；
3：函数介绍
①检测Harris角点函数：
void cv::cornerHarris(InputArray src,OutputArray dst,int blockSize,int ksize,double k,int borderType=BORDER_DEFAULT)
src：待检测Harris角点的输入图像，图像必须是CV_8U或者CV_32F的单通道灰度图像；
dst：存放Harris评价系数的R矩阵，数据类型为CV_32F的单通道图像，与输入图像具有相同的尺寸；
blockSize：邻域大小；
ksize：Sobel算子的半径，用于得到梯度信息；
k：计算Harris评价系数R的权重系数;
borderType：像素外推算法标志;
②绘制Harris角点函数:
void cv::drawKeypoints(InoutArray image,const std::vector & keypoints,InputOutputArray outImage,const Scalar & color=Scalar::all(-1),DrawMatchesFlags flags=DrawMatchesFlags::DEFAULT)
综上，即使原论文大神Chris Harris、Mike Stephens对角点展开了全新的认识，以及利用数学工具对此进行脑洞操作，看似眼花缭乱，但是，OpenCV将此算法封装成类，可直接使用即可。
4：代码实现
代码如下：
#include 
#include 
using namespace cv;
using namespace std;
int main()
{
    Mat TianTian=imread("/home/zja/Pictures/TianTian.jpg");
    if(TianTian.empty())
    {
        cout<        return -1;
    }
    Mat gray;
    cvtColor(TianTian,gray,COLOR_BGR2GRAY);
    Mat harris;
    int blockSize=2;//邻域半径
    int apertureSize=3;
    cornerHarris(gray,harris,blockSize,apertureSize,0.04);
    Mat harris_n;
    normalize(harris,harris_n,0,255,NORM_MINMAX);
    convertScaleAbs(harris_n,harris_n);
    vector keyPoints;
    for(int row=0;row    {
        for(int col=0;col        {
            int R=harris_n.at(row,col);
            if(R>125)
            {
                //向角点存入KeyPoint中
                KeyPoint keyPoint;
                keyPoint.pt.x=row;
                keyPoint.pt.y=col;
                keyPoints.push_back(keyPoint);
            }
        }
    }
    drawKeypoints(TianTian,keyPoints,TianTian);
    imshow("系数矩阵",harris_n);
    imshow("Harris角点",TianTian);
waitKey(0);
return 0;
}
5：运行效果
运行结果如下：
特征角点被以不同颜色的圈圈出，如下图示：
参考资料
   OpenCV-Harris Corner Detection
https://docs.opencv.org/master/dc/d0d/tutorial_py_features_harris.html
wiki/Harris_Corner_Detectorhttps://en.wikipedia.org/wiki/Harris_Corner_Detector
角点检测----Harrishttps://zhuanlan.zhihu.com/p/87376934
Attention！下期预告-):- ！
-----------------------------------〔Harris改进算法：Shi-Tomas角点检测〕
大家好，这是程序算法实验室订阅号，欢迎各位关注！本人在此订阅号上持续分享关于Linux、DeepLearning、OpenCV、C++、SLAM、Python等技术干货。
? 长按识别关注『程序算法实验室』！