图像处理特征点提取_图像处理是提取什么图像特征 - CSDN
  • 图像处理特征提取

    2020-06-01 09:20:26
    知乎上看到一个话题——目前火热的 Deep Learning 会灭绝传统的 SIFT / SURF 特征提取方法吗? 由于之前研究过SIFT和HOG这两种传统的特征提取方法,故本篇文章先对SIFT和HOG作一综述,并比较二者优缺点。之后,将...

    【黑暗之魂】 史诗向/神话/无火的余烬

     

     

     

    知乎上看到一个话题——
    目前火热的 Deep Learning 会灭绝传统的 SIFT / SURF 特征提取方法吗?


    由于之前研究过SIFT和HOG这两种传统的特征提取方法,故本篇文章先对SIFT和HOG作一综述,并比较二者优缺点。之后,将SIFT和HOG同神经网络特征提取做一对比,浅谈对上述问题的看法。如果能写得快一些,再简单介绍其他几种传统的特征提取的方法——SURF、ORB、LBP、HAAR等等。


    目录

    [1] SIFT(尺度不变特征变换)
    [2] HOG(方向梯度直方图)
    [3] SIFT和HOG的比较
    [4] SIFT/HOG与神经网络特征提取的比较
    [5] 其他传统特征提取的方法(SURF、ORB、LBP、HAAR)


    先对几个概念和问题做一个解释:

    • 图像为什么要灰度化?
    1. 识别物体,最关键的因素是梯度(SIFT/HOG),梯度意味着边缘,这是最本质的部分,而计算梯度,自然就用到灰度图像了,可以把灰度理解为图像的强度。
    2. 颜色,易受光照影响,难以提供关键信息,故将图像进行灰度化,同时也可以加快特征提取的速度。
    • 仿射不变性
    • 平面上任意两条线,经过仿射变换后,仍保持原来的状态(比如平行的线还是平行,相交的线夹角不变等)

      什么是局部特征?局部特征应该具有的特点?

       

     

    局部特征从总体上说是图像或在视觉领域中一些有别于其周围的地方;局部特征通常是描述一块区域,使其能具有高可区分度;局部特征的好坏直接会决定着后面分类、识别是否会得到一个好的结果。

    局部特征应该具有的特点: 可重复性、可区分性、准确性、有效性(特征的数量、特征提取的效率)、鲁棒性(稳定性、不变性)。


    [1] SIFT(尺度不变特征变换)

    1.1 SIFT特征提取的实质

    在不同的尺度空间上查找关键点(特征点),并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出、不会因光照、仿射变换和噪音等因素而变化的点,如角点、边缘点、暗区的亮点及亮区的暗点等。

    1.2 SIFT特征提取的方法

    1. 构建DOG尺度空间:

    模拟图像数据的多尺度特征,大尺度抓住概貌特征,小尺度注重细节特征。通过构建高斯金字塔(每一层用不同的参数σ做高斯模糊(加权)),保证图像在任何尺度都能有对应的特征点,即保证尺度不变性

    2. 关键点搜索和定位:

    确定是否为关键点,需要将该点与同尺度空间不同σ值的图像中的相邻点比较,如果该点为max或min,则为一个特征点。找到所有特征点后,要去除低对比度和不稳定的边缘效应的点,留下具有代表性的关键点(比如,正方形旋转后变为菱形,如果用边缘做识别,4条边就完全不一样,就会错误;如果用角点识别,则稳定一些)。去除这些点的好处是增强匹配的抗噪能力和稳定性。最后,对离散的点做曲线拟合,得到精确的关键点的位置和尺度信息。

    3. 方向赋值:

    为了实现旋转不变性,需要根据检测到的关键点的局部图像结构为特征点赋值。具体做法是用梯度方向直方图。在计算直方图时,每个加入直方图的采样点都使用圆形高斯函数进行加权处理,也就是进行高斯平滑。这主要是因为SIFT算法只考虑了尺度和旋转不变形,没有考虑仿射不变性。通过高斯平滑,可以使关键点附近的梯度幅值有较大权重,从而部分弥补没考虑仿射不变形产生的特征点不稳定。注意,一个关键点可能具有多个关键方向,这有利于增强图像匹配的鲁棒性

    4. 关键点描述子的生成:

    关键点描述子不但包括关键点,还包括关键点周围对其有贡献的像素点。这样可使关键点有更多的不变特性,提高目标匹配效率。在描述子采样区域时,需要考虑旋转后进行双线性插值,防止因旋转图像出现白点。同时,为了保证旋转不变性,要以特征点为中心,在附近领域内旋转θ角,然后计算采样区域的梯度直方图,形成n维SIFT特征矢量(如128-SIFT)。最后,为了去除光照变化的影响,需要对特征矢量进行归一化处理。

    1.3 SIFT特征提取的优点

    1. SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;
    2. 独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配;
    3. 多量性,即使少数的几个物体也可以产生大量的SIFT特征向量;
    4. 高速性,经优化的SIFT匹配算法甚至可以达到实时的要求;
    5. 可扩展性,可以很方便的与其他形式的特征向量进行联合;
    6. 需要较少的经验主义知识,易于开发。

    1.4 SIFT特征提取的缺点

    1. 实时性不高,因为要不断地要进行下采样和插值等操作;
    2. 有时特征点较少(比如模糊图像);
    3. 对边缘光滑的目标无法准确提取特征(比如边缘平滑的图像,检测出的特征点过少,对圆更是无能为力)。

    1.5 SIFT特征提取可以解决的问题:

    目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决:

    1. 目标的旋转、缩放、平移(RST)
    2. 图像仿射/投影变换(视点viewpoint)
    3. 光照影响(illumination)
    4. 目标遮挡(occlusion)
    5. 杂物场景(clutter)
    6. 噪声

    近来不断有人改进,其中最著名的有 SURF(计算量小,运算速度快,提取的特征点几乎与SIFT相同)和 CSIFT(彩色尺度特征不变变换,顾名思义,可以解决基于彩色图像的SIFT问题)。


    [2] HOG(方向梯度直方图)

    2.1 HOG特征提取的实质

    通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。

    2.2 HOG特征提取的方法

    1. 灰度化;
    2. 采用Gamma校正法对输入图像进行颜色空间的标准化(归一化),目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰
    3. 计算图像每个像素的梯度(包括大小和方向),主要是为了捕获轮廓信息,同时进一步弱化光照的干扰
    4. 将图像划分成小cells(例如6*6像素/cell);
    5. 统计每个cell的梯度直方图(不同梯度的个数),即可形成每个cell的descriptor;
    6. 将每几个cell组成一个block(例如3*3个cell/block),一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。
    7. 将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image(你要检测的目标)的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。

    2.3 HOG特征提取特点

    1. 由于HOG是在图像的局部方格单元上操作,所以它对图像几何的和光学的形变都能保持很好的不变性,这两种形变只会出现在更大的空间领域上。
    2. 在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下,只要行人大体上能够保持直立的姿势,可以容许行人有一些细微的肢体动作,这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。

    [3] SIFT和HOG的比较

    共同点:都是基于图像中梯度方向直方图的特征提取方法

    不同点:

    SIFT 特征通常与使用SIFT检测器得到的兴趣点一起使用。这些兴趣点与一个特定的方向和尺度相关联。通常是在对一个图像中的方形区域通过相应的方向和尺度变换后,再计算该区域的SIFT特征。

    HOG特征的单元大小较小,故可以保留一定的空间分辨率,同时归一化操作使该特征对局部对比度变化不敏感。

    结合SIFT和HOG方法,可以发现SIFT对于复杂环境下物体的特征提取具有良好的特性;而HOG对于刚性物体的特征提取具有良好的特性。

    笔者曾做过一个自然场景分类的实验,发现SIFT的准确率比HOG高,而如果检测像人这种刚性的object,HOG的表现要比SIFT好。


    [4] SIFT/HOG与神经网络特征提取的比较

    众所周知,随着深度学习的发展,通过神经网络提取特征得到了广泛的应用,那么,神经网络提取的特征与传统的SIFT/HOG等特征提取方法有什么不同呢?

    4.1 神经网络提取到的特征

    我们知道,对于一副图像,像素级的特征没有任何价值,而如果特征是一个具有结构性(或者说有含义)的时候,比如摩托车是否具有车把手,是否具有车轮,就很容易把摩托车和非摩托车区分,学习算法才能发挥作用。

    早期,两个科学家Bruno Olshausen和 David Field通过实验研究了这个问题,发现一个复杂图像往往由一些基本结构组成。比如下图:一个图可通过用64种正交的edges(可以理解成正交的基本结构)来线性表示。比如样例的x可以用1-64个edges中的三个按照0.8,0.3,0.5的权重调和而成。而其他基本edges没有贡献,均为0 。


    具体实验可以参考文章:
    Deep Learning(深度学习)关于特征

    小块的图形可以由基本edge构成,更结构化,更复杂的,就需要更高层次的特征表示,高层表达由低层表达的组合而成。如图所示:


    这就是神经网络每层提取到的特征。由于是通过神经网络自动学习到了,因此也是无监督的特征学习过程(Unsupervised Feature Learning) 。直观上说,就是找到make sense的小patch再将其进行combine,就得到了上一层的feature,递归地向上learning feature。在不同object上做training是,所得的edge basis 是非常相似的,但object parts和models 就会completely different了。

     

    4.2 传统特征提取方法与神经网络特征提取的比较

    观点1:传统特征提取方法的研究过程和思路是非常有用的,因为这些方法具有较强的可解释性,它们对设计机器学习方法解决此类问题提供启发和类比。有部分人认为(也有部分人反对)现有的卷积神经网络与这些特征提取方法有一定类似性,因为每个滤波权重实际上是一个线性的识别模式,与这些特征提取过程的边界与梯度检测类似。同时,池化(Pooling)的作用是统筹一个区域的信息,这与这些特征提取后进行的特征整合(如直方图等)类似。通过实验发现卷积网络开始几层实际上确实是在做边缘和梯度检测。不过事实上卷积网络发明的时候,还没有这些特征提取方法。

    观点2: 深度学习的数据需求量大对于视觉来说是个伪命题。许多研究成果已经表明深度学习训练得到的模型具有很强的迁移能力,因此在大数据集上训练完成的模型只要拿过来在小数据集上用就可以,不需要完全重新训练。这种方式在小数据集上的结果往往也比传统方法好。

    观点3:还是需要重新训练的,只能说大数据集训练好的模型提供了一个比较好的参数初始化。而且卷积前几层提取特征仅仅是对分类问题是对的,但是对于一些dense prediction还是不一样,毕竟提取特征不一定有用,还是task dependent。

    观点4:深度学习是一种自学习的特征表达方法,比SIFT/HOG这些依靠先验知识设计的feature的表达效果高。早在13年大家都发现神经网络的最后一层的local特征和SIFT性质差不多,但是表达能力强太多。SIFT能做的事情CNN都能做,表达效果也强,那深度学习取代SIFT是迟早的事情(或者说已经发生的事情)。深度神经网络识别率的提高不需要建立在需求大量训练样本的基础上,拿pre-train好的模型直接用就可以了。在一些没有训练样本的应用(图像分割(image stithing)/ 立体匹配(stereo mathing)) ,可以把卷积层的activation提取出来做stitching的local feature(感觉是一个可以探索的方向)。未来还有SIFT/SURF这种固定特征提取算法的生存空间吗?除非是嵌入式这种计算资源极端受限的情况,但是现在大家都在试着implement CNN FPGA甚至ASIC了。

    观点5:2016年ECCV上举办的一个local feature的工作会,发现在核心匹配问题上,CNN并没有什么突破性的进展。在Oxford大学的VGG组提供的Hpatch数据集上,发现rootsiftpca效果最好,如图:


    那么提出两个问题:(1)现在流行的特征学习方法siamese或triplet等结构是否缺失了什么? (2)虽然CNN可以挖掘patch里面包含的信息并建立对于复杂几何和光照变化的不变性,但是这种学习到的不变性是否过度依赖于数据而无法有效泛化到真实匹配场景中所遇到的影像之间的复杂变化呢?

     


    [5] 其他传统特征提取的方法(SURF、ORB、LBP、HAAR)

    SURF、ORB、LBP可以参考文章:
    图像特征检测描述(一):SIFT、SURF、ORB、HOG、LBP特征的原理概述及OpenCV代码实现

    5.1 SURF

    前面提到SITF的缺点是如果不借助硬件加速或专门的图像处理器很难达到实现,所以人们就要想办法对SITF算子进行改进,SURF算子便是对SIFT的改进,不过改进之后在算法的运行时间上还是没有质的飞跃。后面要介绍的ORB特征描述算子在运行时间上才是一种质的飞跃。

    SURF主要是把SIFT中的某些运算作了简化。SURF把SIFT中的高斯二阶微分的模板进行了简化,使得卷积平滑操作仅需要转换成加减运算,这样使得SURF算法的鲁棒性好且时间复杂度低。SURF最终生成的特征点的特征向量维度为64维。

    5.2 ORB

    ORB特征描述算法的运行时间远优于SIFT与SURF,可用于实时性特征检测。ORB特征基于FAST角点的特征点检测与描述技术,具有尺度与旋转不变性,同时对噪声及透视仿射也具有不变性,良好的性能使得用ORB在进行特征描述时的应用场景十分广泛。

    ORB特征检测主要分为以下两个步骤:

    ①方向FAST特征点检测: FAST角点检测是一种基于机器学习的快速角点特征检测算法,具有方向的FAST特征点检测是对兴趣点所在圆周上的16个像素点进行判断,若判断后的当前中心像素点为暗或亮,将候定其是否为角点。FAST角点检测计算的时间复杂度小,检测效果突出。FAST角点检测为加速算法实现,通常先对回周上的点集进行排序,排序使得其计算过程大大得到了优化。FAST对多尺度特性的描述是还是通过建立图像金字塔实现的,而对于旋转不变性即方向的特征则引入灰度质心法用于描述特征点的方向。

    ②BRIEF特征描述: BRIEF描述子主要是通过随机选取兴趣点周围区域的若干点来组成小兴趣区域,将这些小兴趣区域的灰度二值化并解析成二进制码串,将串特征作为该特征点的描述子,BRIEF描述子选取关键点附近的区域并对每一位比较其强度大小,然后根据图像块中两个二进制点来判断当前关键点编码是0还是1.因为BRIEF描述子的所有编码都是二进制数的,这样就节省了计算机存储空间。

    5.3 LBP

    LBP(Local Binary Pattern),局部二值模式是一种描述图像局部纹理的特征算子,具有旋转不变性与灰度不变性等显著优点。LBP特征描述的是一种灰度范围内的图像处理操作技术,针对的是输入源为8位或16位的灰度图像。LBP特征是高效的图像特征分析方法,经过改进与发展已经应用于多个领域之中,特别是人脸识别、表情识别、行人检测领域已经取得了成功。LBP特征将窗口中心点与邻域点的关系进行比较,重新编码形成新特征以消除对外界场景对图像的影响,因此一定程度上解决了复杂场景下(光照变换)特征描述问题。

    LBP算法根据窗口领域的不同分为经曲LBP和圆形LBP两种。下面分别介绍:

    ①经典LBP: 经典LBP算子窗口为3×3的正方形窗口,以窗口中心像素为阈值,将其相邻8领域像素灰度与中心像素值比较,若中心像素值小于周围像素值,则该中心像素位置被标记为1,否则为0(显然这种规则下,对于中心点大于或等于这两种情况,算法无法区分,后续经过改进引入LBP+与LBP-因子用来区分这两种情况)。图像经过这种遍历操作后,图像就被二值化了,每一个窗口中心的8邻域点都可以由8位二进制数来表示,即可产生256种LBP码,这个LBP码值可以用来反映窗口的区域纹理信息。LBP具体在生成的过程中,先将图像划分为若干个子区域,子区域窗口可根据原图像的尺寸进行调整,而不一定非得为3×3的正方形窗口。一般对于512×640的图像,子区域窗口区域选取大小为16×16。

    ②圆形LBP: 经典LBP用正方形来描述图像的纹理特征,其缺点是难以满足不同尺寸和频率的需求。Ojala等人对经典LBP进行了改进,提出了将3×3的正方形窗口领域扩展到任意圆形领域。由于圆形LBP采样点在圆形边界上,那么必然会导致部分计算出来的采样点坐标不是整数,因此这里就需要对得到的坐标像素点值进行处理,常用的处理方法是最近邻插值或双线性插值。

    放一张SIFT/HOG/LBP优缺点、适用范围对比图:

     

    5.4 HAAR

    人脸检测最为经典的算法Haar-like特征+Adaboost。这是最为常用的物体检测的方法(最初用于人脸检测),也是用的最多的方法。

    训练过程: 输入图像->图像预处理->提取特征->训练分类器(二分类)->得到训练好的模型;

    测试过程:输入图像->图像预处理->提取特征->导入模型->二分类(是不是所要检测的物体)。

    Haar-like特征是很简单的,无非就是那么几种,如两矩形特征、三矩形特征、对角特征。后来,还加入了边缘特征、线特征、中心环绕特征等。使用积分图可以加速计算特征。最后,使用集成的方法Adaboost进行训练。


    本篇文章到此结束,有什么错误欢迎指正!


    补充:
    1、SIFT / HOG 不同点: SIFT提取的关键点是角点,HOG提取的是边缘特征。
    2、传统特征提取 / CNN特征提取不同点:传统特征提取方法的检测算子一般是人为设计好的,是经过大量的先验知识总结得到的;CNN特征提取相当于在训练一个个filter(过滤器、卷积核),这些filter相当于传统特征提取方法中的检测算子。因此,CNN特征提取是利用神经网络的自主学习得到的。

     

    转自:图像处理之特征提取

     

    展开全文
  • 特征点提取-图像处理

    2017-07-07 10:37:54
    关于图像特征点提取

    关于图像特征点提取

    图像处理

    模拟图像,数字图像,数字图像处理

    简单的图像成像模型:

       一幅图像可定义成一个二维函数f(x,y)。由于幅值f实质上反映了图像源的辐射能量,所以f(x,y)一定是非零且有限的,也即有: 0<f(x,y)<A0  
        图像是由于光照射在景物上,并经其反射或透射作用于人眼的结果。所以:f(x,y)可由两个分量来表征,一是照射到观察景物的光的总量,二是景物反射或透射的光的总量.     设i(x,y)表示照射到观察景物表面(x,y)处的白光强度,r(x,y)表示观察景物表面(x,y)处的平均反射(或透射)系数,则有:   
             f(x,y)=i(x,y)r(x,y)             
    其中:   0 < i(x,y) < A1                    (2.4)          0(全吸收) ≤ r(x,y) ≤ 1(全反射)  
    对于消色光图像(有些文献称其为单色光图像),f(x,y)表示图像在坐标点(x,y)的灰度值l,且: l=f(x,y)                      (2.5) 
    这种只有灰度属性没有彩色属性的图像称为灰度图像。 由式(2.4),显然有:   
             minL≤l≤maxL                  (2.6)     区间],[maxminLL称为灰度的取值范围。 
    在实际中,一般取minL的值为0,这样,灰度的取值范围就可表示成[0,maxL]


    *计算机图像处理

    利用计算机对数字图像进行(去除噪声、增强、复原、分割、特征提取、识别等)系列

    操作,从而获得某种预期的结果的技术。


    *马赫带效应 
        明暗交界处亮处更亮、暗处更暗的现象 


    *图像的质量评价 
    1、层次:实际的灰度级数 
    2、清晰度:与亮度、对比度、尺寸、细微层次、饱和度等有关

    3、对比度=最大亮度/最小亮度

    展开全文
  • 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的是否属于一个图像特征特征提取的结果是把图像上的分为不同的子集,这些子集往往属于孤立的、连续的曲线或者...

    一、特征提取概念

    特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。

    二、特征概述

    至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分,它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”:同一场景的不同图像所提取的特征应该是相同的
    特征提取检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分,那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算,输入图像一般先在尺度空间中被平滑,此后通过局部导数运算来计算图像的一个或多个特征。
    有时,假如特征提取需要许多的计算时间,而可以使用的时间有限制,一个高层次算法可以用来控制特征提取阶层,这样仅图像的部分被用来寻找特征。
    由于许多计算机图像算法使用特征提取作为其初级计算步骤,因此有大量特征提取算法被发展,其提取的特征各种各样,它们的计算复杂性和可重复性也非常不同。
    下面是用来描述图像的一些基本概念:

    1.边缘

    边缘是组成两个图像区域之间边界(或边缘)的像素。一般一个边缘的形状可以是任意的,还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。局部地看边缘是一维结构。

    2.角

    角是图像中点似的特征,在局部它有两维结构。早期的算法首先进行边缘检测,然后分析边缘的走向来寻找边缘突然转向(角)。后来发展的算法不再需要边缘检测这个步骤,而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。

    3.区域

    与角不同的是区域描写一个图像中的一个区域性的结构,但是区域也可能仅由一个像素组成,因此许多区域检测也可以用来监测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。区域检测可以被想象为把一张图像缩小,然后在缩小的图像上进行角检测。

    4.脊

    长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线,此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路,在医学图像中它被用来分辨血管。
    特征被检测后它可以从图像中被抽取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。

    三、常用图像特征概述

    常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。

    1.颜色特征

    1.1基本概念
    颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征,此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感,所以颜色特征不能很好地捕捉图像中对象的局部特征。另外,仅使用颜色特征查询时,如果数据库很大,常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法,其优点是不受图像旋转和平移变化的影响,进一步借助归一化还可不受图像尺度变化的影响,基缺点是没有表达出颜色空间分布的信息。
    1.2常用的特征提取与匹配方法
    (1) 颜色直方图
    其优点在于:它能简单描述一幅图像中颜色的全局分布,即不同色彩在整幅图像中所占的比例,特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于:它无法描述图像中颜色的局部分布及每种色彩所处的空间位置,即无法描述图像中的某一具体的对象或物体。
    最常用的颜色空间:RGB颜色空间、HSV颜色空间。
    颜色直方图特征匹配方法:直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。
    (2) 颜色集
    颜色直方图法是一种全局颜色特征提取与匹配方法,无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从 RGB颜色空间转化成视觉均衡的颜色空间(如 HSV 空间),并将颜色空间量化成若干个柄。然后,用色彩自动分割技术将图像分为若干区域,每个区域用量化颜色空间的某个颜色分量来索引,从而将图像表达为一个二进制的颜色索引集。在图像匹配中,比较不同图像颜色集之间的距离和色彩区域的空间关系
    (3) 颜色矩
    这种方法的数学基础在于:图像中任何的颜色分布均可以用它的矩来表示。此外,由于颜色分布信息主要集中在低阶矩中,因此,仅采用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)就足以表达图像的颜色分布。
    (4) 颜色聚合向量
    其核心思想是:将属于直方图每一个柄的像素分成两部分,如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值,则该区域内的像素作为聚合像素,否则作为非聚合像素。

    2.纹理特征

    2.1基本概念
    纹理特征也是一种全局特征,它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性,并不能完全反映出物体的本质属性,所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算。在模式匹配中,这种区域性的特征具有较大的优越性,不会由于局部的偏差而无法匹配成功。作为一种统计特征,纹理特征常具有旋转不变性,并且对于噪声有较强的抵抗能力。但是,纹理特征也有其缺点,一个很明显的缺点是当图像的分辨率变化的时候,所计算出来的纹理可能会有较大偏差。另外,由于有可能受到光照、反射情况的影响,从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。例如,水中的倒影,光滑的金属面互相反射造成的影响等都会导致纹理的变化。由于这些不是物体本身的特性,因而将纹理信息应用于检索时,有时这些虚假的纹理会对检索造成“误导”。 在检索具有粗细、疏密等方面较大差别的纹理图像时,利用纹理特征是一种有效的方法。但当纹理之间的粗细、疏密等易于分辨的信息之间相差不大的时候,通常的纹理特征很难准确地反映出人的视觉感觉不同的纹理之间的差别。

    2.2常用的特征提取与匹配方法
    (1)统计方法
    统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法。灰度共生矩阵的四个关键特征是能量、惯量、熵和相关性。统计方法中另一种典型方法是从图像的自相关函数(即图像的能量谱函数)提取纹理特征,即通过对图像的能量谱函数的计算,提取纹理的粗细度及方向性等特征参数
    (2)几何法
    所谓几何法,是建立在纹理基元(基本的纹理元素)理论基础上的一种纹理特征分析方法。纹理基元理论认为,复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。在几何法中,比较有影响的算法有两种:Voronio 棋盘格特征法和结构法。
    (3)模型法
    模型法以图像的构造模型为基础,采用模型的参数作为纹理特征。典型的方法是随机场模型法,如马尔可夫(Markov)随机场(MRF)模型法和 Gibbs 随机场模型法
    纹理特征的提取与匹配主要有:灰度共生矩阵、Tamura 纹理特征、自回归纹理模型、小波变换等。
    灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。Tamura 纹理特征基于人类对纹理的视觉感知心理学研究,提出6种属性,即:粗糙度、对比度、方向度、线像度、规整度和粗略度。自回归纹理模型(simultaneous auto-regressive, SAR)是马尔可夫随机场(MRF)模型的一种应用实例。

    3.形状特征

    3.1基本概念
    各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索,但它们也有一些共同的问题,包括:①目前基于形状的检索方法还缺乏比较完善的数学模型;②如果目标有变形时检索结果往往不太可靠;③许多形状特征仅描述了目标局部的性质,要全面描述目标常对计算时间和存储量有较高的要求;④许多形状特征所反映的目标形状信息与人的直观感觉不完全一致,或者说,特征空间的相似性与人视觉系统感受到的相似性有差别。另外,从 2-D 图像中表现的 3-D 物体实际上只是物体在空间某一平面的投影,从 2-D 图像中反映出来的形状常不是 3-D 物体真实的形状,由于视点的变化,可能会产生各种失真。
    3.2常用的特征提取与匹配方法
    通常情况下,形状特征有两类表示方法,一类是轮廓特征,另一类是区域特征。图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域。
    (1)边界特征法
    该方法通过对边界特征的描述来获取图像的形状参数。其中Hough 变换检测平行直线方法和边界方向直方图方法是经典方法。Hough 变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法,其基本思想是点—线的对偶性;边界方向直方图法首先微分图像求得图像边缘,然后,做出关于边缘大小和方向的直方图,通常的方法是构造图像灰度梯度方向矩阵。
    (2)傅里叶形状描述符法
    傅里叶形状描述符(Fourier shape deors)基本思想是用物体边界的傅里叶变换作为形状描述,利用区域边界的封闭性和周期性,将二维问题转化为一维问题。由边界点导出三种形状表达,分别是曲率函数、质心距离、复坐标函数。
    (3)几何参数法
    形状的表达和匹配采用更为简单的区域特征描述方法,例如采用有关形状定量测度(如矩、面积、周长等)的形状参数法(shape factor)。在 QBIC 系统中,便是利用圆度、偏心率、主轴方向和代数不变矩等几何参数,进行基于形状特征的图像检索。需要说明的是,形状参数的提取,必须以图像处理及图像分割为前提,参数的准确性必然受到分割效果的影响,对分割效果很差的图像,形状参数甚至无法提取。
    (4)形状不变矩法
    利用目标所占区域的矩作为形状描述参数。

    4.空间关系特征

    4.1基本概念
    所谓空间关系,是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类:相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况,如上下左右关系等,后一种关系强调的是目标之间的距离大小以及方位。显而易见,由绝对空间位置可推出相对空间位置,但表达相对空间位置信息常比较简单。
    空间关系特征的使用可加强对图像内容的描述区分能力,但空间关系特征常对图像或目标的旋转、反转、尺度变化等比较敏感。另外,实际应用中,仅仅利用空间信息往往是不够的,不能有效准确地表达场景信息。为了检索,除使用空间关系特征外,还需要其它特征来配合。
    4.2常用的特征提取与匹配方法
    提取图像空间关系特征可以有两种方法:一种方法是首先对图像进行自动分割,划分出图像中所包含的对象或颜色区域,然后根据这些区域提取图像特征,并建立索引;另一种方法则简单地将图像均匀地划分为若干规则子块,然后对每个图像子块提取特征,并建立索引。

    展开全文
  • 图像处理特征提取

    2014-10-26 18:42:22
    图像特征的分类有多种标准,根据特征自身的特点可以分为两类:描述物体外形的形状特征和描述物体灰度变换的纹理特征。根据特征提取所采用的方法的不同又可以分为统计特征和结构(句法)特征特征选取的标准是,1)...

    图像特征的分类有多种标准,根据特征自身的特点可以分为两类:描述物体外形的形状特征和描述物体灰度变换的纹理特征。根据特征提取所采用的方法的不同又可以分为统计特征和结构(句法)特征。特征选取的标准是,1)易提取;2)稳定性;3)具有区分度。

     

    统计特征提取的方法有哪些?

    直方图,在直方图基础上衍生出来的一些其他的方法,如均值、方差、熵、矩等;

    灰度共生矩阵;

     

    图像特征提取一般提取三个方面的特征,即颜色、纹理、形状。

     

    颜色特征:

    相对于RGB空间来说,HSV空间对光照(和噪声)鲁棒性好,所以将RGB转成HSV。根据HSV三个分量的范围,将颜色空间分成若干个color bins,统计颜色直方图。

    Hhue)色彩,又称为色调,是指色彩的相貌,与色彩明暗无关;

    SSaturation)饱和度,是色彩纯与不纯的分别;

    VValue)亮度,是指色彩的明暗程度、光度的高低,越接近白色亮度越高。

    但是颜色直方图并没有反映颜色空间分布的信息,也没有表达出图像中物体的形状。

    纹理特征:

    关于纹理,目前并没有统一的定义。我们可以理解成纹理元的重复,构成了纹理。纹理特征的提取方法可以分成四类:基于统计特征的纹理分析(如灰度共生矩阵、Tamura提出的6个特征的方法)、基于信号处理的分析(如小波变换)、基于结构的纹理分析、基于模型的纹理分析(如数字图像变换法、小波变换)。

    1.      基于统计特征的纹理分析

    基于统计特征的纹理分析是基于像元及其邻域的灰度属性,研究纹理区域中的统计特征或者像元及其邻域内的灰度的一阶、二阶、高阶统计特征。

    应用最广

    l  Tamura等从心理学角度定义的六个基本特征,即粗糙度(coarseness)、对比度(contrast)、方向性(directionality)、线像度(line likeness)、规则性(regularity)、粗略度(roughness),这是一组与人类视觉特性对应的纹理特征。

    l  Amadasun等定义的基于邻域灰度差别矩阵的纹理特征,包括稀疏度、繁忙度、纹理粒度等5个特征。

    l  Haralick等定义的基于灰度共生矩阵的纹理特征,常用统计量包括角二阶矩、对比度、相关、方差、熵等。

     

    2.      基于信号处理的纹理分析

    基于信号处理的纹理分析是建立在时域、频域分析与多尺度分析基础之上,对纹理图像中某个区域进行某种变换后,再提取保持相对平稳的特征值。

    3.      基于模型的纹理分析

    基于模型的纹理分析假设纹理是以某种参数控制的分布模型方式形成的,从纹理图像的实现来估计计算模型参数,以参数为特征或用某种分类策略进行图像分割。参数估计是该方法的核心问题。

    4.      基于结构特征的纹理分析

    l  句法(syntactic)纹理描述方法

    l  数学形态学方法

    适合周期性好的纹理,比如棋盘、布纹

    使用范围较窄

     

     

    形状特征:

    形状特征主要包括基于边缘的特征和基于区域的特征。提取边缘特征,首先通过SoberCanny等边缘检测算子得到边缘,再计算链码、边缘梯度直方图等特征。但是这种方法有一定的缺陷,边缘信息是很不稳定的信息,内容相似的图片在边缘形状的视觉效果上也可能会存在很大的差异。基于区域的特征提取方法包括傅里叶变换、不变矩等,这种方法对图像的平移、旋转、伸缩具有不变性。

    基于边缘特征的一种方法是检测边缘,得到角点,也就得到了物体的大致轮廓,然后计算相邻角点的n阶矩。

     

     

    展开全文
  • 图像特征提取总结

    2018-10-06 17:36:09
     特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的是否属于一个图像特征特征提取的结果是把图像上的分为不同的子集,这些子集往往属于孤立的、连续的曲线或者...
  • LOG,HOG,DOG微分算子在近圆的斑点检测方面效果很好 HOG特征 https://blog.csdn.net/coming_is_winter/article/details/72850511...总结:Dalal提出的Hog特征提取的过程:把样本图像分割为若干个像素的单元(cell),...
  • 图像处理特征提取:HOG特征简单梳理 HOG方向梯度直方图,这里分解为方向梯度与直方图。 一、方向梯度 梯度:在向量微积分中,标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向,...
  • 关于图像特征提取

    2010-01-17 19:32:00
     特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的是否属于一个图像特征特征提取的结果是把图像上的分为不同的子集,这些子集往往属于孤立的、连续的曲线或者...
  • 医学图像特征提取

    2015-12-03 19:19:50
    1.医学图像处理的基本流程:图像预处理、特征提取、分类。其算法的设计关键为特征提取和分类两部分。 2.疾病的诊断取决于对医学图像的获取和医学图像的解释。 3.主要研究工作为利用图像处理技术,通过形状、颜色、...
  • 图像处理特征提取:LBP特征简单梳理  LBP(Local Binary Pattern,局部二值模式)是一种用来描述图像局部纹理特征的算子,具有多分辨率、灰度尺度不变、旋转不变等特性。主要用于特征提取中的纹理提取。  纹理...
  • 点特征检测,尺度不变特征检测,边缘检测,多分辨率金字塔和矩特征,斑点特征检测。 1.1 图像多分辨率金字塔 高斯金字塔和拉普拉斯金字塔。 %生成高斯滤波器的核 w=fspecial('gaussian',3,0.5) %进行高斯滤波 ...
  •  方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经...
  • 图像特征提取

    2016-05-22 12:37:41
    学习图像处理,必须首先得理解图像的特征提取,我在这里把图像的特征暂且分为如下五类:面特征、线特征、局部区域特征、点特征和不变点特征。其中,面特征对应图像多分辨率金字塔和图像的矩特征,线特征对应图像的...
  • 介绍图像处理特征提取和表达,使用bwboundaries函数获取边界,使用regionprops函数统计特征
  •  (一)特点:各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索,但它们也有一些共同的问题,包括:①目前基于形状的检索方法还缺乏比较完善的数学模型;②如果目标有变形时检索结果...
  • Matlab 图像特征提取

    2018-10-11 10:50:59
    图像处理过程中,尤其是图像相似度的匹配,在图片量比较小的情况下,深度学习的效果往往达不到期望,所以需要利用传统图像处理的方法,对图像特征进行提取,常用的方法有lbp,hog,sift,surf。 lbp算法主要是对图片...
  • 图像特征的操作步骤常见的特征提取方法:其他常用的特征检测算法 特征是什么? 常见的特征有:边缘、角,区域; 图像特征的操作步骤 目前图像特征提取主要有两种方法:传统图像特征提取方法 和 深度学习方法。 ...
  • before:本篇博文先主要叙述ORB特征点提取算法,包括对其分解, FAST特征点的生成,BRIEF描述子的生成。然后对FPGA实现特征点 提取进行简介。铺垫好这些基础后,在下一篇博文中,仔细介绍如何 采用FPGA来实现高速的...
1 2 3 4 5 ... 20
收藏数 131,032
精华内容 52,412
关键字:

图像处理特征点提取