精华内容
下载资源
问答
  • 基于形状模板匹配

    千次阅读 2019-10-30 19:01:08
    基于形状模板匹配 该算法的相似度量考虑的是模板内像素的梯度向量,并通过计算梯度向量的内积总和最小值确定最佳匹配位置,稳定性和可靠性都比较优越。 步骤 建立模板 对模板图像进行一系列旋转,缩放,金字塔...

    基于形状的模板匹配

     该算法的相似度量考虑的是模板内像素的梯度向量,并通过计算梯度向量的内积总和最小值确定最佳匹配位置,稳定性和可靠性都比较优越。

    步骤

    建立模板

    1. 对模板图像进行一系列旋转,缩放,金字塔下采样,生成一系列模板。
    2. 对模板图像进行边缘提取
    3. 计算边缘的梯度方向
    4. 归一化梯度强度消除光照影响

     

    匹配模板

    1. 生成图像的金字塔
    2. 从金字塔顶层开始,计算图像的边缘方向梯度
    3. 通过NCC算法计算模板响应

     

    亚像素精度定位

    最小二乘平差理论

     

     

    模板旋转过程中的边缘丢失

    展开全文
  • 上两篇讲完模板匹配的两种:基于灰度的匹配和基于相关性的匹配,这一篇介绍下基于形状的匹配。相较于前两种,基于形状的匹配使用率是最高的。所以我们着重介绍下形状匹配的各项参数。 一般是用到的算子如下: create...

    上两篇讲完模板匹配的两种:基于灰度的匹配和基于相关性的匹配,这一篇介绍下基于形状的匹配。相较于前两种,基于形状的匹配使用率是最高的。所以我们着重介绍下形状匹配的各项参数。
    一般是用到的算子如下:
    create_shape_model ()中的 constrast 是指 模板中前景 与背景的对比度 minconstrast 查找到的实例的对比度
    get_shape_model_contours 获得模型轮廓 ,中心点在原点位置
    查找模板find_shape_model
    涉及到的一些参数详细的作用介绍如下:
    create_shape_model(Template : : //reduce_domain后的模板图像
    NumLevels,//金字塔的层数,可设为“auto”或0—10的整数
    AngleStart,//模板旋转的起始角度
    AngleExtent,//模板旋转角度范围, >=0
    AngleStep,//旋转角度的步长, >=0 and <=pi/16
    Optimization,//设置模板优化和模板创建方法
    Metric, //匹配方法设置
    Contrast,//设置对比度
    MinContrast 😕/设置最小对比度
    ModelID) //输出模板句柄

    1. NumLevels越大,找到匹配使用的时间就越小。另外必须保证最高层的图像具有足够的信息(至少四个点)。可以通过inspect_shape_model函数查看设置的结果。如果最高层金字塔的消息太少,算法内部会自动减少金字塔层数,如果最底层金字塔的信息太少,函数就会报错。如果设为auto,算法会自动计算金字塔的层数,我们可以通过get_shape_model_params函数查看金字塔的层数。如果金字塔的层数太大,模板不容易识别出来,这是需要将find_shape_model函数中MinScore和Greediness参数设置的低一些。如果金字塔层数太少找到模板的时间会增加。可以先使用inspect_shape_model函数的输出结果来选择一个较好的金字塔层数。
    2. 参数AngleStart、AngleExtent定义了模板可能发生旋转的范围。注意模板在find_shape_model函数中只能找到这个范围内的匹配。参数AngleStep定义了旋转角度范围内的步长。 如果在find_shape_model函数中没有指定亚像素精度,这个参数指定的精度是可以实现find_shape_mode函数中的角度的。参数AngleStep的选择是基于目标的大小的,如果模板图像太小不能产生许多不同离散角度的图像,因此对于较小的模板图像AngleStep应该设置的比较大。如果AngleExtent不是AngleStep的整数倍, 将会相应的修改AngleStep。
      如果选择 complete pregeneration ,不同角度的模板图像将会产生并保存在内存中。用来存储模板的内存与旋转角度的数目和模板图像的的点数是成正比的。 因此,如果AngleStep太小或是AngleExtent太大, 将会出现该模型不再适合(虚拟)内存的情况。在任何情况下,模型是完全适合主存储器的,因为这避免了操作系统的内存分页,使得寻找匹配模板的时间变短。由于find_shape_model函数中的角度可以使用亚像素精度,一个直径小于200像素的模板可以选择AngleStep>= 1. 如果选择AngleStep=‘auto’ (or 0 向后兼容),create_shape_model将会基于模板的大小自动定义一个合适的角度步长. 自动计算出来的AngleStep可以使用get_shape_model_params函数查看。
      如果没有选择complete pregeneration, 该模型会在每一层金字塔上建立在一个参考的位置。这样在find_shape_model函数运行时,该模型必须转化为不同的角度和尺度在运行时在。正因为如此,匹配该模型可能需要更多的时间。
    3. 对于特别大的模板图像,将参数Optimization设置为不同于’none’的其他数值是非常有用的。如果Optimization= ‘none’, 所有的模型点将要存储。在其他情况下, 按照Optimization的数值会将模型的点数减少. 如果模型点数变少了,必须在find_shape_model函数中将参数Greediness设为一个比较小的值, 比如:0.7、0.8。对于比较小的模型, 减少模型点数并不能提高搜索速度,因为这种情况下通常显着更多的潜在情况的模型必须进行检查。如果Optimization设置为’auto’, create_shape_model自动确定模型的点数。
      Optimization的第二个值定义了模型是否进行预处理(pregenerated completely),是通过选择’pregeneration’或者’no_pregeneration’来设置的。如果不使用第二个值(例如:仅仅设置了第一个值), 默认的是系统中的设置,是通过set_system(‘pregenerate _shape_models’,…)来设置的,对于默认值是 (‘pregenerate_shape_models’ = ‘false’), 模型没有进行预处理. 模型的预处理设置通常会导致比较低的运行时间,因为模型不需要 在运行时间时转换。然而在这种情况下,内存的要求和创建模板所需要的时间是比较高的。还应该指出,不能指望这两个模式返回完全相同的结果,因为在运行时变换一定会导致变换模型和预处理变换模型之间不同的内部数据。比如,如果模型没有 completely pregenerated,在find_shape_model函数中通常返回一个较低的scores,这可能需要将MinScore设置成一个较低的值。此外,在两个模型中插值法获得的位置可能略有不同。如果希望是最高精确度,应该使用最小二乘调整得到模型位置。
    4. 参数Contras决定着模型点的对比度。对比度是用来测量目标与背景之间和目标不同部分之间局部的灰度值差异。Contrast的选择应该确保模板中的主要特征用于模型中。Contrast也可以是两个数值,这时模板使用近似edges_image函数中滞后阈值的算法进行分割。这里第一个数值是比较低的阈值,第二个数值是比较高的阈值。Contrast也可以包含第三个,这个数值是在基于组件尺寸选择重要模型组件时所设置的阈值,比如,比指定的最小尺寸的点数还少的组件将被抑制。这个最小尺寸的阈值会在每相邻的金字塔层之间除以2。如果一个小的模型组件被抑制,但是不使用滞后阈值,然而在Contrast中必须指定三个数值,在这种情况下前两个数值设置成相同的数值。这个参数的设置可以在inspect_shape_model函数中查看效果。如果Contrast设置为’auto’,create_shape_model将会自动确定三个上面描述的数值。或者仅仅自动设置对比度(‘auto_contrast’),滞后阈值(‘auto_contrast_hyst’)或是最小尺寸(‘auto_min_size’)中一个。其他没有自动设置的数值可以按照上面的格式再进行设置。可以允许各种组合,例如:如果设置 [‘auto_contrast’,‘auto_min_size’],对比度和最小尺寸自动确定;如果设置 [‘auto_min_size’,20,30],最小尺寸会自动设定,而滞后阈值被设为20和30。有时候可能对比度阈值自动设置的结果是不满意的,例如,由于一些具体应用的原因当某一个模型组件是被包含或是被抑制时,或是目标包含几种不同的对比度时,手动设置这些参数效果会更好。因此对比度阈值可以使用determine_shape_model_params函数自动确定,也可以在调用create_shape_model之前使用inspect_shape_mode函数检查效果。
    5. 参数Metric定义了在图像中匹配模板的条件。如果Metric= ‘use_polarity’,图像中的目标必须和模型具有一样的对比度。例如,如果模型是一个亮的目标在一个暗的背景上,那么仅仅那些比背景亮的目标可以找到。如果Metric= ‘ignore_global_polarity’,在两者对比度完全相反时也能找到目标。在上面的例子中,如果目标是比背景暗的也能将目标找到。find_shape_model函数的运行时间在这种情况下将会略微增加。如果Metric= ‘ignore_local_polarity’, 即使局部对比度改变也能找到模型。例如,当目标包含一部分中等灰度,并且其中部分比较亮部分比较暗时,这种模式是非常有用的。由于这种模式下find_shape_model函数的运行时间显著增加,最好的方法是使用create_shape_model创建几个反映目标可能的对比度变化的模型,同时使用find_shape_models去匹配他们。上面三个metrics仅仅适用于单通道图像。如果是多通道图像作为模板图像或搜索图像,仅仅第一个通道被使用。如果Metric=‘ignore_color_polarity’, 即使颜色对比度局部变化也能找到模型。例如,当目标的部分区域颜色发生变化(e.g.从红到绿)的情况。如果不能提前知道目标在哪一个通道是可见的这种模式是非常有用的。在这种情况下find_shape_model函数的运行时间也会急剧增加。'ignore_color_polarity’可以使用于具有任意通道数目的图像中。如果使用于单通道图像,他的效果和’ignore_local_polarity’是完全相同的。
    6. create_shape_model创建的模板通道数目和find_shape_model中的图像通道数目可以是不同的。例如,可以使用综合生成的单通道图像创建模型。另外,这些通道不需要是经过光谱细分(像RGB图像)的。这些通道还可以包括具有在不同方向照亮同一个目标所获得的图像。
    7. 模型图像Template的domain区域的重心是模板的初始位置,可以在set_shape_model_origin函数中设置不同的初始位置。 find_shape_model(Image : : //搜索图像
      ModelID, //模板句柄
      AngleStart, // 搜索时的起始角度
      AngleExtent, //搜索时的角度范围,必须与创建模板时的有交集
      MinScore, //最小匹配值,输出的匹配的得分Score 大于该值
      NumMatches, //定义要输出的匹配的最大个数
      MaxOverlap, //当找到的目标存在重叠时,且重叠大于该值时选择一个好的输出
      SubPixel, //计算精度的设置,五种模式,多选2,3
      NumLevels, //搜索时金字塔的层数
      Greediness : //贪婪度,搜索启发式,一般都设为0.9,越高速度快,容易出现找不到的情况
      Row, Column, Angle, Score) //输出匹配位置的行和列坐标、角度、得分。

    注意:

    1. Row、Column的坐标并不是模板在搜索图像中的精确位置,因此不能直接使用他们。这些数值是为了创建变换矩阵被优化后的,你可以用这个矩阵的匹配结果完成各种任务,比如调整后续步骤的ROI。

    2. Score是一个0到1之间的数,是模板在搜索图像中可见比例的近似测量。如果模板的一半被遮挡,该值就不能超过0.5。

    3. Image的domain定义了模型参考点的搜索区域,模型参考点是在create_shape_model中用来创建模型的图像的domain区域的重心。不考虑使用函数set_shape_model_origin设置不同的初始位置。在图像domain区域的这些点内搜索模型,其中模型完全属于这幅图像。这意味着如果模型超出图像边界,即使获得的质量系数(score)大于MinScore也不能找到模型。这种性能可以通过set_system(‘border_shape_models’,‘true’)改变,这样那些超出图像边界,质量系数大于MinScore的模型也能找到。这时那些在图像外面的点看作是被遮挡了,可以降低质量系数。在这种模式下搜索的时间将要增加。

    4. 参数AngleStart和AngleExtent确定了模型搜索的旋转角度,如果有必要,旋转的范围会被截取成为create_shape_model函数中给定的旋转范围。这意味着创建模型和搜索时的角度范围必须真正的重叠。在搜索时的角度范围不会改变为模2*pi的。为了简化介绍,在该段落剩下的部分所有角度都用度来表示,而在find_shape_model函数中使用弧度来设置的。因此,如果创建模板时,AngleStart=-20°、AngleExtent=40°,在搜索模板函数find_shape_model中设置AngleStart=350°、AngleExtent=20°,尽管角度模360后是重叠的,还是会找不到模板的。为了找到模板,在这个例子中必须将AngleStart=350°改为AngleStart=-10°。

    5. 参数MinScore定义模板匹配时至少有个什么样的质量系数才算是在图像中找到模板。MinScore设置的越大,搜索的就越快。如果模板在图像中没有被遮挡,MinScore可以设置为0.8这么高甚至0.9。

    6. NumMatches定义了在图像上找到模板的最大的个数。如果匹配时的质量系数大于MinScore的目标个数多于NumMatches,仅仅返回质量系数最好的NumMatches个目标位置。如果找的匹配目标不足NumMatches,那么就只返回找到的这几个。参数MinScore优于NumMatches。

    7. 如果模型具有对称性,会在搜索图像的同一位置和不同角度上找到多个与目标匹配的区域。参数MaxOverlap是0到1之间的,定义了找到的两个目标区域最多重叠的系数,以便于把他们作为两个不同的目标区域分别返回。如果找到的两个目标区域彼此重叠并且大于MaxOverlap,仅仅返回效果最好的一个。重叠的计算方法是基于找到的目标区域的任意方向的最小外接矩形(看smallest_rectangle2)。如果MaxOverlap=0, 找到的目标区域不能存在重叠, 如果MaxOverla p=1,所有找到的目标区域都要返回。

    8. SubPixel确定找到的目标是否使用亚像素精度提取。如果SubPixel设置为’none’(或者’false’ 背景兼容),模型的位置仅仅是一个像素精度和在create_shape_model中定义的角度分辨率。如果SubPixel设置为’interpo lation’(或’true’),位置和角度都是亚像素精度的。在这种模式下模型的位置是在质量系数函数中插入的,这种模式几乎不花费计算时间,并且能达到足够高的精度,被广泛使用。然而在一些精度要求极高的应用中,模板的位置应该通过最小二乘调整决定,比如通过最小化模板点到相关图像点的距离。与 ‘interpolation’相比,这种模式需要额外的计算时间。对于最小二乘调整的模式有:‘least_squares’, ‘least_squares_high’, 和’least_squares_very_high’。他们可用来定义被搜索的最小距离的精度,选择的精度越高,亚像素提取的时间越长。然而,通常SubPixel设置为’interpolation’。如果希望设置最小二乘就选择’least_squares’, 因为这样才能确保运行时间和精度的权衡。

    9. NumLevels是在搜索时使用的金字塔层数,如有必要,层数截成创建模型时的范围。如果NumLevels=0,使用创建模板时金字塔的层数。另外NumLevels还可以包含第二个参数,这个参数定义了找到匹配模板的最低金字塔层数。NumLevels=[4,2]表示匹配在第四层金字塔开始,在第二层金字塔找到匹配(最低的设为1)。可以使用这种方法降低匹配的运行时间,但是这种模式下位置精度是比正常模式下低的,所谓正常模式是在金字塔最底层匹配。因此如果需要较高的精度,应该设置SubPixel至少为’least_squares’。如果金字塔最底层设置的过大,可能不会达到期望的精度,或者找到一个不正确的匹配区域。这是因为在较高层的金字塔上模板是不够具体的,不足以找到可靠的模板最佳匹配。在这种情况下最低金字塔层数应设为最小值。

    10. 参数Greediness确定在搜索时的“贪婪程度”。如果Greediness=0,使用一个安全的搜索启发式,只要模板在图像中存在就一定能找到模板,然而这种方式下搜索是相对浪费时间的。如果Greediness=1,使用不安全的搜索启发式,这样即使模板存在于图像中,也有可能找不到模板,但只是少数情况。如果设置Greediness=0.9,在几乎所有的情况下,总能找到模型的匹配。

    前面主要介绍了匹配的2个主要的算子,对这两个算子了解后,我们就可以做匹配了。下面是转自一位前辈的经验总结,对我们很有帮助。到这里匹配就结束了,但是我们仅仅完成了初步的工作,后面我们还要对其做一定的变换,完成实际项目的具体应用。
    (转自基于HALCON的模板匹配方法总结–蓝云杨的机器视觉之路
    蓝云杨的机器视觉之路http://www.china-vision.net/blog/user1/8/index.html)

    展开全文
  • 做了许多的练习和实验,并对基于HDevelop的形状匹配算法的参数优化进行了研究,写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章,总结了在形状匹配过程中哪些参数影响到模板的搜索和匹配,又如何来协...

    点击上方“新机器视觉”,选择加"星标"或“置顶”

    重磅干货,第一时间送达

    e5002ac7f42bd26d2d22ec6c3328dbf8.png

    很早就想总结一下前段时间学习HALCON的心得,但由于其他的事情总是抽不出时间。去年有过一段时间的集中学习,做了许多的练习和实验,并对基于HDevelop的形状匹配算法的参数优化进行了研究,写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章,总结了在形状匹配过程中哪些参数影响到模板的搜索和匹配,又如何来协调这些参数来加快匹配过程,提高匹配的精度,这篇paper放到了中国论文在线了,需要可以去下载。德国MVTec公司开发的HALCON机器视觉开发软件,提供了许多的功能,在这里我主要学习和研究了其中的形状匹配的算法和流程。HDevelop开发环境中提供的匹配的方法主要有三种,即Component-Based、Gray-Value-Based、Shape-Based,分别是基于组件(或成分、元素)的匹配,基于灰度值的匹配和基于形状的匹配。这三种匹配的方法各具特点,分别适用于不同的图像特征,但都有创建模板和寻找模板的相同过程。这三种方法里面,我主要就第三种-基于形状的匹配,做了许多的实验,因此也做了基于形状匹配的物体识别,基于形状匹配的视频对象分割和基于形状匹配的视频对象跟踪这些研究,从中取得较好的效果,简化了用其他工具,比如VC++来开发的过程。在VC下往往针对不同的图像格式,就会弄的很头疼,更不用说编写图像特征提取、模板建立和搜寻模板的代码呢,我想其中间过程会很复杂,效果也不一定会显著。下面我就具体地谈谈基于HALCON的形状匹配算法的研究和心得总结。1.       Shape-Based matching的基本流程HALCON提供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板,对整个图像建立模板也可以,但这样除非是对象在整个图像中所占比例很大,比如像视频会议中人体上半身这样的图像,我在后面的视频对象跟踪实验中就是针对整个图像的,这往往也是要牺牲匹配速度的,这个后面再讲。基本流程是这样的,如下所示:⑴ 首先确定出ROI的矩形区域,这里只需要确定矩形的左上点和右下点的坐标即可,gen_rectangle1()这个函数就会帮助你生成一个矩形,利用area_center()找到这个矩形的中心;⑵ 然后需要从图像中获取这个矩形区域的图像,reduce_domain()会得到这个ROI;这之后就可以对这个矩形建立模板,而在建立模板之前,可以先对这个区域进行一些处理,方便以后的建模,比如阈值分割,数学形态学的一些处理等等;⑶ 接下来就可以利用create_shape_model()来创建模板了,这个函数有许多参数,其中金字塔的级数由Numlevels指定,值越大则找到物体的时间越少,AngleStart和AngleExtent决定可能的旋转范围,AngleStep指定角度范围搜索的步长;这里需要提醒的是,在任何情况下,模板应适合主内存,搜索时间会缩短。对特别大的模板,用Optimization来减少模板点的数量是很有用的;MinConstrast将模板从图像的噪声中分离出来,如果灰度值的波动范围是10,则MinConstrast应当设为10;Metric参数决定模板识别的条件,如果设为’use_polarity’,则图像中的物体和模板必须有相同的对比度;创建好模板后,这时还需要监视模板,用inspect_shape_model()来完成,它检查参数的适用性,还能帮助找到合适的参数;另外,还需要获得这个模板的轮廓,用于后面的匹配,get_shape_model_contours()则会很容易的帮我们找到模板的轮廓;⑷ 创建好模板后,就可以打开另一幅图像,来进行模板匹配了。这个过程也就是在新图像中寻找与模板匹配的图像部分,这部分的工作就由函数find_shape_model()来承担了,它也拥有许多的参数,这些参数都影响着寻找模板的速度和精度。这个的功能就是在一幅图中找出最佳匹配的模板,返回一个模板实例的长、宽和旋转角度。其中参数SubPixel决定是否精确到亚像素级,设为’interpolation’,则会精确到,这个模式不会占用太多时间,若需要更精确,则可设为’least_square’,’lease_square_high’,但这样会增加额外的时间,因此,这需要在时间和精度上作个折中,需要和实际联系起来。比较重要的两个参数是MinSocre和Greediness,前一个用来分析模板的旋转对称和它们之间的相似度,值越大,则越相似,后一个是搜索贪婪度,这个值在很大程度上影响着搜索速度,若为0,则为启发式搜索,很耗时,若为1,则为不安全搜索,但最快。在大多数情况下,在能够匹配的情况下,尽可能的增大其值。⑸ 找到之后,还需要对其进行转化,使之能够显示,这两个函数vector_angle_to_rigid()和affine_trans_contour_xld()在这里就起这个作用。前一个是从一个点和角度计算一个刚体仿射变换,这个函数从匹配函数的结果中对构造一个刚体仿射变换很有用,把参考图像变为当前图像。 2.       基于形状匹配的参数关系与优化     在HALCON的说明资料里讲到了这些参数的作用以及关系,在上面提到的文章中也作了介绍,这里主要是重复说明一下这些参数的作用,再强调一下它们影响匹配速度的程度;在为了提高速度而设置参数之前,有必要找出那些在所有测试图像中匹配成功的设置,这时需考虑以下情况:①     必须保证物体在图像边缘处截断,也就是保证轮廓的清晰,这些可以通过形态学的一些方法来处理;②     如果Greediness值设的太高,就找不到其中一些可见物体,这时最后将其设为0来执行完全搜索;③     物体是否有封闭区域,如果要求物体在任何状态下都能被识别,则应减小MinScore值;④     判断在金字塔最高级上的匹配是否失败,可以通过find_shape_model()减小NumLevels值来测试;⑤     物体是否具有较低的对比度,如果要求物体在任何状态下都能被识别,则应减小MinContrast值;⑥     判断是否全局地或者局部地转化对比度极性,如果需要在任何状态下都能被识别,则应给参数Metric设置一个合适的值;⑦     物体是否与物体的其他实例重叠,如果需要在任何状态下都能识别物体,则应增加MaxOverlap值;⑧     判断是否在相同物体上找到多个匹配值,如果物体几乎是对称的,则需要控制旋转范围;如何加快搜索匹配,需要在这些参数中进行合理的搭配,有以下方法可以参考:①       只要匹配成功,则尽可能增加参数MinScore的值;②       增加Greediness值直到匹配失败,同时在需要时减小MinScore值;③       如果有可能,在创建模板时使用一个大的NumLevels,即将图像多分几个金字塔级;④       限定允许的旋转范围和大小范围,在调用find_shape_model()时调整相应的参数;⑤       尽量限定搜索ROI的区域;除上面介绍的以外,在保证能够匹配的情况下,尽可能的增大Greediness的值,因为在后面的实验中,用模板匹配进行视频对象跟踪的过程中,这个值在很大程度上影响到匹配的速度。当然这些方法都需要跟实际联系起来,不同图像在匹配过程中也会有不同的匹配效果,在具体到某些应用,不同的硬件设施也会对这个匹配算法提出新的要求,所以需要不断地去尝试。在接下来我会结合自己做的具体的实验来如何利用HALCON来进行实验,主要是在视频对象分割和视频对象的跟踪方面。待续…………^_^ 例子:区分硬币 Example: solution_guide/basics/matching_coins.hdev 见附件trainmodel.hdevcc98c5fd28504c6b593e2af0da2f73be.pngcreate_shape_model(const Hobject&  Template ,  //reduce_domain后的模板图像Hlong  NumLevels,  //金字塔的层数,可设为“auto”或0—10的整数Double  AngleStart,  //模板旋转的起始角度Double  AngleExtent,  //模板旋转角度范围, >=0Double  AngleStep,  //旋转角度的步长, >=0 and <=pi/16const char*  Optimization,  //设置模板优化和模板创建方法const char*  Metric,  //匹配方法设置Hlong  Contrast,  //设置对比度Hlong  MinContrast ,  //设置最小对比度Hlong*  ModelID )  //输出模板句柄 进一步分析:NumLevels越大,找到匹配使用的时间就越小。另外必须保证最高层的图像具有足够的信息(至少四个点)。可以通过inspect_shape_model函数查看设置的结果。如果最高层金字塔的消息太少,算法内部会自动减少金字塔层数,如果最底层金字塔的信息太少,函数就会报错。如果设为auto,算法会自动计算金字塔的层数,我们可以通过get_shape_model_params函数查看金字塔的层数。如果金字塔的层数太大,模板不容易识别出来,这是需要将find_shape_model函数中MinScore和Greediness参数设置的低一些。如果金字塔层数太少找到模板的时间会增加。可以先使用inspect_shape_model函数的输出结果来选择一个较好的金字塔层数。参数AngleStart、AngleExtent定义了模板可能发生旋转的范围。注意模板在find_shape_model函数中只能找到这个范围内的匹配。参数AngleStep定义了旋转角度范围内的步长。如果在find_shape_model函数中没有指定亚像素精度,这个参数指定的精度是可以实现find_shape_mode函数中的角度的。参数AngleStep的选择是基于目标的大小的,如果模板图像太小不能产生许多不同离散角度的图像,因此对于较小的模板图像AngleStep应该设置的比较大。如果AngleExtent不是AngleStep的整数倍, 将会相应的修改AngleStep。如果选择 complete pregeneration ,不同角度的模板图像将会产生并保存在内存中。用来存储模板的内存与旋转角度的数目和模板图像的的点数是成正比的。因此,如果AngleStep太小或是AngleExtent太大, 将会出现该模型不再适合(虚拟)内存的情况。在任何情况下,模型是完全适合主存储器的,因为这避免了操作系统的内存分页,使得寻找匹配模板的时间变短。由于find_shape_model函数中的角度可以使用亚像素精度,一个直径小于200像素的模板可以选择AngleStep>= 1. 如果选择AngleStep='auto' (or 0 向后兼容),create_shape_model将会基于模板的大小自动定义一个合适的角度步长. 自动计算出来的AngleStep可以使用get_shape_model_params函数查看。如果没有选择complete pregeneration, 该模型会在每一层金字塔上建立在一个参考的位置。这样在find_shape_model函数运行时,该模型必须转化为不同的角度和尺度在运行时在。正因为如此,匹配该模型可能需要更多的时间。对于特别大的模板图像,将参数Optimization设置为不同于'none'的其他数值是非常有用的。如果Optimization= 'none', 所有的模型点将要存储。在其他情况下, 按照Optimization的数值会将模型的点数减少. 如果模型点数变少了,必须在find_shape_model函数中将参数Greediness设为一个比较小的值, 比如:0.7、0.8。对于比较小的模型, 减少模型点数并不能提高搜索速度,因为这种情况下通常显着更多的潜在情况的模型必须进行检查。如果Optimization设置为'auto', create_shape_model自动确定模型的点数。Optimization的第二个值定义了模型是否进行预处理(pregenerated completely),是通过选择'pregeneration'或者'no_pregeneration'来设置的。如果不使用第二个值(例如:仅仅设置了第一个值), 默认的是系统中的设置,是通过set_system('pregenerate _shape_models',...)来设置的,对于默认值是 ('pregenerate_shape_models' = 'false'), 模型没有进行预处理. 模型的预处理设置通常会导致比较低的运行时间,因为模型不需要 在运行时间时转换。然而在这种情况下,内存的要求和创建模板所需要的时间是比较高的。还应该指出,不能指望这两个模式返回完全相同的结果,因为在运行时变换一定会导致变换模型和预处理变换模型之间不同的内部数据。比如,如果模型没有 completely pregenerated,在find_shape_model函数中通常返回一个较低的scores,这可能需要将MinScore设置成一个较低的值。此外,在两个模型中插值法获得的位置可能略有不同。如果希望是最高精确度,应该使用最小二乘调整得到模型位置。参数Contras决定着模型点的对比度。对比度是用来测量目标与背景之间和目标不同部分之间局部的灰度值差异。Contrast的选择应该确保模板中的主要特征用于模型中。Contrast也可以是两个数值,这时模板使用近似edges_image函数中滞后阈值的算法进行分割。这里第一个数值是比较低的阈值,第二个数值是比较高的阈值。Contrast也可以包含第三个,这个数值是在基于组件尺寸选择重要模型组件时所设置的阈值,比如,比指定的最小尺寸的点数还少的组件将被抑制。这个最小尺寸的阈值会在每相邻的金字塔层之间除以2。如果一个小的模型组件被抑制,但是不使用滞后阈值,然而在Contrast中必须指定三个数值,在这种情况下前两个数值设置成相同的数值。这个参数的设置可以在inspect_shape_model函数中查看效果。如果Contrast设置为'auto',create_shape_model将会自动确定三个上面描述的数值。或者仅仅自动设置对比度('auto_contrast'),滞后阈值('auto_contrast_hyst')或是最小尺寸('auto_min_size')中一个。其他没有自动设置的数值可以按照上面的格式再进行设置。可以允许各种组合,例如:如果设置 ['auto_contrast','auto_min_size'],对比度和最小尺寸自动确定;如果设置 ['auto_min_size',20,30],最小尺寸会自动设定,而滞后阈值被设为20和30。有时候可能对比度阈值自动设置的结果是不满意的,例如,由于一些具体应用的原因当某一个模型组件是被包含或是被抑制时,或是目标包含几种不同的对比度时,手动设置这些参数效果会更好。因此对比度阈值可以使用determine_shape_model_params函数自动确定,也可以在调用create_shape_model之前使用inspect_shape_mode函数检查效果。MinContrast用来确定在执行find_shape_model函数进行识别时模型的哪一个对比度必须存在,也就是说,这个参数将模型从噪声图像中分离出来。因此一个好的选择应该是在图像中噪声所引起的灰度变化范围。例如,如果灰度浮动在10个灰度级内,MinContrast应该设置成10。如果模板和搜索图像是多通道图像,Metric参数设置成'ignore_color_polarity',在一个通道中的噪声必须乘以通道个数的平方根再去设置MinContrast。例如,如果灰度值在一个通道的浮动范围是10个灰度级,图像是三通道的,那么MinContrast应该设置为17。很显然,MinContrast必须小于Contrast。如果要在对比度较低的图像中识别模板,MinContrast必须设置为一个相对较小的数值。如果要是模板即使严重遮挡(occluded)也能识别出来,MinContrast应该设置成一个比噪声引起的灰度浮动范围略大的数值,这样才能确保在find_shape_model函数中提取出模板准确的位置和旋转角度。如果MinContrast设置为'auto',最小对比度会基于模板图像中的噪声自动定义。因此自动设定仅仅在搜索图像和模板图像噪声近似时才可以使用。此外,在某些情况下为了遮挡的鲁棒性,采用自动设定数值是比较好的。使用get_shape_model_params函数可以查询自动计算的最小对比度。参数Metric定义了在图像中匹配模板的条件。如果Metric= 'use_polarity',图像中的目标必须和模型具有一样的对比度。例如,如果模型是一个亮的目标在一个暗的背景上,那么仅仅那些比背景亮的目标可以找到。如果Metric= 'ignore_global_polarity',在两者对比度完全相反时也能找到目标。在上面的例子中,如果目标是比背景暗的也能将目标找到。find_shape_model函数的运行时间在这种情况下将会略微增加。如果Metric= 'ignore_local_polarity', 即使局部对比度改变也能找到模型。例如,当目标包含一部分中等灰度,并且其中部分比较亮部分比较暗时,这种模式是非常有用的。由于这种模式下find_shape_model函数的运行时间显著增加,最好的方法是使用create_shape_model创建几个反映目标可能的对比度变化的模型,同时使用find_shape_models去匹配他们。上面三个metrics仅仅适用于单通道图像。如果是多通道图像作为模板图像或搜索图像,仅仅第一个通道被使用。如果Metric='ignore_color_polarity', 即使颜色对比度局部变化也能找到模型。例如,当目标的部分区域颜色发生变化(e.g.从红到绿)的情况。如果不能提前知道目标在哪一个通道是可见的这种模式是非常有用的。在这种情况下find_shape_model函数的运行时间也会急剧增加。'ignore_color_polarity'可以使用于具有任意通道数目的图像中。如果使用于单通道图像,他的效果和'ignore_loc al_polarity'是完全相同的。当Metric= 'ignore_color_polarity' 时,create_shape_model创建的模板通道数目和find_shape_model中的图像通道数目可以是不同的。例如,可以使用综合生成的单通道图像创建模型。另外,这些通道不需要是经过光谱细分(像RGB图像)的。这些通道还可以包括具有在不同方向照亮同一个目标所获得的图像。模型图像Template的domain区域的重心是模板的初始位置,可以在set_shape_model_origin函数中设置不同的初始位置。 LIntExport Herror find_shape_model(const Hobject&  Image,  //搜索图像Hlong  ModelID,  //模板句柄Double  AngleStart,  // 搜索时的起始角度Double  AngleExtent,  //搜索时的角度范围,必须与创建模板时的有交集。Double  MinScore,  // 输出的匹配的质量系数Score 都得大于该值Hlong  NumMatches,  // 定义要输出的匹配的最大个数Double  MaxOverlap,  // 当找到的目标存在重叠时,且重叠大于该值时选//择一个好的输出const char*  SubPixel,  // 计算精度的设置,五种模式,多选2,3Hlong  NumLevels,  // 搜索时金字塔的层数Double  Greediness ,  //贪婪度,搜索启发式,一般都设为0.9,越高速度快                    //容易出现找不到的情况Halcon::HTuple*  Row,  //输出匹配位置的行坐标Halcon::HTuple*  Column,  //输出匹配位置的列坐标Halcon::HTuple*  Angle,  //输出匹配角度Halcon::HTuple*  Score )  //输出匹配质量进一步分析:注意Row、Column的坐标并不是模板在搜索图像中的精确位置,因此不能直接使用他们。这些数值是为了创建变换矩阵被优化后的,你可以用这个矩阵的匹配结果完成各种任务,比如调整后续步骤的ROI。Score是一个0到1之间的数,是模板在搜索图像中可见比例的近似测量。如果模板的一半被遮挡,该值就不能超过0.5。Image的domain定义了模型参考点的搜索区域,模型参考点是在create_shape_model中用来创建模型的图像的domain区域的重心。不考虑使用函数set_shape_model_origin设置不同的初始位置。在图像domain区域的这些点内搜索模型,其中模型完全属于这幅图像。这意味着如果模型超出图像边界,即使获得的质量系数(score)大于MinScore也不能找到模型。这种性能可以通过set_system('border_shape_models','true')改变,这样那些超出图像边界,质量系数大于MinScore的模型也能找到。这时那些在图像外面的点看作是被遮挡了,可以降低质量系数。在这种模式下搜索的时间将要增加。参数AngleStart和AngleExtent确定了模型搜索的旋转角度,如果有必要,旋转的范围会被截取成为create_shape_model函数中给定的旋转范围。这意味着创建模型和搜索时的角度范围必须真正的重叠。在搜索时的角度范围不会改变为模2*pi的。为了简化介绍,在该段落剩下的部分所有角度都用度来表示,而在find_shape_model函数中使用弧度来设置的。因此,如果创建模板时,AngleStart=-20°、AngleExtent=40°,在搜索模板函数find_shape_model中设置AngleStart=350°、AngleExtent=20°,尽管角度模360后是重叠的,还是会找不到模板的。为了找到模板,在这个例子中必须将AngleStart=350°改为AngleStart=-10°。参数MinScore定义模板匹配时至少有个什么样的质量系数才算是在图像中找到模板。MinScore设置的越大,搜索的就越快。如果模板在图像中没有被遮挡,MinScore可以设置为0.8这么高甚至0.9。NumMatches定义了在图像上找到模板的最大的个数。如果匹配时的质量系数大于MinScore的目标个数多于NumMatches,仅仅返回质量系数最好的NumMatches个目标位置。如果找的匹配目标不足NumMatches,那么就只返回找到的这几个。参数MinScore优于NumMatches。如果模型具有对称性,会在搜索图像的同一位置和不同角度上找到多个与目标匹配的区域。参数MaxOverlap是0到1之间的,定义了找到的两个目标区域最多重叠的系数,以便于把他们作为两个不同的目标区域分别返回。如果找到的两个目标区域彼此重叠并且大于MaxOverlap,仅仅返回效果最好的一个。重叠的计算方法是基于找到的目标区域的任意方向的最小外接矩形(看smallest_rectangle2)。如果MaxOverlap=0, 找到的目标区域不能存在重叠, 如果MaxOverla p=1,所有找到的目标区域都要返回。SubPixel确定找到的目标是否使用亚像素精度提取。如果SubPixel设置为'none'(或者'false' 背景兼容),模型的位置仅仅是一个像素精度和在create_shape_model中定义的角度分辨率。如果SubPixel设置为'interpo lation'(或'true'),位置和角度都是亚像素精度的。在这种模式下模型的位置是在质量系数函数中插入的,这种模式几乎不花费计算时间,并且能达到足够高的精度,被广泛使用。然而在一些精度要求极高的应用中,模板的位置应该通过最小二乘调整决定,比如通过最小化模板点到相关图像点的距离。与 'interpolation'相比,这种模式需要额外的计算时间。对于最小二乘调整的模式有:'least_squares', 'least_squares_high', 和'least_squares_very_high'。他们可用来定义被搜索的最小距离的精度,选择的精度越高,亚像素提取的时间越长。然而,通常SubPixel设置为'interpolation'。如果希望设置最小二乘就选择'least_squares', 因为这样才能确保运行时间和精度的权衡。NumLevels是在搜索时使用的金字塔层数,如有必要,层数截成创建模型时的范围。如果NumLevels=0,使用创建模板时金字塔的层数。另外NumLevels还可以包含第二个参数,这个参数定义了找到匹配模板的最低金字塔层数。NumLevels=[4,2]表示匹配在第四层金字塔开始,在第二层金字塔找到匹配(最低的设为1)。可以使用这种方法降低匹配的运行时间,但是这种模式下位置精度是比正常模式下低的,所谓正常模式是在金字塔最底层匹配。因此如果需要较高的精度,应该设置SubPixel至少为'least_squares'。如果金字塔最底层设置的过大,可能不会达到期望的精度,或者找到一个不正确的匹配区域。这是因为在较高层的金字塔上模板是不够具体的,不足以找到可靠的模板最佳匹配。在这种情况下最低金字塔层数应设为最小值。参数Greediness确定在搜索时的“贪婪程度”。如果Greediness=0,使用一个安全的搜索启发式,只要模板在图像中存在就一定能找到模板,然而这种方式下搜索是相对浪费时间的。如果Greediness=1,使用不安全的搜索启发式,这样即使模板存在于图像中,也有可能找不到模板,但只是少数情况。如果设置Greediness=0.9,在几乎所有的情况下,总能找到模型的匹配。

    转载自halcon学习网Trevan帖子

    236204a0816ca53ba05f00d950a89643.gif End 236204a0816ca53ba05f00d950a89643.gif

    声明:部分内容来源于网络,仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥,请联系删除。

    e511c634e5ab14d2b42abbccf2a799fa.png

    展开全文
  • 下面以一个简单的例子说明基于形状特征的模板匹配。 为了在右图中,定位图中的三个带旋转箭头的圆圈。注意存在,位置、旋转和尺度变化。 上halcon程序 1 * This example program shows how to find scaled...

      halcon软件最高效的一个方面在于模板匹配,号称可以快速进行柔性模板匹配,能够非常方便的用于缺陷检测、目标定位。下面以一个简单的例子说明基于形状特征的模板匹配。

        

    为了在右图中,定位图中的三个带旋转箭头的圆圈。注意存在,位置、旋转和尺度变化。

    上halcon程序

    复制代码

     1 * This example program shows how to find scaled and rotated shape models.
     2 dev_update_pc ('off')
     3 dev_update_window ('off')
     4 dev_update_var ('off')
     5 read_image (Image, 'green-dot')
     6 get_image_size (Image, Width, Height) 获取了图像大小
     7 dev_close_window ()
     8 dev_open_window (0, 0, Width, Height, 'black', WindowHandle)
     9 dev_set_color ('red')
    10 dev_display (Image)
    11 threshold (Image, Region, 0, 128) 对图像进行二值化
    12 connection (Region, ConnectedRegions)  区域生长得到连通域
    13 select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 10000, 20000) 通过面积进行筛选,得到里面的圆
    14 fill_up (SelectedRegions, RegionFillUp)   对圆进行填充
    15 dilation_circle (RegionFillUp, RegionDilation, 5.5)  对填充区域进行膨胀
    16 reduce_domain (Image, RegionDilation, ImageReduced) ROI操作得到imagereduced
    17 create_scaled_shape_model (ImageReduced, 5, rad(-45), rad(90), 'auto', 0.8, 1.0, 'auto', 'none', 'ignore_global_polarity', 40, 10, ModelID)
    //基于区域创建匹配模型,得到模型的ID modelID
    18 get_shape_model_contours (Model, ModelID, 1) 基于模型ID 得到模型的轮廓 model
    19 area_center (RegionFillUp, Area, RowRef, ColumnRef) 获得里面圆中心位置,相对于全图来说
    20 vector_angle_to_rigid (0, 0, 0, RowRef, ColumnRef, 0, HomMat2D) //vector_angle_to_rigid只需要一个点对及一个角度对即可计算刚性变换矩阵,所以可利用find_shape_model的结果
    //HomMat2D 通过顶点得到其变换矩阵 
    
    21 affine_trans_contour_xld (Model, ModelTrans, HomMat2D) //对XLD轮廓(contour)进行一个任意二维仿射变换。 将model轮廓转换为相对于全图的,得到ModelTrans
    22 dev_display (Image)
    23 dev_display (ModelTrans) //在全局中显示模型区域 ,注意modeltrans 为xld 轮廓!!!
    
    
    24 read_image (ImageSearch, 'green-dots')
    25 dev_display (ImageSearch)
    //将之前模型ID 作为模板,
    26 find_scaled_shape_model (ImageSearch, ModelID, rad(-45), rad(90), 0.8, 1.0, 0.5, 0, 0.5, 'least_squares', 5, 0.8, Row, Column, Angle, Scale, Score)
    //得到图像中模板的点 位置 和 角度 尺度 和匹配值
    27 for I := 0 to |Score|-1 by 1
    28     hom_mat2d_identity (HomMat2DIdentity)
    29     hom_mat2d_translate (HomMat2DIdentity, Row[I], Column[I], HomMat2DTranslate)
    30     hom_mat2d_rotate (HomMat2DTranslate, Angle[I], Row[I], Column[I], HomMat2DRotate)
    31     hom_mat2d_scale (HomMat2DRotate, Scale[I], Scale[I], Row[I], Column[I], HomMat2DScale)
    2*3 刚性变换矩阵
    
    32     affine_trans_contour_xld (Model, ModelTrans, HomMat2DScale)  把model 转换为modeltrans 
    
    
    33     gen_region_contour_xld(ModelTrans,Region2,'filled')      填充区域
    34     intensity ( Region2, ImageSearch, Mean, Deviation )      获得区域的灰度平均值和方差值
    35     dev_display (ModelTrans)
    36 endfor
    37 clear_shape_model (ModelID)

    复制代码

     

    MFC程序:

     1 定义图像显示

    复制代码

     1 HTuple HalHwndView1;
     2 
     3   void DispImage( const Hobject& hoImage);
     4 
     5 HalHwndView1=NULL;
     6 
     7 void CSpayTestDlg::DispImage(const Hobject& hoImage)
     8 {
     9 HTuple tmpWidth;
    10 HTuple tmpHeight;
    11 
    12 get_image_size(hoImage,&tmpWidth,&tmpHeight);
    13 Halcon::set_part(HalHwndView1, 0, 0, tmpHeight - 1, tmpWidth - 1);// 
    14 Halcon::clear_window(HalHwndView1);
    15 Halcon::disp_obj(hoImage, HalHwndView1);
    16 
    17 }
    18 
    19 CRect rect;
    20 GetDlgItem(IDC_SHOW_WINDOW)->GetClientRect(rect);
    21 HWND HwndView1=GetDlgItem(IDC_SHOW_WINDOW)->GetSafeHwnd();
    22 Halcon::open_window(0,0,rect.Width(),rect.Height(),Hlong(HwndView1),"visible","",&HalHwndView1);

    复制代码

    2 提取模板

    复制代码

    Hobject  Image;
    HTuple  Width, Height, WindowHandle, ModelID;
    Hobject  Region, ConnectedRegions, SelectedRegions;
    Hobject  RegionFillUp, RegionDilation, ImageReduced, Model;
    HTuple  Angle, Scale, Score, I, HomMat2DIdentity, HomMat2DTranslate;
    HTuple  HomMat2DRotate, HomMat2DScale;
      HTuple  Area, RowRef, ColumnRef, HomMat2D, Row, Column;
        Hobject  ModelTrans;
    void CSpayTestDlg::OnBnClickedButtonDetection()
    {
        // TODO: 在此添加控件通知处理程序代码
      
       Image=IplImageToHImage(m_workImg);
        DispImage(Image);
       Halcon::set_color(HalHwndView1,"red");
       Halcon::set_draw(HalHwndView1,"margin");
       get_image_size(Image, &Width, &Height);
       
    通过鼠标选择区域
       //HTuple  Row1,Column1,Row2,Column2,h_Area,h_Row,h_Column;
       //draw_rectangle1(HalHwndView1,&Row1,&Column1,&Row2,&Column2);
       //gen_rectangle1(&RegionDilation,Row1,Column1,Row2,Column2);
       //area_center(RegionDilation,&h_Area,&h_Row,&h_Column);
       //reduce_domain(Image,RegionDilation,&ImageReduced);
       threshold(Image, &Region, 0, 128);
       connection(Region, &ConnectedRegions);
       select_shape(ConnectedRegions, &SelectedRegions, "area", "and", 10000, 20000);
       fill_up(SelectedRegions, &RegionFillUp);
       dilation_circle(RegionFillUp, &RegionDilation, 5.5);
       reduce_domain(Image, RegionDilation, &ImageReduced);
       //roi 区域 ImageReduced
       create_scaled_shape_model(ImageReduced, 5, HTuple(-45).Rad(), HTuple(360).Rad(), 
           "auto", 0.8, 1.0, "auto", "none", "ignore_global_polarity", 40, 10, &ModelID);//模型是个数据 ModelID
       get_shape_model_contours(&Model, ModelID, 1);//获取模型的轮廓 Model中
    
       Halcon::write_shape_model(ModelID,"Model.shm");
       area_center(RegionFillUp, &Area, &RowRef, &ColumnRef);
       vector_angle_to_rigid(0, 0, 0, RowRef, ColumnRef, 0, &HomMat2D);
       affine_trans_contour_xld(Model, &ModelTrans, HomMat2D);//roi 转换到原图的过程 基于2d仿射 将 model模型 轮廓 变化到trans上
       Halcon::disp_obj(ModelTrans,HalHwndView1);
    
    }

    复制代码

    3 匹配模板

    复制代码

     1     Image=IplImageToHImage(m_workImg);
     2     DispImage(Image);
     3 
     4     Halcon::set_color(HalHwndView1,"green");
     5 
     6     HTuple  ModelIDadd;
     7      Hobject  ModelTransadd;
     8     Halcon::read_shape_model( "Model.shm",&ModelIDadd);
     9     find_scaled_shape_model(Image, ModelIDadd, HTuple(-45).Rad(), HTuple(360).Rad(), 
    10         0.8, 1.0, 0.5, 0, 0.5, "least_squares", 5, 0.8, &Row, &Column, &Angle, &Scale, 
    11         &Score);
    12     Hobject  Region2;
    13     HTuple  Mean, Deviation;
    14     for (I=0; I<=(Score.Num())-1; I+=1)
    15     {
    16         hom_mat2d_identity(&HomMat2DIdentity);
    17         hom_mat2d_translate(HomMat2DIdentity, HTuple(Row[I]), HTuple(Column[I]), &HomMat2DTranslate);
    18         hom_mat2d_rotate(HomMat2DTranslate, HTuple(Angle[I]), HTuple(Row[I]), HTuple(Column[I]), 
    19             &HomMat2DRotate);
    20         hom_mat2d_scale(HomMat2DRotate, HTuple(Scale[I]), HTuple(Scale[I]), HTuple(Row[I]), 
    21             HTuple(Column[I]), &HomMat2DScale);
    22         affine_trans_contour_xld(Model, &ModelTransadd, HomMat2DScale);
    23         
    24         gen_region_contour_xld(ModelTrans,&Region2,"filled");
    25         intensity ( Region2, Image, &Mean, &Deviation );
    26         
    27         double mean=Mean[0].D();
    28         double deviation=Deviation[0].D();
    29         disp_obj(ModelTransadd,HalHwndView1);
    30     }
    31     clear_shape_model(ModelIDadd);

    复制代码

    匹配结果

     

     create_scaled_shape_model(ImageReduced, 5, HTuple(-45).Rad(), HTuple(360).Rad(), 
           "auto", 0.8, 1.0, "auto", "none", "ignore_global_polarity", 40, 10, &ModelID);

    * 01、Template,//reduce_domain后的模板图像   ImageReduced


    * 02、NumLevels,//金字塔的层数,可设为“auto”或0—10的整数  5 

    * 03、AngleStart,//模板旋转的起始角度     HTuple(-45).Rad()

    * 04、AngleExtent,//模板旋转角度范围, >=0     HTuple(360).Rad()

    * 05、AngleStep,//旋转角度的步长, >=0 and <=pi/16   auto
    * 06、ScaleMin,//模板最小比例 0.8

    * 07、ScaleMax,//模板最大比例   1.0
    * 08、ScaleStep,//模板比例的步长  auto

    * 09、Optimization,//设置模板优化和模板创建方法  none

     * 10、Metric, //匹配方法设置  ignore_global_polarity

    * 11、Contrast,//设置对比度  40
    * 12、MinContrast,//设置最小对比度 10

    * 13、ModelID,//输出模板句柄  ModelID

    1. NumLevels越大,找到匹配使用的时间就越小。另外必须保证最高层的图像具有足够的信息(至少四个点)。可以通过inspect_shape_model函数查看设置的结果。如果最高层金字塔的消息太少,算法内部会自动减少金字塔层数,如果最底层金字塔的信息太少,函数就会报错。如果设为auto,算法会自动计算金字塔的层数,我们可以通过get_shape_model_params函数查看金字塔的层数。如果金字塔的层数太大,模板不容易识别出来,这是需要将find_shape_model函数中MinScore和Greediness参数设置的低一些。如果金字塔层数太少找到模板的时间会增加。可以先使用inspect_shape_model函数的输出结果来选择一个较好的金字塔层数。 

    2. 参数AngleStart、AngleExtent定义了模板可能发生旋转的范围。注意模板在find_shape_model函数中只能找到这个范围内的匹配。参数AngleStep定义了旋转角度范围内的步长。如果在find_shape_model函数中没有指定亚像素精度,这个参数指定的精度是可以实现find_shape_mode函数中的角度的。参数AngleStep的选择是基于目标的大小的,如果模板图像太小不能产生许多不同离散角度的图像,因此对于较小的模板图像AngleStep应该设置的比较大。如果AngleExtent不是AngleStep的整数倍,将会相应的修改AngleStep。 

    如果选择 complete pregeneration,不同角度的模板图像将会产生并保存在内存中。用来存储模板的内存与旋转角度的数目和模板图像的的点数是成正比的。因此,如果AngleStep太小或是AngleExtent太大, 将会出现该模型不再适合(虚拟)内存的情况。在任何情况下,模型是完全适合主存储器的,因为这避免了操作系统的内存分页,使得寻找匹配模板的时间变短。由于find_shape_model函数中的角度可以使用亚像素精度,一个直径小于200像素的模板可以选择AngleStep>= 1。 

    如果选择AngleStep='auto' (or 0 向后兼容),create_shape_model将会基于模板的大小自动定义一个合适的角度步长. 自动计算出来的AngleStep可以使用get_shape_model_params函数查看。 
    如果没有选择complete pregeneration, 该模型会在每一层金字塔上建立在一个参考的位置。这样在find_shape_model函数运行时,该模型必须转化为不同的角度和尺度在运行时在。正因为如此,匹配该模型可能需要更多的时间。 

    3. 对于特别大的模板图像,将参数Optimization设置为不同于'none'的其他数值是非常有用的。如果Optimization= 'none', 所有的模型点将要存储。在其他情况下, 按照Optimization的数值会将模型的点数减少. 如果模型点数变少了,必须在find_shape_model函数中将参数Greediness设为一个比较小的值, 比如:0.7、0.8。对于比较小的模型, 减少模型点数并不能提高搜索速度,因为这种情况下通常显着更多的潜在情况的模型必须进行检查。如果Optimization设置为'auto', create_shape_model自动确定模型的点数。Optimization的第二个值定义了模型是否进行预处理(pregenerated completely),是通过选择'pregeneration'或者'no_pregeneration'来设置的。如果不使用第二个值(例如:仅仅设置了第一个值), 默认的是系统中的设置,是通过set_system('pregenerate _shape_models',...)来设置的,对于默认值是 ('pregenerate_shape_models' = 'false'), 模型没有进行预处理. 模型的预处理设置通常会导致比较低的运行时间,因为模型不需要在运行时间时转换。然而在这种情况下,内存的要求和创建模板所需要的时间是比较高的。还应该指出,不能指望这两个模式返回完全相同的结果,因为在运行时变换一定会导致变换模型和预处理变换模型之间不同的内部数据。比如,如果模型没有 completely pregenerated,在find_shape_model函数中通常返回一个较低的scores,这可能需要将MinScore设置成一个较低的值。此外,在两个模型中插值法获得的位置可能略有不同。如果希望是最高精确度,应该使用最小二乘调整得到模型位置。 

    4. 参数Contras决定着模型点的对比度。对比度是用来测量目标与背景之间和目标不同部分之间局部的灰度值差异。Contrast的选择应该确保模板中的主要特征用于模型中。Contrast也可以是两个数值,这时模板使用近似edges_image函数中滞后阈值的算法进行分割。这里第一个数值是比较低的阈值,第二个数值是比较高的阈值。Contrast也可以包含第三个,这个数值是在基于组件尺寸选择重要模型组件时所设置的阈值,比如,比指定的最小尺寸的点数还少的组件将被抑制。这个最小尺寸的阈值会在每相邻的金字塔层之间除以2。如果一个小的模型组件被抑制,但是不使用滞后阈值,然而在Contrast中必须指定三个数值,在这种情况下前两个数值设置成相同的数值。这个参数的设置可以在inspect_shape_model函数中查看效果。如果Contrast设置为'auto',create_shape_model将会自动确定三个上面描述的数值。或者仅仅自动设置对比度('auto_contrast'),滞后阈值('auto_contrast_hyst')或是最小尺寸('auto_min_size')中一个。其他没有自动设置的数值可以按照上面的格式再进行设置。可以允许各种组合,例如:如果设置 ['auto_contrast','auto_min_size'],对比度和最小尺寸自动确定;如果设置 ['auto_min_size',20,30],最小尺寸会自动设定,而滞后阈值被设为20和30。有时候可能对比度阈值自动设置的结果是不满意的,例如,由于一些具体应用的原因当某一个模型组件是被包含或是被抑制时,或是目标包含几种不同的对比度时,手动设置这些参数效果会更好。因此对比度阈值可以使用determine_shape_model_params函数自动确定,也可以在调用create_shape_model之前使用inspect_shape_mode函数检查效果。 

    5. 参数Metric定义了在图像中匹配模板的条件。如果Metric= 'use_polarity',图像中的目标必须和模型具有一样的对比度。例如,如果模型是一个亮的目标在一个暗的背景上,那么仅仅那些比背景亮的目标可以找到。如果Metric= 'ignore_global_polarity',在两者对比度完全相反时也能找到目标。在上面的例子中,如果目标是比背景暗的也能将目标找到。find_shape_model函数的运行时间在这种情况下将会略微增加。如果Metric= ignore_local_polarity', 即使局部对比度改变也能找到模型。例如,当目标包含一部分中等灰度,并且其中部分比较亮部分比较暗时,这种模式是非常有用的。由于这种模式下find_shape_model函数的运行时间显著增加,最好的方法是使用create_shape_model创建几个反映目标可能的对比度变化的模型,同时使用find_shape_models去匹配他们。上面三个metrics仅仅适用于单通道图像。如果是多通道图像作为模板图像或搜索图像,仅仅第一个通道被使用。如果Metric='ignore_color_polarity', 即使颜色对比度局部变化也能找到模型。例如,当目标的部分区域颜色发生变化(e.g.从红到绿)的情况。如果不能提前知道目标在哪一个通道是可见的这种模式是非常有用的。在这种情况下find_shape_model函数的运行时间也会急剧增。'ignore_color_polarity'可以使用于具有任意通道数目的图像中。如果使用于单通道图像,他的效果和'ignore_loc al_polarity'是完全相同的。 

    6. create_shape_model创建的模板通道数目和find_shape_model中的图像通道数目可以是不同的。例如,可以使用综合生成的单通道图像创建模型。另外,这些通道不需要是经过光谱细分(像RGB图像)的。这些通道还可以包括具有在不同方向照亮同一个目标所获得的图像。 

    7. 模型图像Template的domain区域的重心是模板的初始位置,可以在set_shape_model_origin函数中设置不同的初始位置。 

    find_scaled_shape_model(Image, ModelIDadd, HTuple(-45).Rad(), HTuple(360).Rad(), 
      0.8, 1.0, 0.5, 0, 0.5, "least_squares", 5, 0.8, &Row, &Column, &Angle, &Scale, &Score);

    find_scaled_shape_model(Image : : image

    ModelID, modeldadd

    AngleStart,  -45

    AngleExtent,  360

    ScaleMin, 0.8

    ScaleMax, 1.0

    MinScore,  0.5

    NumMatches,  0

    MaxOverlap,  0.5

    SubPixel,  least_squres

    NumLevels, 5

    Greediness 0.8

    Row,

    Column,

    Angle,

    Scale,

    Score)

     

    //roi 区域 ImageReduced
    create_scaled_shape_model(ImageReduced, 5, HTuple(-45).Rad(), HTuple(360).Rad(), 
           "auto", 0.8, 1.0, "auto", "none", "ignore_global_polarity", 40, 10, &ModelID);//模型是个数据 ModelID
    get_shape_model_contours(&Model, ModelID, 1);//获取模型的轮廓 Model中
    
    注意直接提取的MODEL轮廓原点在0,0
    area_center(RegionFillUp, &Area, &RowRef, &ColumnRef);
    vector_angle_to_rigid(0, 0, 0, RowRef, ColumnRef, 0, &HomMat2D);
    affine_trans_contour_xld(Model, &ModelTrans, HomMat2D);//roi 转换到原图的过程 基于2d仿射 将 model模型 轮廓 变化到trans上
    为了显示,需要将模板移动到相应位置,所以构造2*3矩阵,将MODEL轮廓原点转换到图像中的点!!!
    [1 0 272
     0 1 283]
    
    同理,提取后的结果很明显,是一个2*3的矩阵,与标准模板进行运算后,就能得到它的位置。
    360 291 为平移的位置
    
    [1 0 360
     
     0 1 291]
    -0.653815  角度
    
    [0.7937 0.60836 360
     -0.60836 0.7937 291]
    
    
    0.937 尺度 ,最终的结果!!!
    
    [0.744527 0.57548 360
     -0.57548 0.744527 291]
    也就是说halcon提取的模板是一个原点的模板。通过平移 角度。缩放 到合适的位置,就是这样!
    展开全文
  • 第五章 形状匹配的特征提取(1)简单阈值处理方法、模板匹配 5.1 概述 a. 形状提取比检测更为复杂,因为形状提取意味着对形状进行可靠的描述,而形状检测只需要证明在图像中的存在性即可; 5.2 阈值处理和背景减法 a...
  • 浅谈基于形状模板匹配算法

    千次阅读 2020-06-21 00:51:26
  • 【Halcon】基于形状模板匹配

    千次阅读 2016-06-04 10:21:30
    如果选择 complete pregeneration ,不同角度的模板图像将会产生并保存在内存中。用来存储模板的内存与旋转角度的数目和模板图像的的点数是成正比的。 因此,如果AngleStep太小或是AngleExtent太大, 将会出现该模型...
  • Halcon中基于形状模板匹配

    千次阅读 2013-08-01 15:31:42
     HALCON提供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板,对整个图像建立模板也可以,但这样除非是对象在整个图像中所占比例很大,比如像视频会议中人体上半身这样的图像,我在后面的视频对象跟踪实验...
  • 模板匹配

    千次阅读 2017-12-03 15:31:53
    做了许多的练习和实验,并对基于HDevelop的形状匹配算法的参数优化进行了研究,写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章,总结了在形状匹配过程中哪些参数影响到模板的搜索和匹配,又如何来协调...
  • 做了许多的练习和实验,并对基于HDevelop的形状匹配算法的参数优化进行了研究,写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章,总结了在形状匹配过程中哪些参数影响到模板的搜索和匹配,又如何来协调...
  • Shape模板匹配 create_shape_model(Template : : NumLevels, AngleStart, AngleExtent, AngleStep, Optimization, Metric, Contrast, MinContrast : ModelID) 参数: **NumLevels:**金字塔层数越大,计算次数越快。...
  • open cv模板匹配

    2020-06-13 15:25:25
    模板匹配模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配(相似)部分的技术 模板匹配就是在整个图像区域发现与给定子图像匹配的小块区域 所以模板匹配首先需要一个模板图像T(给定的子图像) 另外需要一个待...
  • 一、模板匹配分析 所谓模板匹配,就是在给定的图片中查找和模板最相似的区域,该算法的输入包括模板和图片,整个任务的思路就是按照滑窗的思路不断的移动模板图片,计算其与图像中对应区域的匹配度,最终将匹配度...
  • 形状匹配

    千次阅读 2016-03-25 10:49:05
    HALCON提 供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板,对整个图像建立模板也可以,但这样除非是对象在整个图像中所占比例很大,比如像视频会议中人 体上半身这样的图像,我在后面的视频对象跟踪实验...
  • 对于工业应用来说,往往需要用到形状匹配来达到定位功能,VisionPro的PatMax算法,Halcon的形状匹配算法都是基于边缘的模版匹配。halcon中的形状匹配具有良好的鲁棒性,稳定,准确,快速的特点。opencv中虽然也有...
  • HALCON基于形状匹配详解

    千次阅读 2019-05-06 13:43:51
    HALCON基于形状模板匹配详细说明 很早就想总结一下前段时间学习HALCON的心得,但由于其他的事情总是抽不出时间。去年有过一段时间的集中学习,做了许多的练习和实验,并对基于HDevelop的形状匹配算法的参数优化...
  • halcon模板匹配

    千次阅读 2014-09-22 20:34:25
    * 在一个图片中获取ROI并在此图片中匹配  dev_close_window ()  dev_open_window (0, 0, 600, 600, 'black', WindowHandle)  * 窗口语句  read_image(Image,'L:/Halcon test/mk2.jpg')  *read_image(Image...
  • halcon模板匹配快速入门

    千次阅读 多人点赞 2019-06-11 10:00:02
    匹配模板:find_aniso_shape_model 例子: 测试用的图像: 代码: dev_set_draw ('margin') read_image (Image, 'C:/Users/斌/Desktop/temp.png') rgb1_to_gray (Image, GrayImage) *...
  • 基于模板的物体跟踪模板匹配核心函数完整代码效果展示 模板匹配 调用函数: cv.matchTemplate(image, templ, method, result=None, mask=None) image: 输入图片1,图中包含模板的完整图片; templ: 输入图片2,模板...
  • openCV模板匹配和霍夫变换

    千次阅读 2021-04-24 13:27:07
    文章目录模版匹配和霍夫变换1 模板匹配1.1 原理1.2 实现2 霍夫变换2.1 原理2.2 霍夫线检测2.3 霍夫圆检测[了解]image-20191008105125382 模版匹配和霍夫变换 学习目标 掌握模板匹配的原理,能完成模板匹配的应用 ...
  • HALCON形状匹配

    2014-09-15 23:08:35
    HALCON形状匹配   LIntExport Herror create_shape_model( const Hobject& Template , //reduce_domain后的模板图像 Hlong NumLevels, //金字塔的层数,可设为“auto”或0—10的整数 Double ...
  • 基于line2d算法的模板匹配

    千次阅读 热门讨论 2018-10-12 14:19:04
    1.模板数据 视点采样:模板数据为每类物体不同视角的图像,每类物体模板的提取数量为2000幅。在采样时,应该尽量覆盖各个视点下的图像(除此之外,还可以记录每个视图下的大致姿态)。 对每个物体采集不同尺度、...
  • HALCON形状匹配讲解

    千次阅读 2017-12-14 15:25:32
    做了许多的练习和实验,并对基于HDevelop的形状匹配算法的参数优化进行了研究,写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章,总结了在形状匹配过程中哪些参数影响到模板的搜索和匹配,又如何来协调...
  • 当停止自动线程后,再打开,执行结果就无法正确显示出来了,把形状模板不知道显示到哪个窗口了。这里用的是halcon自动生成的函数 void dev_display_shape_matching_results(HTuple hv_ModelID, HTuple hv_Color, ...
  • Halcon形状匹配算法

    千次阅读 2017-09-20 16:53:54
    去年有过一段时间的集中学习,做了许多的练习和实验,并对基于HDevelop的形状匹配算法的参数优化进行了研究,写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章,总结了在形状匹配过程中哪
  • 为了在图像中检测出已知形状的目标物,我们使用这个目标物的形状模板(或窗口)与图像匹配,在约定的某种准则下检测出目标物图像,通常称其为模板匹配法。它能检测出图像中上线条、曲线、图案等等。它的应用包括:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,638
精华内容 1,855
关键字:

形状模板匹配数据保存