精华内容
下载资源
问答
  • 匹配制导
    2022-06-25 11:23:07

            将对飞行器制导与控制分几次进行一个较为全面的讲解,从基本概念出发到控制系统、制导系统有关理论和仿真,包括极点配置控制系统、LQR控制的设计以及仿真。

    1.飞行器制导系统概述

            制导系统从功能上分为导引系统和控制系统。控制系统主要是解决飞行器飞行的稳定性,而导引系统主要是解决飞行器对目标的命中精度问题。

            飞行器导引系统俗称导引头,必须具备的功能如下:

            1) 飞行器在飞向目标过程中,要不断测量飞行器的实际运动和理想运动之间的偏差;

            2) 据此偏差的大小和方向并且按照一定的导引律形成控制指令

            3) 将控制指令传回个控制系统,控制改变运动状态,消除偏差

            4) 另一路控制导引头实现对目标的稳定跟踪。

    图1.飞行器控制系统基本组成

             导引系统用来测定或探测飞行器相对目标或发射点的位置,按要求的弹道形成导引指令,并把导引指令送给控制系统。导引系统通常由飞行器、目标位警和运动敏感器(或观测器)及导引指令形成装置等组成。
            制导系统的导引信号是靠利用某种形式的能量对目标与环境敏感的敬感元件来获得的。目前应用的主要能量有:可见光、红外、微波(厘米波和分米波)、毫米波、激光和声波等。控制系统直接操纵飞行器,迅速而准确地执行引导系统发出的引导指令,控制飞行器飞向目标。控制系统的另一项重要任务是保证飞行器在每一飞行段稳定地飞行,所以也常称为稳定回路。稳定回路系统是制导系统的重要环节,它的性质直接影响制导系统的制导准确度,弹上控制系统应既能保证飞行器飞行的稳定性,又能保证飞行器的机动性,即对飞行器有控制和稳定的作用。
            制导系统的工作过程如下:飞行器发射后,目标、飞行器敏感器不断测量飞行器相对要求弹道的偏差,并将此偏差送给导引指令形成装置。导引指令形成装置将该偏差信号加以变换和计算,形成导引指令,该指令要求飞行器改变航向或速度。导引指令信号送往控制系统,经变换、放大,通过作动装置驱动操纵面偏转,改变飞行器的飞行方向,使飞行器回到要求的弹道上来;当飞行器受到干扰.姿态角发生改变时,飞行器姿态敏感元件检测出姿态偏差,并以电信号的形式送入计算机,从而操纵飞行器恢复到原来的姿态保证飞行器稳定地沿要求的弹道飞行。操纵面位置敏感元件能感受操纵面位置,并以电信号的形式送入计算机。计算机接收导引信号、飞行器姿态运动信号和操纵面位置信号,经过比较和计算,形成控制信号,以驱动作动装置。

    1.1 制导系统的分类
            制导系统通常是按照导引系统的特点来分类的,即按照产生导引信号的来源来分类。通常分为4大类:自主式制导系统、遥控式制导系统自动寻的式制导系统和复合制导系统。简单说明一下。

            1) 自主式制导系统:就是说飞行器起飞后的导引信号不依赖于目标和制导站,仅仅是由自身的测量仪器决定飞行轨迹,无需接受外界信息。但全程自主式制导仅适用于地地飞行器攻击地面国定目标。常见的自主式制导有惯性制导、捷联惯性制导、图像匹配制导、导航型全球定位GPS制导和多普勒导航等。

            特点:隐蔽性好、不易受到干扰、飞行器的射程远、制导精度较高。但是一旦发射就不能改变预定目标,只能用来攻击固定目标或飞向固定区域。单用自主式制导系统的飞行器不能攻击活体目标,一般用做攻击活动目标的初制导。可用于弹道导弹、巡航导弹和某些战术导弹的初始飞行段。

            2) 自动寻的制导系统:依靠弹上设备直接感受目标反射的能量来测量目标和飞行器的相对位置并形成导引信号,控制飞行器飞向目标。

            自动寻的制导可使飞行器攻击高速目标,制导精度较高,而且飞行器与指挥站间没有直接联系,能发射后不管,但由于它靠来自目标的能量来检测飞行器的飞行偏差,因此,作用距离有限,且易受外界的干扰。

            根据飞行器所利用能量的能源所在位置不同,弹上安装的导引系统可分为主动寻的制导、半主动寻的制导和被动寻的制导三种类型。

            主动式自动寻的系统
            主动式自动寻的系统是依靠弹上的制导设备向空间辐射能量,遇到目标反射回来,又被弹上所接收,利用接收的目标回波能量获取目标信息,再形成导引信号,控制飞行器导向目标。主动式自动寻的制导系统常用的是主动雷达自动寻的系统。它主要由角度自动跟踪系统组成。角度自动跟踪系统用来搜索、捕捉目标,在捕捉到目标后自动测出目标对天线的角误差信号,并按一定的导引规律形成导引信号。导引信号一路控制天线消除这个误差,另一路经自动驾驶仪控制飞行器完成目标在距离上的自动搜索,自动选择和自动跟踪,以消除多目标干扰,提高电子对抗能力。主动式自动寻的制导系统的突出优点是飞行器可发射后不管,便于制导站机动;但其缺点是弹上设备复杂,易受干扰,而且受功率限制作用离近。由于单脉冲雷达自动寻的制导系统测角精度较高、抗角欺骗干扰能力强目前反舰导弹采用的较多随者科学技术的发展和其在战术运用上的突出优点,防空导弹也将会采用。

            半主动式自动寻的制导系统
            半自动式自动寻的制导系统是由制导站向空间辐射能量,弹上制导设备接收经目标反射的能量,以此获取目标信息,然后形成导引信号,控制飞行器导向目标。由于其照射源在制导站,其照射功率可以较大,制导距离远。弹上导引头没有发射设备,其结构简单,轻便。其最大缺点是易受干扰和制导站机动受限。目前广泛应用于地(舰)空导弹。照射目标的能源不在飞行器上,弹上只有接收装置,能量发生装置设在飞行器以外的制导站或其他位置。因此它的功率可以很大,半主动式寻的制导系统的作用距离比主动式要大。
            被动式自动寻的制导系统
            被动式自动寻的系统,飞行器本身不辐射能量,也不需要别的照射源把能量照射到目标上去,飞行器上的接收装置接收由目标辐射出的红外线或无线电波获取目标信息,以此形成导引指令,控制飞行器导向目标。
            这种制导系统必须建立在目标有某种能量辐射,并且达到一定功率的基础上,因而对目标的依赖性太大,易受目标欺骗。电视、红外系统受环境条件制约严重,它们本身又不具备测距能力,所以必须与雷达、激光制导配合使用。但其本身隐蔽性好,还可发射后不管。弹上设备简单、质量小,所以在攻击各种活动目标的飞行器上均有应用。目前常用的有被动雷达、电视和红外几种方式。

            采用雷达被动式自动寻的系统的飞行器,弹上接收设备接收目标发时的雷达波,完成对目标的角度自动跟踪和距离自动跟踪,也称反辐射导单。它设有记忆功能,当飞行器已对目标实施跟踪后,即使目标停止发射,飞行器也能依靠记忆功能跟踪目标。

            NOTE:三方式不同即照射源的发射方不同。

            3) 遥控制导系统:由飞行器以外的指挥站向飞行器发出导引信息的制导系统,称为遥控制导系统。这里所说的导引信息,可能是导引指令或飞行器的位置信息。遥控制导系统含地面制导站和弹上制导设备两部分。地面制导站含目标、飞行器观测跟踪设备、制导中心计算机和指令发射设备等。飞行器上制导设备有指令接收系统和控制系统等。这种制导方法广泛应用于防空导弹中。这种制导系统中,导引信息是由设在飞行器外部的制导站发出的,制导站可以设在地面、舰面或空中。它测量目标和飞行器的相对位置,通过计算机装置形成导引信号,然后发送给飞行器,控制飞行器飞向目标。它的特点是:主要设备在制导站,弹上设备简单;制导站作用距离远,制导精度高;但必须连续对飞行器进行制导,制导站的机动能力受限。它适用于近、中程导弹的制导或作为远程导弹的中继制导。攻击活动目标,多用于舰空导弹。遥控制导分为无线电指令制导和波束制导两类。

            4)  复合制导系统:复合制导也叫综合制导或组合制导。以上制导系统各有优、缺点,当要求较高时,根据目标特性和要完成的任务,可把各种制导系统以不同的方式组合起来,以取长补短,进一步提高制导系统的性能。例如,飞行器飞行初段用自主式制导,将其引导到要求的区域;中段用遥控指令制导,以较精确地把飞行器引导到目标附近;末段用自动寻的式制导。这不仅增大了制导系统的作用距离,更重要的是提高了制导精度。当然,还可用自主+自动寻的、遥控+自动寻的等组合制导系统。复合制导多用于远程制导武器,如各类巡航导弹、反舰导弹等,工作波段的复合使用多用于寻的段的制导,由于它具有很强的抗干扰和目标识别能力,目前备受重视。

            下一节将会进行一些会用到的Matlab基础知识以及微分数值技术进行说明。

    更多相关内容
  • 系统地研究了一些图像可匹配性检验参数,定义了图像的自匹配性能参数,设计了该参数的计算方法,进而提出一种新的基准图选定准则。基于理论分析与仿真实验,指出了常用准则存在的局限性,说明了本方法的优越性;通过...
  • 本文以某型导弹景象匹配制导系统实时DSP图像采集为例,论述了基于PCI总线和DSP的嵌入式图像采集系统的优点,并详细阐明了系统的硬件结构和基于VxWorks操作平台的软件实现,实现了图像的实时采集、传输和处理。
  • 本文从实时性和大容量两方面介绍了在某型导弹景象匹配制导系统中通用计算机上加入DSP加速卡实现的图像采集系统。利用DSP芯片的高速处理特性完成大部分的图像处理工作,上位机只完成辅助操作和存储系统。这种方法发挥...
  • 针对光电成像末制导景象匹配中图像存在尺度、旋转、灰度和3D视角差异的问题,构造了一种基于均匀模式的特征描述符,并基于该特征描述符和最稳定极值区域(MSER)提出了一种新的景象匹配算法。算法首先提取基准图像和实时...
  • 大数据-算法-景象匹配制导系统的匹配算法研究.pdf
  • 基于景象匹配制导的飞行器飞行前需要进行航迹规划, 就是在飞行区域中选择出一些匹配概率高的匹配 区, 作为相关匹配制导的基准, 由此提出了估计匹配区匹配概率的问题本文模拟飞行中匹配定位的过程定义了匹 配概率, 并...
  • 基于三角制导和约束的特征匹配
  • 音视频-编解码-末制导DBS成像环境建模及图像匹配研究.pdf
  • 音视频-编解码-图像匹配技术及图像捕控指令制导半实物仿真系统研究.pdf
  • 图像制导的目标匹配算法与系统设计.pdf 图像制导的目标匹配算法与系统设计.pdf
  • 文中研究了简易制导火箭的制导控制系统,在基于自动驾驶仪与制导律相匹配原则的基础上,研究并仿真了速度矢量自动驾驶仪积分比例导引的制导控制系统方案。仿真结果表明,该方案是可行的。
  • “精确制导”网课习题答案,适合需要选修该课的如人员作为学习的参考
  • 图像匹配算法分为3类:基于灰度的匹配算法、基于特征的匹配算法、基于关系的匹配算法 (1)基于灰度的模板匹配算法:模板匹配(Blocking Matching)是根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像。...

    图像匹配算法分为3类:基于灰度的匹配算法、基于特征的匹配算法、基于关系的匹配算法

    (1)基于灰度的模板匹配算法:模板匹配(Blocking Matching)是根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像。基于灰度的匹配算法也称作相关匹配算法,用空间二维滑动模板进行匹配,不同匹配算法主要体现在相关准则的选择方面,常见的基于模板的匹配算法可以参考下面的链接:

    参考:http://blog.csdn.net/hujingshuang/article/details/47759579

    (2)基于特征的匹配算法:首先提取图像的特征,再生成特征描述子,最后根据描述子的相似程度对两幅图像的特征之间进行匹配。图像的特征主要可以分为点、线(边缘)、区域(面)等特征,也可以分为局部特征和全局特征。

    区域(面)特征提取比较麻烦,耗时,因此主要用点特征和边缘特征。

    点特征包括:Harris 、Moravec、KLT、SIFT、SURF 、BRIEF、SUSAN、FAST、CENSUS、FREAK(点击打开链接)、BRISK(点击打开链接)、ORB、光流法(点击打开链接)、A-KAZE等。

    边缘特征包括:LoG算子、Robert算子、Sobel算子、Prewitt算子、Canny算子等。

     光流法:

    (3)基于关系的匹配算法:建立语义的网络,是人工智能领域在图像处理中的应用,但还没有突破性的进展。

     

    立体匹配:左右相机的匹配,用基于灰度的模板匹配方法,对所有的像素点匹配。

    跟踪匹配:前后帧的匹配,用基于特征的匹配算法,对特征点进行匹配,然后根据几个匹配的特征点计算出相机的位姿.

    基于灰度的模板匹配算法(一):MAD、SAD、SSD、MSD、NCC、SSDA、SATD算法

    简介:

           本文主要介绍几种基于灰度的图像匹配算法:平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)、hadamard变换算法(SATD)。下面依次对其进行讲解。

    MAD算法

    介绍

            平均绝对差算法(Mean Absolute Differences,简称MAD算法),它是Leese1971年提出的一种匹配算法。是模式识别中常用方法,该算法的思想简单,具有较高的匹配精度,广泛用于图像匹配。

    S(x,y)是大小为mxn的搜索图像,T(x,y)MxN的模板图像,分别如下图(a)(b)所示,我们的目的是:在(a)中找到与(b)匹配的区域(黄框所示)。

    算法思路

            在搜索图S中,以(i,j)为左上角,取MxN大小的子图,计算其与模板的相似度;遍历整个搜索图,在所有能够取到的子图中,找到与模板图最相似的子图作为最终匹配结果。

            MAD算法的相似性测度公式如下。显然,平均绝对差D(i,j)越小,表明越相似,故只需找到最小的D(i,j)即可确定能匹配的子图位置:

    其中:

    算法评价:

    优点:

    思路简单,容易理解(子图与模板图对应位置上,灰度值之差的绝对值总和,再求平均,实质:是计算的是子图与模板图的L1距离的平均值)。

    运算过程简单,匹配精度高。

    缺点:

    运算量偏大。

    对噪声非常敏感。

    ——————————————————————————————————————————————————————————————————————————————

    SAD算法

    介绍

            绝对误差和算法(Sum of Absolute Differences,简称SAD算法)。实际上,SAD算法与MAD算法思想几乎是完全一致,只是其相似度测量公式有一点改动(计算的是子图与模板图的L1距离),这里不再赘述。

    算法实现

    由于文章所介绍的几个算法非常相似,所以本文仅列出SAD算法的代码,其余算法的实现类似。看别人代码都相对费力,想自己敲也很简单。

    MATLAB代码

     

     
    1. %%

    2. %绝对误差和算法(SAD)

    3. clear all;

    4. close all;

    5. %%

    6. src=imread('lena.jpg');

    7. [a b d]=size(src);

    8. if d==3

    9. src=rgb2gray(src);

    10. end

    11. mask=imread('lena_mask.jpg');

    12. [m n d]=size(mask);

    13. if d==3

    14. mask=rgb2gray(mask);

    15. end

    16. %%

    17. N=n;%模板尺寸,默认模板为正方形

    18. M=a;%代搜索图像尺寸,默认搜索图像为正方形

    19. %%

    20. dst=zeros(M-N,M-N);

    21. for i=1:M-N %子图选取,每次滑动一个像素

    22. for j=1:M-N

    23. temp=src(i:i+N-1,j:j+N-1);%当前子图

    24. dst(i,j)=dst(i,j)+sum(sum(abs(temp-mask)));

    25. end

    26. end

    27. abs_min=min(min(dst));

    28. [x,y]=find(dst==abs_min);

    29. figure;

    30. imshow(mask);title('模板');

    31. figure;

    32. imshow(src);

    33. hold on;

    34. rectangle('position',[y,x,N-1,N-1],'edgecolor','r');

    35. hold off;title('搜索图');

     

    输出结果

    ——————————————————————————————————————————————————————————————————————————————

    SSD算法

            误差平方和算法(Sum of Squared Differences,简称SSD算法),也叫差方和算法。实际上,SSD算法与SAD算法如出一辙,只是其相似度测量公式有一点改动(计算的是子图与模板图的L2距离)。这里不再赘述。

    ——————————————————————————————————————————————————————————————————————————————

    MSD算法

            平均误差平方和算法(Mean Square Differences,简称MSD算法),也称均方差算法。实际上,MSD之余SSD,等同于MAD之余SAD(计算的是子图与模板图的L2距离的平均值),故此处不再赘述。

     

    ————————————————————————————————————————————————————————————————————————————————

    NCC算法

            归一化积相关算法(Normalized Cross Correlation,简称NCC算法),与上面算法相似,依然是利用子图与模板图的灰度,通过归一化的相关性度量公式来计算二者之间的匹配程度。

    其中,分别表示(i,j)处子图、模板的平均灰度值。

    ————————————————————————————————————————————————————————————————————————

    SSDA算法

            序贯相似性检测算法(Sequential Similiarity Detection Algorithm,简称SSDA算法),它是由BarneaSliverman1972年,在文章《A class of algorithms for fast digital image registration》中提出的一种匹配算法,是对传统模板匹配算法的改进,比MAD算法快几十到几百倍。

    与上述算法假设相同:S(x,y)mxn的搜索图,T(x,y)MxN的模板图,是搜索图中的一个子图(左上角起始位置为(i,j))。

    显然:

    SSDA算法描述如下:

    定义绝对误差:

    其中,带有上划线的分别表示子图、模板的均值:

    实际上,绝对误差就是子图与模板图各自去掉其均值后,对应位置之差的绝对值。

    设定阈值Th

    在模板图中随机选取不重复的像素点,计算与当前子图的绝对误差,将误差累加,当误差累加值超过了Th时,记下累加次数H,所有子图的累加次数H用一个表R(i,j)来表示。SSDA检测定义为:

    下图给出了A、B、C三点的误差累计增长曲线,其中A、B两点偏离模板,误差增长得快;C点增长缓慢,说明很可能是匹配点(图中Tk相当于上述的Th,即阈值;I(i,j)相当于上述R(i,j),即累加次数)。

    在计算过程中,随机点的累加误差和超过了阈值(记录累加次数H)后,则放弃当前子图转而对下一个子图进行计算。遍历完所有子图后,选取最大R值所对应的(i,j)子图作为匹配图像【若R存在多个最大值(一般不存在),则取累加误差最小的作为匹配图像】。

            由于随机点累加值超过阈值Th后便结束当前子图的计算,所以不需要计算子图所有像素,大大提高了算法速度;为进一步提高速度,可以先进行粗配准,即:隔行、隔离的选取子图,用上述算法进行粗糙的定位,然后再对定位到的子图,用同样的方法求其8个邻域子图的最大R值作为最终配准图像。这样可以有效的减少子图个数,减少计算量,提高计算速度。

    ——————————————————————————————————————————————————————————————————————

    SATD算法

           hadamard变换算法(Sum of Absolute Transformed Difference,简称SATD算法),它是经hadamard变换再对绝对值求和算法。hadamard变换等价于把原图像Q矩阵左右分别乘以一个hadamard变换矩阵H。其中,hardamard变换矩阵H的元素都是1-1,是一个正交矩阵,可以由MATLAB中的hadamard(n)函数生成,n代表n阶方阵。

          SATD算法就是将模板与子图做差后得到的矩阵Q,再对矩阵Q求其hadamard变换(左右同时乘以H,即HQH),对变换都得矩阵求其元素的绝对值之和即SATD值,作为相似度的判别依据。对所有子图都进行如上的变换后,找到SATD值最小的子图,便是最佳匹配。

    MATLAB实现:

    1. %//*****************************************

    2. %//Copyright (c) 2015 Jingshuang Hu

    3.  
    4. %//@filename:demo.m

    5. %//@datetime:2015.08.20

    6. %//@author:HJS

    7. %//@e-mail:eleftheria@163.com

    8. %//@blog:http://blog.csdn.net/hujingshuang

    9. %//*****************************************

    10. %%

    11. %//SATD模板匹配算法-哈达姆变换(hadamard)

    12. clear all;

    13. close all;

    14. %%

    15. src=double(rgb2gray(imread('lena.jpg')));%//长宽相等的

    16. mask=double(rgb2gray(imread('lena_mask.jpg')));%//长宽相等的

    17. M=size(src,1);%//搜索图大小

    18. N=size(mask,1);%//模板大小

    19. %%

    20. hdm_matrix=hadamard(N);%//hadamard变换矩阵

    21. hdm=zeros(M-N,M-N);%//保存SATD值

    22. for i=1:M-N

    23. for j=1:M-N

    24. temp=(src(i:i+N-1,j:j+N-1)-mask)/256;

    25. sw=(hdm_matrix*temp*hdm_matrix)/256;

    26. hdm(i,j)=sum(sum(abs(sw)));

    27. end

    28. end

    29. min_hdm=min(min(hdm));

    30. [x y]=find(hdm==min_hdm);

    31. figure;imshow(uint8(mask));

    32. title('模板');

    33. figure;imshow(uint8(src));hold on;

    34. rectangle('position',[y,x,N-1,N-1],'edgecolor','r');

    35. title('搜索结果');hold off;

    36. %//完

     

    输出结果:

    —————————————————————————————————————————————————————————————————————

    OK,介绍完毕,以上便是几种常见的基于灰度的模板匹配算法。

    参考文献:

    1、D.I BARNEA, H.F SILVERMAN, A class of algorithms for fast digital image registration[J], IEEE TRANSACTIONS ON COMPUTERS,1972.

    2、赵启, 图像匹配算法研究[D], 2013.

    3、丁慧珍, 抗任意角度旋转灰度匹配方法研究[D], 2006.

    4、陈皓, 马彩文等, 基于灰度统计的快速模板匹配算法[J], 光子学报, 2009.

    5、杨小冈等, 基于相似度比较的图像灰度匹配算法研究[J], 系统工程与电子技术, 2005.

    LBD算法 - Graph matching 图匹配算法分析

    概述


    原文:《An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency》

    上一步我们进行了线特征的提取和描述,接下来我们进行线特征的匹配。在此之前我们先通过预处理将一些明显无法匹配的特征给消除,以降低图匹配问题的维度。
    该部分图匹配算法分为三步:

    1. 查找候选匹配对
    2. 构建关系图
    3. 生成最终匹配结果

    1. 查找候选匹配对


    匹配的双方,我们分别称为参考图像和查询图像,检测出双方的LineVecs之后,我们要检测他们的一元几何属性局部外观相似度,若未通过测试,那么认为他们是不匹配的。这样做可以大大减小图优化匹配的问题维度,使得我们后期匹配的速度更快。

    1.1.一元几何属性

    线段的一元几何属性就是LineVecs的方向,在同一个LineVec中的线具有相同的方向,并且每一个LineVec拥有唯一的方向。但是两张图中的LineVecs的方向有可能是不可靠的,图像有可能会有任意角度的旋转,对于这点,我们利用图像对之间存在的近似全局旋转角,可以减少候选匹配对的数目。

    构建旋转

    和其他文章中使用对应匹配来进行图像旋转不同,LBD的Matching中通过计算两个图像的LineVecs方向直方图,得到规范化直方图,h代表直方图。我们改变的角度,通过公式寻找一个全局近似旋转角

    而全局旋转变换不一定总是好的,所以我们也需要去检查估计旋转角是不是真的。实际上如果透视变换可以通过旋转来近似,那么直方图之差比较小。这代表了在进行了旋转之后,两个图像之间的相似程度。
    这里写图片描述
    上图就显示出了两张图之间的直方图差距,通过旋转我们可以得出两张图之间相似度很高。上图中的预估角度是0.349,偏移是0.243

    但是如果图像中提取的线重复度很低的话,这种直方图方法就有可能提取出错误的旋转角度。为了解决这个问题,对于在方向直方图上落入相同区间bins的线段,将他们的长度累积起来。那么我们就可以得到一个长度向量,其第i个元素就是方向直方图中第i个bin中的线段累计长度。

    我们设定最小偏移直方图小于阈值th,并且最小偏移长度向量距离小于阈值tl时,我们接受我们所估计的全局旋转角。一旦全局旋转角被接受,就会有一对LineVecs被匹配。但是如果这对LineVecs的方向角度和估计的全局旋转角之差超过阈值,那么我们认为他们是不能够匹配的。如果两个图片之间没有可以接受的旋转角度,那么我们只测试他们的外观相似性。

    1.2. 局部外观相似性

    我们用直线描述符之间的距离(lost)来度量局部外观相似度。
    对于LineVec中的每个线段,我们都从提取出线的尺度层中生成一个LBD描述子向量V。当我们对一幅图像中提取出来的两组LineVec进行匹配,要去评估参考LineVec和测试LineVec中所有描述子之间的距离,并且用最小的描述子距离去测量LineVec外观相似度s。如果 s > ts s大于局部外观不相似容忍度,那么相应两个LineVecs将不会再进一步考虑。

    在检查了LineVecs的一元几何属性和局部外观相似性之后,通过了这些测试的直线对被当做候选匹配。我们在上面的测试中,应当选取一组松散阈值,其中经验值是 tθ=π/4 ts=0.35。候选匹配的数量比实际匹配的数量要大很多,因为我们不能仅仅按照刚才两个属性来确定最终的匹配结果,当然我们上面的工作也是大大减小了图形匹配的问题维度的。

    2. 构建关系图

    对于上面得到一组候选匹配项,我们要构建一个关系图
    其中关系图里的节点代表潜在的对应点
    节点之间的连接的权重代表对应点之间的一致性

    拿到了k对对应关系,我们用一个大小为k*k的邻接矩阵A来表示关系图,其中第i行第j列的元素值是候选LineVec匹配对的一致性得分。其中分别是引用图和查询图的LineVecs变量,上面的一致性得分是通过候选匹配对的成对几何属性外观相似度计算的来的。

    成对几何属性


    我们选择两条线分别是,他们代表了这两个LineVecs之间的最小描述子距离,并在原图中定位他们的端点位置。然后我们用他们的交点比率,投影比率和相对角度来描述的几何属性,就如上图所描述的那样。其中的两个值的计算方法如下:

    Ij和Pj的值可以用相同的方法求解得到,相对角度可以直接用线方向求得。这三个量对平移旋转缩放都是不变的。

    外观相似度

    之前,我们使用LBD描述向量来表示线的局部外观。
    假设描述子与r图(参考图)和q图(查询图)的LineVecs之间的最小距离是,同理对。我们可以得到两组成对几何属性和局部外观,分别是

    计算一致性得分Aij:



    其中是几何相似性;是局部外观相似性;是条件。最后一个代表所有在内的元素都不能大于1。
    接下来我们设。计算完他们的一致性得分之后,我们便获得了邻接矩阵A。

    3. 生成最终匹配结果

    到这一步之后,匹配的问题最终就变成了,寻找匹配簇LM,该匹配簇可以最大化总的一致性分数,以至于可以满足映射约束。我们使用一个指标向量来表示这个簇,否则为0,因此这个问题被表示为:

    其中x受制于映射约束。一般来说用二次规划来解决这个问题太耗费资源,我们采用谱图技术,对x放款映射约束和积分约束,使得他的元素可以采集实际值在[0,1]区间里。
    通过Raleigh比率定理,可以最大化的x*是A的主特征向量。它仍然是使用映射约束二值化特征向量和获得最优解的一个强大近似。

    以下是算法细节:

    1. 通过EDLine算法从参考图和查询图内提取LineVecs,以从两幅图中分别获得两组LineVecs
    2. 利用两组LineVecs的方向直方图估计图像对的全局旋转角
    3. 计算两组LineVecs的LBD描述子
    4. 通过检查描述子的一元几何属性和局部外观,生成一组候选匹配对
    5. 根据候选匹配对中一致性分数,构建k*k大小的邻接矩阵
    6. 通过使用ARPACK库,得到邻接矩阵A的主特征向量x*
    7. 初始化匹配结果
    8. 查找,如果x*(a)=0,那么停止查找返回匹配结果LM,否则设且x*(a)=0。
    9. 检查CM中所有的候选者,如果冲突,那么设
    10. 如果CM是空的,那么返回LM,否则返回到步骤8。

    最后一行的线段匹配可以从LineVecs LM的匹配结果直接检索。注意,在LineVec的线位于图像的同一区域,并且具有同一方向,因此,每对linevec的匹配,线段匹配有一对就足够检索了。

    参考文档:
    http://www.cnblogs.com/Jessica-jie/p/7545554.html

    代码:
    https://github.com/chishuideyu/LBD_and_LineMatching

     

    展开全文
  • 为实现光电成像末端制导中的自适应目标初始化, 针对末端制导景象匹配中图像存在尺度、旋转、灰度和3D视角差异, 及传统方法运算量较大的问题, 基于随机蕨分类器构造了一种新的景象匹配算法。算法首先利用基准图像进行...
  • 在双目立体视觉系统中,图像匹配是关键步骤之一。在众多匹配算法中,归一化互相关(NCC)算法由于具有精度高、鲁棒性强等优点得到广泛应用,但其计算量大、运算速度较慢,使其难以在线应用。为此,本文提出一种改进...
  • 匹配树木 用同样的重复的过程来匹配树木树,得到一个像这样的匹配: 放大,看起来是这样: 同样,这个匹配并不完美,但它为进一步的工作提供了一个良好的起点。 我希望这篇文章在如何使用预训练的神经网络的物体...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    作者:Karsten Noe

    编译:ronghuaiyang

    导读

    通过使用预训练网络在遥感图像应用中减少对标注数据的需求。

    深度学习是一个了不起的方法,用于遥感数据集,如卫星或航空照片的目标检测和分割/匹配。然而,就像深度学习的许多其应用场景一样,获得足够的带标注的训练数据可能会耗费大量的时间。在这篇文章中,我将介绍一些我们的工作,即使用预先训练好的网络来在遥感数据的目标检测任务中避免标注大型训练数据集的大量繁琐工作

    2019年9月中旬,我参加了北欧遥感会议。从许多会谈中可以明显看出,深度学习已经进入许多遥感专家的工具箱。观众们对这个话题的兴趣似乎很大,他们讨论了在各种应用中使用深度学习技术的影响和适用性。

    讨论的内容之一是使用为一种数据(通常是自然图像)开发和训练的神经网络,并将其应用于其他类型(遥感)数据源中的实践。例如,来自挪威计算中心的Øivind Due Trier展示了一项工作,在一个为计算机视觉应用开发的标准的物体检测网络应用于过滤海拔地图上,为了定位挪威考古遗址。这里,来自听众的反对意见是,使用这个模型没有意义。我强烈反对这一点,尽管神经网络是为自然图像开发的,但在其他数据源上测试它也是有意义的。在这种情况下,演示者可以演示它的工作原理!在我看来,甚至尝试在数据源之间迁移学习也是有意义的 —— 为什么用在另一种数据集上训练的滤波器来初始化网络会比随机初始化更糟糕呢?开发的模型可能太大,容易过拟合,但是使用现有代码库和预训练过的模型进行快速试验的好处往往太大,因此进行试验是很有意义的。

    在这篇文章的其余部分,我将展示一些我们在实验室中所做的工作,这些工作是将一个在一个领域(ImageNet自然图像)训练过的网络用于在另一个领域(航拍图像)进行基于图像的搜索。希望我能使你相信这种方法是有意义的。我并不是说ImageNet网络可以得到最好的结果,而是说在考虑可能需要的标注工作量时,使用跨域网络确实有意义。

    视觉搜索以及所需的训练数据

    深度学习或其他机器学习技术可用于开发识别图像中物体的鲁棒方法。对于来自飞机的航拍图像或高分辨率卫星照片,这将使不同物体类型的匹配、计数或分割成为可能。然而,使用深度学习需要大量的训练数据,除非你已有了可用的用于所需的物体类别的注册数据,而创建这样一个训练数据集是一个非常耗时的过程。

    因此,在与哥本哈根市的合作中,我们朝着一种工具迈进了一步,该工具可以用于匹配所需的物体类型,而不需要预先创建训练数据。该工具基于之前的一个项目背后的技术。这个在线演示可以让你点击丹麦航拍图像数据集上的一个地方,并查看丹麦的100个看起来最相似的地方。相似度度量是基于一个训练有素的神经网络来区分不同的物体类型。例如,点击游艇码头或风力涡轮机将会产生以下结果:

    基本上,该技术的工作原理是将数据集分割成一堆小片段(在本例中是4800万个片段),每个片段运行一个Resnet-34网络,该网络训练用来区分ImageNet数据集中的1000个不同物体。我们没有使用最终的分类(1000个类中的一个),而是从网络中为每个片段提取一个所谓的描述符,它由2048个数字组成。为了节省内存和减少计算负担,我们训练了一个自动编码器神经网络来压缩2048个数字到512位。在那之后,来自航拍图像数据集的4800万个图像片段可以在不到80毫秒内与一个新的片段相比较!autoencoder是针对这个特定的数据集进行训练的,这意味着它可以以自监督的方式拟合相关的特征。

    在一开始,这个解决方案有一些弱点,为了使技术更健壮,我们解决了:

    • 我们改进了旋转不变性,基于从网络输出提取的描述子,对图像片段旋转0, 90, 180和270度。

    • 基于不同尺度的片段计算描述符。这可以找到不同大小的物体。

    • 我们开发了一种“refining”搜索的交互式方法,使得匹配不只是基于单个片段,而是基于多个片段。

    从2016年公开的12.5厘米分辨率的丹麦spring航拍图像数据集中,我们在哥本哈根周围的以下区域计算了3种不同比例的8,838,984个片段的描述符:

    交互式匹配

    交互式匹配目前还处于原型阶段,最好通过一个示例来解释:假设我们想要映射一个区域中航行的所有船只。我们首先选择一个包含一艘船的片段:

    基于所存储的描述符,系统计算所选片段与所有其片段出之间的“距离”(相似性)。然后,排序完成,100个最相似的片段显示给用户:

    可以看到,这些片段中有一些包含船只,但结果远远不够好。用户现在可以选择一些他满意的片段:

    然后,将所选择的所有片段和数据库中所有片段的描述符进行比较,再根据它们的平均相似距离进行排序。这就产生了下面的前100名:

    可以看到有显著的改善。我们可以选择再运行一次迭代搜索,通过选择更多的我们满意的片段,并再次运行排序:

    船只仍在前100名之列,这是一个好迹象。请注意,我们之前标记为满意的片段不再出现在交互式细分中。

    从排序到匹配

    迭代方法的结果是对880万个片段进行排序,基于在交互细化过程中选择的片段的平均相似距离。理想情况下,应该有个边界,前N个片段包含船只,剩下的片段是没有的。然而,在实际中,更确切地说,是前M个片段包含船只,之后在片段M和片段N之间有一个间隔,其中一些包含船只,而不是所有都包含船只。在M之后的片段被假设不包含船,以避免误报。我们创建了一个快速而粗糙的用户界面,用户可以在其中检查已排序的片段,并为M和N建立一些有用的值。

    如果排序是好的,如果M和N被合理地设置,你现在就有了干净的训练数据,包括包含船只的片段(排序M)和不包含船只的片段(排序N)。这可以用来训练一个分类网络(或者可能的目标检测网络)来识别船只。然而,在我们的例子中,我们选择测试一种更简单的启发式来匹配船:我们在排序中从M之前选择了100个随机的片段(正样本),在N之后选择了100个随机的片段(负样本)。这些片段组成了一个200个样本的比较集。对于M和N之间的每个片段,我们找到与比较集中描述符最相似的两个片段。如果这两个片段都是正样本,片段被接受为一条船,并且片段的轮廓被保存为一个多边形。对于所有正的示例样本(排序rank<M),也创建一个多边形。结果概览如下:

    放大后,你可以看到像这样的东西(由于某些原因,包围框少了一条边):

    匹配并不完美,但在不到一刻钟的时间内,该技术可以提供情况的概述。与此同时,你也为训练数据集创造了一个很好的起点,可以用来训练神经网络或其他机器学习方法。

    匹配树木

    用同样的重复的过程来匹配树木树,得到一个像这样的匹配:

    放大,看起来是这样:

    同样,这个匹配并不完美,但它为进一步的工作提供了一个良好的起点。

    我希望这篇文章在如何使用预训练的神经网络的物体定位方面能激发一些灵感,比如从地图中提取训练数据。我很有兴趣了解更多潜在的使用案例,所以如果你曾经需要在大图片(如地图)中寻找特定的物体,请留下评论!

    另外,我非常渴望听到你的想法,如何使用自监督的方法来创建一个更好的图像patch的嵌入表示。

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 为了实现景象匹配制导应用中对图像数据源质量的客观评价,针对卫星图像的模糊效应,研究了影响图像质量的清晰度评价指标,通过分析比较其对图像匹配过程的影响,挑选出有效指标作为评价因子;通过对大量实验数据特性...
  • 以正弦抖动激光光斑作为制导系统的跟踪目标,分析了稳瞄系统不同抖动频率的照射光斑对制导精度的影响....因此在实际设计中,应匹配具体制导系统的时间常数和稳瞄系统的频带,以避免产生较大脱靶量.
  • 一种基于区域的匹配跟踪算法—–基于图像多尺度熵的红外图像匹配跟踪算法. 首先计算图像的多尺度熵, 得到图 像多尺度熵矢量; 然后利用多尺度熵矢量间的绝对距离(AD) 进行匹配跟踪. 实验表明, 该算法不仅具有...
  • 摘要:介绍了一种适用于主被动复合制导实时信号处理的多处理器并行处理系统。论述了实际系统中信号处理器的软硬件结构和实现,针对主被动复合制导信息处理算法的特点和要求,充分利用了TMS320C6202芯片的软硬件资源...
  • 为分析隔离度对制导系统的影响,提出了隔离度引起的寄生耦合问题。首先建立了制导回路数学模型,讨论了寄生耦合的产生机理。...研究结果表明,为保证快响应寻的制导系统的性能最优,必须进行制导系统的匹配性设计。
  • 论文研究-空地精确制导武器对地攻击目标毁伤评估.pdf, 针对现代战场的复杂性、目标毁伤评估信息的多样性、不确定性,结合模糊理论和贝叶斯网络建立了目标毁伤评估模糊...
  • 自适应控制理论能准确实时调整控制加权系数,实现系统自身性能与外界信息的匹配和沟通,达到最佳性能,并有效应用于智能鱼雷的控制平台中。提出了一种基于自适应控制理论的鱼雷制导控制多通道加权算法,根据自适应多...
  • 为了实现激光驾束制导信息场性能参数检测,设计了基于虚拟仪器技术的激光驾束制导仪信息场仿真系统,将仿真系统应用于信息场性能参数与空间匹配特性检测系统中,实现对检测系统的校正与自检。信息场模拟器的设计精度...
  • 针对同一传感器从不同视角拍摄图像的匹配,提出一种Harris-SIFT算法。首先对图像进行多尺度的预处理,使用动态阈值的Harris算子提取特征点,随后生成128维的SIFT特征向量并对特征向量进行相似度检测,最后建立匹配...
  • 光纤线管是光纤制导武器系统的重要组成部分,由于组成材料热膨胀系数之间的差异,精确缠绕样式的光纤线包性能会随温度变化而发生显著变化.为保证光纤线包结构稳定性及性能可靠性,需要对光纤线管各组成部分进行温度性能...
  • 摘要:为满足某捷联导引头上图像辅助末制导系统的需要.设计了以高速浮点DSP芯片TMS320CE;和现场可编程门阵列FPGA为核心的高性能图像匹配处理平台。文中详
  • 编译原理与技术讲义 第9章 语法制导的中间代码翻译.ppt
  • 双目立体匹配一直是双目视觉的研究热点,双目相机拍摄同一场景的左、右两幅视点图像,运用立体匹配匹配算法获取视差图,进而获取深度图。而深度图的应用范围非常广泛,由于其能够记录场景中物体距离摄像机的距离,...

     双目立体匹配一直是双目视觉的研究热点,双目相机拍摄同一场景的左、右两幅视点图像,运用立体匹配匹配算法获取视差图,进而获取深度图。而深度图的应用范围非常广泛,由于其能够记录场景中物体距离摄像机的距离,可以用以测量、三维重建、以及虚拟视点的合成等。

    主要分四个部分讲解:

    • 摄像机标定(包括内参和外参)
    • 双目图像的校正(包括畸变校正和立体校正)
    • 立体匹配算法获取视差图,以及深度图
    • 利用视差图,或者深度图进行虚拟视点的合成

    来源:https://www.cnblogs.com/riddick/p/8486223.html

    -----------------------------------------------------------------------------------------------------

    KITTI数据集概述

    KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办,是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据,每张图像中最多达15辆车和30个行人,还有各种程度的遮挡与截断。整个数据集由389对立体图像和光流图,39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成[1] ,以10Hz的频率采样及同步。总体上看,原始数据集被分类为’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。对于3D物体检测,label细分为car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc组成。

    KITTI数据集的数据采集平台装配有2个灰度摄像机,2个彩色摄像机,一个Velodyne 64线3D激光雷达,4个光学镜头,以及1个GPS导航系统

    原文链接:https://blog.csdn.net/Solomon1558/article/details/70173223

    -----------------------------------------------------------------------------------------------------

    立体匹配也称 视差估计、 双目深度估计

    • 输入:一对在同一时刻捕捉的,经过 极线校正 的左右图像 IlIr
    • 输出:参考图像(一般选为左图)每个像素对应的视差值对应的视差图d
    • 根据公式 z = b*f / d可获得深度图
      • b: 两相机光心距离
      • f: 相机光心到成像平面的焦距
      • d: 两相机的视差

    来源:https://zhuanlan.zhihu.com/p/339950957

    -----------------------------------------------------------------------------------------------------

     

    立体匹配可划分为四个步骤:匹配代价计算、代价聚合、视差计算和视差优化

    匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点,都可以通过匹配代价函数计算匹配代价,代价越小则说明相关性越大,是同名点的概率也越大。

    每个像素在搜索同名点之前,往往会指定一个视差搜索范围D(Dmin ~ Dmax),视差搜索时将范围限定在D内,用一个大小为W×H×D(W为影像宽度,H为影像高度)的三维矩阵C来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵C通常称为DSI(Disparity Space Image)。

    匹配代价计算的方法有很多,传统的摄影测量中,使用灰度绝对值差(AD,Absolute Differences)1、灰度绝对值差之和(SAD,Sum of Absolute Differences)、归一化相关系数(NCC,Normalized Cross-correlation)等方法来计算两个像素的匹配代价;计算机视觉中,多使用互信息(MI,Mutual Information)法2 3、Census变换(CT,Census Transform)法4 5、Rank变换(RT, Rank Transform)法6 7、BT(Birchfield and Tomasi)法8 等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点,对各类数据的表现也不尽相同,选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。

    代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息,通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值,这很容易受到影像噪声的影响,而且当影像处于弱纹理或重复纹理区域,这个代价值极有可能无法准确的反映像素之间的相关性,直接表现就是真实同名点的代价值非最小。

    视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值,通常使用赢家通吃算法(WTA,Winner-Takes-All)来计算,视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值,通常使用赢家通吃算法(WTA,Winner-Takes-All)来计算,

    视差优化的目的是对上一步得到的视差图进行进一步优化,改善视差图的质量,包括剔除错误视差、适当平滑以及子像素精度优化等步骤,一般采用左右一致性检查(Left-Right Check)算法剔除因为遮挡和噪声而导致的错误视差;采用剔除小连通区域算法来剔除孤立异常点;采用中值滤波(Median Filter)、双边滤波(Bilateral Filter)等平滑算法对视差图进行平滑;另外还有一些有效提高视差图质量的方法如鲁棒平面拟合(Robust Plane Fitting)、亮度一致性约束(Intensity Consistent)、局部一致性约束(Locally Consistent)等也常被使用。

    来源:https://zhuanlan.zhihu.com/p/161276985

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,788
精华内容 715
关键字:

匹配制导

友情链接: Flex.zip