精华内容
下载资源
问答
  • 细说图像配准
    万次阅读
    2016-11-25 21:43:49

    Image registration 是指同一目标的两幅或者两幅以上的图像在空间位置的对准。图像配准技术的过程,称为图像匹配或者图像相关(image matching or image correlation)。
    半自动配准:人机交互方式提取特征(如角点),然后利用计算机对图像进行特征匹配、变换和重采样。
    自动配准:计算机自己完成。基于灰度或者是基于特征。
    基于灰度:精度高,缺点是对图像灰度变化敏感,尤其是非线性化的光照变化。计算复杂度高,对目标的旋转、变形以及遮挡比较敏感。
    基于特征:特征提取和特征匹配。可提取的特征有点、线与区域。特征区域一般采用互相关来度量,但互相关度量对旋转处理比较困难,尤其是图像之间存在部分图像重叠的情况。最小二乘匹配算法和全局匹配的松弛算法能够取得比较理想的结果。
    (1) 图像配准的一般模型
    图像配准可以定义成两相邻图像之间的空间变换和灰度变换,即先将图像像素的坐标X映射到一个新坐标系中的某一个坐标X’,再对其像素进行重采样。图像配准要求相邻图像之间有一部分在逻辑上是相同的,即相邻的图像有一部分反映了同一目标区域,这一点是实现图像配准的基本条件。如果确定了相邻图像代表同一场景目标的所有像素之间的关系,采用相应的处理算法即可以实现图像配准。
    假设现有图像F和G,需要对他两进行配准。该问题可以抽象为对图像G做空间变换和灰度变换,得到图像G2,使得变换后的图像G2和图像F之间的相似度达到最大或最小,这个相似度可以根据经验人为设置。
    一般地,空间变换要求两幅图像具有相同的分辨。通常以高分辨率图像为参考图像,先对高分辨率图像进行抽样,使其分辨率与待配准图像的分辨率保持一致;再进行空间变换和灰度变换;最后对配准后的图像进行插值,使其分辨率与原始参考图像的分辨率保持一致。

    (2)图像变换与重采样
    在图像配准中,首先根据参考图像与待配准图像相对应的特征点,求解两幅图像之间的变换参数;然后将待配准图像做相应的空间变换,使得两幅图像在同一空间坐标系内;最后通过灰度变换,对空间变换后的待配准图像值进行重新赋值,即重采样。
    图像变换就是寻找一种坐标变换的模型,建立从一副图像坐标到另一幅图像坐标之间的映射关系。在图像配准中,常用的有刚体变换、仿射变换、投影变换和非线性变换四种模型。
    重采样的方法是利用待配准图像与参考图像最邻近的像素点的灰度,使用逼近的方法得到待配准图像的点阵的坐标点的灰度值,从而得到最终配准图像。一般采用的算法有双线性插值与最邻近像元法。

    更多相关内容
  • 医学图像配准

    千次阅读 2020-09-21 00:26:34
    图像配准(image registration)是对同一场景在不同条件下得到的两幅或多幅图像进行对准、叠加的过程。同一场景的多幅图像会在分辨率、成像模式、灰度属性、位置(平移和旋转)、比例尺度、非线性变形及曝光时间等...

           图像配准(image registration)是对同一场景在不同条件下得到的两幅或多幅图像进行对准、叠加的过程。同一场景的多幅图像会在分辨率、成像模式、灰度属性、位置(平移和旋转)、比例尺度、非线性变形及曝光时间等方面存在很多差异。概括来说,图像配准问题是以在变换空间中寻找一种特定的最优变换,达到使两幅或多幅图像在某种意义上的匹配为目的。 

           本文详细论述了这两种常用方法的特点及应用领域,并将基于特征的图像配准方法作为本文的研究重点。基于特征的图像配准方法是目前图像配准最常用的方法之一,特征提取的准确程度和定位的精确程度将对整个配准过程产生很大的影响。本文通过对现有的特征提取方法进行分析,完成图像配准。仿真结果表明该方法在保持配准精度的同时,能够稳定并快速地实现具有平移和旋转的图像的配准问题。最后,本文讨论了图像配准的一个重要应用领域―医学图像拼接。通过实验证明,本文提出的方法满足图像处理过程的实时性和准确性。

    图像配准(image registration)是对同一场景在不同条件下得到的两幅或多幅图像进行对准、叠加的过程。同一场景的多幅图像会在分辨率、成像模式、灰度属性、位置(平移和旋转)、比例尺度、非线性变形及曝光时间等方面存在很多差异。概括来说,图像配准问题是以在变换空间中寻找一种特定的最优变换,达到使两幅或多幅图像在某种意义上的匹配为目的。图像配准来自于多个领域的实际问题,其应用相当广泛,归纳起来可划分成如下四类:

    不同视点的图像配准(多视点分析):目的在于获取更大范围的二维视角或重构被摄场景的三维信息。应用实例:遥感—被摄区域图像镶嵌、计算机视觉—形状恢复;不同时间的图像配准(多时段分析):目的在于寻找并度量两幅不同时间内拍摄的图像中场景的变化。应用实例:遥感—区域规划、计算机视觉——运动跟踪、医学成像—肿瘤病变检测、白天和黑夜的场景以及夏天和冬天的图像特征研究;

    不同传感器的图像配准(多模式分析):目的在于融合不同传感器信息,以获取更为丰富细致的场景信息。如可见光和红外图像配准、医学成像-CT和MRI、多波段的人脸识别;场景与场景模型图像配准:场景模型多为场景的数字表示,如地理信息系统(GIS)中的数字高程图等。配准场景与场景模型的目的在于在场景中定位模型,或在模型中定位场景,或者对场景与模型作相应的比较。应用实例:遥感-将航片或卫片与地图或GIS相配准、计算机视觉-匹配模板图像与实时场景、医学成像—将数字解剖图与病人的图片相比照。根据Brown的总结,图像配准往往看成是以下几种要素的结合:特征空间:定义特征集合用于实现图像间的匹配,特征集是从参考图像和待配准图像中提取出来的集合,即从参考图像和输入图像中提取共有的特征,如闭合边界区域、轮廓、边缘、重心、交叉点等;搜索空间:在参考图像的特征与待配准图像的特征之间建立可能的对应变换关系的集合;搜索策略:用于选择可以计算的变换模型,使得配准在处理过程中逐步达到精度要求;近似性度量:评估对从搜索空间中获得的一个给定的变换所定义的待配准数据与参考数据之间的匹配程度,进一步反映配准结果的好坏。图像配准的每一个步骤都有需要解决和值得研究的难题,研究和讨论整个图像配准算法时,通常会从以上四个方面进行考虑。

    图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。

    配准技术的流程如下:首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数:最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键,准确的特征提取为特征匹配的成功进行提供了保障。

    因此本课题需要解决的关键问题就是需要设计一种算法将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加。

    ·待拼接的图像加载

    image1 = double(imread('1.jpg'));[h1 w1 d1] = size(image1);

    image2 = double(imread('2.jpg'));[h2 w2 d2] = size(image2);

    ·获得特征点

    figure; subplot(1,2,1); image(image1/255); axis image; hold on;

    [X1 Y1] = ginput2(point_number);

    subplot(1,2,2); image(image2/255); axis image; hold on;

    [X2 Y2] = ginput2(point_number);

    这里,我们可以通过手动获得特征点的方法提取两个图片的特征点,对于比较简单的图像,我们可以提取2个点作为特征点,而对于比较复杂的图像,我们可以提取多个点作为特征点。这里,我们首先提取两个点做为特征点来测试系统。

    ·进行图像的配准拼接

    %参数估计

    Z  = [ X2'  Y2' ; Y2' -X2' ; 1 1 0 0  ; 0 0 1 1 ]';     

    xp = [ X1 ; Y1 ];

    t  = Z \ xp;

    a  = t(1);

    b  = t(2);

    tx = t(3);

    ty = t(4);

    T = [a b tx ; -b a ty ; 0 0 1];

    %计算大小

    cp = T*[ 1 1 w2 w2 ; 1 h2 1 h2 ; 1 1 1 1 ];

    Xpr = min( [ cp(1,:) 0 ] ) : max( [cp(1,:) w1] );

    Ypr = min( [ cp(2,:) 0 ] ) : max( [cp(2,:) h1] );

    [Xp,Yp] = ndgrid(Xpr,Ypr);

    [wp hp] = size(Xp);

    %变化

    X = T \ [ Xp(:) Yp(:) ones(wp*hp,1) ]';

    clear Ip;

    xI = reshape( X(1,:),wp,hp)';

    yI = reshape( X(2,:),wp,hp)';

    Ip(:,:,1) = interp2(image2(:,:,1), xI, yI, '*bilinear'); % red

    Ip(:,:,2) = interp2(image2(:,:,2), xI, yI, '*bilinear'); % green

    Ip(:,:,3) = interp2(image2(:,:,3), xI, yI, '*bilinear'); % blue

    offset =  -round( [ min( [ cp(1,:) 0 ] ) min( [ cp(2,:) 0 ] ) ] );

    Ip(1+offset(2):h1+offset(2),1+offset(1):w1+offset(1),:) = double(image1(1:h1,1:w1,:));

    运行程序,我们可以得到如下的结果。

    图4-3 配准以后的图像

    而原始的图像为:

    图4-4 原始的图像

    显然,通过图像配准,其效果基本和原始的整张图相似。

    医学图像配准和医学图像融合有着密切的关系,特别是对多模态图像而言,配准和融合是密不可分的。待融合的图像往往来自于不同的成像设备,它们的成像方位、角度和分辨率等因子都是不同的,所以这些图像中相应组织的位置、大小等都有差异,若事先不对融合图像进行空间上的对准,那么融合后的图像豪无意义。因此,图像配准是图像融合的先决条件,必须先进行配准变换,才能实现准确地融合。

        这里我们将获取几张医学图片,并通过增加特征点数来对系统进行测试。

       

    图4-5 两个人体肺部的图像

    图4-6 原始的图像

    ·2个特征点配准

    图4-7 获得特征点

    图4-8 配准以后的图像

       

    这里,我们改变特征点的位置:

    图4-9 重新获得特征点

    图4-10 配准以后的图像2

    展开全文
  • 快速图像配准

    千次阅读 2020-09-21 00:36:44
    图像配准是图像处理的基本任务之一,早在70年代,人们就开始了图像配准方面的研究,从最简单的模板匹配校正图像平移,到90年代中期开始的对于多模态图像配准的广泛研究。近年来在对配准技术的研究涵盖了多个应用领域...

    图像配准是图像处理的基本任务之一,早在70年代,人们就开始了图像配准方面的研究,从最简单的模板匹配校正图像平移,到90年代中期开始的对于多模态图像配准的广泛研究。近年来在对配准技术的研究涵盖了多个应用领域,在计算机视觉及模式识别、医学图像分析、遥感数据处理、机器人学、计算机辅助设计与制造、天文学等学科中配准技术均占有举足轻重的地位,其中前三个应用领域中针对图像的配准技术的研究扩展的较多,图像配准已成为很多研究课题的必备环节,并且成为各类问题中提高精度和有效性的瓶颈。

    图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的同一场景的两幅或多幅图像进行匹配、叠加的处理过程,是图像处理领域的一个基本问题。目前图像配准技术已经在许多领域中得到了广泛的应用,在图像融合、图像跟踪和卫星遥感系统几个应用领域中的作用尤为突出。

    图像配准技术在许多领域中都起到了非常重要的作用,因此对图像配准技术的研究也就极为重要。图像配准技术经过多年的研究,己经取得了一定的研究成果。目前的图像配准技术可分为手工配准和自动配准。手工配准的方法己经广泛地用到实际中,但需要选择大量的位置控制点,这是非常枯燥的、劳动密集性的、重复并且费时的工作,而且手动配准需要操作者的经验,人的主观性导致图像配准的精度难以保证。当在有限的时间内高精度、准确的配准图像以及图像分析时,就需要找到一种很少或几乎不用手工的自动化技术来配准多模态图像。自动图像配准是在整个在配准过程中不需要人干预的一种配准技术,它也是图像配准技术的最终发展目标。

    1.2 课题相关技术的国内外发展现状及趋势

    图像配准是在图像处理的研究中一个很重要的研究方向。在机器识别的过程中,常需要把不同传感器在不同时间,不同成像条件下对同一景物获取的两幅或是多幅图像在空间中对准,或是根据已知的模式到另一幅图像中找到相应的模式这就需要用到图像配准。图像配准就是将模板与待检测的图像进行比较匹配,并给出一个描述匹配程度的计算结果。如果算法的运算结果显示图像中的某一部分与模板相同或是相似大于设定的阈值,则认为匹配成功。

    早期的图像配准技术主要用于几何校正后的多波段遥感图像的套准,借助于求互相关函数的极值来实现。如在遥感图像处理中把不同波段的传感器对同一景物的多光谱图像按像点的性质进行对应套准,然后根据像点的性质进行地物分类如果利用在不同时间对同一地面拍摄的两张照片,经套准后找出其中特征有了变化的点,就可以用来分析图中哪些部分发生了变化。图像配准研究涉及到许多相关的知识领域,如图像预处理、图像采样、图像分割、特征提取等,并且将计算机视觉、多维信号处理和数值计算等紧密结合在一起。图像配准技术与图像融合、图像分割等研究方向密切相关,是图像理解和图像复原等领域的研究基础。

    根据图像配准中所利用的图像信息的不同,可以将图像配准方法分为三个主要类别:基于灰度信息的方法、基于变换域的方法和基于特征的方法,其中基于特征的方法又可以根据所选用的特征属性的不同而细分为若干类别。

    ·基于灰度信息的图像配准方法

    本类方法一般不需要对图像进行复杂的预先处理,而是利用图像本身具有的灰度统计信息来度量图像的相似程度。其主要特点是实现简单,但应用范围较窄,不能直接用于校正图像的非线性形变,在最优变换的搜索过程中往往需要巨大的运算量。

    ·基于变换域的图像配准方法

    最主要的变换域方法就是傅氏变换方法。该方法利用了傅立叶变换的良好性质,即函数平移,旋转和缩放在频率域都有其对称性。对于图像的平移,计算两幅图像功率谱的傅立叶变换可得一个脉冲函数,该函数仅在平移量处不为零。对于旋转,可使用极坐标方式表示,使图像的旋转转化为图像的平移,再用相同的方法计算图像间的旋转角度。假如图像之间不仅有平移变换还有旋转变换,则我们分两步进行计算:先计算旋转变换后计算平移变换。该方法对于小平移量和旋转及缩放的图像配准非常适合。同时,它具有硬件支持和快速算法,因此计算速度快,同时能克服相关性噪声和依赖频率噪声,可适合多传感器和光源变化采集的图像。

    ·基于特征的图像配准方法

    基于特征的图像配准方法是图像配准方法中的一个大类,这类方法的主要共同之处是首先要对待配准图像进行预处理,也就是特征提取的过程,再利用提取到的特征完成两幅图像特征之间的匹配,通过特征的匹配关系建立图像间的配准映射变换,由于图像中有很多种可以利用的特征,因而产生了多种基于特征的方法。常用到的图像特征有:特征点(包括角点、高曲率点等)、直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。

    本课题我们将重点研究基于特征的图像配准方法。

    1.3 图像配准在医学中的应用

    医学图像配准和医学图像融合有着密切的关系,特别是对多模态图像而言,配准和融合是密不可分的。待融合的图像往往来自于不同的成像设备,它们的成像方位、角度和分辨率等因子都是不同的,所以这些图像中相应组织的位置、大小等都有差异,若事先不对融合图像进行空间上的对准,那么融合后的图像豪无意义。因此,图像配准是图像融合的先决条件,必须先进行配准变换,才能实现准确地融合。

    医学图像配准是医学图像处理的一项基本任务,它可以把来自不同模态或不同时间的多幅图像进行配准,然后为图像的后处理提供保证。如在医学图像融合中,需要将相对应的组织结构融合在一起,而待融合的图像往往来自于不同的成像设备,它们的成像方位、角度和分辨率等因子都是不同的,所以这些图像中相应组织的位置、大小等都有差异,必须先进行配准变换,才能实现准确地融合。医学图像配准的定义:同一个人从不同角度、不同位置拍摄的两张照片,由于拍摄条件不同,每张照片只反映某些方面的特征。要将这两张照片一起分析,就要将其中一张中的人像做移动和旋转,使它与另一幅对齐。这一对齐过程就是配准过程。保持不动的图像叫做参考图像,做变换的图像称为浮动图像。将配准后的图像进行融合就可以得到反映人的全貌的融合图像。医学图像配准就是寻求两幅图像间的几何变换关系,通过这一几何变换,使其中一幅医学图像(浮动图像F)与另外一幅医学图像(参考图像R)上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上具有相同的空间位置。配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。

    1.4 课题所用软件Matlab介绍

    MatlabMatrix Laboratory的简称,是美国Mathworks公司于1984年推出的数值计算机仿真软件,经过不断的发展和完善,如今已成为覆盖多个学科,是具有超强数值计算能力和仿真分析能力的软件。Matlab应用较为简单,用大家非常熟悉的数学表达式来表达问题和求解方法。它把计算、图示和编程集成到一个环境中,用起来非常方便。同时,Matlab具有很强的开放性和适应性,在保持内核不变的情况下,Matlab推出了适合不同学科的工具箱,如图像处理工具箱,小波分析工具箱、信号处理工具箱、神经网络工具箱等,极大地方便了不同学科的研究工作。Matlab强大的绘图功能,简单的命令形式,使其越来越受到国内外科技人员的青睐,得到越来越广泛的应用[8]

    MATLAB之所以如此迅速地普及,显示出如此旺盛的生命力,是由于它有着不同于其它语言的特点。正如同FortranC等高级语言使人们摆脱了需要直接对计算机硬件资源进行操作一样,被称为第4代计算机语言的MATLAB,利用其丰富的函数资源,使编程人员从繁琐的程序代码中解放出来。MATLAB的主要特点:

    ·功能强大

    MATLAB具有功能强劲的工具箱,其包含两个部分:核心部分和各种可选的工具箱。核心部分中,有数百个核心内部函数。其工具箱又可分为两类:功能性工具箱和学科性工具箱。功能性工具箱主要用来扩充其符号计算功能、图示建模仿真功能、文字处理功能以及与硬件实时交互功能。功能性工具箱能用于多种学科,而学科性工具箱是专业性比较强的,例如control toolbox,image processing toolbox,signal processing toolbox等。这些工具箱都是由该领域内的学术水平很高的专家编写的,所以用户无需编写自己学科范围内的基础程序,就能够直接进行高、精、尖的研究。MATLAB之所以成为世界顶级的科学计算与数学应用软件,是因为它随着版本的升级与不断完善而具有越来越强大的功能[9],主要有:数值计算功能;符号计算功能;数据分析功能;动态仿真功能;图形文字统一处理功能。

    ·界面友好,编程效率高

    MATLAB突出的特点就是简洁。它用更直观的、符合人类思维习惯的代码代替了CFortran语言的冗长代码,给用户带来的是最直观、最简洁的程序开发环境。MATLAB语言简洁紧凑,使用方便灵活,库函数极其丰富,程序书写形式自由,利用其丰富的库函数避开繁杂的子程序编程任务,压缩了一切不必要的编程工作。由于库函数都是由本领域的专家编写的,因此用户不必担心函数的可靠性。可以说,用MATLAB进行科学开发是站在专家的肩膀上来完成的。

    ·开放性强

    MATLAB有很好的可扩充性,可以把它当成一种更高级的语言去使用。各种工具箱中的函数可以互相调用,也可以由用户更改。MATLAB支持用户对其函数进行二次开发,用户的应用程序可以作为新的函数添加到相应的工具箱中。

    图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。

    配准技术的流程如下:首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数:最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键,准确的特征提取为特征匹配的成功进行提供了保障。

    因此本课题需要解决的关键问题就是需要设计一种算法将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加。

    2.2 基于特征的图像配准研究方法

    2.2.1图像预处理

    对于参考图像和待配准图像,由于不是在同时或同一传感器拍摄得到的图像,所以为了尽量消除参考图像和待配准图像的灰度差异,一般我们选择直方图匹配作为预处理步骤。直方图匹配处理技术采用组映射规则GML来实现灰度之间的映射。

    2.2.2特征点提取

    基于特征的方法往往提取图像中明显的区域块、线结构和关键点作为特征。这些特征要求足够显著,容易在各种畸变条件下稳定得被检测到。由于同直接利用象素灰度信息的互相关算法相比,特征提取包含了高层信号信息,所以该类算法对光照、噪音的抗干扰能力较强。

    本课题,我们将重点研究点特征的图像配准。在同一张图像上,分别对参考图像和经过直方图匹配后的待配准图像提取Harris角点、SUSAN角点和SIFT特征点。

    2.2.3选择匹配策略

    不同的特征点可以尝试不同的匹配策略,本课题将采取以下方式进行实验:

    ·基于Harris角点的匹配策略采用互相关法粗匹配,然后利用虚拟三角形精确匹配;

    ·基于SUSAN角点的匹配策略采用互相关法粗匹配,再利用RANSAC策略精确匹配;

    ·基于SIFT特征点的匹配策略则通过每个点的特征向量的欧式距离粗匹配,利用RANSAC策略精确匹配。

    展开全文
  • 图像配准的具体定义是什么呢?

    千次阅读 2021-01-29 17:10:39
    对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像(浮动图像,moving image)映射到另一幅图像(参考图像,fixed image)上,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。...

    Image registration 图像配准

    图像配准与相关

    具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像(浮动图像,moving image)映射到另一幅图像(参考图像,fixed image)上,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。

    图像配准常为图像融合的一个预处理步骤。经过精确图像配准的图像对,通常可获得更好的融合效果。

    一、定义

    图像配准是使用某种算法,基于某种评估标准,将一副或多副图片(局部)最优映射到目标图片上的方法。 根据不同配准方法,不同评判标准和不同图片类型,有不同类型的图像配准方法。

    (详见“问题分类”部分)

    二、问题背景和应用

    图像配准在计算机视觉、医学图像处理、材料力学、遥感等领域有广泛应用。

    由于可应用图像配准的图像类型众多,暂时无法开发出可满足所有用途的通用优化方法。

    图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步,对于同一患者,可以采集含有准确解剖信息的图像诸如CT,MRI;同时,也可以采集到含有功能信息的图像诸如SPECT。然而,通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中,使医生更方便更精确地从各个角度观察病灶和结构。同时,通过对不同时刻采集的动态图像的配准,可以定量分析病灶和器官的变化情况,使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。

    在计算机视觉领域里,配准方法可被用来进行视频分析、模式识别,自动跟踪对象的运动变化。

    在材料力学方面,配准通常用来研究力学性质,称为数字图像相关。通过对不同相机不同传感器采集到的信息(形状,温度等)进行融合比较,可以计算得到例如应变场、温度场等数值。通过带入理论模型可以进行参数反向优化等。

    三、相关关键词

    相近词:

    image registration (mapping matching, co-registration alignment, fusion)

    注:mapping 侧重于空间映射,fusion为图像融合,不仅包括配准还包括数据集成后的图像显示。

    相近领域:

    图像融合,图像拼接,图像分割,超分辨率,图配准,点云配准,SLAM

    使用方法:

    相似性测度,配准精度,配准算法,小波变换,互信息,仿射变换,特征提取,特征点匹配,相位相关,角点检测,边缘检测,旋转角度,相位相关,遗传算法,深度学习

    应用领域:

    医学图像,遥感图像,天气预测,地理信息系统,超分辨率,运动追踪,自动控制

    四、问题分类

    图像配准分类标准不唯一,下面两图是某位研究者

    本人的分类结果见下图

    基于问题特点的分类

    1.Registration Quality: 配准性质

    根据数据或特征确定的配准类型。

    如自然图像配准,医学图像配准,遥感图像配准等。

    2.图像采集方式

    ①Multi-view Analysis: 多视图配准 同一物体在同一场景不同视角下的图像配准。

    从多个视角捕获相似对象或场景的图像,以便获得扫描对象或场景的更好表示。如使用图像拼接,从2D图像重建3D模型等。

    ②Multi-temporal Analysis: 多时相配准

    同一物体在同一场景同视角不同时间的图像配准。如运动追踪,肿瘤生长情况跟踪等。

    ③Multi-modal Analysis: 多模态配准

    多模配准常见于医学图像领域,故以多模医学图像配准为例。

    由于医学成像设备可以提供关于患者不同信息不同形式的图像(计算机断层扫描CT,核磁共振MRI,正电子发射断层成像PET,功能核磁共振fMRI等)。

    基于单种或多种模态图像的配准,可划分为单模态(Single-modality)和多模态(Multi-modality)。

    Figure 1 MEG-MRI多模态配准

    3. Interaction: 配准流程互动性

    手动,半自动或自动

    4. Dimensionality: 图像空间维数

    若仅考虑空间维数,可以划分为2D/2D, 2D/3D, 3D/3D等。若考虑时间序列因素,还存在对在不同时刻提取的两幅图像进行配准的问题。

    5. Domain of transformation: 图像转换区域(全局/局部配准)

    6. Nature of Registration basis: 配准基准的性质

    根据算法所基于的特征及相似性测度。

    ①基于内部特征的配准。

    内部特征指的是从图像内部本身提取的信息。

    基于特征(feature-based):在几何上有特别意义的可以定位的特征点集(比如不连续点,图形的转折点,线交叉点等),或者用分割的方法提取出感兴趣的部分的轮廓(曲线或曲面),以作为用来比较的特征空间。在医学图像上可以是具有解剖意义的点。

    基于像素值(intensity-based):利用整幅图像的像素或体素来构成特征空间。根据像素值的统计信息来计算相似性测度又可划分为最小二乘法,傅里叶法,互相关法,互信息法等等。

    ②基于外部特征的配准。 在医学图像中,通过在患者身上固定标记物或向体内注入显影物质以获得在图像上的确定的标记点,称为外部特征点。

    ③基于不同装置成像坐标的配准

    7. Subject of Registration: 配准主体

    以医学图像配准为例,可分为 Intra-subject (图像来自于同一病人),Inter-subjective (来自不同的病人)和 Atlas (病人数据和图谱的配准)三种。

    Object of Registration: 配准物体(头、乳腺、胸、眼、腹、膝盖 等…)

    8. Type of transformation: 变换性质

    根据用于将浮动图像空间与参考图像空间相关联的变换模型对图像配准算法进行分类。对图像进行空间变换可以分为刚体变换(rigid)和非刚体变换(non- rigid, deformable)。

    第一类变换模型是线性变换,包括旋转,缩放,平移和其他仿射变换。线性变换本质上是全局的,因此,它们无法模拟图像之间的局部几何差异。

    第二类变换模型允许“弹性”或“非刚性”变换。这些变换能够局部地扭曲浮动图像使其与参考图像对准。非刚性变换包括径向基函数(薄板或曲面样条函数,多重二次曲面函数和紧支撑变换),物理连续模型(粘性流体)和大变形模型(微分同胚)。

    变换模型通常是参数化的例如,可以通过单个参数(变换向量)来描述整个图像的变换。这些模型称为参数模型。另一方面,非参数模型不遵循任何参数化,允许每个图像元素任意移位。

    9. Parameters of Registration: 算法参数

    当比较特征采用特征点集的形式时,可以通过联立方程组来找到变换的解。

    但一般情况下,配准问题都会转化为求解相似性测度最优值的问题,在计算方法中通常需要采用合适的迭代优化算法,诸如梯度下降法、牛顿法、Powell法、遗传算法等。

    根据算法本质的分类

    图像配准最本质的分类是:

    1.基于灰度的图像配准;2.基于特征的图像配准。

    具体的图像配准算法是基于这两点的混合或者变体的算法。

    五、图像配准通用流程

    通常,图像配准技术包括四个方面:变换模型、特征空间、相似性测度、搜索空间和搜索策略。

    依据这四个特性,图像配准的步骤一般可分为以下五个步骤:根据实际应用场合选取适当的变换模型;

    选取合适的特征空间,基于灰度或基于特征;

    根据变换模型的参数配置以及所选用的特征,确定参数可能变化的范围,并选用最优的搜索策略;

    应用相似性测度在搜索空间中按照优化准则进行搜索,寻找最大相关点,从而求解出变换模型中的未知参数;

    将待配准图像按照变换模型对应到参考图像中,实现图像间的匹配。

    其中,如何选取合适的特征进行匹配是配准的关键所在。

    以基于特征的图像配准通用流程为例:

    基于特征的图像配准通用流程

    1.Feature detection: 特征检测

    图像配准过程的一项重要任务。根据问题的复杂性,通常分为手动或自动检测,但通常优先选择自动特征检测。

    封闭边界,边缘,轮廓,线交点,角点,以及它们的代表点如重心或线末端(统称为控制点)可以作为特征。由特殊对象组成的这些特征必须易于检测,即特征将是物理上可解释和可识别的。

    参考图像必须与浮动图像共享足够多的共同特征集合,而不受到任何未知遮挡或意外改变的影响。用于检测的算法应该足够稳健,以便能够在场景的所有投影中检测相同的特征而不受任何特定图像变形或退化的影响。

    2.Feature matching: 特征匹配

    该步骤基本建立在对待配准图像与在参考图像中检测到的特征之间的对应关系上。

    除了特征之间的空间关系之外,还采用不同的特征描述符( feature descriptor)和相似性度量来确定配准的准确性。

    必须合理地配置特征描述符,使得它们在任何退化时仍保持不变,与此同时,它们需要不受噪声影响且能适当区分不同的特征。

    3.Transform model estimation: 图像变换模型的评估

    为配准浮动图像与参考图像,需要估计映射函数的参数。使用从前一步骤获得的对应特征来计算这些参数。

    映射函数的选择,取决于图像采集过程和预期图像变形的先验知识。在没有任何先验信息的情况下,必须确保模型的灵活性。

    4.Image transformation/re-sampling: 图像变换

    对浮动图像使用映射进行图像变换来配准。

    六、图像配准质量评估标准(performance measures)

    必须有某种方法来评估图像配准的准确度和质量。

    与此同时,针对不同类型的图像需要使用不同评估标准。

    目前 没有一个绝对的金标准(gold standard)可以评估图像配准的质量。

    下面仅以医学图像为例,列举两种最经典的评估方法:

    单模图像配准常使用 相关性(Correlation Coefficient, CC)来衡量效果,

    而多模图像配准常使用 互信息(Mutual Information, MI)衡量。

    ①相关性 Correlation Coefficient (CC)

    相关性本质上是一种相似性度量,它可以了解浮动图像和参考图像的相似程度。如果两个图像完全相同,则相关性等于1;而如果两个图像完全不相关,则相关性值等于0;若相关性值等于-1,表示图像完全反相关,这意味着一个图像是另一个的负面。通过使用相关性作为评价标准,单模态配准可获得满意的结果。

    对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列,采用使图像间相似性最大化的原理实现图像间的配准,即通过优化两幅图像间相似性准则来估计变换参数,主要是刚体的平移和旋转。相关性主要限于单模图像配准,特别是对一系列图像进行比较,从中发现由疾病引起的微小改变。

    它表示为:

    equation?tex=%5Cmathrm%7BCC%7D%3D%5Cfrac%7B%5Csum_%7Bi%7D%5Cleft%28x_%7Bi%7D-x_%7Bm%7D%5Cright%29%5Cleft%28y_%7Bi%7D-y_%7Bm%7D%5Cright%29%7D%7B%5Csqrt%7B%5Csum_%7Bi%7D%5Cleft%28x_%7Bi%7D-x_%7Bm%7D%5Cright%29%5E%7B2%7D%7D+%5Csqrt%7B%5Csum_%7Bi%7D%5Cleft%28y_%7Bi%7D-y_%7Bm%7D%5Cright%29%5E%7B2%7D%7D%7D

    x_i , y_i 分别为浮动图像和参考图像第 i 个像素的强度;

    x_m , y_m 为 浮动图像和参考图像的平均强度。

    ②互信息 Mutual Information (MI)

    互信息是确定两个图像中相应体素的图像强度之间相似度的另一个度量。当两个图像准确对齐时,互信息最大化。互信息的值是非负且对称。其范围从零开始,可以变化到高值。高互信息值表示不确定性的大幅降低,而零互信息值清楚地表明这两个变量是独立的。

    由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设,也不需要对图像作分割或任何预处理,所以被广泛地用于CT/MR、PET/MR等多种配准工作。最大互信息法几乎可以用在任何不同模式图像的配准,特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。

    equation?tex=%5Coperatorname%7BMl%7D%28%5Cmathrm%7Bx%7D%2C+%5Cmathrm%7By%7D%29%3D%5Csum_%7By+%5Cin+Y%7D+%5Csum_%7Bx+%5Cin+X%7D+p%28x%2C+y%29+%5Clog+%5Cleft%28%5Cfrac%7Bp%28x%2C+y%29%7D%7Bp_%7B1%7D%28x%29+p_%7B2%7D%28y%29%7D%5Cright%29

    p(x, y) 为 联合分布函数; p_1(x) , p_2(y) 为边际分布函数。

    也常使用图像分割领域的DICE loss

    七、前人工作

    1.经典方法《图像配准技术及其MATLAB编程实现》

    Image registration methods: A survey

    Image Registration Techniques: A Survey

    Deformable Medical Image Registration: A Survey

    2.最新热点

    基于神经网络:

    医学图像配准

    (参考:Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions)

    相关重要综述文章:Image registration methods: A survey

    Image Registration Techniques: A Survey

    Slice-to-volume medical image registration:A survey

    A Survey on Deep Learning in Medical Image Analysis

    医学图像配准技术_罗述谦

    相关热点前沿文章:Deep Learning in Medical Image Registration: A Survey

    A Survey on Deep Learning in Medical Image Analysis

    Deep Learning in Medical Image Analysis

    A novel relational regularization feature selection method for joint regression and classification in AD diagnosis

    A review of substitute CT generation for MRI-only radiation therapy

    Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation

    The challenge of mapping the human connectome based on diffusion tractography

    八、相关开源工具

    传统方法经典工具:elastix: a toolbox for rigid and nonrigid registration of images.

    niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).

    Python:

    九、数据集

    本文收录在白小鱼:图像配准综述​zhuanlan.zhihu.comee5b76feb062f3bd13d55ba62eb98eed.png

    欢迎关注专栏白小鱼:「图像配准指北」 专栏索引&征稿说明​zhuanlan.zhihu.comb7488fcfed6fcc8f0c1c885dc4685d90.png图像配准指北​zhuanlan.zhihu.comb9ead20dae1e24724be9064c9fa0ef2f.png

    请图像配准领域的学习者、爱好者和从业者加入:【配准萌新交流群】 869211738

    参考^Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540

    ^医学图像配准技术_罗述谦

    ^Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540

    ^Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf

    展开全文
  • MATLAB图像拼接算法及实现

    千次阅读 2021-08-31 11:52:53
    论文关键词:图像拼接 图像配准 图像融合 全景图 论文摘要:图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、...
  • 数字图像处理(dip)

    千次阅读 2022-01-11 10:48:54
    总得来说,低频分量(低频信号)代表着图像中亮度或者灰度值变化缓慢的区域,也就是图像中大片平坦的区域,描述了图像的主要部分。高频分量(高频信号)对应着图像变化剧烈的部分,也就是图像的边缘(轮廓)或者噪声...
  • 数字图像处理词汇

    2022-02-21 10:00:42
    一种图像处理运算,包括两幅图像对应像素的和、差、积、商。 Aliasing 走样(混叠);当图像像素间距和图像细节相比太大时产生的一种人工痕迹。 Arc 弧;图的一部分;表示一曲线一段的相连的像素集合。 B Binary ...
  • 第一章 绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域,他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式,通过...
  • 1. 数字图像处理与识别 2. MATLAB基础 图像灰度变换和几何变换 3. 图像的点运算 4. 图像的几何运算 图像增强:空域和频域 5. 空域图像增强 6. 频域图像增强 小波变换 7. 小波变换 图像复原 8. 图像复原 彩色图像处理...
  • [MATLAB]图像处理——交通标志的识别

    万次阅读 多人点赞 2021-12-02 18:47:09
    MATLAB图像处理课设——交通标志识别 以通俗易懂的语言讲解详细流程,并提供GUI、代码、论文、任务书等资源!
  • 图像拼接

    千次阅读 2018-12-08 17:15:01
    图像拼接是指将描述同一场景的两张或者多张有重叠区域图像,通过图像配准和图像融合技术拼接成一幅大场景全新图像的过程。 文章目录图像拼接过程的三个过程图像的预处理图像预处理图像的投影模型平面投影模式...
  • VoxelMorph: A Learning Framework for Deformable Medical Image Registration*(VoxelMorph:一种可变形医学图像配准的学习框架) 发表时间:2019年 发表期刊:IEEE Transactions on Medical Imaging 摘要 我们提出...
  • MATLAB图像拼接算法及实现(一) 论文关键词:图像拼接 图像配准 图像融合 全景图 论文摘要:图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像...
  • 图像配准综述

    千次阅读 2021-03-10 00:43:42
    点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 本文转自 | 新机器视觉Image registration 图像配准图像配准与相关图像处理研究...
  • 两张图像拼接代码链接 多张图像拼接代码链接 这篇论文Single-Perspective Warps in Natural Image Stitching 是Tianli Liao和Nan Li在2018年发表的关于单透视扭曲图像拼接的论文。 文章目录摘要一、介绍二、相关工作...
  • 巧解图像处理经典难题之图像配准

    千次阅读 2020-12-08 07:00:00
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达作者丨白小鱼@知乎来源丨https://zhuanlan.zhihu.com/p/80985475编辑丨机器视觉课堂【导读】图像配准...
  • MATLAB小波图像融合处理

    千次阅读 2021-08-25 11:52:17
    目 录摘 要 1Abstract 11、 绪论 21.1 课题开发背景 21.1.1 图像融合的定义 21.1.2 手动配准与图象融合 21.1.3 图象融合研究的发展现状和研究热点 31.2 课题设计要求 42、MATLAB程序设计 52.1 MATLAB软件简介 52.2 ...
  • 图像处理专业英语

    千次阅读 2018-02-08 10:41:15
    一种图像处理运算,包括两幅图像对应像素的和、差、积、商。 Aliasing 走样(混叠)   当图像象素间距和图像细节相比太大时产生的一种人工痕迹。 Arc 弧 ( l)图的一部分(2)表示一段相连曲线的像素集合。 ...
  • 遥感影像及其特征、遥感图像处理方法介绍
  • 医学图像处理期末复习

    千次阅读 2021-03-17 13:56:27
    图像相【减】常用于检测两幅或多幅图像之间的变化。 4.【指数】变换适合对像素灰度集中在高灰度区的图像进行处理。 5.图像的局部运算一般是通过图像的【卷积】运算获得的。 6.对数变换对图像的【低灰度】区有较大的...
  • 一篇关于红外图像和可见光图像融合的摘要

    万次阅读 多人点赞 2020-07-15 15:44:14
    因此,期望融合这两种类型的图像,这可以结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点。在这项工作中,我们全面研究了红外和可见光图像融合的现有方法和应用。首先,详细回顾了红外和可见图
  • 数字图像处理之几何变换(2)(一)Matlab中的图像坐标系统(1)输出图像位置(2)控制输出网格(二)图像内插(1)二维插(2)插方法的比较 (一)Matlab中的图像坐标系统 在考虑几何变换的其他情况之前,...
  • matlab——图像配准

    千次阅读 2020-04-26 16:13:00
    文章目录图像配准配准点选取对四幅不同的图像进行图像配准步骤一uigetfile函数iscell函数errordlg函数length函数cell函数fullfile函数...去除或抑制待配准图像和参考图像之间在几何上的不一致,并融合这些数据从...
  • 图像变换

    2020-10-04 01:35:19
    数字图像处理第五章5.1 点变换 5.1 点变换 假设(w,z)和(x,y)是两个空间坐标系统,分别称为输入空间和输出空间。几何坐标变换可定义为输入空间点到输出空间点的映射: (x,y)=T(w,z)(x, y)=T(w, z)(x,y)=T(w,z) 这里,...
  • 图像词汇

    2019-10-05 10:10:43
    一种图像处理运算,包括两幅图像对应像素的和、差、积、商 Aliasing 走样(混叠) 当图象像素间距和图像细节相比太大时产生的一种人工痕迹 Arc 弧 图的一部分, 表示一曲线一段的相连的像素集合 B Binary image 二...
  • 立体校正的目的就是,把实际中非共面行对准两幅图像,校正成共面行对准。(共面行对准:两摄像机图像平面在同一平面上,且同一点投影到两个摄像机图像平面时,应该在两个像素坐标系的同一行),将实际的双目系统...

空空如也

空空如也

1 2 3 4 5 ... 15
收藏数 293
精华内容 117
关键字:

同一区域内两幅图像之间的相互对准叫什么

友情链接: CListCtrl重绘.rar