精华内容
下载资源
问答
  • lenna.jpg 图像处理 经典图片 bmp lenna 彩色 256*256 192kb
  • lenna.bmp 图像处理 经典图片 bmp lenna 彩色 256*256 192kb 欢迎下载 这么经典的东西,又很难找,就不要积分了:)
  • 数字图像处理通用图片素材库,包括Lena、Cameraman、Couple等经典图片的灰度&RGB
  • 数字图像处理经典图

    2013-04-23 15:32:58
    包含lena camara couple等经典图像
  • 图像处理经典图片Lena背后的故事

    千次阅读 2017-07-12 12:46:27
    下面这张图片估计很多人都非常熟悉,是的,图像处理领域的标准Lena,记得之前看到过这张图的原,突然有兴致,看看这张图片背后的故事。   原如下: 最开始看到这张原也是有点吃惊,原来司空见惯的...

    下面这张图片估计很多人都非常熟悉,是的,图像处理领域的标准图Lena,记得之前看到过这张图的原图,突然有兴致,看看这张图片背后的故事。

    lena

     

    原图如下:

    p32605371-2

    最开始看到这张原图也是有点吃惊,原来司空见惯的Lenna头像图竟然是这张图的一小部分,那么这样经典的图片是怎么来的呢?

    Lenna/Lena是谁?


    从comp.compression FAQ中, 我们知道Lenna/Lena是一张数字化了的1972年12月份的《花花公子》折页。Lenna这个单词是在《花花公子》里的拼法,Lena是她名字的瑞典语拼法。(在英语中,为了正确发音,Lena有时被拼做Lenna。)最后的关于Lena Soderberg (ne Sjooblom)的报道说她现在居住在她的本国瑞典,有着幸福的婚姻并是三个孩子的妈妈,在liquor monopoly州有一份工作。1988年,她被某个瑞典计算机相关杂志采访,因为她的照片而发生的一切令她很高兴。这是她第一次得知她的照片在计算机领域被使用。

    为何要使用Lenna图像?

    David C. Munson. 在“A Note on Lena” 中给出了两条理由:首先,Lenna图像包含了各种细节、平滑区域、阴影和纹理,这些对测试各种图像处理算法很有用。它是一副很好的测试图像!第二,Lena图像里是一个很迷人的女子。所以不必奇怪图像处理领域里的人(大部分为男性)被一副迷人的图像吸引。

    谁制作了Lenna图像?

    在1999年10月29日,我收到一封来自Chuck McNanis的email,里面告诉我们这个曾经扫描了Lenna图像的“不知名的科研人员”是William K. Pratt博士。下面是email:

    我在图像处理研究所的图像处理实验室作为一个系统程序员工作了5年('78-'83),这个实验室发布了Lenna图像和其他一些被人们经常引用做“The baboon image”的图像(包括Manril)。这个“不知名的科研人员”是William K. Pratt博士,现在在Sun Microsystems。他当时正在写一本关于图像处理的书,他需要几张标准图像。For a long time the folded up centerfold that had been the basis for that image was in the file cabinet at the lab. I went back in 1997 to visit and the lab has undergone many changes and the original image files were nowhere to be found. The original distribution format was 1600BPI 9-track tape with each color plane stored separately.

    --Chuck McManis (USC Class of '83)

    你想看原始的Lenna图像么?

    标准的数字Lena图像只是原始图像的脸和露肩特写。最近Chuck Rosenberg获得了原始的《花花公子》杂志的图像,并把它放在网上。下面是相关的一组图片。

    200804261209199804109200804261209199824046

    据说1997年第五十届IS&T,邀請她参加,她的反应是“那么多年了,大家一定看的很腻吧”有人甚至把 Lena 称为 “The First Lady of Internet”。200804261209199915015200804261209199942015

    ★emouse 思·睿博客文章★ 原创文章转载请注明:http://emouse.cnblogs.com
    展开全文
  • 下面这张图片估计很多人都非常熟悉,是的,图像处理领域的标准Lena,记得之前看到过这张图的原,突然有兴致,看看这张图片背后的故事,同样还有很多这样的经典图像,如Jet/Boat/Peppers/Elaine/Tiffany/Stream/...

    下面这张图片估计很多人都非常熟悉,是的,图像处理领域的标准图Lena,记得之前看到过这张图的原图,突然有兴致,看看这张图片背后的故事,同样还有很多这样的经典图像,如Jet/Boat/Peppers/Elaine/Tiffany/Stream/Baboon,他们背后都还有故事呢。(Postscript:有大神能有改组图像的数据集,求私发,急用!pyy_789264@qq.com)


    lena

     

    原图如下:

    p32605371-2

    最开始看到这张原图也是有点吃惊,原来司空见惯的Lenna头像图竟然是这张图的一小部分,那么这样经典的图片是怎么来的呢?

    Lenna/Lena是谁?


    从comp.compression FAQ中, 我们知道Lenna/Lena是一张数字化了的1972年12月份的《花花公子》折页。Lenna这个单词是在《花花公子》里的拼法,Lena是她名字的瑞典语拼法。(在英语中,为了正确发音,Lena有时被拼做Lenna。)最后的关于Lena Soderberg (ne Sjooblom)的报道说她现在居住在她的本国瑞典,有着幸福的婚姻并是三个孩子的妈妈,在liquor monopoly州有一份工作。1988年,她被某个瑞典计算机相关杂志采访,因为她的照片而发生的一切令她很高兴。这是她第一次得知她的照片在计算机领域被使用。

    为何要使用Lenna图像?

    David C. Munson. 在“A Note on Lena” 中给出了两条理由:首先,Lenna图像包含了各种细节、平滑区域、阴影和纹理,这些对测试各种图像处理算法很有用。它是一副很好的测试图像!第二,Lena图像里是一个很迷人的女子。所以不必奇怪图像处理领域里的人(大部分为男性)被一副迷人的图像吸引。

    谁制作了Lenna图像?

    在1999年10月29日,我收到一封来自Chuck McNanis的email,里面告诉我们这个曾经扫描了Lenna图像的“不知名的科研人员”是William K. Pratt博士。下面是email:

    我在图像处理研究所的图像处理实验室作为一个系统程序员工作了5年('78-'83),这个实验室发布了Lenna图像和其他一些被人们经常引用做“The baboon image”的图像(包括Manril)。这个“不知名的科研人员”是William K. Pratt博士,现在在Sun Microsystems。他当时正在写一本关于图像处理的书,他需要几张标准图像。For a long time the folded up centerfold that had been the basis for that image was in the file cabinet at the lab. I went back in 1997 to visit and the lab has undergone many changes and the original image files were nowhere to be found. The original distribution format was 1600BPI 9-track tape with each color plane stored separately.

    --Chuck McManis (USC Class of '83)

    你想看原始的Lenna图像么?

    标准的数字Lena图像只是原始图像的脸和露肩特写。最近Chuck Rosenberg获得了原始的《花花公子》杂志的图像,并把它放在网上。下面是相关的一组图片。

    200804261209199804109200804261209199824046

    据说1997年第五十届IS&T,邀请她参加,她的反应是“那么多年了,大家一定看的很腻吧”有人甚至把 Lena 称为 “The First Lady of Internet”。200804261209199915015200804261209199942015

    展开全文
  • 数字图像处理 图像//数字图像处理 图像//数字图像处理 图像//数字图像处理 图像
  • 这里面是搞图像处理可能天天面对的图像,包含了大量的经典图像,希望对搞图像方面的人有用,使用起来方便
  • 图形图像处理经典图片素材,一般用Matlab做仿真的时候都会用到。 图形图像处理经典图片素材,一般用Matlab做仿真的时候都会用到。
  • 图像处理经典的素材集合,原lena;特征匹配
  • (图片付费下载自视觉中国)作者 | 白小鱼转载自知乎用户白小鱼【导读】图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自...
    865ff6d86f2a31bcfe5fab8c51681da6.png

    (图片付费下载自视觉中国)

    作者 | 白小鱼

    转载自知乎用户白小鱼

    【导读】图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。

    具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像(浮动图像,moving image)映射到另一幅图像(参考图像,fixed image)上,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。

    图像配准常为图像融合的一个预处理步骤。经过精确图像配准的图像对,通常可获得更好的融合效果。

    一、定义

    图像配准是使用某种算法,基于某种评估标准,将一副或多副图片(局部)最优映射到目标图片上的方法。

    根据不同配准方法,不同评判标准和不同图片类型,有不同类型的图像配准方法。

    (详见“问题分类”部分)

    二、问题背景和应用

    图像配准在计算机视觉、医学图像处理、材料力学、遥感等领域有广泛应用。

    由于可应用图像配准的图像类型众多,暂时无法开发出可满足所有用途的通用优化方法。

    图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步,对于同一患者,可以采集含有准确解剖信息的图像诸如CT,MRI;同时,也可以采集到含有功能信息的图像诸如SPECT。然而,通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中,使医生更方便更精确地从各个角度观察病灶和结构。同时,通过对不同时刻采集的动态图像的配准,可以定量分析病灶和器官的变化情况,使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。

    在计算机视觉领域里,配准方法可被用来进行视频分析、模式识别,自动跟踪对象的运动变化。

    在材料力学方面,配准通常用来研究力学性质,称为数字图像相关。通过对不同相机不同传感器采集到的信息(形状,温度等)进行融合比较,可以计算得到例如应变场、温度场等数值。通过带入理论模型可以进行参数反向优化等。

    三、相关关键词

    相近词:

    image registration (mapping matching, co-registration alignment, fusion)

    注:mapping 侧重于空间映射,fusion为图像融合,不仅包括配准还包括数据集成后的图像显示。

    相近领域:

    图像融合,图像拼接,图像分割,超分辨率,图配准,点云配准,SLAM

    使用方法:

    相似性测度,配准精度,配准算法,小波变换,互信息,仿射变换,特征提取,特征点匹配,相位相关,角点检测,边缘检测,旋转角度,相位相关,遗传算法,深度学习

    应用领域:

    医学图像,遥感图像,天气预测,地理信息系统,超分辨率,运动追踪,自动控制

    四、问题分类

    图像配准分类标准不唯一,下面两图是某位研究者[2]的分类结果(2014年)。

    551673de9647b0053eee5bcf7bee080e.pnga0c86e07047fa4223f306010cad08a15.png

    本人的分类结果见下图

    d323e87ffe143c8cbefd3c15e6b3d6a9.png

    基于问题特点的分类

    1.Registration Quality: 配准性质

    根据数据或特征确定的配准类型。

    如自然图像配准,医学图像配准,遥感图像配准等。

    2.图像采集方式

    ①Multi-view Analysis: 多视图配准

    同一物体在同一场景不同视角下的图像配准。

    从多个视角捕获相似对象或场景的图像,以便获得扫描对象或场景的更好表示。如使用图像拼接,从2D图像重建3D模型等。

    ②Multi-temporal Analysis: 多时相配准

    同一物体在同一场景同视角不同时间的图像配准。如运动追踪,肿瘤生长情况跟踪等。

    ③Multi-modal Analysis: 多模态配准

    多模配准常见于医学图像领域,故以多模医学图像配准为例。

    由于医学成像设备可以提供关于患者不同信息不同形式的图像(计算机断层扫描CT,核磁共振MRI,正电子发射断层成像PET,功能核磁共振fMRI等)。

    基于单种或多种模态图像的配准,可划分为单模态(Single-modality)和多模态(Multi-modality)。

    ea54dc1d83f61d88b77bb6fab2b4c332.png1962b8c18f72520a63294852329013ad.png

    Figure 1 MEG-MRI多模态配准

    3. Interaction: 配准流程互动性

    手动,半自动或自动

    4. Dimensionality: 图像空间维数

    若仅考虑空间维数,可以划分为2D/2D, 2D/3D, 3D/3D等。若考虑时间序列因素,还存在对在不同时刻提取的两幅图像进行配准的问题。

    5. Domain of transformation: 图像转换区域(全局/局部配准)

    6. Nature of Registration basis: 配准基准的性质

    根据算法所基于的特征及相似性测度。

    ①基于内部特征的配准。

    内部特征指的是从图像内部本身提取的信息。

    基于特征(feature-based):在几何上有特别意义的可以定位的特征点集(比如不连续点,图形的转折点,线交叉点等),或者用分割的方法提取出感兴趣的部分的轮廓(曲线或曲面),以作为用来比较的特征空间。在医学图像上可以是具有解剖意义的点。

    基于像素值(intensity-based):利用整幅图像的像素或体素来构成特征空间。根据像素值的统计信息来计算相似性测度又可划分为最小二乘法,傅里叶法,互相关法,互信息法等等。

    ②基于外部特征的配准。

    在医学图像中,通过在患者身上固定标记物或向体内注入显影物质以获得在图像上的确定的标记点,称为外部特征点。

    ③基于不同装置成像坐标的配准

    7. Subject of Registration: 配准主体

    以医学图像配准为例,可分为 Intra-subject (图像来自于同一病人),Inter-subjective (来自不同的病人)和 Atlas (病人数据和图谱的配准)三种。

    Object of Registration: 配准物体(头、乳腺、胸、眼、腹、膝盖 等…)

    8. Type of transformation: 变换性质

    根据用于将浮动图像空间与参考图像空间相关联的变换模型对图像配准算法进行分类。对图像进行空间变换可以分为刚体变换(rigid)和非刚体变换(non- rigid, deformable)。

    第一类变换模型是线性变换,包括旋转,缩放,平移和其他仿射变换。线性变换本质上是全局的,因此,它们无法模拟图像之间的局部几何差异。

    第二类变换模型允许“弹性”或“非刚性”变换。这些变换能够局部地扭曲浮动图像使其与参考图像对准。非刚性变换包括径向基函数(薄板或曲面样条函数,多重二次曲面函数和紧支撑变换),物理连续模型(粘性流体)和大变形模型(微分同胚)。

    变换模型通常是参数化的例如,可以通过单个参数(变换向量)来描述整个图像的变换。这些模型称为参数模型。另一方面,非参数模型不遵循任何参数化,允许每个图像元素任意移位。

    9. Parameters of Registration: 算法参数

    当比较特征采用特征点集的形式时,可以通过联立方程组来找到变换的解。

    但一般情况下,配准问题都会转化为求解相似性测度最优值的问题,在计算方法中通常需要采用合适的迭代优化算法,诸如梯度下降法、牛顿法、Powell法、遗传算法等。

    根据算法本质的分类

    图像配准最本质的分类是:

    1.基于灰度的图像配准;2.基于特征的图像配准。

    具体的图像配准算法是基于这两点的混合或者变体的算法。

    五、图像配准通用流程

    通常,图像配准技术包括四个方面:变换模型、特征空间、相似性测度、搜索空间和搜索策略。依据这四个特性,图像配准的步骤一般可分为以下五个步骤:

    1. 根据实际应用场合选取适当的变换模型;

    2. 选取合适的特征空间,基于灰度或基于特征;

    3. 根据变换模型的参数配置以及所选用的特征,确定参数可能变化的范围,并选用最优的搜索策略;

    4. 应用相似性测度在搜索空间中按照优化准则进行搜索,寻找最大相关点,从而求解出变换模型中的未知参数;

    5. 将待配准图像按照变换模型对应到参考图像中,实现图像间的匹配。

    其中,如何选取合适的特征进行匹配是配准的关键所在。

    以基于特征的图像配准通用流程为例:

    基于特征的图像配准通用流程[3]

    59b184e3044ca895418f2f985ba9afb9.png

    1.Feature detection: 特征检测

    图像配准过程的一项重要任务。根据问题的复杂性,通常分为手动或自动检测,但通常优先选择自动特征检测。

    封闭边界,边缘,轮廓,线交点,角点,以及它们的代表点如重心或线末端(统称为控制点)可以作为特征。由特殊对象组成的这些特征必须易于检测,即特征将是物理上可解释和可识别的。

    参考图像必须与浮动图像共享足够多的共同特征集合,而不受到任何未知遮挡或意外改变的影响。用于检测的算法应该足够稳健,以便能够在场景的所有投影中检测相同的特征而不受任何特定图像变形或退化的影响。

    2.Feature matching: 特征匹配

    该步骤基本建立在对待配准图像与在参考图像中检测到的特征之间的对应关系上。

    除了特征之间的空间关系之外,还采用不同的特征描述符( feature descriptor)和相似性度量来确定配准的准确性。

    必须合理地配置特征描述符,使得它们在任何退化时仍保持不变,与此同时,

    它们需要不受噪声影响且能适当区分不同的特征。

    3.Transform model estimation: 图像变换模型的评估

    为配准浮动图像与参考图像,需要估计映射函数的参数。使用从前一步骤获得的对应特征来计算这些参数。

    映射函数的选择,取决于图像采集过程和预期图像变形的先验知识。在没有任何先验信息的情况下,必须确保模型的灵活性。

    4.Image transformation/re-sampling: 图像变换

    对浮动图像使用映射进行图像变换来配准。

    六、图像配准质量评估标准(performance measures)[3][4]

    必须有某种方法来评估图像配准的准确度和质量。

    与此同时,针对不同类型的图像需要使用不同评估标准。

    目前没有一个绝对的金标准(gold standard)可以评估图像配准的质量。

    下面仅以医学图像为例,列举两种最经典的评估方法:

    单模图像配准常使用 相关性(Correlation Coefficient, CC)来衡量效果,

    而多模图像配准常使用 互信息(Mutual Information, MI)衡量。

    ①相关性 Correlation Coefficient (CC)

    相关性本质上是一种相似性度量,它可以了解浮动图像和参考图像的相似程度。如果两个图像完全相同,则相关性等于1;而如果两个图像完全不相关,则相关性值等于0;若相关性值等于-1,表示图像完全反相关,这意味着一个图像是另一个的负面。通过使用相关性作为评价标准,单模态配准可获得满意的结果。

    对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列,采用使图像间相似性最大化的原理实现图像间的配准,即通过优化两幅图像间相似性准则来估计变换参数,主要是刚体的平移和旋转。相关性主要限于单模图像配准,特别是对一系列图像进行比较,从中发现由疾病引起的微小改变。

    它表示为:

    3fdf9d4856834efc9430874775e65ee6.png

    x_i , y_i 分别为浮动图像和参考图像第 i 个像素的强度;

    x_m , y_m 为 浮动图像和参考图像的平均强度。

    ②互信息 Mutual Information (MI)

    互信息是确定两个图像中相应体素的图像强度之间相似度的另一个度量。当两个图像准确对齐时,互信息最大化。互信息的值是非负且对称。其范围从零开始,可以变化到高值。高互信息值表示不确定性的大幅降低,而零互信息值清楚地表明这两个变量是独立的。

    由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设,也不需要对图像作分割或任何预处理,所以被广泛地用于CT/MR、PET/MR等多种配准工作。最大互信息法几乎可以用在任何不同模式图像的配准,特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。

    p(x, y) 为 联合分布函数;p_1(x) , p_2(y) 为边际分布函数。

    也常使用图像分割领域的DICE loss[5],熵相关系数(Entropy Corrleation Coefficient,ECC)等指标进行评估。

    七、前人工作

    1.经典方法

    • 《图像配准技术及其MATLAB编程实现》

    • Image registration methods:A survey

    • Image Registration Techniques:A Survey

    • Deformable Medical Image Registration: A Survey

    2.最新热点

    基于神经网络:

    稀疏跨域对象映射 SIGGRAPH 2018:Neural Best-Buddies: Sparse Cross-Domain(https://kfiraberman.github.io/neural_best_buddies/)

    48bd74e823b8e6b503dc0a25606331a5.png

    医学图像配准[6][7](参考:Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions)

    0eefbe774e50c1e59495a93299e95bc6.png

    相关重要综述文章:

    • Image registration methods:A survey

    • Image Registration Techniques:A Survey

    • Slice-to-volume medical image registration:A survey

    • A Survey on Deep Learning in Medical Image Analysis

    • 医学图像配准技术_罗述谦

    相关热点前沿文章:

    • Deep Learning in Medical Image Registration: A Survey

    • A Survey on Deep Learning in Medical Image Analysis

    • Deep Learning in Medical Image Analysis

    • A novel relational regularization feature selection method for joint regression and classification in AD diagnosis

    • A review of substitute CT generation for MRI-only radiation therapy

    • Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation

    • The challenge of mapping the human connectome based on diffusion tractography

    八、相关开源工具

    传统方法经典工具:

    • Material Presented at ITK Tutorials

    • MeVisLab

    MATLAB

    白小鱼:【小白向】MATLAB图像配准各方法介绍和对比

    • Image Registration techniques using MATLAB

    • Registering Multimodal MRI Images using Matlab.

    • elastix: a toolbox for rigid and nonrigid registration of images.

    • niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).

    Python:

    • VoxelMorph: A Learning Framework for Deformable Medical Image Registration

    • Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach

    • AirLab: Autograd Image Registration Laboratory

    其他最新最火的相关开源工具可参考:

    Papers With Code : Image Registration

    九、数据集

    其他类型的数据集正在整理中,暂先公开部分医学图像数据集。

    医学图像公开数据库:

    github.com/sfikas/medic

    最新公开的配准数据库及其官方结果分析:

    MICCAI 2018、2019 MR和超声配准:curious2019 - Grand Challenge

    ISBI 2019病理图像配准:ANHIR - Grand Challenge

    • arxiv: 1904.10535

    • Automatic_Non-rigid_Histological_Registration_challenge

    参考

    1. wiki 图像配准 https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86

    2. 图像配准简介 https://blog.csdn.net/carson2005/article/details/38757379

    3. ab Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540

    4. 医学图像配准技术_罗述谦

    5. DICE系数 https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0

    6. Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf

    7. https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey

      https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey

    原文链接:https://zhuanlan.zhihu.com/p/80985475

    (*本文为 AI科技大本营转载文章,转载请联系作者)

    展开全文
  • 图像处理21张经典图片 各种格式
  • 图像处理当中非常经典的图像,包括lena.等等之类的非常多
  • 经典图像处理的图像集,包含各类经典图像处理
  • 【导读】图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也...

    【导读】图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。

    具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像(浮动图像,moving image)映射到另一幅图像(参考图像,fixed image)上,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。

    图像配准常为图像融合的一个预处理步骤。经过精确图像配准的图像对,通常可获得更好的融合效果。

    一、定义

    图像配准是使用某种算法,基于某种评估标准,将一副或多副图片(局部)最优映射到目标图片上的方法。

    根据不同配准方法,不同评判标准和不同图片类型,有不同类型的图像配准方法。

    (详见“问题分类”部分)

    二、问题背景和应用

    图像配准在计算机视觉、医学图像处理、材料力学、遥感等领域有广泛应用。

    由于可应用图像配准的图像类型众多,暂时无法开发出可满足所有用途的通用优化方法。

    图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步,对于同一患者,可以采集含有准确解剖信息的图像诸如CT,MRI;同时,也可以采集到含有功能信息的图像诸如SPECT。然而,通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中,使医生更方便更精确地从各个角度观察病灶和结构。同时,通过对不同时刻采集的动态图像的配准,可以定量分析病灶和器官的变化情况,使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。

    在计算机视觉领域里,配准方法可被用来进行视频分析、模式识别,自动跟踪对象的运动变化。

    在材料力学方面,配准通常用来研究力学性质,称为数字图像相关。通过对不同相机不同传感器采集到的信息(形状,温度等)进行融合比较,可以计算得到例如应变场、温度场等数值。通过带入理论模型可以进行参数反向优化等。

    三、相关关键词

    相近词:

    image registration (mapping matching, co-registration alignment, fusion)

    注:mapping 侧重于空间映射,fusion为图像融合,不仅包括配准还包括数据集成后的图像显示。

    相近领域:

    图像融合,图像拼接,图像分割,超分辨率,图配准,点云配准,SLAM

    使用方法:

    相似性测度,配准精度,配准算法,小波变换,互信息,仿射变换,特征提取,特征点匹配,相位相关,角点检测,边缘检测,旋转角度,相位相关,遗传算法,深度学习

    应用领域:

    医学图像,遥感图像,天气预测,地理信息系统,超分辨率,运动追踪,自动控制

    四、问题分类

    图像配准分类标准不唯一,下面两图是某位研究者[2]的分类结果(2014年)。

    681ef460be7769fba7af7d31a0f3397c.png
    8fc7a09f9375d3040715aae47870de34.png

    本人的分类结果见下图

    71f8ab1316719646320049a786dc6d75.png

    基于问题特点的分类

    1.Registration Quality: 配准性质

    根据数据或特征确定的配准类型。

    如自然图像配准,医学图像配准,遥感图像配准等。2.图像采集方式

    ①Multi-view Analysis: 多视图配准同一物体在同一场景不同视角下的图像配准。

    从多个视角捕获相似对象或场景的图像,以便获得扫描对象或场景的更好表示。如使用图像拼接,从2D图像重建3D模型等。

    ②Multi-temporal Analysis: 多时相配准

    同一物体在同一场景同视角不同时间的图像配准。如运动追踪,肿瘤生长情况跟踪等。

    ③Multi-modal Analysis: 多模态配准

    多模配准常见于医学图像领域,故以多模医学图像配准为例。

    由于医学成像设备可以提供关于患者不同信息不同形式的图像(计算机断层扫描CT,核磁共振MRI,正电子发射断层成像PET,功能核磁共振fMRI等)。

    基于单种或多种模态图像的配准,可划分为单模态(Single-modality)和多模态(Multi-modality)。

    b129f2f7ee8a2dee8c42e8c0d0ba245d.png
    ca797ed6e03b57155ad5a2cdafbf5f28.png

    Figure 1 MEG-MRI多模态配准

    3. Interaction: 配准流程互动性

    手动,半自动或自动

    4. Dimensionality: 图像空间维数

    若仅考虑空间维数,可以划分为2D/2D, 2D/3D, 3D/3D等。若考虑时间序列因素,还存在对在不同时刻提取的两幅图像进行配准的问题。5. Domain of transformation: 图像转换区域(全局/局部配准)

    6. Nature of Registration basis: 配准基准的性质

    根据算法所基于的特征及相似性测度。

    ①基于内部特征的配准。

    内部特征指的是从图像内部本身提取的信息。

    基于特征(feature-based):在几何上有特别意义的可以定位的特征点集(比如不连续点,图形的转折点,线交叉点等),或者用分割的方法提取出感兴趣的部分的轮廓(曲线或曲面),以作为用来比较的特征空间。在医学图像上可以是具有解剖意义的点。

    基于像素值(intensity-based):利用整幅图像的像素或体素来构成特征空间。根据像素值的统计信息来计算相似性测度又可划分为最小二乘法,傅里叶法,互相关法,互信息法等等。

    ②基于外部特征的配准。

    在医学图像中,通过在患者身上固定标记物或向体内注入显影物质以获得在图像上的确定的标记点,称为外部特征点。

    ③基于不同装置成像坐标的配准7. Subject of Registration: 配准主体

    以医学图像配准为例,可分为 Intra-subject (图像来自于同一病人),Inter-subjective (来自不同的病人)和 Atlas (病人数据和图谱的配准)三种。

    Object of Registration: 配准物体(头、乳腺、胸、眼、腹、膝盖 等…)

    8. Type of transformation: 变换性质

    根据用于将浮动图像空间与参考图像空间相关联的变换模型对图像配准算法进行分类。对图像进行空间变换可以分为刚体变换(rigid)和非刚体变换(non- rigid, deformable)。

    第一类变换模型是线性变换,包括旋转,缩放,平移和其他仿射变换。线性变换本质上是全局的,因此,它们无法模拟图像之间的局部几何差异。

    第二类变换模型允许“弹性”或“非刚性”变换。这些变换能够局部地扭曲浮动图像使其与参考图像对准。非刚性变换包括径向基函数(薄板或曲面样条函数,多重二次曲面函数和紧支撑变换),物理连续模型(粘性流体)和大变形模型(微分同胚)。

    变换模型通常是参数化的例如,可以通过单个参数(变换向量)来描述整个图像的变换。这些模型称为参数模型。另一方面,非参数模型不遵循任何参数化,允许每个图像元素任意移位。

    9. Parameters of Registration: 算法参数

    当比较特征采用特征点集的形式时,可以通过联立方程组来找到变换的解。

    但一般情况下,配准问题都会转化为求解相似性测度最优值的问题,在计算方法中通常需要采用合适的迭代优化算法,诸如梯度下降法、牛顿法、Powell法、遗传算法等。

    根据算法本质的分类

    图像配准最本质的分类是:

    1.基于灰度的图像配准;2.基于特征的图像配准。

    具体的图像配准算法是基于这两点的混合或者变体的算法。

    五、图像配准通用流程

    通常,图像配准技术包括四个方面:变换模型、特征空间、相似性测度、搜索空间和搜索策略。依据这四个特性,图像配准的步骤一般可分为以下五个步骤:

    1. 根据实际应用场合选取适当的变换模型;
    2. 选取合适的特征空间,基于灰度或基于特征;
    3. 根据变换模型的参数配置以及所选用的特征,确定参数可能变化的范围,并选用最优的搜索策略;
    4. 应用相似性测度在搜索空间中按照优化准则进行搜索,寻找最大相关点,从而求解出变换模型中的未知参数;
    5. 将待配准图像按照变换模型对应到参考图像中,实现图像间的匹配。

    其中,如何选取合适的特征进行匹配是配准的关键所在。

    以基于特征的图像配准通用流程为例:

    基于特征的图像配准通用流程[3]

    595e50e547cc1a510bca6396572c8824.png

    1.Feature detection: 特征检测

    图像配准过程的一项重要任务。根据问题的复杂性,通常分为手动或自动检测,但通常优先选择自动特征检测。

    封闭边界,边缘,轮廓,线交点,角点,以及它们的代表点如重心或线末端(统称为控制点)可以作为特征。由特殊对象组成的这些特征必须易于检测,即特征将是物理上可解释和可识别的。

    参考图像必须与浮动图像共享足够多的共同特征集合,而不受到任何未知遮挡或意外改变的影响。用于检测的算法应该足够稳健,以便能够在场景的所有投影中检测相同的特征而不受任何特定图像变形或退化的影响。

    2.Feature matching: 特征匹配

    该步骤基本建立在对待配准图像与在参考图像中检测到的特征之间的对应关系上。

    除了特征之间的空间关系之外,还采用不同的特征描述符( feature descriptor)和相似性度量来确定配准的准确性。

    必须合理地配置特征描述符,使得它们在任何退化时仍保持不变,与此同时,

    它们需要不受噪声影响且能适当区分不同的特征。

    3.Transform model estimation: 图像变换模型的评估

    为配准浮动图像与参考图像,需要估计映射函数的参数。使用从前一步骤获得的对应特征来计算这些参数。

    映射函数的选择,取决于图像采集过程和预期图像变形的先验知识。在没有任何先验信息的情况下,必须确保模型的灵活性。

    4.Image transformation/re-sampling: 图像变换

    对浮动图像使用映射进行图像变换来配准。

    六、图像配准质量评估标准(performance measures)[3][4]

    必须有某种方法来评估图像配准的准确度和质量。

    与此同时,针对不同类型的图像需要使用不同评估标准。

    目前没有一个绝对的金标准(gold standard)可以评估图像配准的质量。

    下面仅以医学图像为例,列举两种最经典的评估方法:

    单模图像配准常使用 相关性(Correlation Coefficient, CC)来衡量效果,

    而多模图像配准常使用 互信息(Mutual Information, MI)衡量。

    ①相关性 Correlation Coefficient (CC)

    相关性本质上是一种相似性度量,它可以了解浮动图像和参考图像的相似程度。如果两个图像完全相同,则相关性等于1;而如果两个图像完全不相关,则相关性值等于0;若相关性值等于-1,表示图像完全反相关,这意味着一个图像是另一个的负面。通过使用相关性作为评价标准,单模态配准可获得满意的结果。

    对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列,采用使图像间相似性最大化的原理实现图像间的配准,即通过优化两幅图像间相似性准则来估计变换参数,主要是刚体的平移和旋转。相关性主要限于单模图像配准,特别是对一系列图像进行比较,从中发现由疾病引起的微小改变。

    它表示为:

    48569165a157be8f0860b6a23a3045e7.png

    x_i , y_i 分别为浮动图像和参考图像第 i 个像素的强度;

    x_m , y_m 为 浮动图像和参考图像的平均强度。

    ②互信息 Mutual Information (MI)

    互信息是确定两个图像中相应体素的图像强度之间相似度的另一个度量。当两个图像准确对齐时,互信息最大化。互信息的值是非负且对称。其范围从零开始,可以变化到高值。高互信息值表示不确定性的大幅降低,而零互信息值清楚地表明这两个变量是独立的。

    由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设,也不需要对图像作分割或任何预处理,所以被广泛地用于CT/MR、PET/MR等多种配准工作。最大互信息法几乎可以用在任何不同模式图像的配准,特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。

    0462ae525ed939be3959ad653683c828.png

    p(x, y) 为 联合分布函数;p_1(x) , p_2(y) 为边际分布函数。

    也常使用图像分割领域的DICE loss[5],熵相关系数(Entropy Corrleation Coefficient,ECC)等指标进行评估。

    七、前人工作

    1.经典方法

    • 《图像配准技术及其MATLAB编程实现》
    • Image registration methods:A survey
    • Image Registration Techniques:A Survey
    • Deformable Medical Image Registration: A Survey

    2.最新热点

    基于神经网络:

    稀疏跨域对象映射 SIGGRAPH 2018:Neural Best-Buddies: Sparse Cross-Domain(https://kfiraberman.github.io/neural_best_buddies/)

    fa2efb9f00689a47d2a55d90204fab82.png

    医学图像配准[6][7](参考:Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions)

    24d56be1690cde6638788b6e0e9f276c.png

    相关重要综述文章:

    • Image registration methods:A survey
    • Image Registration Techniques:A Survey
    • Slice-to-volume medical image registration:A survey
    • A Survey on Deep Learning in Medical Image Analysis
    • 医学图像配准技术_罗述谦

    相关热点前沿文章:

    • Deep Learning in Medical Image Registration: A Survey
    • A Survey on Deep Learning in Medical Image Analysis
    • Deep Learning in Medical Image Analysis
    • A novel relational regularization feature selection method for joint regression and classification in AD diagnosis
    • A review of substitute CT generation for MRI-only radiation therapy
    • Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation
    • The challenge of mapping the human connectome based on diffusion tractography

    八、相关开源工具

    传统方法经典工具:

    • Material Presented at ITK Tutorials
    • MeVisLab

    MATLAB

    白小鱼:【小白向】MATLAB图像配准各方法介绍和对比

    • Image Registration techniques using MATLAB
    • Registering Multimodal MRI Images using Matlab.
    • elastix: a toolbox for rigid and nonrigid registration of images.
    • niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).

    Python:

    • VoxelMorph: A Learning Framework for Deformable Medical Image Registration
    • Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach
    • AirLab: Autograd Image Registration Laboratory

    其他最新最火的相关开源工具可参考:

    Papers With Code : Image Registration

    九、数据集

    其他类型的数据集正在整理中,暂先公开部分医学图像数据集。

    医学图像公开数据库:

    github.com/sfikas/medic

    最新公开的配准数据库及其官方结果分析:

    MICCAI 2018、2019 MR和超声配准:curious2019 - Grand Challenge

    ISBI 2019病理图像配准:ANHIR - Grand Challenge

    • arxiv: 1904.10535
    • Automatic_Non-rigid_Histological_Registration_challenge

    参考

    1. wiki 图像配准 https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86
    2. 图像配准简介 https://blog.csdn.net/carson2005/article/details/38757379
    3. ab Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540
    4. 医学图像配准技术_罗述谦
    5. DICE系数 https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0
    6. Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf
    7. https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
    8. https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey

    原文链接:https://zhuanlan.zhihu.com/p/80985475

    作者 | 白小鱼

    转载自知乎用户白小鱼

    本文仅作学术分享,著作权归作者所有,如有侵权,请联系后台作删文处理。

    展开全文
  • 巧解图像处理经典难题之图像配准

    千次阅读 2019-10-04 00:07:46
    (图片付费下载自视觉中国)作者 |白小鱼转载自知乎用户白小鱼【导读】图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在...
  • 数字图像处理图片

    2012-10-26 21:18:17
    数字图像处理经典图片
  • (图片付费下载自视觉中国)作者 |白小鱼转载自知乎用户白小鱼【导读】图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自...
  • 今日光电 有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。欢迎来到今日光电!----与智者为伍 为创新赋能----图像配准常为图像融合的一...根据不同配准方法,不同评判标准和不同...
  • 今日光电 有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。欢迎来到今日光电!----与智者为伍 为创新赋能----图像配准常为图像融合的一...根据不同配准方法,不同评判标准和不同...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,290
精华内容 916
关键字:

图像处理经典图