精华内容
下载资源
问答
  • 图形图像融合简介
    千次阅读
    2018-12-19 22:13:44

    图像融合是什么

    图像融合是图像处理的一种方式,通过将多种传感器在同一时间对某一具体场景的图像或者图像序列信息加以综合,输出一幅更适合于人类视觉感知或计算机进一步处理与分析的融合图像,可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性,提高图像清晰度和信息包含量,有利于更为准确、可靠、全面地获取目标或场景的信息。

    图像融合方法

    在不同的级别上进行图像融合:

    1. 信号级融合是指合成一组传感器信号,目的是提供与原始信号形式相同但品质更高的信号 ;
    2. 像素级融合是最普遍的一种图像融合方式,直接对图像中的像素点进行信息综合处理,像素级融合一般要求原始图像在空间上精确配准,具有相同的分辨率;
    3. 特征级融合 是从各个传感器提取特征信息进行综合分析处理,典型的特征信息有边缘、形状、轮廓、纹理、相似亮度区域、相似景深区域等。特征级融合对传感器对准要求不如信号级和像素级要求严格,其优点在于实现了信息压缩,便于实时处理;
    4. 决策级融合 是指对图像的特征信息进行分类识别处理,形成了相应的结果后,进行进一步的融合,最终的决策结果是全局最优决策。决策级融合是一种更高层次的信息融合,其结果将为各种控制或决策提供依据。因此,决策级融合必须结合具体的应用及需求特点,有选择地利用特征级融合所抽取或测量的各类特征信息,以达到决策级融合的目的,保证最后的决策水平。由于决策级融合数据量最小,抗干扰能力强,决策级融合具有以下优点: (1) 通信及传输要求低,(2) 容错性高。对于一个或若干个传感器的数据干扰,可以通过适当的融合方法予以消除。(3) 数据要求低,传感器可以不同。(4) 分析能力强,能全方位有效反映目标及环境的信息,满足不同应用的需要;

    图像融合算法

    1. 简单的图像融合算法
      对参与图像融合的源图像不进行任何变换和分解,直接对源图像中的各对应像素进行选择、平均或加权、多元回归或其它数学运算等处理,合成一幅融合图像。
    2. 基于PCA的图像融合
      PCA,即主成分分析,又叫K-L变换,可以对具有相关关系的多个指标进行重新组合,组合成不想管的新指标。然后从这些新指标组成的特征轴中选取前几个分量就能完全表征原始集群的有效信息。
    3. 基于HIS变换的图像融合
    4. 金字塔图像融合法
    5. 基于小波变换的图像融合
    6. 数学形态学方法
    7. 统计方法
    8. 神经网络方法

    图像融合算法的评价

    衡量融合图像的效果时,可以采用以下几个常用的评价参量:

    1. 交叉熵
    2. 均方误差
    3. 均方根误差
    4. 峰值信噪比

    图像融合的应用

    图像融合广泛应用于智能机器人、医学影像、制造业、军事、遥感等领域。

    更多相关内容
  • 彭硕玲摘 要:多传感器图像融合技术是将多个传感器在相同时间下所取得的有关某个实际场景的图像或者相应的序列信息进行综合,形成一个全新的有关该场景的阐述,而这个阐述无法利用单一传感器来获取。通过将多个...

    彭硕玲

    摘  要:多传感器图像融合技术是将多个传感器在相同时间下所取得的有关某个实际场景的图像或者相应的序列信息进行综合,形成一个全新的有关该场景的阐述,而这个阐述无法利用单一传感器来获取。通过将多个传感器所获取的图像信息进行融合,可有效弥补单一传感器图像存在的缺陷,增强图像的质量,有助于对事件及物理现象进行精确的识别、定位和阐述。由于图像信号过于复杂与特殊,多传感器图像融合技术并未取得广泛应用,且尚未构建起统一的理论系统,有待深入研究。

    关键词:图像融合  传感器  质量

    中图分类号:TN91   文献标识码:A 文章编号:1672-3791(2020)03(b)-0006-02

    目前,利用遥感应用来获取数据信息的手段越来越多,由早期单一的可见光传感器到现阶段的多源传感器,其所收集的数据量越来越大。这些海量的数据对使用人员造成了极大的困扰,使得人们不得不研发更好的数据处理系统,以筛选出高质量的数据信息。通过开展研究发现,由各个传感器所收集的数据,不仅存在一定的互补性,而且存在较大的冗余性,这极大地弥补了单一传感器的缺陷。随后学者们开始尝试将这些海量数据融为一个整体来进行利用,以更好地发挥数据信息的作用。在20世纪80年代,该技术逐渐成为一种全新的技术-数据融合技术,并且在90年代以来,该技术取得了十分广泛的应用,在遥感图像的处理、工业领域等各个范畴中取得了广泛应用,各个数据融合技术也得到了深入的研发。

    1  多传感器图像融合技术的概述

    1.1 概念

    图像融合技术属于多传感器数据融合技术中的一种,指的是将多个图像信息进行融合来获取相同场景下更为准确有效的图像阐述。对于各个图像数据中的互补信息及冗余信息,图像融合可以对其进行更好的利用。这个图像融合与人、机器所具备的视觉特性将会更为符合,有助于人们对图像进行深入的分析,对目标进行有效的检测、识别或者追踪。在某种状况下,由于受到各个因素的影响,如环境、目标所处的位置及状态等,单一传感器所采集的图像信息已无法满足目标及场景的检测需求,而图像融合技术可以很好地解决该问题。作为一种融合信息的一种核心手段,图像融合技术在社会上诸多领域都取得了广泛应用。

    1.2 工作原理

    由于对各个传感器获取的数据信息的互补性进行了充分利用,多传感器信息融合技术可以更加精确可靠地获取环境及目标的信息。与数据融合技术相对应,图像融合技术也存在3级:一是像素级。这一级属于最低层次的融合,其主要是对原始数据信息进行综合处理,如红外、可见光等,这种融合方式具有较高的精确度,且信息丢失量较小,但数据传输的任务量和计算量也是最大的。二是特征级。这一级属于中间层次,是对已完成预处理和特征抽取之后的信息进行综合性处理,从而对多传感器获取的数据信息进行分类、归纳和整理。它不仅可以对信息量进行有效的壓缩,而且可以储存一些重要的信息,并且这种融合方式要比像素融合的速度快。三是决策级。这一级属于最高级的信息融合,在进行融合之前,各个传感器所进行的处理已经实现了决策、分类工作,此时开展融合工作的本质就是根据相应的原则及各个传感器决策级分类的可信性进行协调,从而取得最佳的结论,为各个决策信息提供可靠的依据。这一级的融合具有较快的速度,但一定会损失相应的信息[1]。

    2 多传感器图像融合技术的实际应用

    2.1 应用领域

    目前,该技术已经在社会多个领域取得了广泛应用。(1)智能机器人的领域。可以实现动作的控制、完成环境触觉力矩的反馈、实现目标的识别追踪。通过运用信息融合技术可以促进机器人的发展,而图像融合技术作为信息融合技术的分支,可以实现目标的自动识别。(2)医学影像的领域。手术过程中可以利用计算机进行辅助、对3-D表面进行校准。医学图像融合主要包含了3个步骤,分别为转换、配准和提取信息,该技术主要是运用多源图像来获取互补信息,提升临床诊断与治疗的准确性。(3)制造行业。该技术主要应用于电子线路及零件的检查、产品表面的检测、材料的检验等,同时也可以对产品的生产过程进行监管。(4)军事和司法的领域。该技术可以对陆战、海战及空战的事件及目标进行检测、识别与追逐,也可以用于隐秘武器的探测,同时可以为夜间飞行提供导航服务。(5)遥感的领域。以摄像及数字两种方法为基础的融合技术、电磁光谱的运用等。

    2.2 应用举例

    在军事的领域中图像融合技术有着广泛的应用。现代化的军用广电侦查系统及合成孔径雷达侦察系统有着复杂的载体环境,两个系统所具有的目标也具备显著的不明确性和多元化,同时由于单一传感器所具备的缺陷,仅仅可以收集环境的部分信息或某一个侧面信息,因此,若要利用单一传感器来感知和阐述环境、目标的特征是无法实现的。军事领域获取情报的关键来源就是采用多传感器手段,利用融合技术来融合多源信息,从而对相同事件或目标进行更加精确、更加本质的了解,这对军事侦查发挥着十分重要的作用。通过运用多传感器图像融合技术可以为军事决策提供可靠、精确的情报信息,同时利用该技术可以对多个传感器所获取的情报信息进行有效的整合处理,将各种先进的情报侦察及探测系统进行有效的集成,使它们可以相互弥补自身的不足,可以使各个传感器充分发挥自身在各个领域内的探测优势,实现资源与功能的共享互补、提升探测及对抗的性能、增加信息量。因此,该技术具有较大的应用潜力,其发展已经得到了各个国家的关注[2]。

    3  多传感器图像融合技术的发展趋势

    目前,这种技术大多集中在人眼和目标的识别中,日后的研究及应用领域将会是人们关注的热点,并且可以将目前存在的缺陷加以解决,其主要体现在下列几个方面:(1)对处于未知动态环境下依旧可以正常工作的多传感器图像融合系统进行研发,其中主要包含了可以独立运行的智能系统和辅助人们掌握环境信息的融合系统。(2)对各个融合算法进行研发,尤其是可以进行并行或实时处理的算法,在某些大型系统中,通过运用并行性较高的计算机,可以增强图像融合技术的作用效果。(3)发展多传感器融合技术所需的接口标准,加快相关系统的研发与运用。(4)对神经网络与人工智能相关的内容进行研究,推动特征级与决策级的融合发展。(5)积极研发科学合理的评价方法来评价图像融合的效果,以明确最优的融合算法。(6)对多传感器进行有效的集成工作,在传感器的芯片中包含了多个处理底层信号和融合算法的传感器,目前该工作已逐渐成为研究的重点内容[3]。

    4  结语

    多传感器图像融合技术主要是将各个类型的传感器所获取的相同场景下的各个图像数据信息进行有效的空间配准,并以此为基础将各种图像数据所具有的优势信息进行互补,同时将这些数据信息进行有效的融合,使其成为一种全新的、高质量的、庞大的图像信息。在信息融合技术中,图像融合技术是一个十分重要的分支,目前在军事、医疗、器械等多个领域都取得了广泛的应用。

    参考文献

    [1] 胡传奇,王檄,侯家槐.多传感器图像融合技术及其进展[J].测绘与空间地理信息,2010(2):159-162.

    [2] 刘雪峰,孙巧巧,赵文仓.多传感器图像融合技术[J].现代电子技术,2016,39(22):158-162.

    [3] 崔麦,周建军,陈超.面向军事应用的多传感器图像融合技术发展研究[J].国防技术基础,2005(4):4-5.

    展开全文
  • 图像融合概述

    千次阅读 2021-08-16 21:10:36
    图像融合的概念:融合是一种图像增强方法,应用于摄影可视化、物体跟踪、医学诊断、遥感监测等诸多领域。 图像融合的意义:图像融合是理解图像和计算机视觉领域重要的技术,进行多源数据智能融合,可以实现比单一...

    多源图像融合简述

    图像融合的概念:融合是一种图像增强方法,应用于摄影可视化、物体跟踪、医学诊断、遥感监测等诸多领域。

    图像融合的意义:图像融合是理解图像和计算机视觉领域重要的技术,进行多源数据智能融合,可以实现比单一传感器数据决策更精确,融合的图像更符合人和机器的视觉特性,也有利于更进一步对图像进行目标识别和检测。

    图像融合的层次分类(按照融合时间):

     基于像素的融合;
     基于特征的融合;(特征融合是对多源图像进行特征提取、再进行特征拼接融合。该融合方法具有较高的可信度和准确度。)
     基于决策的融合;
    在这里插入图片描述
    图像融合方法分类:

     基于像素的空间域的融合;
     基于多尺度多频率的变换域的融合;
     基于模型的融合方法以及多种方法融合;

    图像融合的数据来源:

     多聚焦的图像的融合(如:数码摄影影像)
     多模态图像融合(如:红外和可见光图像的融合;医学图像的融合)
    在这里插入图片描述
    数据来源–传感器:

    遥感数据:全色相机、彩色/多光谱相机,高光谱相机、热红外相机、夜光相机、立体相机、视频相机、合成孔径雷达SRA、激光测量仪。(同一场景多源遥感图像观测的地物对象相同,但观测的维度不同,图像的空间、光谱与时间分辨率存在差异。不同源获取的遥感图像原理不同,图像的空间分辨率、观测尺度预计反映的目标特性也会存在差异)

    视觉相机:是必不可少的传感器,它们是廉价的传感器,并且可以为周围场景提供密集的像素信息。

    红外和热成像:对比度显著,即使在恶劣天气下也能有效地从背景中突出目标。可见图像包含丰富的纹理细节,更符合人类的视觉感知。红外和可见光图像融合就是将这两种特性结合起来,产生对比度高、纹理丰富的结果。在不利的光线条件和夜视中用于环境感知应用。

    激光雷达LiDAR:激光束狭窄,隐蔽性好,被截获的概率很低。(点云数据能够提供地物的空间三维信息,尤其是高精度的高程信息,弥补遥感图像无法有效表示建筑物的侧面墙体、植被高度等立面信息的缺陷,而且点云数据可以直接应用于三维模型重构。缺点:点云数据点集离散分布,无法有效表示地物的轮廓线,并且缺少光谱、纹理信息。融合二者优势,用于地物分类。)

    SRA是合成孔径雷达成像: SRA是一种主动微波成像,穿透作用强,能够有效的探测伪装目标,成像不受光线、气候和云雾的限制。多应用于军事侦探、地理测绘、灾害监测等领域。优势:在方位和距离上都能获得很高的几何分辨力,突破经典雷达的分辨率极限。SRA机载卫星具有全天时、全天候的优势,在军事中应用广泛。

     全色、多光谱、高光谱图像融合。高分辨和低分辨率的高光谱图像融合,可以极大地提升高光谱图像的空间分辨率。空谱融合是遥感图像融合领域的热点问题。

    全色/多光谱与SRA合成孔径雷达图像融合。SRA成像容易受到噪声的影响。SRA图像与全色、多光谱图像融合,综合二者优势,可以生成更高质量的图像。

    SRA与红外图像的融合。SAR图像在边缘点处表现出孤立的不连续性。红外图像可以近似反映观察对象的温度梯度和辐射梯度,能够提供比较完整的边缘和纹理信息。将SAR图像与红外图像进行融合,可以将红外图像得到的边缘和纹理信息加入到SAR图像中,融合图像的边缘和纹理将更加融合,同时保持了SAR图像的频率特性,这使得融合图像更具可读性。

    激光雷达点云数据与RGB 图形的融合:激光点云数据具有精确的集合信息,但是数据非常稀疏如图1。图像数据分辨率高、具有丰富的纹理特征。二者融合,可以互补如图2。
    在这里插入图片描述
    图1. 激光雷达点云数据对应的深度图

    点云数据—>二维坐标转换为深度图-深度图密集处理
    RGB图像–>
    在这里插入图片描述
    图2. 激光雷达点云数据对应的深度图与RGB融合

    深度图:

    计算机视觉系统中,三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性,而深度图像(Depth map)作为一种普遍的三维场景信息表达方式得到了广泛的应用。深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近如图3。深度图像的像素值反映场景中物体到相机的距离,获取深度图像的方法=被动测距传感+主动深度传感。被动测距传感中最常用的方法是双目立体视觉。主动深度传感的方法主要包括了TOF(Time of Flight)、结构光、激光扫描等。
    在这里插入图片描述
    图3 激光雷达转换2维度深度图

    高光谱图像与多源遥感数据融合分类:

    高光谱数据通道数多(几十到数百),高光谱图像可以探测到宽波段遥感中不能被探测的特征。但是高光谱图像空间分辨率较低使得空间特征不够丰富,不能全面反映目标特征。
    遥感图像:如高空间分辨率数据可以提供丰富的空间信息,以及激光雷达LiDAR能实时获取地形表面三维空间信息。有必要融合进行信息补充,提高数据的完整性和可靠性如图4。
    在这里插入图片描述
    图4 高光谱分与多源遥感数据融合的流程图
    在这里插入图片描述
    图5 基于分类任务的高光谱的流程图

    图形融合的应用领域:

    数码摄影影像融合主要包括多曝光图像融合和多焦点图像融合。方法:CNN和GAN;
    由于多焦点图像融合可以看作是对清晰像素的选择,因此这些深度学习方法可以分为基于决策图的方法和基于整体重建的方法。

    多模态图像融合 如:红外和可见光图像的融合;医学图像的融合;锐化融合(多光谱锐化、高光谱锐化);人工智能的方法:AE(自动编码器),CNN,GAN

    **医学图像的融合:**医学图像融合将两种不同类型的医学图像结合起来,生成信息更丰富的单一图像,有利于对疾病进行更准确的诊断 方法:CNN 和 GAN。

    锐化融合:克服光谱分辨率与空间分辨率矛盾的有效技术。在空间图像的引导下,致力于在保持光谱分辨率的同时,在空间维度上实现超分辨率。两个典型的锐化融合任务是多光谱图像锐化和高光谱图像锐化。

    多光谱锐化是将低空间分辨率(LRMS)的多光谱图像与全色(PAN)图像融合,生成高空间分辨率(HRMS)的多光谱图像。方法:CNN 和 GAN。

    高光谱图像具有更高的光谱分辨率和更低的空间分辨率。因此,可以通过将低空间分辨率(LRHS)的高光谱图像与多光谱图像或全色图像融合来实现高光谱锐化,从而产生高空间分辨率(HRHS)的高光谱图像。方法:CNN 和 GAN。

    统一(普适性)图像融合方法
    一些方法具有很好的通用性,可以使用统一的框架实现各种图像融合任务。虽然这些方法的思路往往大相径庭,但它们的特点是可以找到不同融合任务的共性。
    U2Fusion, PMGI、IFCNN、类似统一方法包括SGRFR CU-Net,DIF-Net,SDNet。

    存在的问题:

    1. 融合之前的图像需要经过配准,(融合前默认都已经配准)  不同分辨率的源图像实现融合的问题。
    2. 面向任务的图形融合的性能问题(在许多图像融合任务中,现有的基于深度学习的方法在设计损失函数时没有考虑融合与后续应用之间的相关性,这往往会导致非常主观的融合结果。)如分类任务、定位任务等
    3. 实时的图像融合场景需求。  融合质量的评估问题(由于在大多数图像融合任务中没有真正的ground truth,因此评估融合结果的质量非常具有挑战性。)

    自动驾驶中融合:
    虽然LiDAR 是最强大的相机,但价格昂贵,研究人员认为,在某些条件下,使用 RGB 相机拍摄的图像足以用于自动驾驶应用。正在研究制造低成本激光雷达。

    自动驾驶中的传感器分类
    感受传感器:GPS、编码器、陀螺仪和加速度计
    外部感受器:相机、无线电探测和测距雷达、激光雷达等

    主被动传感器融合实现:
    环境感知:(RGB相机、红外相机、激光雷达、测距雷达)用于道路车辆检测与跟踪、行人检测、跟踪、路面检测、道路车道检测、道路标志检测。

    定位:通过全球导航卫星系统(GNSS)、惯性测量单元(IMU)、惯性导航系统(INS)、里程表、摄像头、激光雷达获得车辆的相对位置和绝对位置。

    视觉相机:是必不可少的传感器,可生成AV环境的详细环境视图。它们是廉价的传感器,并且可以以相对较低的成本为周围场景提供密集的像素信息。普通的基于视觉的系统无法提供建模3D环境所需的深度信息。一种替代方法是使用由多个位于不同位置的摄像机组成的立体视觉系统。然而,这些系统对外部环境条件也极其敏感,例如光强度(弱光和直射阳光)。

    双目相机:一种替代方法是使用由多个位于不同位置的摄像机组成的立体视觉系统,系统对外部环境条件也极其敏感。

    激光雷达LiDAR: 提供深度信息,同时对外部天气条件具有鲁棒性。

    红外和热成像的使用是研究人员经常研究的另一个活跃领域,用于环境感知应用,尤其是在不利的光线条件和夜视中。

    融合:热像仪已与RGB-D或LiDAR传感器融合以增加深度,从而提高系统性能。定位和地图绘制通常使用不同传感器组合:GPS,IMU、LiDAR和相机。

    推荐文章:
    [1] Deep Learning Sensor Fusion for Autonomous Vehicle Perception and Localization: A Review 文章链接
    [2] Deep Learning for Object Detection and Scene Perception in Self-Driving Cars: Survey, Challenges, and Open Issues 文章链接

    展开全文
  • 红外与可见光的图像融合系统及应用研究融合算法 知网下载的博士论文
  • 图像融合总结

    千次阅读 多人点赞 2020-07-27 17:47:41
    一、基于神经网络的图像融合方法 DenseFuse: A Fusion Approach to Infrared and Visible Images(有代码) (1)方法概述:一种新的基于深度学习的红外图像和可见图像融合的方法。与传统的卷积网络相比,编码...

    一、基于神经网络的图像融合方法

    • DenseFuse: A Fusion Approach to Infrared and Visible Images(有代码)

    (1)方法概述:一种新的基于深度学习的红外图像和可见图像融合的方法。与传统的卷积网络相比,编码网络与卷积层,融合层和密集块相结合,其中每一层的输出彼此相连。作者尝试在编码过程中从源图像中获取更多有用的feature,并设计了两个融合层(融合策略)以融合feature。 最后,通过解码器重建融合图像。编码器包含两个部分(C1和DenseBlock),用于提取深度特征。第一层(C1)包含3×3卷积以提取粗糙特征,而DenseBlock包含三个卷积层(每个层的输出级联为随后的层的输入),其中也包含3×3卷积。编码器的体系结构具有两个优点:首先,滤波器的大小和卷积运算的步幅分别为3×3和1,使用此策略,输入图像可以是任何大小;其次,DenseBlock可以在编码网络中尽可能保留深度特征,并且该操作可以确保融合策略中使用所有显著特征。解码器包含四个卷积层(3×3卷积),融合层的输出将是解码器的输入。使用这种简单有效的架构来重构最终融合的图像。

    (2)应用场景:不仅可以进行红外图像和灰度可见图像的融合,同时可以应用于红外图像和RGB可见图像的融合。

    (3)优点(1)输入图像的大小任意;(2)DenseBlock可以在编码网络中尽可能保留深度特征,并且该操作可以确保融合策略中使用所有显著特征;(3)与现有融合方法相比,该融合方法在客观和主观评估方面均达到了较高的水平。(评价指标:熵(En);Qaabf;差异相关性之和(SCD);FMIw​和FMIdct,分别计算小波特征和离散余弦特征的互信息(FMI);修改无参考图像的结构相似度(SSIMa ​); 以及新的无参考图像融合性能指标(MS_SSIM)。缺点:(1)图像输入之前需要配准对齐。

    • FusionGAN: A generative adversarial network for infrared and visible image fusion(有代码)

    (1)方法概述:采用生成对抗网络将热红外图像和可见图像进行融合。该方法建立了一个生成器和鉴别器之间的对抗性博弈过程,其中生成器的目标是生成具有主要红外强度和附加可见梯度的融合图像,鉴别器的目标是使融合的图像在可见图像中有更多的细节。这使得最终的融合图像同时保持红外图像中的热辐射和可见图像中的纹理。

    (2)应用场景:(1)其中包含不同军事相关场景的多光谱夜间图像;(2)另外从不同天气条件下拍摄的不同场景的可见和热红外视频,捕获对应的可见和热红外图像(INO database)(Trees和Runner的视频中每隔18帧选择31个可见光和红外图像)。

    (3)优点:(1)一种端到端的模型,避免了融合规则手工设计的复杂性;(2)该方法可应用于融合不同分辨率的源图像,如低分辨率红外图像和高分辨率可见光图像融合可以得到高分辨率的结果图像并不受红外图像上采样过程中的噪声影响;(3)较好的保留一些目标信息(例如建筑、人、车),较好的保留目标图像的热红外辐射分布,例如可以保留人体区域的像素强度。缺点:(1)将融合后的图像训练成只与其中一幅源图像相似,导致另一幅源图像中包含的部分信息丢失;(2)在场景(1)中该方法评价指标CC(融合图像和源图像的线性相关程度)不如FPDE和ASR方法,VIF(融合图像的信息保真度)不如GFF;在场景(2)中在评价指标SF(图像梯度分布)表现不如LPP方法。

    • DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion

    (1)方法概述:双鉴别器的对抗生成网络。

    (2)应用场景:(1)不同或相同分辨率可见图像和热红外图像融合;(2)PET(正电子发射型计算机断层显像)和MRI(磁共振成像)图像融合。

    (3)优点:可以融合多分辨率图像而不引起热辐射信息模糊和可见纹理细节的丢失。缺点:实验平均运行效率不如DenseFuseFusionGAN方法。

    •  VIF-Net: An Unsupervised Framework for Infrared and Visible Image Fusion2020

    (1)方法概述:一种自适应的端到端深度融合框架VIF-Net。利用可见光和红外帧构造足够的基准训练数据集,为了解决标签数据集缺乏的问题,该方法通过混合损失函数设计一套无监督的学习过程,自适应地融合热红外图像和可见图像并抑制噪声干扰。

    (2)应用场景:不仅可应用于图像融合,适用于实时视频融合。训练:采集 25对可见和红外图像,这些图像覆盖了来自TNO图像数据集的不同场景以及公开可用的INO视频数据集,并裁剪扩增为大量无标签数据集。测试:不同大小不同场景的灰度图像。

    (3)优点:(1)不需要手工设计融合规则,降低计算成本;(2)自适应地进行图像融合并且抑制噪声干扰;(3)该方法在保留显著特征和纹理细节方面具有很高的能力  没有明显的伪影和扭曲。(4)应用于实时视频融合的运行效率高,平均运行时间为0.38s。(5)VIF-Net在融合移动红外目标和避免失真方面具有相当大的优势。

    • Infrared and Visible Image Fusion using a Deep Learning Framework(2018有代码)

    (1)方法概述:将源图像分解为基本部分和细节部分,然后用加权平均法将基础部分融合。对于细节部分内容,采用深度学习网络(VGG-19)提取多层特征,利用这些特征,我们使用L1范数和加权平均策略来生成多个候选融合细节内容,使用最大选择策略来得到最终融合的细节内容。最后,将融合后的基础部分与细节内容相结合,重建融合后的图像。

    (2)应用场景:灰度可见和热红外图像融合;可应用于医疗图像融合;多曝光图像融合;多聚焦图像融合。

    (3)优点:(1)对比CBF、JSR、JSRSD、WLS、 ConvSR方法,该方法的离散余弦特征(FMIdct)和小波特征(FMIw )的互信息和结构保持性(SSIMa)较高;(2)融合过程中加入到融合图像中的噪声或伪影的速率(Nabf)较低。

    • SiamFT: An RGB-infrared Fusion Tracking Method via Fully Convolutional Siamese Networks

    (1)方法概述:完全卷积的孪生网络的融合跟踪方法。SIamFT使用了双重的孪生网络,可见光网络和红外网络。 它们分别用于处理可见图像和红外图像。backbone使用的是SiamFC网络,可见光部分的网络权值共享,红外部分网络权值共享。

    (2)应用场景:并应用于视频目标跟踪领域,(目标遮挡、快速运动目标),利用可见(RGB)和红外图像进行数据融合,

    (3)优点:(1)运行速度约为28-32FPS,因此可以满足实时性要求;(2)success rate (SR)即预测的边界框和groundtruth之间的重叠,较其他先进视频融合(包括可见视频和RGB-红外融合视频)追踪方法具备最好的整体性能。精度即预测边界框和groundtruth中心位置的误差整体新性能优于其他方法(ECOC-COT CNJSR(融合)、CSK CT L1(融合)、MILRPTSTC STRUCKTLD LGMG(融合))。缺点:(1)目标检测精度不如SGT(RGB-红外视频融合)方法;(2)热红外网络训练采用的是可见图,可以考虑使用热红外图效果会更好。

    • RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes

    (1)方法概述:  RTFNet由三个模块组成:分别用于从RGB和热图像中提取特征的RGB编码器和红外编码器;用于恢复特征图分辨率的解码器。编码器和解码器区域对称设计。在RTFNet的末尾使用softmax层来获取语义分割结果的概率图。

    (2)应用场景:自动驾驶车辆城市场景的语义分割(当黑夜或者对面行驶开远光灯的车辆,仅仅使用可见图像容易造成误判)(采用公开城市场景的数据集采集于InfReC R500相机,该相机可一体化采集RGB和热红外图像)

    (3)优点:(1RTFNet-50在GTX1080 Ti运行具备实时性;(2)语义分割中评价指标mAcc和mIoU比仅使用可见图像或仅使用热红外图像的值要高缺点:场景分割边缘不够尖锐。

    二、基于稀疏表示的图像融合方法

    (1)方法概述:NNSP融合方法,利用非负稀疏表示提取源图像的特征,根据非负稀疏表示系数的活动层次和稀疏层次描述非负稀疏表示系数的特征,开发描述红外图像中的目标特征和轮廓特征以及可见光图像中的纹理特征。

    (2)应用场景:可应用于无噪声或有噪声的图像,实验采用的灰度可见图像和热红外图像。

    (3)优点:(1)可根据不同的特征利用不同的规则进行融合;(2)对受到加性噪声的影响的同时进行有效的去噪并融合。缺点:CPU平均运行时间较长,实验平均时间为196.57 s。

    • 基于目标提取和稀疏表示的融合方法

    (1)方法概述:一种基于目标分离和稀疏表示的图像融合算法,采用核密度估计聚类算法实现精确定位 红外目标边界。,通过背景区域的稀疏表示来抑制噪声干扰。

    (2)应用场景:应用于目标提取,当实验对象和背景光照条件发生变化时,本文方法的视觉效果优于其他算法。(灰度)

    (3)优点:(1有效消除红外目标检测的假轮廓,抑制噪声;2该方法的融合图像不仅包含清晰的红外目标轮廓,而且具有丰富的细节信息。

    • LatentLRR用于图像融合(Infrared and visible image fusion using Latent Low-Rank Representation)https://github.com/hli1221/imagefusion Infrared visible latlrr(开源)

    (1)方法概述:首先,将源图像分解为低秩部分(全局结构)和显着性部分(局部结构),采用加权平均策略对低秩信息进行融合,以保留更多的轮廓信息。然后,利用求和策略对显著性部分进行融合,最后得到融合后的图像。

    (2)应用场景: 实验采用的灰度图像进行评价

    (3)优点:(1相对于LRR方法,能够捕获整体和局部结构信息;2融合性能那个比传统经典的方法更加优越。

    三、基于多尺度变化的图像融合方法

    • 基于金字塔的图像融合

    (1)优点:金字塔变换可以将图像分解为不同分辨率的子带系数,有利于对图像特征的提取;缺点:高频细节信息丢失严重,逆变换过程中容易出现丢失信息的情况;与小波变换相比缺少方向信息;现已很少应用于图像融合

    • 基于小波变换的图像融合

    (1)优点:(1包括水平、垂直和对角三个方向的高频信息;2波变换能够较好地捕捉信号的点奇异性;缺点:无法较好地表达二维信息里的曲线奇异性。

    • 非下采样轮廓变换(NSCT)

    (1)优点:(1对高维信息有着更为稀疏的表达;2具有的平移不变性保证图像分解的过程中不易丢失重要信息,在图像重构的过程中不会引入虚假信息;缺点:算法时间复杂度较高。

     

     

    展开全文
  • 针对低照度应用场景,提出一种基于卷积神经网络的可见光与近红外融合算法,采用端到端网络实现了图像融合,所得融合图像能够兼顾近红外图像的信噪比与可见光图像的色彩。采集了真实场景下精确配准的近红外-可见光图像对...
  • 领域具有广泛应用的一种图像融合方式。红外图像一般较 暗、 信噪比低、 无彩色信息、 缺少层次感, 但却常有比较明显 的目标信息;可见光图像光谱信息丰富, 动态范围大, 对比度 相对较高, 包含丰富的细节信息, 但...
  • 图像融合

    万次阅读 多人点赞 2016-09-04 12:29:40
    一、概述  图像融合是图像处理中重要部分,能够协同利用同一场景的多种传感器图像信息... 图像融合主要应用于军事国防上、遥感方面、医学图像处理、机器人、安全和监控、生物监测等领域。用于较多也较成熟的是红外和
  • 不同融合算法从不同角度对融合图像产生解释,从而产生不同亮度、不同对比度的融合图像。...因此,对于实际应用图像融合系统应根据不同的任务要求和应用环境,选择采用不同的融合算法,以期达到最佳的场景解释效果。
  • 图像拼接是一种将同一场景的多个重叠图像拼接成较大图像的方法。它在医学成像,计算机视觉,卫星数据,军事目标自动识别等领域具有重要意义。图像拼接的输出是两个输入图像的并集。通常使用五个步骤: 特征提取:...
  • 数字图像融合是以图像为主要研究内容的数据融合技术,是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。本文首先介绍了数字图像融合的...
  • 按照较为严格的定义,图像融合是指综合和提取两个或多个多源图像信息,获得对同一场景或者目标更为准确、全面和可靠的图像,使之更加适合于人眼感知或计算机后续处理。而多传感器图像融合囊括了多个层次中信息融合所...
  • 将Curvelet变换应用图像融合中,能够更好地提取原始图像的特征,为融合图像提供更多的信息。文中利用Curvelet变换对同一场景的不同传感器获得的合成孔径雷达(SAR)图像和专题绘图仪(TM)图像进行融合,并对融合...
  • 图像拼接主要可以分为两个步骤:图像配准和图像融合。 其中图像配准的目的是将图一场景中不同视角的图像投影到同一平面并进行对准。比如我之前这篇博客 图像处理(一)基于特征的图像对齐算法 中介绍的 图像对齐...
  • 图像融合(Image Fusion)

    万次阅读 多人点赞 2020-07-21 11:03:12
    图像融合(Image Fusion) 是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅(或多幅) 图像在时空上的相关性及信息上的互补性,并使得融合后得到的图像对场景有更全面、清晰的描述,从而更...
  • 多模态医学图像融合及可视化

    千次阅读 2022-01-12 15:04:25
    主要实现Pet与CT、MRI图像的配准、pet本身伪彩色映射、不同模态的图像融合及可视化等。
  • 图像融合技术

    千次阅读 2021-07-27 15:44:26
    图像融合 (Image Fusion) 是指综合多幅输入图像的信息,以获得更高质量输出图像的过程与融合前的多幅图像相比,融合后的图像应更加适于进一步的观察或处理。图像融合属于数字图像处理领域,在计算摄影学中,用于拍摄...
  • 基于颜色协调性的典型场景彩色融合图像颜色质量评价
  • 在分析电子探针图像多样性与相关性特征的基础上,提出先应用提升小波进行快速图像融合,以提高图像信息量,然后根据微表面图像纹理相似性,抽取出高程数据,通过顶点数组方式快速重构三维立体场景。实验表明,此方法...
  • 【CV】图像融合结果评价

    千次阅读 2018-03-22 20:02:48
    现在图像融合应用场景主流的有如下四类: 1.可见光图像——红外图像融合   红外传感器通常对热效应造成的红外辐射比较敏感,在黑暗或者复杂背景中,能够较好探查发热物体,与此同此,其也经常忽视环境中不...
  • opencv4 图像无缝融合

    2022-01-13 01:20:36
    OpenCV3.x的图像计算模块多了新算法API-无缝克隆(Seamless Cloning),主要是针对图像编辑,局部修改等应用场景实现迁移对象与原图像场景的无缝克隆。相关函数与参数说明如下: seamlessClone( Input...
  • 像素级图像融合综述

    千次阅读 2021-07-21 11:28:30
    最近看了一篇17年像素级的图像融合方法综述Pixel-level image fusion: A survey of the state of the art,主要讲了基于多尺度分解和稀疏表示的融合方法,此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等...
  • CNN和神经网络图像识别是计算机视觉深度学习的核心组成部分,它具有许多应用场景,包括电子商务,游戏,汽车,制造业和教育。 在本文中,你将学习到: 1)什么是图像识别? 2)图像识别如何工...
  • 像素级图像融合常用方法

    万次阅读 多人点赞 2019-07-18 11:22:42
    像素级图像融合常用方法: 根据对图像信息处理运用方式不同,可将图像融合分为三个层次上的研究,即像素级,特征级和决策级。其中像素级融合位于最低层,可以看作是对信息仅作特征提取并直接使用。也正是得益于其对...
  • 图像融合算法(像素级)

    万次阅读 多人点赞 2019-10-25 09:26:06
    图像融合技术可以提取自然光图像和红外图像的互补信息,获得对同一场景描述解释更为准确、全面和可靠的图像。像素级融合是常用于灰度图像与可见光图像的融合。基于源图像的彩色化就是源图像和目标图像的融合过程,使...
  • 并行计算在图像融合中的应用概述

    千次阅读 2018-06-29 21:22:49
    本文根据并行计算在图像融合上的应用简单概述了一些国内的基于并行计算的图像融合算法。在概述之前相对图像融合和并行计算做了简单的介绍,接着分别详细的介绍了一片文章和一个专利,对于其他文章进行了简单的阐述。...
  • 在多光谱图像融合场景中,深度学习已得到广泛应用。 但是,融合性能和图像质量仍然受到不灵活的体系结构和监督学习模式的限制。 我们提出了使用基于条件cGAN的超分辨率条件生成对抗网络(MS-cGAN)进行多光谱图像...
  • 将多种图像识别技术应用在电信运维业务中的装维场景,并分析比较各种图像识别技术的性能与准确率。基于分析,进一步提出了一种融合图像识别模型,应用于电信运维的质检流程,显著提高了运维图片识别准确率和质检...
  • 基于MATLAB的图像融合算法

    千次阅读 2021-08-31 11:58:26
    一、课题背景图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的...
  • 基于MATLAB的图像融合设计

    千次阅读 2021-08-25 11:53:04
    基于MATLAB的图像融合设计摘 要图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将不同类型的传感器获取的同一对象的图像数据所含用的信息优势或互补性有机地结合起来产生的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,636
精华内容 13,054
关键字:

图像融合应用场景