精华内容
下载资源
问答
  • 22基于深度学习的图像超分辨率重建的流程如下[2]:1.首先找到一组原始图像Image1;2.将这组图片降低分辨率为一组图像Image23.通过各种神经网络结构,将Image2超分辨率重建为Image3(Image3和Image1分辨率一样)4.通过...
  • 基于非稀疏字典处理实现对低分辨率图像进行超分辨率处理
  • 图像超分辨率重建( 适合初学超分辨率重建使用 图像超分辨率 SR工具箱)
  • 图像超分辨率重建( super - resolution,SR) 是指从观测到的低分辨率图像重建出相应的高.分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值. 近年来,随着深度.学习的迅速发展,基于深度...
  • 为提升红外图像分辨率,本文构建了用于红外图像超分辨率重建的IEDSR(enhanced deep residual networks for infrared image super-resolution)网络。该网络在EDSR网络模型的基础上加入了池化层,避免了EDSR...
  • 针对医学图像超分辨率重建过程中高频信息缺失导致的模糊问题,提出了一种基于残差通道注意力网络的医学图像超分辨率方法。提出的方法在残差网络的基本单元上去除了批规范化层以稳定训练;去掉缩放层、添加通道注意力块...
  • 重建过程包括三个部分:图像配准、非均匀性内插及去模糊与去噪。图像配准精度越高,超分辨率重建效果越好,而图像分辨率越高,则图像配准精度越高,并以此为基础提出了一种联合图像配准的超分辨率重建算法
  • 基于MATLAB的图像超分辨率重建程序,使用的是训练后的SRCNN方法,自带训练库。 (降积分)充字数........
  • 基于深度网络的单幅图像超分辨率重建,曾坤,李翠华,本文提出了一种全新的基于深度网络的单幅图像超分辨率重建算法。该方法首先通过自编码器得到图像的内在表示,然后通过深度网络学
  • 因此,提出了一种基于多尺度残差注意力网络的壁画图像超分辨率重建算法。首先,通过多尺度映射单元,用不同尺度的卷积核直接对低分辨率壁画图像进行特征提取;然后,将融合后的特征图输入残差通道注意力块,使网络从全局...
  • 基于深度学习的水下图像超分辨率重建方法.pdf
  • 以深度神经网络为基础,通过提取低分辨率图像特征,建立低分辨率图像特征到高分辨率图像特征的非线性映射,重建高分辨率图像。在进行非线性映射时,引入自注意力机制,获取图像中全部像素间的依赖关系,利用图像的全局特征...
  • 近几年应用在单幅图像超分辨率重建上的深度学习算法都是使用单种尺度的卷积核提取低分辨率 图像的特征信息,这样很容易造成细节信息的遗漏。另外,为了获得更好的图像超分辨率重建效果,网络模型也不 断被加深,伴随...
  • 深度图像超分辨率重建MATLAB和C语言代码.深度图像超分辨率重建MATLAB和C语言代码.
  • 摘要为了提高图像的分辨率,提出了一种具有高斯模糊的盲单图像超分辨率重建方法的框架。 在低分辨率成像模型中,考虑了高斯模糊,下采样和噪声的过程。 通过一个错误-...
  • 提出了一种基于多尺度递归网络的图像超分辨率网络模型,该模型主要由多个多尺度特征映射单元级联而成,每个单元分别包含一组不同尺度的特征提取层、一个融合层以及一个特征映射层。特征提取直接在原始低分辨率图像上...
  • 22基于深度学习的图像超分辨率重建的流程如下[2]:1.首先找到一组原始图像Image1;2.将这组图片降低分辨率为一组图像Image23.通过各种神经网络结构,将Image2超分辨率重建为Image3(Image3和Image1分辨率一样)4.通过...
  • 近几年虽然基于神经网络的超分辨率重建技术发展迅速,但仍然存在不易找到合适尺寸的卷积核、网络层数过深导致收敛缓慢等缺点。为此,提出了一种能多尺度提取特征并包含多重残差的网络模型。低分辨率图像输入网络,通过...
  • 基于参考的图像超分辨率重建相关工作.doc
  • 综述类的论文,对于超分辨率研究入门很有帮助,作者附录里有附带经典源码的链接,特别是几个深度学习的github链接,国内也有镜像
  • 针对目前卷积神经网络的分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题, 提出了一种基于深层残差网络的加速图像超分辨率重建方法, 该方法在提高图像分辨率的同时加快收敛速度。...
  • 近年来,神经网络被广泛应用于超分辨率重建,但是多数网络都是单一学习低分辨率(LR)图像和高分辨率(HR)图像之间的映射关系,而文中提出了一种基于拉普拉斯金字塔网络(LapSRN)的算法,考虑LR图像和不同尺寸HR图像之间...
  • 超分辨率重建通用方法中,图像分解后对应小波基只能有效稀疏表示单一成分,往往只侧重边缘成分而忽略了光滑成分等。针对这个问题,本文改进了一种基于压缩感知的声纳图像超分辨率重建算法。该算法基于三种不同稀疏...
  • 图像超分辨率重建概述

    千次阅读 2021-11-16 19:53:30
    1. 概念: 图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率、空间分辨率及色阶分辨率等,体现了成像系统... 图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢...

    1. 概念:

            图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率、空间分辨率及色阶分辨率等,体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像,高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上情况中,受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束,我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。

           图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像,从给定的低分辨率图像中重建出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制,导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。

    一、超分辨率技术的分类

            图像超分辨率技术的主要任务是生成真实、清晰且人为痕迹尽可能少的HR图像,根据输入输出的不同,其定义有所区别,主要可分为三类:

    1、多图像超分辨率:

             多图像超分辨率方法利用多幅LR图像得到一幅真实且清晰的HR图像,主要采用基于重建的算法,即试图通过模拟图像形成模型来解决LR图像中的混叠伪像问题。多图像超分辨率重建算法根据重建过程所在域不同可分为频域法和空域法。

    2、视频超分辨率:

           视频超分辨率输入的是一个视频序列,该技术不仅可以提高视频中每一帧的分辨率,还可以利用算法在时域中增加图像帧的数目,从而达到提高视频整体质量的目的。视频超分辨率方法可以分为以下两大类:一是增量视频超分辨率方法;二是同时视频超分辨率方法。

    3、单图像超分辨率:

          单图像超分辨率输入的是一幅LR图像,仅利用一幅LR图像来重建得到HR图像。目前单幅图像超分辨率方法主要分为三类,即基于插值的图像超分辨率算法、基于重建模型的图像超分辨率算法和基于学习的图像超分辨率算法,下面将进行简要介绍。

    二、 传统超分辨率重建算法 

    (1) 基于插值的超分辨率重建:

         基于插值的单图像超分辨率算法利用基函数或插值核来逼近损失的图像高频信息,从而实现HR图像的重建。将图像上每个像素都看做是图像平面上的一个点,那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程,这通常由一个预定义的变换函数或者插值核来完成。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。但是在重建过程中,仅根据一个事先定义的转换函数来计算超分辨率图像,不考虑图像的降质退化模型,往往会导致复原出的图像出现模糊、锯齿等现象。

    (2)、基于退化模型的超分辨率重建

         从图像的降质退化模型出发,假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息,并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的方法包括迭代反投影法、凸集投影法和最大后验概率法等。

    (3)、 基于学习的超分辨率重建

         基于学习的方法则是利用大量的训练数据,从中学习低分辨率图像和高分辨率图像之间某种对应关系,然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像,从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码方法。    

    三、基于深度学习的超分辨率重建算法

              超分辨率的研究工作中,传统超分辨率重建方法主要依赖于约束项的构造以及图像之间配准的精确度达到重建效果,但其不适用于放大倍数较大的超分辨率重建。随着放大因子的增大,人为定义的先验知识和观测模型所能提供的用于超分辨率重建的信息越来越少,即使增加LR图像的数量,亦难以达到重建高频信息的目的。它的出现解决了传统超分辨率技术中的许多瓶颈问题,在近几年取得了巨大的成功,目前,越来越多具有深度学习功能的超分辨率模型被提出,根据是否依赖于LR图像和对应的HR图像训练网络模型,可以粗略地将其分为有监督的超分辨率和无监督的超分辨率,由于有监督的超分辨率技术能够取得较好的重建效果,是目前研究的主流方向。

    评述维度简介:

    (1)上采样位置:(预上采样,后上采样,逐步上采样,迭代上下采样)

              ①预上采样是基于端到端的映射,降低了学习的难度,但常会引起噪声放大和模糊,②后上采样是把上采样模块移动到卷积层之后,在不增加分辨率的情况下把LR图像送入到卷积层中,在低维空间中形成大多数映射。大大减少了时间和空间成本,但不能处理多尺度超分辨率问题。③逐步上采样是基于一系列卷积层并逐步重建高分辨率图像,在每一阶段,图像都被放大到与高分辨率图像大小相同的尺寸。优点是在不引入过多空间和时间成本的情况下降低了学习难度,可以处理多尺度超分辨率问题,但存在模型设计和难以训练的问题。④迭代上下采样模型可以捕获到LR-HR图像对之间的相互依赖性,将有效的迭代过程添加到SR中以更好地探索深层LR-HR关系。

    (2)上采样方法:(反卷积,亚像素层)

           ①反卷积层,即通过插入零值并进行卷积来扩展图像,分辨率。以使用3×3内核执行2×上采样为例,如图3所示。首先,将输入图像扩展为原始大小的两倍,将所有新像素值设置为0。然后利用核大小为3×3、步长1和填充1进行卷积。②亚像素层通过卷积生成多个通道,然后执行上采样,如图4所示。在该层中,首先应用标准卷积来产生具有s倍通道的输出,其中s是上采样因子。假设输入大小为h×w×c,则输出大小为h×w×sc,然后执行整形操作,以产生sh×s×w×c大小的输出。

    (3)学习策略:

    ①残差学习:可分为全局残差学习和局部残差学习,残差学习避免了图像的复杂转换,只需要通过残差映射来恢复丢失的高频信息。大部分区域的残差可以认为是零,这种方法大大降低了模型的复杂度和学习难度。②递归学习:即多次应用相同的模块。③密集连接:密集连接可以充分利用网络模型各个层次的特征,使超分辨率模型获得更丰富的特征表达,提高重建效果。④结合注意力机制大多数基于深度学习的超分辨率算法中,不同位置和通道上的神经元具有相同的权重。结合注意力机制的超分辨率模型可以选择更重要的信息分配更多权重来改善重建效果。

    有监督学习:

    (1)基于深度卷积神经网络的图像超分辨率(SRCNN)

          首次将卷积神经网络应用到图像SR的算法是SRCNN,其采用双三次插值将LR图像放大到目标尺寸,然后通过三层卷积网络拟合非线性映射,最后输出HR图像。在实现过程中,主要分为三个步骤:特征提取、非线性变换和图像生成。基于卷积神经网络的超分辨率算法将这三个步骤都统一到一个模型中,显著地提高了模型效率。相对于传统方法提高了图像重建质量。但计算量较大,训练速度慢。随后SRCNN中又加入一层卷积层,构建FSRCNN网络,速度有较大提升。尽管原理简单,但是依托深度学习模型以及大样本数据的学习,在性能上超过了当时一众传统的图像处理算法,开启了深度学习在超分辨率领域的研究征程,SRCNN只采用了3个卷积层来实现超分重建,有文献指出如果采用更深的网络结构模型,那么可以重建出更高质量的图像,因为更深的网络模型可以抽取出更高级的图像特征,这种深层模型对图像可以更好的进行表达。在SRCNN之后,有不少研究人员尝试加深网络结构以期取得更佳的重建性能,但是越深的模型越不能很好的收敛,无法得到期望的结果。

    基于卷积神经网络的超分辨率模型结构示意图

    (2)基于深度递归卷积网络的图像超分辨率(DRCN)

            SRCNN的网络层数较少,同时感受野也较小。更深的网络可能会得到高精度,但可能会产生过度拟合和模型巨大问题。因此提出了深度递归卷积网络(DRCN),第一次将之前已有的递归神经网络(RNN)结构应用在超分辨率处理中。DRCN通过递归监督策略和中跳跃层来处理模型训练问题,特别是解决爆炸/消失的梯度问题。利用残差学习的思想(跳跃连接),加深了网络结构,增加了网络感受野,提升了性能。网络模型中使用更多的卷积层增加网络感受野,利用递归模块实现权重共享,避免了过多网络参数,并采用跨层连接的方式实现多层特征融合,其重建效果相比于SRCNN有了较大提高。

    (3)基于高效亚像素卷积神经网络的图像超分辨率

             在SRCNN和DRCN中,低分辨率图像都是先通过上采样插值得到与高分辨率图像大小相同的图像,再将其作为网络输入,这意味着卷积操作在较高的分辨率上进行,与在低分辨率的图像上计算卷积相比,这将会在很大程度上降低效率。ESPCN提出了一种在低分辨率图像上直接计算卷积得到高分辨率图像的高效率方法,其核心概念是亚像素卷积层。网络输入原始低分辨率图像,通过两个卷积层以后,得到的特征图像大小与输入图像相同。通过使用亚像素卷积层,实现图像从低分辨率到高分辨率放大的过程,插值函数被隐含在前面的卷积层中,可以自动学习到。只在最后一层对图像进行大小变换,由于前面的卷积运算在低分辨率图像上进行,因此效率会得到提高。

    (4)基于生成对抗网络的图像超分辨率(SRGAN)

           该模型是由两个网络组成的深层次神经网络结构,将一个网络与另一个网络相互对立。一个神经网络称为生成器,生成新的数据实例;另一个神经网络称为鉴别器,评估它们的真实性,即鉴别器决定它所审查的每个数据实例是否属于实际训练数据集。基于生成对抗网络的图像超分辨率(SRGAN)将生成对抗网络(GAN)应用到图像超分辨率领域。生成器模型根据输入的低分辨率图像生成其对应的高分辨率图像,而鉴别器用于判断图像属于生成的高分辨率图还是真实的高分辨率图像,两者相互迭代训练,直到鉴别器无法分辨出输入的图像是生成的图像还是真实的图像,则认为两者达到了纳什均衡,最后生成器模型能够生成出以假乱真的高分辨率图像。

    四、超分辨率重建算法未来展望

    (1)改进网络结构

          ①结合局部和全局信息,大的感受野可以提供更多的纹理信息,这样可生成更加真实的HR图像。结合低层和高层信息和特定内容的注意力机制,增强主要特征可促进生成的HR图像具体更加真实的细节。

          ② 结构轻量化:目前网络结构日趋复杂,如何减少 模型大小,降低时间开销并保持性能。

    (2)无监督学习

           由于图像在同一场景下不同分辨率的图像很难 获取,因此插值法被广泛用于构建超分辨率数据 集。目前主要的研究是有监督学习的超分技术,但 实际上,有监督学习的超分与实际情况有所差异。 相比之下,无监督学习的超分技术利用无监督的学 习训练建立的模型更加符合实际,这对于现实需求 具有很大影响,因此基于无监督学习的超分辨率技 术研究具有很大的价值

    (3)面向真实场景

            真实世界的图像往往具有复杂的退化模型。基于深度学习的SR有一个重要前提假设是测试图像的分布与训练图像的分布一致,当训练过程中采用的退化模型和测试时的实际图像的退化模型不一致时,重建结果往往会产生明显的退化。

    参考链接:图像超分辨率技术的回顾与展望 icon-default.png?t=LA92https://kns.cnki.net/KCMS/detail/11.5602.TP.20191218.1439.002.html

    展开全文
  • 为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频...
  • 本代码实现了单帧超分辨率重建,效果比传统的样条插值好很多,关于本代码的IEEE文献后期再上传 本代码实现了单帧超分辨率重建,效果比传统的样条插值好很多,关于本代码的IEEE文献后期再上传
  • 基于深度特征学习的图像超分辨率重建.pdf
  • 基于深度学习的图像超分辨率重建技术的整理_版本二.pdf https://blog.csdn.net/Lininggggggg/article/details/106501178
  • 针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题,提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法,设计了由密集残差网络和反卷积网络组成的新型深度...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 15,102
精华内容 6,040
关键字:

图像超分辨率重建