精华内容
下载资源
问答
  • 图像超分辨率重建( 适合初学超分辨率重建使用 图像超分辨率 SR工具箱)
  • 图像超分辨率

    千次阅读 2018-06-26 09:46:36
    高分辨率的图像因像素密度高而能为数字图像处理提供更... 图像超分辨率重建技术是目前提高图像分辨率的主要手段之一。图像超分辨率重建算法是利用同一场景的一系列低分辨率图像来重建一幅高分辨率的图像。这类算法的...

    黑洞照片 - 图像超分辨率!

    为什么这张黑洞照片如此重要

     

    2019年4月10日,研究小组宣布了他们的结果:他们成功地拍摄到了距离我们5400万光年的M87星系中心的超大质量黑洞。他们能够使用非常长的基线干涉测量技术,结合全球多个射电望远镜的观测,获得前所未有的分辨率。

    研究小组想弄清楚爱因斯坦的广义相对论是否能在黑洞的极端环境中维持下去,事实上,研究结果似乎与预言相符。在未来,随着团队瞄准较小波长的光,并招募更多的望远镜,我们可能会看到更多和更具形状的黑洞图像
     

     

     

     

    高分辨率的图像因像素密度高而能为数字图像处理提供更多重要的细节信息,为图像后期处理打下良好的基础。然而,由于成像设备、光照等条件的限制,获取图像的分辨率往往都较低。所以,如何有效地提高成像图像的质量成为图像处理一项十分关键而重要的任务。 图像超分辨率重建技术是目前提高图像分辨率的主要手段之一。图像超分辨率重建算法是利用同一场景的一系列低分辨率图像来重建一幅高分辨率的图像。这类算法的关键在于能够精确配准输入的低分辨率图像。

     

    基于学习的图像超分辨率重建算法研究

        目前,图像超分辨率重建算法主要分为三大类:基于插值、基于多帧重构和基于学习的方法。

     

    多帧图像超分辨率重建算法研究

        图像超分辨率重建在像素级对存在欠采样、模糊、变形、噪声等降质的低分辨率图像序列进行融合,生成更高分辨率图像。该技术可以有效克服成像设备的固有分辨率局限,具有经济实用的特点。

     

    图像插值超分辨率重建算法研究

       通过对输入的低分辨率图像进行去噪、去模糊、上采样来增加图像或者视频的分辨率。 本文主要是对含噪图像和模糊图像进行超分辨率重建。针对含噪图像的超分辨率重建算法,分析了常见图像的去噪算法和混合噪声的去除算法,重点研究了基于维纳滤波和非局部均值分解的图像超分辨率重建算法。

     

    基于插值和样例的超分辨率图像处理算法的研究

       首先,对低分辨率图像利用Canny算子进行边缘检测并作二值化处理获取图像的边缘位置的信息。然后,把不同的边缘像素点所处的位置分为10种情况。在确定待插值点相对于所对应边缘像素点的具体位置后,对边缘上的点和非边缘的点使用不同的权值进行重新插值。

     

    5 基于深度学习的图像超分辨率算法研究

       通过利用深度卷积神经网络学习得到高低分辨率图像块之间的相似度,从而对于待处理的低分辨率图像块可以更为精确的生成与其对应的高分辨率图像块。克服了传统基于样本超分辨率算法中利用手工设计的特征难以学习到准确的高低分辨率图像块空间映射关系的问题。

     

     

    展开全文
  • 首先介绍图像超分辨率重建技术,图像超分辨率重建技术分为两种,一种是从多张低分辨率图像合成一张高分辨率图像,另外一种是从单张低分辨率图像获取高分辨率图像,在本专栏中,我们使用单幅图像超分辨率重建技术...

    首先介绍图像超分辨率重建技术,图像超分辨率重建技术分为两种,一种是从多张低分辨率图像合成一张高分辨率图像,另外一种是从单张低分辨率图像获取高分辨率图像,在本专栏中,我们使用单幅图像超分辨率重建技术(SISR)。

    在这些方法中,可以分为三类,基于插值,基于重建,基于学习。基于插值的方法实现简单,已经广泛应用,但是这些线性的模型限制住了它们恢复高频能力的细节。基于稀疏表示的技术[1]通过使用先验知识增强了线性模型的能力。这类技术假设任意的自然图像可以被字典的元素稀疏表示,这种字典可以形成一个数据库且从数据库中学习到低分辨率图像到高分辨率图像的映射,但是这类方法计算复杂,需要大量计算资源。

    基于CNN(卷积神经网络)的模型SRCNN[2]首先将CNN引入SISR中,它仅仅使用三层网络,就取得了先进的结果。随后,各种基于深度学习的模型,进入SISR领域,大致分为以下两个大的方向。一种是追求细节的恢复,以PSNR,SSIM等评价标准的算法,其中以SRCNN模型为代表。另外一种以降低感知损失为目标,不注重细节,看重大局观,以SRGAN[3]为代表的一系列算法。两种不同方向的算法,应用的领域也不相同。在医学图像领域,医生需要图像的细节,以致于做出精确的判断,而不是追求图像整体的清晰,因此,本专栏中将研究追求细节恢复的算法,以及在医学上的应用。

    追求细节恢复的算法,也分为两个流派,一是使用插值作为预处理的算法,二是不使用插值,将上采样过程融入网络中的算法。

    1,使用插值作为预处理的算法

    SRCNN模型[2]作为深度学习引入SISR的开山制作,使用了双三次插值作为预处理过程。

    随后,VDSR模型[4]将残差结构引入到SISR,不直接学习低分辨率图像和高分辨率图像的映射,而学习两种图像的残差。残差结构的引入模型训练的收敛速度,且将更深的网络结构引入SISR,使得模型具有更宽广的感受野,模型的结构如图1。

    9dcd68dc04d68b064379cd031bd5b0e4.png
    图一

    DRCN模型[5]将递归结构引入SISR,同时将模型分为三个区域,如图2所示,一是Embedding network,二是Inference network,三是Reconstruction network。这种模型的亮点在于中间的Inference network,r,和损失函数。inference共享了一个卷积的参数,一共有D层,将每一层的输出汇到了一起,然后定义了两种损失。第一种,局部损失,每一层输出的值与HR的差。第二种,所有层输出的加权平均与HR的差,组合这两种损失,构成整体损失。

    e7a4ff784f778f35f75e6ba194ceb5b9.png
    图二

    2,在网络种使用上采用技术替代插值

    FSRCNN模型[6]通过使用反卷积替代了SRCNN模型中的插值,直接学习低分辨率图像到高分辨率图像的映射,实现了端到端的训练。

    ESPCN模型[7] ESPCN的核心概念是亚像素卷积层(sub-pixel convolutional layer)。网络的输入是原始低分辨率图像,通过三个卷积层以后,得到通道数为 的与输入图像大小一样的特征图像。再将特征图像每个像素个通道重新排列成一个 r*r 的区域,对应高分辨率图像中一个 H*W*r^2 大小的子块,从而大小为 H*W*r^2 的特征图像被重新排列成 rH*rW*1 的高分辨率图像,如图3

    2d3a3c927ee5a2748fe45078a1cac2d8.png
    图三

    ESPCN模型提出的亚像素卷积层在之后的研究种广泛运用,它相比FSRCNN模型种的反卷积层,更能学习到低分辨率到高分辨率图像的上采用种的非线性。

    SRDenseNet模型[8]将DenseNet引入SISR领域,DenseNet在稠密块(dense block)中将每一层的特征都输入给之后的所有层,使所有层的特征都串联(concatenate)起来,而不是像ResNet那样直接相加。这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用、减少参数数量的优点。如图4

    7a60c96400b3906c6942e8266ed9dc4c.png
    图四

    综上,最近几年超分辨率重建的研究,通过越来越深的结构,使最后几层拥有更大的感受野,去推断目标区域的像素,而要在很深的网络种实现训练,必须引入反馈机制,才能避免梯度消失,反馈机制包括残差、densenet块、递归等方法。

    本专栏将逐步细讲超分辨率重建paper,和keras代码实现。

    主要参考文献

    [1] J. Yang, J. Wright, T. Huang, and Y. Ma. Image superresolution as sparse representation of raw image

    [2] C. Dong, C. C. Loy, K. He, and X. Tang. Image super-resolution using deep convolutional networks. IEEE

    transactions on pattern analysis and machine intelligence,38(2):295–307, 2016.

    [3] Ledig C , Theis L , Huszar F , et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J]. 2016.

    [4] J. Kim, J. Kwon Lee, and K. Mu Lee. Accurate image superresolutionusing very deep convolutional networks. In IEEE Conference on Computer Vision and Pattern Recognition,pages 1646–1654, 2016.

    [5] J. Kim, J. Kwon Lee, and K. Mu Lee. Deeply-recursive convolutionalnetwork for image super-resolution. In IEEE Con-ference on Computer Vision and Pattern Recognition, pages1637–1645, 2016.

    [6] Dong C , Loy C C , Tang X . Accelerating the Super-Resolution Convolutional Neural Network[J]. 2016.

    [7] Shi W , Caballero J , Ferenc Huszár, et al. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[C]// CVPR 2016. IEEE, 2016.

    [8] Tong T , Li G , Liu X , et al. Image Super-Resolution Using Dense Skip Connections[C] 2017 IEEE International Conference on Computer Vision (ICCV). IEEE Computer Society, 2017.

    展开全文
  • 基于ResNet或GAN的遥感图像超分辨率论文《空间感知残差网络的遥感图像超分辨率重建》操作:遥感图像特点:网络模型:去掉批处理层的原因:具体操作损失方程:《改进的残差卷积神经网络遥感图像超分辨率重建》方法:...


    这一周阅读了几篇针对遥感图像的超分辨率论文,其中两篇基于的是残差网络做改进,另外两篇是基于生成对抗网络。遥感图像与普通图像有较大区别,具体表现在纹理特征明显、成像幅宽较大、具有较多的地物特征等。因此不能直接将普通图像的超分辨率方法直接应用于遥感影像。这些文章中的改进点,大多是在调整网络结构、增加卷积层数量、改变损失函数等,对于处理遥感影像,取得了较好效果。

    《空间感知残差网络的遥感图像超分辨率重建》

    目的: 提升遥感图像超分辨率重建算法纹理细节信息还原能力。

    方法: 基于特征空间感知损失深度残差网络的遥感图像超分辨率重建算法。

    操作:

    1. 增加深度残差网络中的残差块数量;
    2. 在网络末端采用了亚像素卷积的方法;
    3. 在损失函数中增加了特征空间感知损失。

    可以学习到遥感图像更多的纹理细节信息,最终对遥感图像进行了有效的超分辨率重建。

    遥感图像特点:

    1. 遥感图像的成像幅宽较大,
    2. 低空间分辨率与低对比度,
    3. 普通影像相比,具有地球地表更多的地物信息,
      (如山川、河流、城市建筑群等静态物体及空中的飞机等运动物体)
    4. 遥感图像的纹理信息比较丰富。

    网络模型:

    采用了深度残差网络作为网络模型,并对传统的残差网络做了些细微的调整。

    本文使用的残差网络的残差块则***去掉了所有的批处理化层***及***每个残差块之后的线性整流函数***。
    为了更好地还原出遥感图像的纹理信息和细节信息,本文***将传统的深度残差网络中的批规范化层去掉***了,并将残差块调整成了32层。

    虽然增加残差块的数量会使网络的计量增加,计算效率降低,但由于去除批处理化层可以节省计算内存,因此在相同的GPU内存下,相比传统的残差网络,可以堆叠更多的残差块,以提取更多的特征,达到更好的超分辨率重建效果。

    去掉批处理层的原因:

    对于图像超分辨率重建,网络输出的图像在色彩、对比度、亮度上要求和输入一致,改变的仅仅是分辨率和一些细节,而批处理化层对图像来说类似于一种对比度的拉伸,任何图像经过批处理化层后,其色彩的分布都会被归一化,图像原本的对比度信息被破坏,所以批处理化层会影响输出图像的质量,因此在超分辨率重建过程中去掉批处理层。)
    在这里插入图片描述

    具体操作

    1. 输入的图像块首先***经过一个卷积层得到256个特征图谱***(feature map)。

    2. 接着,经过32个残 差块、一 个卷积层
      其中卷积层以及残差块中的卷积层的填充输入图像边界(padding)均为0,使得亚像素卷积层之前输入输出图像块的分辨率保持不变, 降低了整个网络模型的参数数量。
      对所有的残差块,卷积核的大小设为3像素×3像素,由于排列了足够多的残差块, 该网络模型具有足够大的感受野(receptive field),能够得到更好的图像重建效果。

    3. 为了避免由于堆叠太多的残差块导致训练不稳定,将经过第一层卷积处理的结果***乘以一个小于1的系数与残差网络的输出相加***,作为亚像素卷积层的输入.

    4. 最后经过亚像素卷积层改变图像尺度,得到整个网络的输出。

    在这里插入图片描述

    损失方程:

    内容损失(参考自 Lossfunctions for image restoration with neural networks)
    L1范数损失函数,也被称为最小绝对值偏差(LAD),最小绝对值误差(LAE)。总的说来,它是把目标值(Yi)与估计值(f(xi))的绝对差值的总和(S)最小化:
    在这里插入图片描述
    本文使用L1损失作为本文模型的内容损失,见式(6)、式(7)。
    式中:Iest为模型生成的图像;Igt为对应的高分辨率图像;w 为输入模型图像的宽度;h为输入模型图像的高度;c为输入模型图像的通道数。内容损失通过除以图像所有像素数量值进行归一化。
    在这里插入图片描述

    特征空间的感知损失(参考自Generating image with perceptual similarity metrics based on deep networks)
    在计算距离之前先通过一个可微函数φ将Iest 和Igt 映射到一个特征空间
    在这里插入图片描述
    式中:Iest为模 型 生 成 的 图 像;Igt为 对 应 的 高 分 辨率图像;φ为将Iest和Igt映射到一个特征空间的可微函数。这 使 得 模 型 产 生 具 有 与 真 实 图 像 相 似 特征,但可能与真实图像像素精度不那么匹配的图像,从而能够更好地重建出图像的纹理细节信息。

    总损失函数
    为了更好地还原出遥感图像的细节纹理 信 息,在 内 容 损 失 的 基 础 上,在 损 失函数部分加上了特征空间感知损失。SRRSP 的损失函数表示为式(9)。
    在这里插入图片描述
    式中:L 为 总 损 失;Lcont为 内 容 损 失;LP 为 特 征空间的感知损失;λ为特征空间感知损失的比例系数。根据对不同的λ值进行实验,可知若λ太小网络不能很好地重建出遥感图像的细节信息,若λ太大,网络 生 成 的 高 分 辨 率 图 像 的 PSNR 会 变 小,因此这里λ取0.001。

    实验数据集:
    为了训练SRRSP,使 用 了 公 开 的UCMerced-LandUse数 据 集。从飞机、建筑物、高密度住宅区、十字路口、中密度住宅区、储油罐、网球场这7类图像中各选用30张作为训练图像。输入神经网络模型的高分辨率图像块分辨率大小为64像素×64像素×3通道,是从训练数据集中随机截取的。
    低分辨率图像块的分辨率大小为32像素×32像素×3通道,由对应的高分辨率图像下采样得到。为了防止训练 的 过 程 中 过 拟 合,本 文 采 取 了 下 列 的 方法:对UCMerced-LandUse数据集中的遥感图像进行随机截取并 将截取的图像块旋转随机的角度或水平、垂直翻转。最终得到4×104个高、低分辨率遥感图像对。

    《改进的残差卷积神经网络遥感图像超分辨率重建》

    方法:

    在 VDSR 基础上,将神经网络的卷积层数目由 20 层增加到 24 层,改进激活函数为 PReLU 函数,并以 80 000 张遥感图像作为训练集,训练迭代次数到 40 000 次网络收敛,最终针对遥感图像进行了超分辨的网络训练。

    操作:

    由于 VDSR算法以彩色图像作为训练集,而对遥感图像的超分辨效果没有其对彩色图像的超分辨效果好,本文在 VDSR的基础上,对网络的结构与激活函数进行了优化使用遥感图像作为训练集,客观参数与主观视觉上都好于其他算法。

    不使用池化层的原因:

    本文算法与 VDSR、SRCNN 算法都没有使用池化层,因为下采样层通常应用于图像的分类,保证了图像特征。同时,可以减少参数增加网络性能,但图像超分辨的目的是为了获取图像更多的细节信息,与池化层的作用恰好相反,所以在图像超分辨算法中并不需要池化层。
    在这里插入图片描述

    《基于对抗网络遥感图像超分辨率重建研究》

    方法:

    基于条件生成对抗网络的遥感图像超分辨率重建的改进模型。为了加快模型的收敛速度,在生成器网络中 使用内容损失和对抗损失相结合作为目标函数。另外为了提高了网络训练的稳定性,在判别器网络中 引入梯度惩罚函数对判别器梯度进行限制

    遥感图像特点:

    在获取遥感图像的过程中,由于受到频率干扰,大气扰动和成像设备等多因素的影响,导致传统的遥感图像分辨率普遍偏低。高分辨率遥感图像相比低分辨率遥感图像,图像细节信息更加丰富,更有利于遥感数据的后续处理。

    本文的改进:

    1. 改进 CGAN(Conditional GenerativeAdversarial Nets) ,用于遥感图像超分辨率重建。
    2. 在判别器网络中,引入梯度惩罚损失函数,提高训练的稳定性和收敛速度。
    3. 相较于传统使用随机向量作为输入,采用低分辨率图像作为生成器输入,实现了四倍上采样的遥感图像超分辨率重建。

    CGAN原理:

    CGAN 结合了卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本。为得到高分辨率的遥感图像,在对网络进行训练时可将高分辨率的遥感图像作为额外输入,其作用相当于网络训练的控制条件,在训练过程中将上述的控制条件作为标签加到训练数据中,最后得到所需要的高分辨率遥感图像。

    算法改进:

    采用梯度惩罚来满足Lipschitz 连续性。为了尽可能将判别器的梯度▽D(x)变大,而 Lipschitz 连续性限制要求判别器的梯度▽D(x)不能超过 K

    网络结构:

    1. 生成器:
      CNN生成器网络采用了包含 两个1/2间隔的卷积单元,9 个剩余残差单元两个反卷积单元 ,每个残差模块由一个卷积层,实例归一化层和 ReLU激活组成。在图像生成过程中,以高分辨率遥感图像作为条件变量,引导低分辨率图像重建。不同于一般的对抗网络生成器输入为任意随机向量,输入为1/4 采样的低分辨率遥感图像,输入的每张低分辨率遥感图像对应有高分辨率遥感图像进行重建。
      在这里插入图片描述
    2. 判别器
      判别器采用 PatchGAN的方法,即 对每张输出图像的每个 N×N 小块(Patch)计算概率,然后再将这些概率求平均值作为整体的输出。这样的结果通常通过卷积层来达到,最终输出的矩阵中的每一个元素,实际上代表着原图中一个比较大的感受野,也就是对应着原图中的一个 Patch。该方法能够加快模型收敛和计算速度。

    在这里插入图片描述
    在这里插入图片描述

    损失函数:

    1. 对抗损失:
    在这里插入图片描述
    2. 内容损失:
    是估计生成图像和真实图像两者的差距,这里的内容损失为 L2 损失,它反映的是生成的特征图和真实的特征图之间的距离
    在这里插入图片描述
    3. 最终损失:
    在这里插入图片描述
    上式中由于是加权合并,所以 为 0 到 1 的常数。

    数据集:

    本文采用的数据集,大约包含了 1 万张 30类的高分影像,包含了机场,立交桥和车场等15 个类别,训练集和测试集的比例 8:2,进行 1/4采样,使用 SSIM(结构相似度)和 PSNR(峰值信噪比)两种评价算法对重建图像进行评价,同时使用 SRCNN,FSRCNN,SRGAN 重构出的超分辨率图像作为结果对比。

    训练时,为了避免模型陷入局部最优解,首先预训练好 VGG19 模型作为初始化模型。训练过程中,将生成器和判别器进行交替训练,学习率设置为 0.0002,迭代次数为 500,训练时间为72 小时。

    《基于生成对抗网络的单帧遥感图像超分辨率》

    遥感图像特点:

    遥感图像的分辨率对图像解译质量有着重要影响,与低分辨率图像相比,高分辨率图像具有更高的像素密度,能
    够提供更多的色调、形状和纹理信息。

    改进点:

    1. 将BEGAN经调整改进后应用于遥感图像超分辨率重建;
    2. 设计了一种端到端的自编码器结构网络,生成网络和判别网络均使用该类型结构,简化网络结构设计,易于代码复用;
    3. 与传统GAN使用随机向量作为生成网络输入不同,本文生成网络使用低分辨率图像作为输入,实现了4倍上采样的单帧遥感图像超分辨率。

    使用均方误差作为待优化损失函数,被应用于单帧遥感图像超分辨率时存在两个主要问题:
    一是网络难以训练,常会出现梯度消失问题;
    二是重建结果过于平滑。

    网络结构及参数设置:

    由于遥感图像的多样性和复杂性,需设计专门的超分辨率神经网络结构,总体上,网络属于条件生成对抗网络,高分辨遥感图像作为条件变量,指导低分辨率图像重建过程。本文网络生成器的输入为经双线性立方插值方法 4 倍放大后的低分辨遥感图像自编码器类型网络结构设计参考了 SegNet,设计的网络结构拥有更多的卷积组和特征图数量,为增强生成图像质量及加速网络收敛,每一卷积组和其对应的解卷积组之间都使用了“跳跃连接”

    对生成器 G :
    1. 网络输入为经过归一化处理的三波段 (R、G、B) 遥感图像,大小为256×256×3。
    2. 然后是编码器结构部分,即五组“卷积+ELU 激活+最大池化”操作,前两组包含连续两次卷积操作,后三组包含连续三次卷积操作。各组过滤器大小均为 3×3,深度依次为64、128、256、512、512,过滤器权重使用服从截断高斯分布的随机值初始化,移动为单位步长、边界补齐,偏置权重统一置初始值 0.1。最大池化层中过滤器大小为2×2,步长为 2,边界补齐。
    3. 接着是对应的解码器结构,包含五组“解卷积+卷积+ELU 激活”操作,参数设置与编码器部分相同。与原始 SegNet 网络结构不同的是,用“解卷积”替代“上池化”,使用跳跃连接辅助图像重构过程。生成器最后输出为重建的高分辨率遥感图像,这也将会作为判别器的输入之一。
    对判别器 D :

    除输入输出不同以外,判别器的网络结构与生成器一致。具体地,判别器的输入包含生成器的输出及相应的真实高分辨率遥感图像,输出仍是与输入同样尺寸的图像形式,这一点与传统GAN输出为判别概率有很大区别。在其他超参数的设置方面,batch_size为 16,epochs为 100,初始学习率为 0.000 1,每 2 000次迭代学习率衰减为0.95,γ 初始值设置为0.75。

    在这里插入图片描述

    损失函数:

    在传统 GAN 中的训练过程早期,判别器 D 的学习能力远远超过生成器 G ,从而造成 model collapse 问题。由此,在网络训练中使用一种基于 L1 范数和判别器重构误差的损失函数,该损失函数不仅可以平衡生成器和判别器的竞争力,而且可以增加增强生成图像视觉质量。
    在这里插入图片描述
    式中,IHR 表示真实高分辨率图像,ILR 表示对应的低分辨图像。生成器和判别器的待优化损失函数及更新
    规则有:
    在这里插入图片描述
    式(3)~(7)中,x 表示真实的高分辨率图像,z 表示对应低分辨图像,y 表示生成高分辨率图像,LDr
    、LDf 分别表示判别器关于 x 和 y 的损失,θG、θD 分别表示生成器和判别器的相关参数。 λk 表示 k 的比例增益,kt 表示 k的第 t 次更新值,参数 k 可以平衡生成器和判别器的竞争力。 γ 是生成样本损失的期望与真实样本损失的期望值之比,该参数可以控制生成图像多样性和视觉质量之间的权衡。

    数据集:

    实验使用数据集源自 NWPU-RESISC45 高分辨率遥感图数据集。NWPU-RESISC45 包含机场、立交桥、火车站、住宅区等 45 个场景类别,每一类拥有 700 幅图像,保证了实验数据的真实性和多样性。对原始数据集中的每一类别图像选取10幅,共450幅图像组成实验数据集。按照惯例,将图像样本顺序随机打乱后,按照8∶2的比例进行划分,80%的样本用于训练,20%的样本用于测试。

    优点:

    克服了传统方法重建结果整体平滑的缺点,重建结果恢复了更多的高频细节。这主要得益于本文网络采用了基于生成对抗网络的框架,同时不再使用均方误差作为损失函数。在对单帧遥感图像做超分辨时,其他生成网络主要是对多种可能的生成图像取平均,该方式会得到一个较小的均方误差值,但也会造成图像模糊。生成对抗网络一次可生成多个高分辨图像,然后将这多个生成图像随机映射到一个潜在的输出上,从而增加了生成图像的多样性。受BEGAN启发,本文网络使用超参数 γ 来平衡生成图像多样性和视觉质量,这实现了最优的遥感图像超分辨结果。

    展开全文
  • 图像超分辨率重建之SRCNN

    万次阅读 多人点赞 2018-02-28 16:33:46
    图像超分辨率重建:指通过低分辨率图像或图像序列恢复出高分辨率图像。高分辨率图像意味着图像具有更多的细节信息、更细腻的画质,,这些细节在高清电视、医学成像、遥感卫星成像等领域有着重要的应用价值。 Super-...

    新版本请访问简书链接:https://www.jianshu.com/p/dfe85a3c2096

    图像超分辨率重建:指通过低分辨率图像或图像序列恢复出高分辨率图像。高分辨率图像意味着图像具有更多的细节信息、更细腻的画质,,这些细节在高清电视、医学成像、遥感卫星成像等领域有着重要的应用价值。

        Super-Resolution Convolutional Neural Network本篇文章讲述的是深度学习在图像超分辨率重建问题的开山之作SRCNN(Super-Resolution Convolutional Neural Network)。香港中文大学Dong等将卷积神经网络应用于单张图像超分辨率重建上(Image Super-Resolution Using Deep Convolutional Networks, 论文与代码: http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html)。

    可参考代码(非官方;Tensorflow版本):https://www.jianshu.com/p/dfe85a3c2096

    code: code

     

    图1 SRCNN算法框架

    图1为SRCNN算法的框架,SRCNN将深度学习与传统稀疏编码之间的关系作为依据,将3层网络划分为图像块提取(Patch extraction and representation)、非线性映射(Non-linear mapping)以及最终的重建(Reconstruction)。

        SRCNN的流程为:

        (1)先将低分辨率图像使用双三次差值放大至目标尺寸(如放大至2倍、3倍、4倍),此时仍然称放大至目标尺寸后的图像为低分辨率图像(Low-resolution image),即图中的输入(input);

         (2)将低分辨率图像输入三层卷积神经网络,(举例:在论文中的其中一实验相关设置,对YCrCb颜色空间中的Y通道进行重建,网络形式为(conv1+relu1)—(conv2+relu2)—(conv3))第一层卷积:卷积核尺寸9×9(ff1),卷积核数目64(n1),输出64张特征图;第二层卷积:卷积核尺寸1×1(ff2),卷积核数目32(n2),输出32张特征图;第三层卷积:卷积核尺寸5×5(ff3),卷积核数目1(n3),输出1张特征图即为最终重建高分辨率图像。

    如何训练?

    (1)训练数据集:论文中某一实验采用91张自然图像作为训练数据集,对训练集中的图像先使用双三次差值缩小到低分辨率尺寸,再将其放大到目标放大尺寸,最后切割成诸多33×33图像块作为训练数据,作为标签数据的则为图像中心的21×21图像块(与卷积层细节设置相关);

    (2)损失函数:采用MSE函数作为卷积神经网络损失函数;

    (3)卷积层细节设置:第一层卷积核9×9,得到特征图尺寸为(33-9)/1+1=25,第二层卷积核1×1,得到特征图尺寸不变,第三层卷积核5×5,得到特征图尺寸为(25-5)/1+1=21。训练时得到的尺寸为21×21,因此图像中心的21×21图像块作为标签数据。(卷积训练时不进行padding)

    如何测试?

    (1)全卷积网络:所用网络为全卷积网络,因此作为实际测试时,直接输入完整图像即可;

        (2)Padding:训练时得到的实际上是除去四周(33-21)/2=6像素外的图像,若直接采用训练时的设置(无padding),得到的图像最后会减少四周各6像素(如插值放大后输入512×512,输出500×500)。因此在测试时每一层卷积都进行了padding(卷积核尺寸为1×1的不需要进行padding)。这样保证插值放大后输入与输出尺寸的一致性。

        (使用Tensorflow进行复现时,图像预处理时将像素点取值归一化至[0,1],测试时,得到的最后一层特征图即重建结果直接乘以255再使用uint8转换时为0-255取值时会出现一些问题,如左下图2中方框所示,因此在乘以255前,将负值设置为0,大于255的设置为255,再使用uint转换即可解 决)

                      

      图2  不对负值及大于1的值进行处理的结果图                 图3  对负值及大于1的值进行处理的结果图

    (详细的padding方式等,可以查看链接中的代码)

        重建结果?

        (1)客观评价指标PSNR与SSIM:相比其他传统方法,SRCNN取得更好的重建效果。

    (2)主观效果:相比其他传统方法,SRCNN重建效果更具优势。

     

     

     

    展开全文
  • CVPR图像超分辨率

    2016-11-20 11:14:50
    CVPR图像超分辨率
  • 图像超分辨率.zip

    2020-09-09 17:27:13
    主要是收集了2015-2019(CVPR,ECCV,ICCV)基于深度学习的图像超分辨率算法论文合集。
  • 卷积稀疏编码实现图像超分辨率
  • 改进的图像超分辨率混合方法
  • 点击上方“AI算法修炼营”,选择“星标”公众号精选作品,第一时间送达今天给大家介绍一篇图像超分辨率邻域的综述,这篇综述总结了图像超分辨率领域的几方面:problem settings、数...
  • 单帧图像超分辨率的灵感来自
  • IRCNN用于图像超分辨率重建,深度学习的图像处理方法。
  • 图像超分辨率重建

    千次阅读 2016-10-17 14:14:39
    图像超分辨率重建 图像超分辨率重建 实现方法图像超分辨率重建 摘自网络概念:图像超分辨率重建是指利用同一场景的不同观测角度,不同观测时间或者不同传感器获取的低分辨率图像序列重建出一副或者多副高空间分辨率...
  • 无源毫米波图像超分辨率处理方法
  • 图像超分辨率重建原理学习

    千次阅读 2020-02-15 12:44:06
    传统的图像超分辨率重建技术简介 基于插值的图像超分 基于重建的图像超分辨率 基于学习的图像超分辨率 基于深度学习的图像超分辨率重建技术 两种常用的评价超分的指标——PSNR和SSIM SRCNN(Super-Res...
  • 针对这一问题,提出了一种基于低分辨率多光谱图像超分辨率处理的遥感图像融合方法。通过对低分辨率多光谱图像进行基于稀疏表示的图像超分辨率处理,在保持其光谱信息的基础上增强其空间信息;利用静态小波变换对增强...
  • 学习笔记之——基于深度学习的图像超分辨率重建

    万次阅读 多人点赞 2018-10-13 20:01:44
    最近开展图像超分辨率(Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已经打包,供各位看客下载哈~...
  • 通过2D稀疏表示实现单图像超分辨率
  • 基于自适应联合分布建模的图像超分辨率
  • 特征约束的多实例图像超分辨率方法
  • 改进的PMD距离图像超分辨率重建算法
  • 改进的单帧图像超分辨率算法研究
  • 基于SRResNet的图像超分辨率重建 因为事务繁忙,所以博客好久都没有更新了,今天难得有空更新一下。 1. 任务描述 使用Pytorch实现SRResNet模型。 2. 知识准备 2.1 图像超分辨率 像超分辨率是指从低分辨率图像中恢复...
  • 图像超分辨率重建示例

    千次阅读 热门讨论 2019-02-06 16:11:43
    代码的解析已经给出,现在补上:单图像超分辨率重建示例代码解析 目录 一、简介 二、前期准备 三、运行程序 四、参考目录 一、简介 图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生...
  • 针对天文图像成像分辨率低的问题,基于集中稀疏表示图像超分辨率重建理论,提出一种层次聚类字典训练和相似约束的天文图像超分辨率重建算法。在字典训练阶段,采用新的基于层次的聚类算法对样本图像块进行归类,对每类...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,077
精华内容 830
关键字:

图像超分辨率