精华内容
下载资源
问答
  • 深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像.超分辨率重建方法进行了梳理,将它们分为两大类( 有监督的和无监督的) 分别进行阐述. 然后,.在公开的数据集上,将主流方法...
  • 2016DRCN论文复现代码 tensorflow1.0版本 已做好详细备注 请仔细阅读readme文档,能较快上手
  • 深度学习超分辨率重建(总结)

    万次阅读 多人点赞 2018-04-30 23:20:18
    图像块的提取和特征表示,特征非线性映射和最终的重建。使用均方误差(MSE)作为损失函数。2. FSRCNN特征提取:低分辨率图像,选取的核9×9设置为5×5。收缩:1×1的卷积核进行降维。非线性映射:用两个串联的3×3的...

    本文为概述,详情翻看前面文章。


    1.SRCNN:---2,3改进

    开山之作,三个卷积层,输入图像是低分辨率图像经过双三次(bicubic)插值和高分辨率一个尺寸后输入CNN。

    图像块的提取和特征表示,特征非线性映射和最终的重建使用均方误差(MSE)作为损失函数。

    2. FSRCNN

    特征提取:低分辨率图像,选取的核9×9设置为5×5。收缩:1×1的卷积核进行降维。非线性映射:用两个串联的3×3的卷积核可以替代一个5×5的卷积核。扩张:1×1的卷积核进行扩维。反卷积层:卷积层的逆操作,如果步长为n,那么尺寸放大n倍,实现了上采样的操作。

    相对于SRCNN:

    在最后使用了一个反卷积层放大尺寸,因此可以直接将原始的低分辨率图像输入到网络中;改变特征维数,使用更小的卷积核和使用更多的映射层;可以共享其中的映射层,如果需要训练不同上采样倍率的模型,只需要fine-tuning最后的反卷积层。

    3. ESPCN

    核心概念是亚像素卷积层,输入原始低分辨率图像,三个卷积层, 将  \[H \times W \times {r^2}\]的特征图像被重新排列成 \[rH \times rW \times 1\] 的高分辨率图像。

    ESPCN激活函数采用tanh替代了ReLU。损失函数为均方误差。

    4. VDSR--7改进

    只学习高分辨率图像和低分辨率图像之间的高频部分残差即可——残差网络

    输入低分辨率图像插值后的图像,再将这个图像与网络学到的残差相加得到最终的网络的输出。

    1.加深了网络结构(20层),2.采用残差学习(自适应梯度裁剪将梯度限制在某一范围)。3.卷积补0操作,保证特征图和最终的输出图像在尺寸上都保持一致。4.多尺度图像共同训练

    5. DRCN:--7改进

    递归神经网络结构

    输入的是插值后的图像,分为三个模块,第一个是Embedding network,相当于特征提取,第二个是Inference network, 相当于特征的非线性映射,第三个是Reconstruction network,即从特征图像恢复最后的重建结果。其中的Inference network是一个递归网络,即数据循环地通过该层多次。将这个循环进行展开,等效于使用同一组参数的多个串联的卷积层.

    6. RED

    对称的卷积层-反卷积层构成的网络结构

    RED网络的结构是对称的,每个卷积层都有对应的反卷积层。卷积层用来获取图像的抽象内容,反卷积层用来放大特征尺寸并且恢复图像细节。

    用到了与4同:网络中有一条线是将输入的图像连接到后面与最后的一层反卷积层的输出相加。

    ED中间的卷积层和反卷积层学习的特征是目标图像和低质图像之间的残差。RED的网络深度为30层,损失函数用的均方误差。

    7. DRRN:(4,5,残差网络)**********

    ResNet是链模式的局部残差学习。VDSR是全局残差学习。DRCN是全局残差学习+单权重的递归学习+多目标优化。DRRN是多路径模式的局部残差学习+全局残差学习+多权重的递归学习。

    选用的是1个递归块和25个残差单元,深度为52层的网络结构

    8. LapSRN:**********(改进前面大部分算法

    论文中作者先总结了之前的方法存在有三点问题。一是有的方法在输入图像进网络前,需要使用预先定义好的上采样操作(例如bicubic)来获得目标的空间尺寸,这样的操作增加了额外的计算开销,同时也会导致可见的重建伪影。而有的方法使用了亚像素卷积层或者反卷积层这样的操作来替换预先定义好的上采样操作,这些方法的网络结构又相对比较简单,性能较差,并不能学好低分辨率图像到高分辨率图像复杂的映射。二是在训练网络时使用 l2 型损失函数时,不可避免地会产生模糊的预测,恢复出的高分辨率图片往往会太过于平滑。三是在重建高分辨率图像时,如果只用一次上采样的操作,在获得大倍数(8倍以上)的上采样因子时就会比较困难。

    LapSRN通过逐步上采样,一级一级预测残差的方式,在做高倍上采样时,也能得到中间低倍上采样结果的输出。由于尺寸是逐步放大,不是所有的操作都在大尺寸特征上进行,因此速度比较快。LapSRN设计了损失函数来训练网络,对每一级的结果都进行监督,因此取得了不错的结果。

    9. SRDenseNet:

    SRDenseNet将稠密块结构应用到了超分辨率问题上,这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用、减少参数数量的优点

    10. SRGAN(SRResNet):**********

    在这篇文章中,将生成对抗网络(Generative Adversarial Network, GAN)用在了解决超分辨率问题上

    用均方误差优化SRResNet(SRGAN的生成网络部分),文章中的实验结果表明,用基于均方误差的损失函数训练的SRResNet,得到了结果具有很高的峰值信噪比,但是会丢失一些高频部分细节,图像比较平滑。而SRGAN得到的结果则有更好的视觉效果。其中,又对内容损失分别设置成基于均方误差、基于VGG模型(损失函数)低层特征和基于VGG模型高层特征三种情况作了比较,在基于均方误差的时候表现最差,基于VGG模型高层特征比基于VGG模型低层特征的内容损失能生成更好的纹理细节。

    11. EDSR:**********

    EDSR最有意义的模型性能提升是去除掉了SRResNet多余的模块,从而可以扩大模型的尺寸来提升结果质量

    这篇文章还提出了一个能同时不同上采样倍数的网络结构MDSR。

    展开全文
  • 基于深度学习的SR,主要是基于单张低分辨率重建方法,即SingleImageSuper-Resolution(SISR)。SISR是一个逆问题,对于一个低分辨率图像,可能存在许多不同的高分辨率图像与之对应,因此通常在求解高分辨率图像时会...
  • 为提升红外图像分辨率,本文构建了用于红外图像超分辨率重建的IEDSR(enhanced deep residual networks for infrared image super-resolution)网络。该网络在EDSR网络模型的基础上加入了池化层,避免了EDSR...
  • 基于深度学习的水下图像超分辨率重建方法.pdf
  • 人工神经网络凭借其超强的学习能力,使得人工智能得到迅猛的发展,让人工神经网络再次成为研究热点。目前深度学习已经广泛应用于计算机视觉,语音处理,自然语言...本文主要研究利用深度学习实现单一图像超分辨率重建
  • 22基于深度学习的图像超分辨率重建的流程如下[2]:1.首先找到一组原始图像Image1;2.将这组图片降低分辨率为一组图像Image23.通过各种神经网络结构,将Image2超分辨率重建为Image3(Image3和Image1分辨率一样)4.通过...
  • 深度学习超分辨率重建(四): TensorFlow—— VDSR

    千次阅读 热门讨论 2018-04-26 20:05:12
    基于TensorFlow的代码下载:https://github.com/Jongchan/tensorflow-vdsrhttps://文章链接:(Accurate Image Super-Resolution Using Very Deep Convolutional Networks, CVPR2016)环境配置:深度学习(一):...

    基于TensorFlow的代码下载:https://github.com/Jongchan/tensorflow-vdsr

    文章链接(Accurate Image Super-Resolution Using Very Deep Convolutional Networks, CVPR2016)

    环境配置深度学习(一):虚拟机Linux系统搭建CPU TensorFlow

    基础理论学习方便理解:deeplearning.ai 吴恩达网上课程学习(十五)——卷积神经网络及其TensorFlow代码实现

    对CNN 感受野 一些理解:https://blog.csdn.net/u010725283/article/details/78593410

    1. VDSR

    在上面的基础理论链接中也提到了何恺明在2015年的时候提出的残差网络ResNet。ResNet的提出,解决了之前网络结构比较深时无法训练的问题,性能也得到了提升,ResNet也获得了CVPR2016的best paper。残差网络结构(residual network)被应用在了大量的工作中。

    正如在VDSR论文中作者提到,输入的低分辨率图像和输出的高分辨率图像在很大程度上是相似的,也就是指低分辨率图像携带的低频信息与高分辨率图像的低频信息相近,训练时带上这部分会多花费大量的时间,实际上我们只需要学习高分辨率图像和低分辨率图像之间的高频部分残差即可。残差网络结构的思想特别适合用来解决超分辨率问题,可以说影响了之后的深度学习超分辨率方法。VDSR是最直接明显的学习残差的结构,其网络结构如下图所示。


    这有一篇比较通俗易懂的文章:

    https://blog.csdn.net/wangkun1340378/article/details/74231352

    提炼算法创新点:
    1.加深网络结构(20层):更深的网络结构使得后面的网络层拥有更大的感受野,该文章采取3X3的卷积核,从而使得深度为D的网络,拥有(2D+1)X(2D+1)的感受野,从而可以根据更多的像素点去推断结果像素点
    2.加深的网络结构为梯度传输带来了困难,采用残差学习,提高学习率,加快了收敛速度,同时采用调整梯度裁剪(Adjustable Gradient Clipping)

    3.数据混合:将不同大小倍数的图像混合在一起训练,从而支持不同倍数的高清化

    4.每次卷积后,图像的size变小,但是,在下一次卷积前,对图像进行补0操作,恢复到原来大小,这样不仅解决了网络深度的问题,同时,实验证明对边界像素的预测结果也得到了提升。

    再看这一篇文章:

    https://blog.csdn.net/u011692048/article/details/77512310

    SRCNN存在三个问题需要进行改进:1、依赖于小图像区域的内容;2、训练收敛太慢;3、网络只对于某一个比例有效。

    VDSR模型主要有以下几点贡献:1、增加了感受野,在处理大图像上有优势,由SRCNN的13*13变为41*41。2、采用残差图像进行训练,收敛速度变快,因为残差图像更加稀疏,更加容易收敛(换种理解就是lr携带者低频信息,这些信息依然被训练到hr图像,然而hr图像和lr图像的低频信息相近,这部分花费了大量时间进行训练)。3、考虑多个尺度,一个卷积网络可以处理多尺度问题。

    第三个文章参考链接:

    https://blog.csdn.net/shwan_ma/article/details/78193777

    ResNet和VDSR两者结构比较:



    2.代码学习:

    理论学完后统一更新。。。

    展开全文
  • SRCNN超分辨率重建算法。深度学习在图像超分辨率重建问题的开山之作SRCNN(Super-Resolution Convolutional Neural Network)的参考代码,可直接使用。
  • 针对传统深度超分辨率重建算法需要人工提取特征、计算复杂度较高且不容易得到合适表示特征的问题, 提出一种基于卷积神经网络(CNN)的深度超分辨率重建算法。该算法不需要提前对特定的任务从图像中提取具体的手工...
  • 深度学习(一):虚拟机Linux系统搭建CPU TensorFlow 基础理论学习方便理解: deeplearning.ai 吴恩达网上课程学习(十五)——卷积神经网络及其TensorFlow代码实现   1.1 配置环境遇到的问题: 在...

    转:https://blog.csdn.net/u010327061/article/details/80046690

    1.SRCNN(原理和代码)

    基于TensorFlow的代码下载:https://github.com/tegg89/SRCNN-Tensorflow

    文章链接:(Learning a Deep Convolutional Network for Image Super-Resolution, ECCV2014)

    环境配置深度学习(一):虚拟机Linux系统搭建CPU TensorFlow

    基础理论学习方便理解:deeplearning.ai 吴恩达网上课程学习(十五)——卷积神经网络及其TensorFlow代码实现

     

    1.1 配置环境遇到的问题:

    在TensorFlow的虚拟环境中安装,不要加sodu,否则会装到默认的Python2.7里

    ① ModuleNotFoundError: No module named 'h5py':

    pip install h5py

    tensorboard 1.7.0 has requirement bleach==1.5.0, but you'll have bleach 2.1.3 which is incompatible.
    tensorboard 1.7.0 has requirement html5lib==0.9999999, but you'll have html5lib 1.0.1 which is incompatible.

    如果使用sudo则不是说在虚拟环境下安装,以下类似

    ② ModuleNotFoundError: No module named 'matplotlib'

    pip install matplotlib

    ③ ModuleNotFoundError: No module named 'PIL'

    pip install Pillow  

    ④ No module named 'scipy'

    pip install scipy

    1.2 代码解释:

    ① tf.app.flags

    tf定义了tf.app.flags,用于支持接受命令行传递参数,相当于接受argv。

     

    [html] view plain copy
    
        <code class="language-html"><span style="font-family:'FangSong_GB2312';">import tensorflow as tf  
          
        #第一个是参数名称,第二个参数是默认值,第三个是参数描述  
        tf.app.flags.DEFINE_string('str_name', 'def_v_1',"descrip1")  
        tf.app.flags.DEFINE_integer('int_name', 10,"descript2")  
        tf.app.flags.DEFINE_boolean('bool_name', False, "descript3")  
        #FLAGS是一个对象,保存了解析后的命令行参数  
        FLAGS = tf.app.flags.FLAGS  
          
        #必须带参数,否则:'TypeError: main() takes no arguments (1 given)';   main的参数名随意定义,无要求  
        def main(_):    
            print(FLAGS.str_name)  
            print(FLAGS.int_name)  
            print(FLAGS.bool_name)  
          
        if __name__ == '__main__':  
            tf.app.run()  #执行main函数</span></code>  

    ② class pprint.PrettyPrinter(indent=1, width=80, depth=None, stream=None, *, compact=False) 

    pprint模块提供了一个美观地打印Python数据结构的方式。如果是要格式化的数据结构里包含了非基本类型的数据,有可能这种数据类型不会被加载。比如数据类型是文件、网络socket、类等。本模块格式化时,尽可能保持一个对象一行表示,并且当超过允许宽度时也会自动换行表示。所有字典数据类型,都会先按键来排序,然后再进行格式化输出。

    构造一个打印实例PrettyPrinter。这个构造函数需要好几个参数来配置打印参数。可以通过参数stream来设置流输出对象,流输出对象要实现write()的文件协议。如果没有指定流输出对象,默认是输出到sys.stdout。每行递归缩进的宽度是通过indent来设置,默认设置为1。参数width是表示每行的宽度,如果超过一行的宽度就会换行输出。参数depth是表示复合对象输出的层次深度,默认是没有限制,所有层次的对象都输出。参数compact是表示换行时下一行是否输出内容,还是跳过。
    https://blog.csdn.net/caimouse/article/details/50704332

    ③os.makedirs(path, mode=0o777)

    os.makedirs() 方法用于递归创建目录。像 mkdir(), 但创建的所有intermediate-level文件夹需要包含子目录。

    http://www.runoob.com/python/os-makedirs.html

    ④try与except处理异常语句:

    https://blog.csdn.net/f156207495/article/details/78387617

     

    1.3 原理学习:

    1.3.1 链接参考:

    https://blog.csdn.net/u011630458/article/details/79103923

    https://blog.csdn.net/m0_37510087/article/details/79367649

    https://blog.csdn.net/Uwr44UOuQcNsUQb60zk2/article/details/78474303

    1.3.2 具体过程:

    33*33*1&9*9*64---  25*25*64& 1*1*35---25*25*35 & 5*5*1 ---21*21*1

     

    SRCNN首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸,接着通过三层卷积网络拟合非线性映射,最后输出高分辨率图像结果。本文中,作者将三层卷积的结构解释成三个步骤:图像块的提取和特征表示,特征非线性映射和最终的重建。

    三个卷积层使用的卷积核的大小分为为9x9,,1x1和5x5,前两个的输出特征个数分别为64和32。用Timofte数据集(包含91幅图像)和ImageNet大数据集进行训练。使用均方误差(Mean Squared Error, MSE)作为损失函数,有利于获得较高的PSNR。

    论文说的只训练YCbCr模式的Y通道,具体流程就是:训练的时候输入BRG模式的图片,再转化为YCbCr模式,但是只将Y通道通过CNN网络,最后输出的结果再和另外两个合成生成心得YCbCr模式图片,最后再转回BGR模式,将最终生成的BGR模式图片与输入的BRG模式图片计算MSE loss,进行梯度下降训练网络。具体流程如下图:

    展开全文
  • 基于深度网络的单幅图像超分辨率重建,曾坤,李翠华,本文提出了一种全新的基于深度网络的单幅图像超分辨率重建算法。该方法首先通过自编码器得到图像的内在表示,然后通过深度网络学
  • 22基于深度学习的图像超分辨率重建的流程如下[2]:1.首先找到一组原始图像Image1;2.将这组图片降低分辨率为一组图像Image23.通过各种神经网络结构,将Image2超分辨率重建为Image3(Image3和Image1分辨率一样)4.通过...
  • 为了进一步提高单幅图像超分辨率重建的精度,主要做了以下两个方面的工作:首先将增强预测的方法和SRCNN网络结合,在Set5数据集上的平均峰值信噪比较原始的SRCNN方法提升了大约0.3dB;其次,将FSRCNN网络第一个5*5的...
  • 基于深度学习的图像超分辨率重建方法综述.pdf
  • 基于深度学习的单图像超分辨率重建研究综述.pdf
  • 1超分辨率重建技术的研究背景与意义 图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率、空间分辨率及色阶分辨率等,体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率...

    1 超分辨率重建技术的研究背景与意义

    图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率、空间分辨率及色阶分辨率等,体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像,高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。

    但在实际上中,受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束,我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。

    提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进,但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此,从软件和算法的角度着手,实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。

    1955年,Toraldo di Francia在光学成像领域首次明确定义了超分辨率这一概念,主要是指利用光学相关的知识,恢复出衍射极限以外的数据信息的过程。1964年左右,Harris和Goodman则首次提出了图像超分辨率这一概念,主要是指利用外推频谱的方法合成出细节信息更丰富的单帧图像的过程。1984 年,在前人的基础上,Tsai和 Huang 等首次提出使用多帧低分辨率图像重建出高分辨率图像的方法后, 超分辨率重建技术开始受到了学术界和工业界广泛的关注和研究。

    具体来说,图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识,借由特定的算法和处理流程,从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制,导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。

     

    图像超分辨率重建技术在多个领域都有着广泛的应用范围和研究意义。主要包括:

    (1)图像压缩领域

    在视频会议等实时性要求较高的场合,可以在传输前预先对图片进行压缩,等待传输完毕,再由接收端解码后通过超分辨率重建技术复原出原始图像序列,极大减少存储所需的空间及传输所需的带宽。

    (2) 医学成像领域

    对医学图像进行超分辨率重建,可以在不增加高分辨率成像技术成本的基础上,降低对成像环境的要求,通过复原出的清晰医学影像,实现对病变细胞的精准探测,有助于医生对患者病情做出更好的诊断。

    (3)遥感成像领域

    高分辨率遥感卫星的研制具有耗时长、价格高、流程复杂等特点,由此研究者将图像超分辨率重建技术引入了该领域,试图解决高分辨率的遥感成像难以获取这一挑战,使得能够在不改变探测系统本身的前提下提高观测图像的分辨率。

    (4) 公共安防领域

    公共场合的监控设备采集到的视频往往受到天气、距离等因素的影响,存在图像模糊、分辨率低等问题。通过对采集到的视频进行超分辨率重建,可以为办案人员恢复出车牌号码、清晰人脸等重要信息,为案件侦破提供必要线索。

    (5) 视频感知领域

    通过图像超分辨率重建技术,可以起到增强视频画质、改善视频的质量,提升用户的视觉体验的作用。

    2图像超分辨率重建技术概述

    2.1 降质退化模型

    低分辨率图像在成像的过程中受到很多退化因素的影响,运动变换成像模糊降采样是其中最主要的三个因素。如图1所示,整个过程可以通过使图示的线性变换模型来表征。

    基于深度学习的图像超分辨率重建技术的研究 

                                               图1 图像的降质退化模型

    上述退化模型可以由以下线性变换表示;

    L=DBFH+N                         (1)

    式中,L表示观测图像,H表示输入的高分辨率图像,F表示运动变换矩阵,通常由运动、平移等因素造成,B表示模糊作用矩阵,通常由环境或成像系统本身引起,D表示降采样矩阵,通常由成像系统的分辨率决定,N表示加性噪声,通常来自于成像环境或成像过程。

    图像降质退化模型描述了自然界中的高分辨率图像转换成人眼观测到的低分辨率图像的整个过程,即高分辨率图像成像逆过程,为图像超分辨率技术提供了坚实的理论基础。

    2.2 重建图像的评估

    为了衡量重建算法优劣,需要引入一种评估指标来对重建后的图像进行评估。

    重建图像的评价方式一般分为两大类,一是主观评价,二是客观评价。

    主观评价:以人为评价主体,对重建后图像的视觉效果做出主观和定性的评估。为保证图像的主观评价具有一定的统计意义,此种评估方法需要选择足够多的评价主体,并保证评价主体中未受训练的普通人和受过训练的专业人员数量大致均衡。

    客观评价:峰值信噪比(Peak signal-to-noise ratio ,PSNR)和结构相似性(Structural Similarity, SSIM)是最常用的两种图像质量评估指标。其中PSRN通过比较两幅图像对应像素点的灰度值差异来评估图像的好坏SSIM则从亮度、对比度和结构这三个方面来评估两幅图像的相似性。具体计算公式如下:

    (2)

    基于深度学习的图像超分辨率重建技术的研究

    (3)

    基于深度学习的图像超分辨率重建技术的研究

    2.3 图像分辨率重建技术分类

    根据分类准则的不同,可以将图像超分辨率重建技术划分为不同的类别。

    • 从输入的低分辨率图像数量角度来看,可以分为单帧图像的超分辨率重建和多帧图像(视频)的超分辨率重建;
    • 从变换空间角度来看,可以分为频域超分辨率重建、时域超分辨率重建、色阶超分辨率重建等;
    • 从重建算法角度来看,可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。

    本节主要从算法内容出发,介绍几类常见的超分辨率重建技术。

    (1) 基于插值的超分辨率重建

    基于插值的方法将每一张图像都看做是图像平面上的一个点,那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程,这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解,但是也存在着一些明显的缺陷。

    首先,它假设像素灰度值的变化是一个连续的、平滑的过程,但实际上这种假设并不完全成立。其次,在重建过程中,仅根据一个事先定义的转换函数来计算超分辨率图像,不考虑图像的降质退化模型,往往会导致复原出的图像出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。

    (2) 基于重构的超分辨率重建

    基于重构的方法则是从图像的降质退化模型出发,假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息,并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的基于重构的方法包括迭代反投影法、凸集投影法和最大后验概率法等。

    (3) 基于学习的超分辨率重建

    基于学习的方法则是利用大量的训练数据,从中学习低分辨率图像和高分辨率图像之间某种对应关系,然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像,从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码和深度学习方法

    3 基于深度学习的图像超分辨率重建技术

    机器学习是人工智能的一个重要分支,而深度学习则是机器学习中最主要的一个算法,其旨在通过多层非线性变换,提取数据的高层抽象特征,学习数据潜在的分布规律,从而获取对新数据做出合理的判断或者预测的能力。

    随着人工智能和计算机硬件的不断发展,Hinton等人在2006年提出了深度学习这一概念,其旨在利用多层非线性变换提取数据的高层抽象特征。凭借着强大的拟合能力,深度学习开始在各个领域崭露头角,特别是在图像与视觉领域, 卷积神经网络 大放异,这也使得越来越多的研究者开始尝试将深度学习引入到超分辨率重建领域。2014年,Dong等人首次将深度学习应用到图像超分辨率重建领域,他们使用一个三层的 卷积神经网络 学习低分辨率图像与高分辨率图像之间映射关系,自此,在超分辨率重建率领域掀起了深度学习的浪潮。

    基于深度学习的图像超分辨率技术的重建流程主要包括以下几个步骤:

    • (1) 特征提取:首先对输入的低分辨率图像进行去噪、上采样等预处理,然后将处理后的图像送入神经网络,拟合图像中的非线性特征,提取代表图像细节的高频信息;
    • (2) 设计网络结构及损失函数:组合 卷积神经网络 及多个残差块,搭建网络模型,并根据先验知识设计损失函数;
    • (3) 训练模型:确定优化器及学习参数,使用反向传播算法更新网络参数,通过最小化损失函数提升模型的学习能力;’
    • (4) 验证模型:根据训练后的模型在验证集上的表现,对现有网络模型做出评估,并据此对模型做出相应的调整。

    以下是几种常见的基于深度学习的超分辨率重建技术及其对比。

    (1) SRCNN

    SRCNN(Super-Resolution Convolutional Neural Network)是首次在超分辨率重建领域应用 卷积神经网络 的深度学习模型。对于输入的一张低分辨率图像,SRCNN首先使用双立方插值将其放大至目标尺寸,然后利用一个三层的 卷积神经网络 去拟合低分辨率图像与高分辨率图像之间的非线性映射,最后将网络输出的结果作为重建后的高分辨率图像。SRCNN的网络结构如图2所示。

     

    基于深度学习的图像超分辨率重建技术的研究

    图2 SRCNN的网络结构

    (2) ESPCN

    与SRCNN不同,ESPCN (Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network)在将低分辨率图像送入神经网络之前,无需对给定的低分辨率图像进行一个上采样过程,得到与目标高分辨率图像相同大小的低分辨率图像。如图3所示,ESPCN中引入一个亚像素卷积层(Sub-pixel convolution layer),来间接实现图像的放大过程。这种做法极大降低了SRCNN的计算量,提高了重建效率。

     

    基于深度学习的图像超分辨率重建技术的研究

    图3 ESPCN的网络结构

    (3) SRGAN

    与上述两种方法类似,大部分基于深度学习的图像超分辨率重建技术使用均方误差作为其网络训练过程中使用的损失函数,但是由于均方差本身的性质,往往会导致复原出的图像出现高频信息丢失的问题。而生成对抗网络(Generative Adversarial Networks, GAN)则通过其中的鉴别器网络很好的解决了这个问题,GAN的优势就是生成符合视觉习惯的逼真图像,所以SRGAN (Photo-Realistic Single Image SuperResolution Using a Generative Adversarial Network)的作者就将GAN引入了图像超分辨率重建领域。

    如图4所示,SRGAN也是由一个生成器和一个鉴别器组成。生成器负责合成高分辨率图像,鉴别器用于判断给定的图像是来自生成器还是真实样本。通过一个二元零和博弈的对抗过程,使得生成器能够将给定的低分辨率图像复原为高分辨率图像。

     

    基于深度学习的图像超分辨率重建技术的研究

                                             图4 SRGAN的网络结构

    4 总结与展望

    深度学习在图像超分辨率重建领域已经展现出了巨大的潜力,极大的推动了该领域的蓬勃发展发展。但距离重建出既保留原始图像各种细节信息、又符合人的主观评价的高分辨率图像这一目标,深度学习的图像超分辨率重建技术仍有很长的一段路要走。主要存在着以下几个问题:

    (1)深度学习的固有性的约束。深度学习存在着需要海量训练数据、高计算性能的处理器以及过深的网络容易导致过拟合等问题。

    (2)类似传统的基于人工智能的学习方法,深度学习预先假定测试样本与训练样本来自同一分布,但现实中二者的分布并不一定相同,甚至可能没有相交的部分。

    (3)尽管当前基于深度学习的重建技术使得重建图像在主观评价指标上取得了优异的成绩,但重建后的图像通常过于平滑,丢失了高频细节信息。

    因此进一步研究基于深度学习的图像超分辨率技术仍有较大的现实意义和发展空间。

    参考文献

    1. Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical overview[J]. IEEE signal processing magazine, 2003, 20(3): 21-36.

    2. Kim J, Kwon Lee J, Mu Lee K. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 1646-1654.

    3. Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(2): 295-307.

    4. Shi W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 1874-1883.

    5. Ledig C, Theis L, Huszár F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]//CVPR. 2017, 2(3): 4.

    展开全文
  • 综述类的论文,对于超分辨率研究入门很有帮助,作者附录里有附带经典源码的链接,特别是几个深度学习的github链接,国内也有镜像
  • 基于深度学习超分辨率重建

    千次阅读 2018-08-22 20:31:27
    超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在...基于深度学习的SR,主要是基于单张低分辨率重建方法,即Single Image Super-Resolution (SISR)。 SISR是一个逆问...
  • 1、SRCNN(第一次将深度学习应用于SR,先插值放大,再三次卷积) 2、FSRCNN(对SRCNN提速,不需要插值放大,反卷积+小的卷积核) 3、ESPCN(亚像素卷积层) 这篇论文采用了一种新的上采样方式,后边好几篇...
  • 本合集涵盖了2015-2019年发表在计算机视觉三大顶级会议上的基于深度学习的图像超分辨率算法的大多数论文。
  • 为深入了解基于深度学习的单图像超分辨率重建(SISR)的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并...
  • 超分辨率图像重建常用训练集
  • 深度学习超分辨率重建(二): TensorFlow——FSRCNN

    千次阅读 热门讨论 2018-04-26 14:14:40
    基于TensorFlow的代码下载:https://github.com/yifanw90/FSRCNN-TensorFlow文章链接:(Accelerating the Super-Resolution Convolutional Neural Network, ECCV2016)环境配置:深度学习(一):虚拟机Linux系统搭建...
  • 步提高单幅图像超分辨率重建的精度,主要做了以下两个方面的工作:首先将增强预测的方法和 SRCNN 网络结合,在 Set5 数据集上的平均峰值信噪比较原始的 SRCNN 方法提升了大约 0.3dB;其 次,将 FSRCNN 网络第一个 5*...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,733
精华内容 3,093
关键字:

深度学习超分辨率重建