精华内容
下载资源
问答
  • 针对基于非局部均值(NLM)的视频超分辨率重建方法存在结果过于平滑、收敛速度慢及计算量大等问题,提出一种改进的NLM视频超分辨率重建算法。该方法采用模糊边缘补足算法将经过预处理的视频图像分成平坦区和纹理区;对于...
  • 为了提高视频的空间分辨率,利用低分辨率帧之间的亚像素运动信息和成像系统的模糊功能,提出了一种盲视频超分辨率重建方法。首先,通过泰勒级数展开和最小二乘求解方法,估计了滑动窗口中相邻帧之间从粗到细的运动...
  • 基于GPU加速的实时视频超分辨率重建.pdf
  • 基于深度学习的电力监控视频超分辨率重建.pdf
  • 视频序列沿着时间轴展开所形成的二维矩阵具有低秩性,由此提出了一种利用该性质并结合全变分约束的视频超分辨率重建算法。该方法使用保真项以及上述两约束条件构造视频超分辨率重建的优化函数,然后采用变量分裂法...
  • 网络游戏-基于生成对抗网络的视频超分辨率重建算法.zip
  • 视频序列沿着时间轴展开所形成的二维矩阵具有低秩性,由此提出了一种利用该性质并结合全变分约束的视频超分辨率重建算法。该方法使用保真项以及上述两约束条件构造视频超分辨率重建的优化函数,然后采用变量分裂法...
  • 针对基于迭代反投影(IBP)算法的视频超分辨率重建,提出了一种改善初始估计来提高重建效果的方法.本文采用小波局部适应插值得到初始估计,结合滑动窗的视频重建模型,由一段低分辨率的视频重建一段高分辨率的视频,达到...
  • 针对传统POCS(projection onto convex sets)算法的局限性,提出了一种基于POCS框架的时空联合自适应视频超分辨率重建算法。通过引入时空联合自适应机制,算法有效地减缓了错误运动估计信息对重建图像质量的影响,...
  • 行业分类-物理装置-基于多帧融合光流的视频超分辨率重建方法.zip
  • 图像、视频超分辨率重建项目

    千次阅读 2019-04-03 14:18:52
    何为超分辨率重建 超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建超分辨率重建的核心思想就是用时间带宽(获取...

    何为超分辨率重建

    超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换

     ESPCN是一种在低分辨率图像上直接计算卷积得到高分辨率图像的高效率方法。ESPCN的核心概念是亚像素卷积层;ESPCN一种实时的图像超分辨率方法

    代码:

    推荐使用虚拟环境

    https://github.com/leftthomas/ESPCN (内有数据集、Readme按照步骤即可)

    注意一点:

    model.py train.py data_utils.py test_image.py 这几个文件里的upscale_factor倍数一定要一致

    num_epochs是迭代次数  这里默认是100 博主通过计算发现最好的迭代次数是2000,切记不要太高不然会过拟合

    展开全文
  • 相邻帧间差别较大,无法使用相邻的帧进行基于模型的超分辨率重建,于是提出了配准视频周期,然后利用出每个周期内的相同景物的帧进行超分辨率重建,从而为低帧率低分辨率单个周期视频找到了超分辨率重建的方法;...
  • 图像超分辨率重建( 适合初学超分辨率重建使用 图像超分辨率 SR工具箱)
  • 为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频...
  • 基于卷积神经网络的视频图像超分辨率重建方法.pdf
  • 为利用低分辨率压缩图像序列来重建高分辨率图像序列,提出一种在凸集投影(POCS)方法框架下基于整数DCT域量化噪声模型的针对H.264标准压缩视频超分辨率重建方法。首先建立压缩视频的降质退化模型,然后根据H.264...
  • 超分辨率重建技术就是由低分辨率图像序列来重建高分辨率图像。文中利用比特流中的量化 步长和运动信息,建立了量化噪声和运动噪声模型,提出的新噪声模型可对不同的量化器自适应调 整。以 Huber-Markov随机场作为先验...
  • 视频监控系统中车牌图像的超分辨率重建
  • 视频超分辨率重建综述

    千次阅读 2018-09-30 13:49:24
    **摘要:**序列图像的超分辨率复原是指采用信号处理的方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅SR复原图像,该技术可以弥补硬件实现的局限并且成本低,在视频、遥感等领域有着重要的应用前景。...

    **摘要:**序列图像的超分辨率复原是指采用信号处理的方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅SR复原图像,该技术可以弥补硬件实现的局限并且成本低,在视频、遥感等领域有着重要的应用前景。简要介绍了超分辨率复原的应用,然后概述了相关的主要算法,最后指出了该领域的发展方向。

    **关键字:**超分辨率,图像复原,图像处理
    Abstract: Super-Resolution image restoration technique is to estimate one or more Super-Resolution restoration images from a low resolution and degraed image quence via signal processing ,which can feeds the limintion for hadware
    realization and costless. Super-Resolution restoration has many applications, such as video, remote sensing imaging ,and so on .The application of the technique is introduced, then main related algorithms are overviewed,and the direction for the future is
    given at last.
    Key Words: super resolution;image reconstruction;image processing

    1. 引言

    实际成像系统(如CCD、CMOS图像传感器、红外成像仪等)采集的数字图像,一方面受传感器排列密度等硬件实现条件和成本的限制,采集的图像分辨率较低,另一方面在成像过程受诸多因素影响(如光学系统相差、大气扰动、运动、离焦、系统噪音等[3])还会使图像发生模糊、变形等质量退化现象。传统的图像复原技术可从一定程度改善退化图像的质量,但并不改变复原图像的分辨率,另外,高分辨率图像在诸多领域有着重要应用,超分辨率复原技术(Super-Resolution,SR)即是在此背景下提出来的。所谓超分辨率复原,即是通过信号处理的方法,在提高图像的分辨率的同时改善采集图像质量。
    超分辨率复原技术最初只对单幅图像进行处理,其核心思想是试图通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率,该种方法由于可利用的信息只有单幅图像,图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率(Low-Resolution,LR)退化图像的处理来获得一幅或者多幅SR复原图像。由于序列SR复原可利用的帧间额外信息,比单幅SR复原复原效果更好,目前已成为该领域内的研究热点。
    本文先对序列图像SR复原技术的应用作简要介绍,然后介绍了目前的主要实现算法,最后指出了该领域的发展方向。

    2. SR复原应用概况

    超分辨率图像复原技术可改善由于图像离散化、退化引起的分辨率下降,弥补原有图像分辨的不足,突破图像获取手段分辨率的极限,发掘现有图像数据(如多角度、多时相、多平台遥感图像,序列图像等)的潜力,因此,超分辨率图像复原技术的研究具有十分重要的意义,其在以下领域有着重要的应用价值和广阔的应用前景[7]。
    2.1.视频处理领域
    目前视频图像正在向高清电视信号(HDTV)方向发展,因此,迫切需要采用SR技将普通NTSC格式的视频图像转换为高清电视信号。另一方面,普通拍摄的视频数据在播放时由于人眼的视觉暂留效应,使得人眼对快速播放的视频图像噪声不敏感,但当打印具体帧时,效果就会变得很差。采用序列SR复原技术,可以获得单帧或多帧的SR图像,因此,SR复原技术可用于视频帧的打印,这在视频捕捉方面有着重要作用[7]。另外,目前的视频多为压缩视频,压缩视频的SR复原技术对提高压缩视频的质量其着重要作用[52][53]。另外,SR复原技术还可以与马赛克处理等采用视频处理方法配合进行视频处理[54]。
    2.2模式识别领域
    超分辨率图像复原可提高可以提高采集图像的质量,能够提供更多更准确的图像细节信息,从而可以提高模式识别的精度,对一些模式识别算法性能的提高起着重要作用。比如,在脸识别领域,学者已经基于SR图像复原技术对此开展了大量的研究工作,取得了较好的效果,见文献[55]-[57].此外,SR复原技术在视频监控[58]系统中可对感兴趣区域进行缩放,进一步提高监控目标识别的准确性,此在交通、司法等方面有着重要作用。
    2.3.卫星、遥感成像领域
    目前,遥感图像数据量存在着一个“既多又少”的矛盾——获取的数据量多,有用的信息却很少。地球资源卫星每天大约绕地球旋转 14 圈,18 天左右就能对地面同一区域覆盖一次。这样,获得同一地区多次重复的图像数据量是巨大的,但由于成像设备的硬件技术原因,往往得不到想要的更高分辨率图像;同时,由于高分辨率相机造价昂贵,体积和重量都很大。因此,若能利用低分辨率相机成像,再对这些重复图像数据进行超分辨率复原,生成高分辨率图像,便能够降低风险和成本,同时提高现有图像资料的应用价值和军事目标的识别能力。为识别植被的分布和大体类型、地域的地质结构、地表水的区域范围等不同的环境现象,卫星获取的图像是包括红外线、可见光、紫外线在内的多频谱信息,因此对图像的处理和分析便成为数据处理分析的重要基础。图像处理是将资源和气象等信息图像化。而图像分析主要是利用多频谱信息的统计模式分类,进行土地利用区的划分、气象、环境污染及资源的调查、城市规划等任务。地球资源卫星可以获取多频谱图像,通过对这些图像进行一系列的处理,可以获取不同的有用信息。但是由于现有成像技术的限制,图像的分辨率限制了图像的判别和定位精度。为获取高质量高分辨率图像,单纯依靠提高物理设备的采样率和精度是不实际的。即便存在可能性,其资金的代价也是昂贵的。相对来说,通过多帧低分辨率图像的处理获得高分辨率图像,不仅是可行的,而且是经济的。超分辨率图像复原技术采用现有的遥感图像就能够达到所需要的对地物的识别精度。因此过去依靠光学处理图像的领域,正在逐步变成以计算机处理为主流[7]。
    2.4.天文学领域
    天文学家为了更好地认识和理解宇宙,正努力在他们的天文学图像中寻找更多更好的细节。通过增加望远镜镜面或无线电天线的大小,可以获得较好的细节,或者通过后处理的方法对收集的图像进行细节复原。在有限的预算下,使用后处理技术比建造昂贵的新设备更为实际[7]。
    2.5.医学成像领域
    医学上不管是基础医学还是临床医学,都需要大量的医学图像处理。人们所熟知的 X 射线图像、显微镜图像、放射线同位素图像、超声波图像、磁共振成像(MRI)等各种各样的图像,都成为辅助诊断中模式识别的对象。所以从该领域研究的开始,图像的质量和精度以及图像的重建问题,就已经成为医学图像研究的重要目标之一。尤其是在染色体分析、血球的自动分类、胸部 X 射线照片的鉴别、眼底照片的处理、利用荧光染料的血管造影分析等方面都有着广泛的应用。CT 技术就是利用多方向投影实现断层图像重建的成功实例。医学检测中往往需要通过
    CT 技术识别并确定出病体(如肿瘤)的精确位置及详细情况:如阴影的边缘、异物占位的大小及位置等。由于硬件设备及现有成像技术的限制,还不能够获取满足高要求的高清晰图像。由于 CT 技术的特殊机理,超分辨率图像复原技术可以在该领域获得重要应用。采用超分辨率技术对 CT 图像的质量改善和变换以及图像精度的提高等仍然是今天医学图像处理中正在讨论的课题[7]。另外,磁共振成像(MRI)也是临床应用重要诊断方法,提高其采集图像的分辨率具有重要意义,文献[59]、[60]对磁共振成像(MRI)的SR复原技术进行了较深入的讨论。

    3. 序列SR复原算法

    基于序列图像的SR复原算法比基于单帧图像的SR复原算法可利用信息更多,复原效果明显由于后者,目前已成为该领域的主流研究方向。目前序列图像的超分辨率复原主要分为频域法空域法两大类。频域方法的观测模型是基于傅立叶变换的移位特性。
    频域方法的优点是:理论简单,运算复杂度低,容易实现并行处理,具有直观的去变形超分辨率机制;缺点是:只能局限于全局平移运动和线性空间不变降质模型,而且包含空域先验知识的能力有限.
    空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力[14].早期的工作主要集中在频域进行,随着更一般成像模型的研究,后期的研究几乎都集中在空域进行[6]。文献[5]将视频序列的SR复原划分为基于重建、基于学习、基于插值运动补偿三大类。本文简单介绍序列图像的SR复原算法频域法,然后给出空域法的各种主要算法及其他算法,类似综述文献见[1]~[6]。
    3.1. 频域法
    Tsay 和Huang对序列图像的超分辨率复原算法作了开创性的工作,他们首次提出了一种基于频域的算法[8],其思想是利用原SR图像与具有全局平移运动的多幅低LR图像DFT之间的混叠关系,通过多幅LR的混叠频谱解出原SR的频谱,再通过IDFT重构原SR图像。该模型理论简单、适合并行处理,但观测模型局限于全局位移和LSI模型,难以在频域将空间约束信息考虑进来[2][4],因此应用范围受很大局限。 Kim[9]~[12]等人对Tsay等的模型进行了一定的改进和扩展,但都只是从使用范围和速度等方面作了改进,并无突破性的进展。另外,在其他变换域,一些学者在DCT域[13]、小波域[14]也作了相关研究。
    3.2. 空域法
    空域法较频域法具有更好的先验约束能力,并且其观测模型可涉及全局和局部运动、光学模糊、帧内运动模糊、空间变化点扩展函数、非理想采样、压缩伪像以及其它一些内容[7],因此,适用范围更广。Elad和Feuer提出了一个普适的空域SR-LR观测模型[15],该模型描述了图像获取中平移旋转变形、光学与运动模糊、点扩展函数模糊、欠采样等环节,对空域算法的设计提供了很好的指导。目前SR复原技术主要集中在空域中进行,常用的空域法有非均匀插值法、迭代反投影方法(IBP)、凸集投影法(POCS)、最大后验估计法(MAP)、最大似然估计法(ML)、滤波器法等,其中,MAP和POCS法研究较多,发展空间很大。
    3.2.1 非均匀插值法
    非均于插值具有直观、计算效率高的优点,其算法流程分为运动估计(注册)、非线性插值融合为SR图像、图像复原去模糊三个环节。这里,运动估计的精确性对算法性能其关键性的作用。Ur和Gross根据广义多通道采样定理[16] [17],在假设相对运动精确已知的前提下,对发生整体空间移位的LR图像进行了非线性插值,之后再去模糊处理[18]。。Komatsu 等人[19]。使用块匹配技术来测量相对位移,执行Landweber[20]
    算法,使用多架相机拍摄的多幅图像来获得一幅SR图像。Hardie [21]等人提出梯度配准、加权最近领域插值、维纳滤波相结合的方法,Franke[22]和Sandwell[23]分别提出了局部瘦样条插值和双调和样条插值的SR插值算法。
    3.2.2迭代反投影方法(IBP)
    迭代反投影方法具有直观、简单的优点,但难以利用先验知识。Irani 和Releg提出了一种种迭代反投影方法[24],其思想是将由估计的SR 图像模拟得到的LR 图像与观测的实际LR 图像相减得到误差,这个过程不断迭代,直到误差的能量达到最小。Mann 和 Picard[25]在此基础上在图像获取过程中使用一个透视运动模型。Irani 和 Peleg[25]改进了 IBP 方法,考虑了更为一般的运动模型。Tom 等人通过改进运动补偿方法,进一步提高了迭代反向投影算法的性能,并在色视频序列的SR复原中应用了IBP算法[26][27]。
    3.2.3凸集投影法(POCS)
    POCS方法较简单,对任何成像模型均可方便地加入先验信息,得到的高分辨率图像边缘和细节较好,但其解不唯一,收敛速度慢且稳定性不好,解依赖于初始估计,计算量大。POCS的采用解空间与一组约束凸集取交集的思想,凸集可描述图像的一些先验性质,如正定、能量有界、数据可靠、光滑等,从而使解空间得到简化。POCS 是指一种迭代过程,在给定超分辨率图像空间中任意一点的前提下,可以定位一个满足所有凸约束集条件的点,即收敛解[7]。POCS由Stark 和Oskoui首次提出[28],Tekalp[29]
    、Patti[30] [31]等人对POCS法进行了改进,分别考虑了物理尺寸引起的模糊、传感器噪声和运动模糊与噪声问题。其他改进文献见[32]-[34]。
    3.2.4最大后验估计法(MAP)、最大似然估计法(ML)
    最大后验估计法(MAP)、最大似然估计法(ML)都是在Bayes框架下的基于统计理论的复原方法。最大后验概率估计方法将超分辨率图像视为一个复杂最优化问题的MAP 解,使用先验平滑假设来减少不连续测量的影响。最大后验概率(MAP) 的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大[5]。Schultz和Stevenson利用Huber- Markov Gibbs先验模型,将问题变成一个具有惟一解的有约束的最优问题,在视频序列中提出了MAP
    SR复原法[35]。Hardie 等人提出一种可同时进行运动估算和图像复原的MAP算法,其引入了一种与超分辨率图像和配准参数有关的MAP代价函数[36]。Giannis[37]等人提出一种基于MAP的SR复原算法,其提出了一种局部边界自适应保持策略,然后采用一种有效的两步重建方法,该方法首先对低分辨率退化图像进行注册,然后采用同时进行复原、插值、注册的DFT域跌代算法。Shen[38]等人在提出了一种基于MAP的同时进行运动估计、运动分割、SR复原的算法。
    最大似然估计法(ML)其可视为MAP法在等概率先验模型下的特例,因此无先验项,由于SR复原是一个病态性问题,MAP比ML算法性能更好。Tom等采用EM算法来解决ML估计问题,其能同时估计亚象素位移和噪声的变化[39] [4]。
    3.2.5滤波器法
    滤波法主要用于视频处理等对实时性要求较高的场合,其更加注重算法的执行速度,对SR复原效果要求相对MAP、POCS要低。Elad[40] [41]等人提出了一种基于自适应滤波理论的最小二乘估算器,Alam[42] 等人在SR复原中引入了Wiener 滤波法,Elad
    [43] [44]等人提出了递归最陡下降算法(R-SD)和递归最小均方算法(R-LMS)的两种迭代算法,这两种方法可以认为是 Kalman 滤波器的近似[7]。Narayanan[46] 等人提出了PWS滤波器(partition-based weighted sum filters)的SR复原算法。

    3.4. 学习算法

    文献[46]提出了一种基于识别先验知识的SR复原算法,即学习算法,通过算法去学习识别指定类别,如对象、场景、图像,将得到的识别先验知识用于超分辨率复原。Capel[47] 在Bayesian 框架中使用了图像学习模型,比传统的ML 估计获得了高得多的超分辨率增强效果。Baker[48]等人提出了一种将低分辨率特征识别融合进来的Hallucination 的算法,Freeman[49]等人提出了一种从训练集中插值生成高频细节的新方法。基于学习的算法是传统SR复原算法的一种新颖的方法,可以解决传统方法的许多困难,但改种算法起步晚,还有很多不完善的地方,值得进一步研究。

    4. 研究展望

    超分辨复原技术是数字图像处理领域的一个前沿热点研究领域,在许多领域有着重要的应用价值和潜力,本文对超分辨率复原技术的应用和主要实现算法作了简要的介绍,最后,这里给出该领域的进一步研究方向。综述文献[1]-[6]对此都作出了论述,归纳如下:
    (1) 更加有精确的运动估计算法。在序列图像的SR复原中,运动估计(即注册)的精确性对整个算法的性能有着决定性的影响,虽然目前已经有很多成熟的运动估计算法,但效果都不是很好。因此,开发出性能更加优异的运动估计算法是未来SR复原技术的重要而基础性的研究方向。
    (2) 发展和提出新的退化成像模型,是模型使用场合更具普适性,对点扩散函数的和噪声的估计更精确。
    (3) 盲SR复原技术。在大量SR复原算法中,都假定退化模型已知,但着很多实际场合,这个前提并不满足。因此,有必要开展在退化模型未知的情形下的盲SR复原算法的研究。
    (4) 压缩域SR复原技术。因目前的视频大多为压缩格式,因此,有必要开展直接在压缩域(特别是最新的MPEG-4,H.264等新视频编码标准)进行SR复原的研究,以提高算法效率。
    (5) MAP/COPS的融合研究。这两种算法在SR复原技术中研究最多,各有优缺点,因此,这两种主流算法的融合、互补研究因可以催生更加有效的新算法。另外,其他已经存在的算法的进一步骤完善与互相融合,也值得进一步深入研究。
    以上基本指出了都是SR复原技术未来的主要发展方向,这里,再给出一些笔者的思路。
    (1) 深入开展SR复原技术的特定应用研究。SR技术具有广阔的应用前景,但不同的应用背景有着算法实现的特殊性,因此,在发展普适性算法的同时,有必要针对特定的应用环境发展特定的算法,可更好的实现算法的运行效果。另外,进一步拓展SR复原技术的应用领域也是一个重要的研究方向。
    (2)深入开展SR复原技术与其他领域的交叉研究。文献[38]将运动估计、运动分割、SR复原同时进行,对SR复员与其他研究领域的融合研究作了初步的探索,这条思路可扩展到其他相关领域之中去。比如,可将序列SR复原技术与动态视觉注意模型[50]、视频对象分割、跟踪[51]研究相结合,仅只对视频序列中感兴趣区域(ROI)或者运动对象进行SR复原。
    (3) 深入开展实时处理SR复原的算法及相关硬件实现的研究。
    参考文献
    [1] Borman S,Stevenson R. Spatial resolution enhancement of low-resolution image sequences: a comprehensive review with directions for future research[R]. Lab. Image and Signal Analysis,University of Notre Dame, Tech. Rep., 1998.
    [2] Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical review [J]. IEEE signal processing magazine, 2003, (5):21-36
    [3]苏秉华,金伟其,牛利红等,超分辨率图像复原及进展,光学技术,2001,27(1):6-9.
    [4] 张晓玲,沈兰荪,超分辨率图像复原技术的研究进展,测控技术,2005,24(5):1-5
    [5]王勇,郑辉,胡德文,视频的超分辨率增强技术综述,计算机应用研究,2005,1:4-7,33
    [6]周芳,超分辨率图像复原及其进展,自动化与仪表,2006,1:10-14
    [7] 郭晓新, 超分辨率重建问题的研究, 吉林大学工学博士论文,2005。
    [8] Tsai R Y and Huang T S. Multipleframe image restoration and registration[A]. Advances in computer vision and image processing. Greenwich, CT: JAI Press Inc., 1984: 317-339.
    [9] Kim S P, Bose N K, and Valenzuela H M. Recursive reconstruction of high resolution image from noisy undersampled multiframes[J]. IEEE Trans. Acoust., Speech,Signal Processing, 1990,38(6):1 013-1 027.
    [10] Kim S P and Su W Y. Recursive high-resolution reconstruction of blurred multiframe images[J]. IEEE Trans. Image Processing,1993,2(10):534-539.
    [11] Bose N K, Kim H C, and Valenzuela H M. Recursive implementation of total least squares algorithm for image reconstruction from noisy, undersampled multiframes[A]. in Proc. IEEE Conf. Acoustics, Speech and Signal Processing, Minneapolis,
    MN, 1993,5: 269-272.
    [12] Rhee S H and Kang M G. Discrete cosine transform based regularized high-resolution image reconstruction algorithm[J]. Opt. Eng., 1999,38(8): 1 348-1 356.
    [13] S.H. Rhee and M.G. Kang, Discrete cosine transform based regularized high-resolution image reconstruction algorithm, Opt. Eng., vol. 38, no. 8,pp. 1348-1356, Aug. 1999.
    [14]张新明,沈兰荪,在小波变换域内实现图像的超分辨率复原,计算机学报,2003,26(9):1183-118
    [15] M. Elad and A. Feuer, Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images, IEEE Trans. Image Processing, vol. 6 , no. 12, pp. 1646-1658, Dec. 1997.
    [16] A. Papoulis, Generalized sampling theorem,IEEE Trans. Circuits Syst. vol. 24, pp. 652-654, Nov. 1977.
    [17] J.L. Brown, Multi-channel sampling of low pass signals, IEEE Trans.Circuits Syst., vol. CAS-28, pp. 101-106, Feb. 1981.
    [18] H. Ur and D. Gross, Improved resolution from sub-pixel shifted pictures,CVGIP: Graphical Models and Image Processing, vol. 54, pp. 181-186, Mar.1992
    [19] T. Komatsu, K. Aizawa, T. Igarashi, and T. Saito, Signal-processing based method for acquiring very high resolution image with multiple cameras and its theoretical analysis, Proc. Inst. Elec. Eng., vol. 140, no. 1, pt. I, pp. 19-25, Feb.
    1993.
    [20] L. Landweber, An iteration formula for Fredholm integral equations of the first kind,Amer. J. Math. vol. 73, pp. 615-624, 1951.
    [21]M.S. Alam, J.G. Bognar, R.C. Hardie, and B.J. Yasuda, Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames,IEEE Trans. Instrum. Meas.,vol. 49, pp. 915-923, Oct. 2000.
    [22] Richard Franke. Smooth interpolation of scattered data by local thin plate splines. Comput. Math. Appl. 1982, 8(4):273-281
    [23] David T. Sandwell. Biharnionic spline interpolation of Geo-3 and Seasat altimeter data.Geophysical Research Letters. February 1987, 14(2):139-142
    [24] M. Irani, S. Peleg. Improving resolution by image registration. CVGIP: Graphical Models and Image Proc., May 1991, 53:231-239
    [25] S. Mann, R. W. Picard. Virtual bellows: Constructing high quality stills from video. In Proc.
    IEEE Int. Conf. Image Processing, Austin, TX, Nov. 1994. 363-367.
    [26]B. C. Tom, A. K. Katsaggelos. Resolution enhancement of video sequences using motion compensation. In: Proc IEEE Int Conf Image Processing. Lausanne, Switzerland. 1996,1:713-716
    [27] B. C. Tom, A. K. Katsaggelos. Resolution enhancement of color video. In: Proc Conf Eur Signal Processing. 1996. 1:145-148
    [28] Stark H and Oskoui P. High resolution image recovery from image-plane arrays, using convex projections[J]. J. Opt. Soc. Am. A, 1989,6:1 715–1 726.
    [29] A. M. Tekalp, M. K. Ozkan, M. I. Sezan. High-resolution image reconstruction fromlower-resolution image sequences and space varying image restoration. in Proc. IEEE Int.Conf. Acoustics, Speech and Signal Processing (ICASSP), San Francisco,
    CA., Mar. 1992,3:169-172.
    [30] J. Patti, M. Sezan, A. M. Tekalp. High-resolution image reconstruction from a low-resolution
    image sequence in the presence of time-varying motion blur. In: Proc IEEE Int Conf Image Processing. Austin, TX. 1994. 343-347
    [31] J. Patti, M, I. Sezan, A. M. Tekalp. High-resolution standards conversion of low resolution video. In: Proc IEEE Int Conf ASSP. Detroit, MI. 1995. 2197-2200
    [32] Tom B C and Katsaggelos A K.An iterative algorithm for improving the resolution of video sequences[A].in Proc. 1996 SPIE Conf. Visual Communications and Image Processing, Orlando, FL,1996:1 430–1 438.
    [33] Hong M C, Kang M G and Katsaggelos A K. A regularized multichannel estoration approach for globally optimal high resolution video sequence[A]. in SPIE VCIP, vol. 3024, San Jose, CA, 1997:1 306–1 317.
    [34] P. E. Eren, M. I. Sezan, A. M. Tekalp. Robust, object-based high-resolution image reconstruction from low-resolution video. IEEE Transactions on Image Processing, Oct. 1997,6 (10):1446-1451
    [35] Schulz R R and Stevenson R L.Extraction of high-resolution frames from video sequences[J]. IEEE Trans. Image Processing, 1996,5(6):996–1 011.
    [36] R. C. Hardie, K. J. Barnard, E. E. Armstrong. Joint MAP registration and high-resolution image estimation using a sequence of undersampled images. IEEE Transactions on Image Processing., Dec. 1997, 6:1621-1633
    [37] Giannis K. Chantas, Nikolaos P. Galatsanos, and Nathan A. Woods,Super-Resolution Based on Fast Registration and Maximum a Posteriori Reconstruction,IEEE Trans. Image Processing, 2007,16(7):1821-1830
    [38] Huanfeng Shen, Liangpei Zhang, Bo Huang, and Pingxiang Li,A MAP Approach for Joint Motion Estimation,Segmentation, and Super Resolution,IEEE Trans. Image Processing, 2007,16(2):479-490
    [39] B. C. Tom, A. K. Katsaggelos. Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images. Proc. 1995 IEEE Int. Conf. Image Processing, Washington, DC, Oct. 1995. 2:539-542.
    [40]M. Elad, A. Feuer. Superresolution restoration of an image sequence: adaptive filtering approach. IEEE Transactions on Image Processing, Mar. 1999,8:387-395
    [41] M. Elad, A. Feuer. Super-resolution restoration of continuous image sequence using the LMS algorithm. In: Proc 18th IEEE Conf Israel, Tel-Aviv. 1995, 2.2.5:1-5
    [42] M. S. Alam, J. G. Bognar, R. C. Hardie, B. J. Yasuda. Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames. IEEE Transactions on Instrum. Meas., Oct. 2000, 49:915-923
    [43] ] M. Elad, A. Feuer. Super-resolution reconstruction of image sequences. IEEE Transactions on Pattern Anal. Machine Intelli., Sept. 1999, 21, (9):817-834
    [44] M. Elad, A. Feuer. Super-resolution reconstruction of continuous image sequences. In: Proc Int Conf Image Processing-1C1P1999. Kobe, Japan. 1999. 459-463
    [45] Balaji Narayanan, Russell C. Hardie, Senior
    Kenneth E. Barner, and Min ShaoA Computationally Efficient Super-Resolution Algorithm for Video Processing Using Partition Filters,IEEE Transaction on circuits and system for video technology,2007,17(5):621-
    634
    [46] Baker S ,Kanade T. Limits on Super2Resolution and How to Break Them[J ] . IEEE Transactions Pattern Analysis and Machine Intelligence ,2002, 24(9) :1167 -1183
    [47] Capel D , Andrew Zisserman. Super2Resolution from Multiple Views Using Learnt Image Models [ EB/ OL ] . http ? / www. robots. ox. ac. uk/ vgg/publications/ html/ . . / papers/ capel2001. ps. gz ,2002.
    [48] Baker S , Kanade T. Super2Resolution : Reconstruction or Recognition [C] . IEEE2EURASIP Workshop on Nonlinear Signal and Image Processing ,Baltimore , Maryland , 2001, 215-219.
    [49] Freeman W, et al . Example-based Super-Resolution[J ] . IEEE Computer Graphics and Applications , 2002 , 22 (2) :56-65.
    [50] María T. López, Miguel A. Fernández, Antonio Fernández-Caballero, José Mira and Ana E. Delgado,Dynamic visual attention model in image sequences. Image and Vision Computing. 22(5),May 1 ,2007,pp. 597-613.
    [51] Yi Liu, Yuan F. Zheng,Video Object Segmentation and Tracking Using Ψ-Learning Classification,IEEE Transaction on circuits and system for video technology 2005,15(7):885-899
    [52]Y. Altunbasak, A. Patti, R. Mersereau, Super-resolution still and video reconstruction from MPEG-coded video, IEEE Trans. Circuits Systems Video Technology 12 (2002) 217–226.
    [53]B. Gunturk, Y. Altunbasak, R. Mersereau, Multiframe resolution enhancement methods for compressed video, IEEE Signal Proc. Let. 9 (2002) 170–174.
    [54] P. Kramer, et al., Super-resolution mosaicing from MPEG compressed video, Signal Process. Image
    Commun. (2007), doi:10.1016/j.image.2007.06.004
    [55] Gunturk, et al, Eigenface-domain super-resolution for face recognition,IEEE Trans. Image Processing, 2003,12(5):597-606
    [56] K. Jia,S. Gong,Multi-Modal Tensor Face for Simultaneous Super-Resolution and Recognition , Proceedings of the Tenth IEEE International Conference on Computer Vision (ICCV’05),2005
    [57] Jiangang Yu and Bir Bhanu,Super-resolution Restoration of Facial Images in Video,The 18th International Conference on Pattern Recognition (ICPR’06),2006
    [58] Gulcin Canel, A. Murat Tekalp and Wendi Heinzelman. Super resolution recovery for multi-camera surveillance imaging, Proceedings. 2003 International Conference on Multimedia and Expo(ICME '03), 2003
    [59] H. Greenspan,etc., MRI inter-slice reconstruction using super-resolution, Magnetic Resonance Imaging ,20 (2002) :437–446
    [60] Eyal Carmi,etc.Resolution enhancement in MRI,Magnetic Resonance Imaging 24 (2006): 133–154


    本文来自 droidpioneer 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/droidpioneer/article/details/6642323?utm_source=copy

    展开全文
  • 超分辨率重建基础知识总结

    千次阅读 2021-03-03 11:08:49
    超分辨率重建基础知识总结1、为什么使用超分辨率重建?2、经典图像插值算法有哪些,局限在哪里?3、进行超分辨率重建的方式有哪些?4、超分辨率重建技术与图像复原技术区别与联系? 1、为什么使用超分辨率重建? 通常...

    超分辨率是计算机视觉的一个经典应用。SR是指通过软件或硬件的方法,从观测到的低分辨率图像重建出相应的高分辨率图像(说白了就是提高分辨率),在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。
    本博文主要介绍SISR。SISR是一个逆问题,对于一个低分辨率图像,可能存在许多不同的高分辨率图像与之对应,因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中,这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。

    1、为什么使用超分辨率重建?

    通常情况,图像传感器均能获得较好的质量,但在特殊场合,受到诸多因素影响,导致图像质量下降。如图像采集获取过程中:成像环境、成像距离、传感器形状和大小、光学系统的误差、空气扰动、物体运动、镜头散焦的影响。
    图像数字化处理过程中:成像、转换、编码、压缩、存储都会影响到图像的分辨率。另外**,还有成像噪声、电气噪声、系统噪声的叠加**。所以实际应用中,无法按照理想状况实现,存在的这些因素,必然影响图像的质量,获得较高质量的图像分辨率也是相当困难的。理论上,获得高分辨率只要增加成像系统的个数,最直接的方法是,通过传感器制造技术减小像素尺寸,增加单位面积的成像点阵就可以解决问题。
    综上,由于技术水平和经济条件的限制,使得成像传感器和光学器件的性能指标可能无法满足应用的需要,因此,需要采用信号处理方法提高图像分辨率

    2、经典图像插值算法有哪些,局限在哪里?

    经典算法也可以提高图像分辨率,包括最近邻插值、线性插值、双三次插值、样条插值,但只是可以增加图像的像素尺寸,改变图像的视觉效果,不能突破原有的信息量。因此,需要有一种新的方法来克服信息量不足的问题。
    (1)最近邻插值:又叫零阶插值(Nearest Neighbor Interpolation),是最简单的插值方法。它是用原始图像中的特定像素点的像素值去填充缩放后的图像,容易实现,对于灰度图像,即将原始图像进行逐点处理,把每一个像素点的灰度值进行插值倍数次复制。它采用的插值函数是一个常量函数,是矩形函数。
    最近邻插值的优点是简单易实现计算量很小,使得这种方法在很多场合得以应用。它的缺点是插值后的图像质量不高,常常出现方块效应和锯齿效应。
    (2)线性插值,又叫双线性插值(Bilinear Interpolation),也是一种简单的插值方法,广泛在图像重建领域中使用,主要是由于线性插值较低的计算量和优于邻域插值的图像质量,因为它是二阶代数拟合。它被称为双线性插值是因为在对图像的插值是分两次对行、列像素分别线性插值处理得到的。
    线性插值放大产生的图像比最近邻域插值产生的图像平滑,不会出现灰度值不连续的的情况。由于线性插值具有低通滤波器的性质,使高频分量受损,当放大倍数增大时,放大后的图像也会出现明显的块状现象,使图像轮廓一定程度上变得模糊。
    (3)三次插值(Cubic Interpolation),又叫双三次卷积值,它是在线性插值基础上的改进,基本思想是增加邻域像素点获得更佳的插值函数,利用卷积算子表达插值方法,卷积过程如下:
    在这里插入图片描述

    优点是图像差值质量好。
    (4)样条插值
    上述三种插值属于传统的多项式插值,为了处理更多数据点,更好的逼近,必须增加了多项式阶数,则应用上受到很多限制。多项式插值的问题:第一、多项式插值受数据点位置的影响大。若出现杠杆点则影响更大。第一多项式插值受输入点变动的影响大。多项式插值没有局部性,它的形式由所有的数据点决定的。一点变动,整个多项式都要变动。
    多项式插值在数据点间震荡被称为龙格现象,可以通过样条插值(Spline Interpolation)来解决问题。样条是特殊函数,多项式分段定义。样条插值比多项式插值好用,低阶样条插值能达到高阶多项式插值效果,还能避免龙格现象,且样条插值具有保凸特性。样条插值在插值点一阶连续可导,与期望函数的均方误差最小。

    3、进行超分辨率重建的方式有哪些?

    超分分为以下两种:
    Image SR。只参考当前低分辨率图像,不依赖其他相关图像的超分辨率技术,称之为单幅图像的超分辨率(single image super resolution,SISR)。
    Video SR。参考多幅图像或多个视频帧的超分辨率技术,称之为多帧视频/多图的超分辨率(multi-frame super resolution)。对于video SR,其核心思想就是用时间带宽换取空间分辨率。简单来讲,就是在无法得到一张超高分辨率的图像时,可以多取相邻几帧,然后将这一系列低分辨率的图像组成一张高分辨的图像。
    一般来讲Video SR相比于Image SR具有更多的可参考信息,并具有更好的高分辨率视频图像的重建质量,但是其更高的计算复杂度也限制了其应用。
    通常包括两个步骤:首先图像配准,即估计低分辨率图像之间亚像素级别的相对位移;其次图像融合,将多幅低分辨率图像融合成一幅高分辨率图像。

    4、超分辨率重建技术与图像复原技术区别与联系?

    超分辨率重建过程中,由于低分辨率图像序列往往受光学模糊、运动模糊、噪声以及混叠因素的影响,所以超分辨率重建技术涵盖图像复原技术。二者的区别是图像复原技术是在不改变图像尺寸的情况下恢复一幅图像,所以图像复原技术和图像超分辨率重建具有相当紧密的联系,可认为图像超分辨率重建是在理论上的第二代图像复原问题。研究图像超分辨率重建技术一方面具有重要的理论意义,推动图像复原技术的进一步发展;另一方面具有重要的实践意义,克服光学成像系统硬件方面的局限性,某些场合下仍然可以继续使用原有的低分辨率成像系统,在较小数据量传输的情况下,获得满足特定分辨率要求的图像。

    5、SR常用的评价指标

    有两种,一种是PSNR(峰值信噪比),另一种是SSIM(结构相似性评价),这两种评价指标是SR中最基础的测量被压缩的重构图像质量的指标。

    (1)PSNR——峰值信噪比 Peak Signal-to-Noise Ratio
    PSNR是信号的最大功率和信号噪声功率之比,来测量已经被压缩的重构图像的质量,通常以分贝(dB)来表示。PSNR指标越高,说明图像质量越好。
    P S N R = 10 ∗ log ⁡ 10 ( M A X I 2 M S E ) = 20 ∗ log ⁡ 10 ( M A X I M S E ) PSNR=10*\log_{10}(\frac{MAX_I^2}{MSE})=20*\log_{10}(\frac{MAX_I}{\sqrt {MSE}}) PSNR=10log10(MSEMAXI2)=20log10(MSE MAXI)
    其中,MAXI 表示的是图像中像素值中的最大值,MSE 表示的两个图像之间对应像素之间差值的平方的均值,单通道图像的MSE可以表示为如下公式:

    M S E = 1 M ∗ N ∑ i = 1 N ∑ j = 1 M ( f i j − f i j ′ ) 2 MSE=\frac{1}{M*N} \sum_{i=1}^N \sum_{j=1}^M (f_{ij}-f'_{ij})^2 MSE=MN1i=1Nj=1M(fijfij)2

    多通道(C通道)图像的MSE可以表示为如下公式:

    M S E = 1 C ∗ M ∗ N ∑ k = 1 C ∑ i = 1 N ∑ j = 1 M ( f i j k − f i j k ′ ) 2 MSE=\frac{1}{C*M*N} \sum_{k=1}^C \sum_{i=1}^N \sum_{j=1}^M (f_{ijk}-f'_{ijk})^2 MSE=CMN1k=1Ci=1Nj=1M(fijkfijk)2

    (2)SSIM——结构相似性评价 Structural Similarity Index
    SSIM是衡量两幅图像相似度的指标,其取值范围为[0,1],SSIM的值越大,表示图像失真程度越小,说明图像质量越好。
    话不多说,先把SSIM的公式放上:
    L ( X , Y ) = 2 μ X μ Y + C 1 μ X 2 + μ Y 2 + C 1 L(X,Y)=\frac{2\mu_X\mu_Y+C_1}{\mu_X^2+\mu_Y^2+C_1} L(X,Y)=μX2+μY2+C12μXμY+C1

    C ( X , Y ) = 2 σ X σ Y + C 2 σ X 2 + σ Y 2 + C 2 C(X,Y)=\frac{2\sigma_X\sigma_Y+C_2}{\sigma_X^2+\sigma_Y^2+C_2} C(X,Y)=σX2+σY2+C22σXσY+C2

    S ( X , Y ) = σ X Y + C 3 σ X σ Y + C 3 S(X,Y)=\frac{\sigma_{XY}+C_3}{\sigma_X\sigma_Y+C_3} S(X,Y)=σXσY+C3σXY+C3

    S S I M ( X , Y ) = L ( X , Y ) ∗ C ( X , Y ) ∗ S ( X , Y ) SSIM(X,Y)=L(X,Y)*C(X,Y)*S(X,Y) SSIM(X,Y)=L(X,Y)C(X,Y)S(X,Y)

    其中,μX 和μY 为图像X,图像Y的像素的均值,σX 和σY 为图像X,图像Y的像素的标准值,σ XY代表图像X和图像Y的协方差。
    此外,C1 ,C2和C3是常数,C1=(K1 * L)2,C2=(K2 * L)2,C3=1/2C3
    ,一般的,K1=0.01,K2 = 0.03 ,L = 255 。

    在实际操作中,对于求得图像像素的均值、方差和标准差,可以用高斯函数计算图像参数,可以保证更高的效率。同时,我们可以用平均结构相似性评价指标MSSIM来代替结构相似性评价指标SSIM。
    平均结构相似性评价指标MSSIM:利用滑动窗将图像分块,令分块总数为N,采用高斯加权计算每一窗口的均值、方差和协方差,计算对应块的结构相似度SSIM,取平均值。
    M S S I M ( X , Y ) = 1 N ∑ k = 1 N S S I M ( X k , Y k ) MSSIM(X,Y)=\frac{1}{N} \sum_{k=1}^{N} SSIM(X_k,Y_k) MSSIM(X,Y)=N1k=1NSSIM(Xk,Yk)

    我们对于图像重构质量的评价指标还有其他许多种,但是我们也要思考的是真的是评价指标的高低和我们人眼看到的优劣是一致的么?除了这些常用评价指标外还有没有其他的指标可以衡量图像重构的质量。

    基于重建的方法

    通常都是基于多帧图像的,需要结合先验知识。有如下方法:

    • 凸集投影法(POCS)
    • 贝叶斯分析方法
    • 迭代反投影法(IBP)
    • 最大后验概率方法
    • 正规化法
    • 混合方法

    基于学习的图像超分辨率

    机器学习领域(非深度学习邻域)的图像超分方法如下:

    • Example-based方法
    • 邻域嵌入方法
    • 支持向量回归方法
    • 虚幻脸
    • 稀疏表示法

    基于深度学习的图像超分辨率重建技术

    基于深度学习的图像超分辨率重建的研究流程如下:

    • 1,首先找到一组原始图像Image1;
    • 2,然后将这组图片降低分辨率为一组图像Image2;
    • 3,通过各种神经网络结构,将Image2超分辨率重建为Image3(Image3和Image1分辨率一样)
    • 4,通过PSNR等方法比较Image1与Image3,验证超分辨率重建的效果,根据效果调节神经网络中的节点模型和参数
    • 5,反复执行,直到第四步比较的结果满意
    展开全文
  • 基于亚像素采样序列和块目标运动估计的视频图像超分辨率重建研究
  • JPEG压缩图像超分辨率重建算法

    千次阅读 2015-03-18 09:20:14
    压缩图像超分辨率重建算法学习  超分辨率重建是由一幅或多幅的低分辨率图像重构高分辨率...但是大多数算法都是对普通图像进行研究,针对压缩图像/视频超分辨率重建的研究比较少。最近查阅部分文献,进行了学习,在

                                        压缩图像超分辨率重建算法学习

           超分辨率重建是由一幅或多幅的低分辨率图像重构高分辨率图像,如由4幅1m分辨率的遥感图像重构分辨率0.25m分辨率图像,在军用/民用上都有很大应用。目前的超分辨率重建方法主要分为3类:基于插值、基于学习、基于重建的方法,如今已经研究得比较多。但是大多数算法都是对普通图像进行研究,针对压缩图像/视频超分辨率重建的研究比较少。最近查阅部分文献,进行了学习,在此做些总结。

           相关的文献:

            1、Super-resolution from compressed video

            2、Bayesian Resolution Enhancement of Compressed Video

            3、RobustWeb Image/Video Super-Resolution

            4、Self-Learning-Based Single Image Super-Resolution 

                 of a Highly Compressed Image

            算法原理:

             文献1/2:文献1/2是同一人写的,该作者就该问题发表了多篇文章,方法基本类似。其思路与常规的基于重建的超分辨率方法类似,都是建立观测模型,根据数据保真项和正则化项建立重建代价函数。不同的是,数据保真项有些变化,因为要考虑压缩图像特有的量化噪声及取整噪声等,而不是通常假设的高斯噪声;此外正则化项也有所不同,需要考虑JPEG图像的块效应等,因此除了常规的约束,要对块边界的高频进行限制。具体内容参看文献。

              文献3:这篇文献相对要新点,是2010年的。文章的思路很好理解,先对JPEG压缩图像去块效应,然后超分辨率。在去块效应阶段,作者使用的是自适应PDE正则化方法,同时提出一种自适应确定正则化强度的方法;而在重建阶段,则是采用的基于样例的方法,这个方法相对比较成熟。其实这种两步处理方式并不合理,是不提倡这样处理的,而应该将其放到一起考虑,如文献1/2那样。

               文献4:这篇文献采用了稀疏字典的相关方法。对于待重建的图像,首先进行下采样,并将原始图像和下采样图像都用BM3D处理提取低频,相减后得到原始图像和下采用图像的高频(作者认为块效应只存在于高频分量之中,分别获取原始图像和下采样图像的高频是为了训练字典,并且是自训练字典)。检测出高频之后,作者提出将高频分为有块效应块/无块效应块,分别建立字典D1/D2。而对于有块效应字典D1,作者将其原子聚类,认为1部分原子是对块效应做贡献的,另一部分原子则不含块效应,那么对于输入的块,我就只采用不含块效应的原子重建,达到去块效应的目的。

                其实这种去块效应的方法,作者写了另一篇文章,EFFICIENT IMAGE/VIDEO DEBLOCKING VIA SPARSE REPRESENTATION,大家可以看一看。看了之后就更好理解这篇关于压缩图像超分辨率的文章,无非就是字典构建的问题。

               暂时就这么多,写得不好,各位看官将就看,有问题可以再讨论哦!!!!

    %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

                研究方向:图像压缩、超分辨率、图像去噪、图像复原等图像质量提升技术

           

    展开全文
  • 图像超分辨率重建

    万次阅读 2018-09-14 22:06:03
    一、前言 二、网络详解 2.1 FSRCNN 2.2 ESPCN 2.3 VDSR 2.4 EDSR 2.5 SR-GAN ...挑战赛上超分辨率赛道上一些优胜队伍的方法。...主要有图像超分辨率(super-resolutio...
  • 顾及运动估计误差的“凝视”卫星视频运动场景超分辨率重建.docx
  • 由于视频场景变化较快、配准误差、噪声、低分辨率图像数量不足等原因,会使传统基于压缩感知的采用视频帧固定分组形式的视频编解码器的重构效果较差,同时也使超分辨率重建出现病态问题。为解决这些问题,文章提出一...
  • 图像超分辨率重建原理学习

    千次阅读 多人点赞 2020-02-15 12:44:06
    传统的图像超分辨率重建技术简介 基于插值的图像超分 基于重建的图像超分辨率 基于学习的图像超分辨率 基于深度学习的图像超分辨率重建技术 两种常用的评价超分的指标——PSNR和SSIM SRCNN(Super-Res...
  • 单图像超分辨率重建示例

    千次阅读 热门讨论 2019-02-06 16:11:43
    代码的解析已经给出,现在补上:单图像超分辨率重建示例代码解析 目录 一、简介 二、前期准备 三、运行程序 四、参考目录 一、简介 图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生...
  • 超分辨率重建最新算法总结

    万次阅读 2017-07-20 21:08:42
    超分辨率重建最新算法总结 Classical Sparse Coding Method ScSR  Image super-resolution as sparse representation of raw image patches (CVPR2008), Jianchao Yang et al.基于原始图像块稀疏表示的图像...
  • 由于图像超分辨率算法的...由此,视频的实时超分辨率重建成为可能,将会在网络视频会议等领域得到广泛应用。尽管目前对低码率视频流的超分辨率重建已经进行了不少的研究,但仍然有不少的难题没有很好的解决。谢谢下载!
  • 基于压缩感知的分布式视频编解码及其图像超分辨率重建研究

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,085
精华内容 1,634
关键字:

视频超分辨率重建