精华内容
下载资源
问答
  • reproducible-image-denoising-state-of-the-artCollection of popular and reproducible single image denoising works. This collection is inspired by the summary by flyywhCriteria: works must have codes av...

    reproducible-image-denoising-state-of-the-art

    Collection of popular and reproducible single image denoising works. This collection is inspired by the summary by flyywh

    Criteria: works must have codes available, and the reproducible results demonstrate state-of-the-art performances.

    Check out the following collections of reproducible state-of-the-art algorithms:

    Denoising Algorithms (AWGN)

    Filtering

    NLM [Web] [Code] [PDF]

    A non-local algorithm for image denoising (CVPR 05), Buades et al.

    Image denoising based on non-local means filter and its method noise thresholding (SIVP2013), B. Kumar

    BM3D [Web] [Code] [PDF]

    Image restoration by sparse 3D transform-domain collaborative filtering (SPIE Electronic Imaging 2008), Dabov et al.

    PID [Web] [Code] [PDF]

    Progressive Image Denoising (TIP 2014), C. Knaus et al.

    Sparse Coding

    KSVD [Web] [Code] [PDF]

    Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries (TIP 2006), Elad et al.

    LSSC [Web] [Code] [PDF]

    Non-local Sparse Models for Image Restoration (ICCV 2009), Mairal et al.

    NCSR [Web] [Code] [PDF]

    Nonlocally Centralized Sparse Representation for Image Restoration (TIP 2012), Dong et al.

    OCTOBOS [Web] [Code] [PDF]

    Structured Overcomplete Sparsifying Transform Learning with Convergence Guarantees and Applications (IJCV 2015), Wen et al.

    GSR [Web] [Code] [PDF]

    Group-based Sparse Representation for Image Restoration (TIP 2014), Zhang et al.

    TWSC [Web] [Code] [PDF]

    A Trilateral Weighted Sparse Coding Scheme for Real-World Image Denoising (ECCV 2018), Xu et al.

    Classical External Priors

    EPLL [Web] [Code] [PDF]

    From Learning Models of Natural Image Patches to Whole Image Restoration (ICCV2011), Zoran et al.

    GHP [[Web]][Code] [PDF]

    Texture Enhanced Image Denoising via Gradient Histogram Preservation (CVPR2013), Zuo et al.

    PGPD [[Web]][Code] [PDF]

    Patch Group Based Nonlocal Self-Similarity Prior Learning for Image Denoising (ICCV 2015), Xu et al.

    PCLR [[Web]][Code] [PDF]

    External Patch Prior Guided Internal Clustering for Image Denoising (ICCV 2015), Chen et al.

    Low Rank

    SAIST [Web] [Code by request] [PDF]

    Nonlocal image restoration with bilateral variance estimation: a low-rank approach (TIP2013), Dong et al.

    WNNM [Web] [Code] [PDF]

    Weighted Nuclear Norm Minimization with Application to Image Denoising (CVPR2014), Gu et al.

    Multi-channel WNNM [Web] [Code] [PDF]

    Multi-channel Weighted Nuclear Norm Minimization for Real Color Image Denoising (ICCV 2017), Xu et al.

    Deep Denoising

    TNRD [Web] [Code] [PDF]

    Trainable nonlinear reaction diffusion: A flexible framework for fast and effective image restoration (TPAMI 2016), Chen et al.

    RED [Web] [Code] [PDF]

    Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections (NIPS2016), Mao et al.

    DnCNN [Web] [Code] [PDF]

    Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising (TIP2017), Zhang et al.

    MemNet [Web] [Code] [PDF]

    MemNet: A Persistent Memory Network for Image Restoration (ICCV2017), Tai et al.

    NLCNN [Web] [Code] [PDF]

    Non-Local Color Image Denoising with Convolutional Neural Networks (CVPR 2017), Lefkimmiatis.

    xUnit [Web] [Code] [PDF]

    xUnit: Learning a Spatial Activation Function for Efficient Image Restoration (CVPR 2018), Kligvasser et al.

    UDNet [Web] [Code] [PDF]

    Universal Denoising Networks : A Novel CNN Architecture for Image Denoising (CVPR 2018), Lefkimmiatis.

    Wavelet-CNN [Web] [Code] [PDF]

    Multi-level Wavelet-CNN for Image Restoration (CVPR 2018), Liu et al.

    IRN [Web] [Code] [PDF]

    Deep Image Demosaicking using a Cascade of Convolutional Residual Denoising Networks (ECCV 2018), Lefkimmiatis.

    FFDNet [Web] [Code] [PDF]

    FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denoising (TIP 2018), Zhang et al.

    UDN [Web] [Code] [PDF]

    Universal Denoising Networks- A Novel CNN Architecture for Image Denoising (CVPR 2018), Lefkimmiatis.

    N3 [Web] [Code] [PDF]

    Neural Nearest Neighbors Networks (NIPS 2018), Plotz et al.

    NLRN [Web] [Code] [PDF]

    Non-Local Recurrent Network for Image Restoration (NIPS 2018), Liu et al.

    RDN+ [Web] [Code] [PDF]

    Residual Dense Network for Image Restoration (CVPR 2018), Zhang et al.

    FC-AIDE [Web] [Code] [PDF]

    Fully Convolutional Pixel Adaptive Image Denoiser (ICCV 2019), Cha et al.

    FOCNet [Web] [Code] [PDF]

    FOCNet: A Fractional Optimal Control Network for Image Denoising (CVPR 2019), Jia et al.

    Unsupervised / Weakly-Supervised Deep Denoising

    Noise2Noise [Web] [TF Code] [Keras Unofficial Code] [PDF]

    Noise2Noise: Learning Image Restoration without Clean Data (ICML 2018), Lehtinen et al.

    DIP [Web] [Code] [PDF]

    Deep Image Prior (CVPR 2018), Ulyanov et al.

    Noise2Void [Web] [Code] [PDF]

    Learning Denoising from Single Noisy Images (CVPR 2019), Krull et al.

    Noise2Self [Web] [Code] [PDF]

    Noise2Self: Blind Denoising by Self-Supervision (ICML 2019), Batson and Royer

    Self-Supervised Denoising [Web] [Code] [PDF]

    High-Quality Self-Supervised Deep Image Denoising (NIPS 2019), Laine et al.

    Hybrid Model for Denoising

    STROLLR [PDF] [Code]

    When Sparsity Meets Low-Rankness: Transform Learning With Non-Local Low-Rank Constraint for Image Restoration (ICASSP 2017), Wen et al.

    Meets High-level Tasks [PDF] [Code]

    When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach (IJCAI 2018), Liu et al.

    USA [PDF] [Code]

    Segmentation-aware Image Denoising Without Knowing True Segmentation (Arxiv), Wang et al.

    Blind Denoising or Real Noise Removal

    RIDNet [Web] [Code] [PDF]

    Real Image Denoising with Feature Attention (ICCV 2019), Anwar and Barnes.

    CBDNet [Web] [Code] [PDF]

    Toward Convolutional Blind Denoising of Real Photographs (CVPR 2019), Guo et al.

    VDNNet [Web] [Code] [PDF]

    Variational Denoising Network: Toward Blind Noise Modeling and Removal (NIPS 2019), Yue et al.

    Image Noise Level Estimation

    SINLE [PDF] [Code] [Slides]

    Single-image Noise Level Estimation for Blind Denoising (TIP 2014), Liu et al.

    Novel Real Denoising Benchmark

    ReNOIR [Web] [Data] [PDF]

    RENOIR - A Dataset for Real Low-Light Image Noise Reduction (Arxiv 2014), Anaya, Barbu.

    Darmstadt [Web] [Data] [PDF]

    Benchmarking Denoising Algorithms with Real Photographs (CVPR 2017), Tobias Plotz, Stefan Roth.

    PolyU [Web] [Data] [PDF]

    Real-world Noisy Image Denoising: A New Benchmark (Arxiv), Xu et al.

    SIDD [Web] [Data] [PDF]

    A High-Quality Denoising Dataset for Smartphone Cameras (CV{R 2018), Abdelhamed et al.

    Commonly Used Denoising Dataset

    Kodak [Web]

    USC SIPI-Misc [Web]

    Commonly Used Image Quality Metrics

    PSNR (Peak Signal-to-Noise Ratio) [Wiki] [Matlab Code] [Python Code]

    NIQE (Naturalness Image Quality Evaluator) [Web] [Matlab Code] [Python Code]

    展开全文
  • 本版本基于Matlab,是作者于2019年11月发布的最新版本,去噪效果良好,代码逻辑清晰。 算法主要包括三步骤: 相似块的3D变换,维纳协同滤波和反变换。
  • 最经典最新的图像去噪算法

    万次阅读 多人点赞 2018-10-24 10:14:19
    图像去噪是非常基础也是非常必要的研究,去噪常常在更高级的图像处理之前进行,是图像处理的基础。可惜的是,目前去噪算法并没有很好的解决方案,实际应用中,更多的是在效果和运算复杂度之间求得一个平衡,再一次...

    图像去噪是非常基础也是非常必要的研究,去噪常常在更高级的图像处理之前进行,是图像处理的基础。可惜的是,目前去噪算法并没有很好的解决方案,实际应用中,更多的是在效果和运算复杂度之间求得一个平衡,再一次验证了我老师的一句话:

    所有的工程问题最后都是最优化问题。

    好了,废话不多说,来看看效果比较好的去噪算法吧。

    噪声模型

    图像中噪声的来源有许多种,这些噪声来源于图像采集、传输、压缩等各个方面。噪声的种类也各不相同,比如椒盐噪声,高斯噪声等,针对不同的噪声有不同的处理算法。

    对于输入的带有噪声的图像v(x),其加性噪声可以用一个方程来表示:

    其中是原来没有噪声的图像。是像素集合,是加项噪声项,代表噪声带来的影响。是像素的集合,也就是整幅图像。从这个公式可以看出,噪声是直接叠加在原始图像上的,这个噪声可以是椒盐噪声、高斯噪声。理论上来说,如果能够精确地获得噪声,用输入图像减去噪声就可以恢复出原始图像。但现实往往很骨感,除非明确地知道噪声生成的方式,否则噪声很难单独求出来。

    工程上,图像中的噪声常常用高斯噪声来近似表示,其中,是噪声的方差,越大,噪声越大。一个有效的去除高斯噪声的方式是图像求平均,对N幅相同的图像求平均的结果将使得高斯噪声的方差降低到原来的N分之一,现在效果比较好的去噪算法都是基于这一思想来进行算法设计。

    NL-Means算法

    NL-Means的全称是:Non-Local Means,直译过来是非局部平均,在2005年由Baudes提出,该算法使用自然图像中普遍存在的冗余信息来去噪声。与常用的双线性滤波、中值滤波等利用图像局部信息来滤波不同的是,它利用了整幅图像来进行去噪,以图像块为单位在图像中寻找相似区域,再对这些区域求平均,能够比较好地去掉图像中存在的高斯噪声。NL-Means的滤波过程可以用下面公式来表示:

    在这个公式中,是一个权重,表示在原始图像中,像素  和像素  的相似度。这个权重要大于0,同时,权重的和为1,用公式表示是这样:

    是像素  的邻域。这个公式可以这样理解:对于图像中的每一个像素  ,去噪之后的结果等于它邻域中像素  的加权和,加权的权重等于  和  的相似度。这个邻域也称为搜索区域,搜索区域越大,找到相似像素的机会也越大,但同时计算量也是成指数上升。在提出这个算法的文献中,这个区域是整幅图像!导致的结果是处理一幅512x512大小的图像,最少也得几分钟。

    衡量像素相似度的方法有很多,最常用的是根据两个像素的亮度值的差的平方来估计。但因为有噪声的存在,单独的一个像素并不可靠。对此解决方法是,考虑它们的邻域,只有邻域相似度高才能说这两个像素的相似度高。衡量两个图像块的相似度最常用的方法是计算他们之间的欧氏距离:

    其中:  是一个归一化的因子,是所有权重的和,对每个权重除以该因子后,使得权重满足和为1的条件。  是滤波系数,控制指数函数的衰减从而改变欧氏距离的权重。 和  代表了像素  和像素  的邻域,这个邻域常称为块(Patch)邻域。块邻域一般要小于搜索区域。 是两个邻域的高斯加权欧式距离。其中  是高斯核的标准差。在求欧式距离的时候,不同位置的像素的权重是不一样的,距离块的中心越近,权重越大,距离中心越远,权重越小,权重服从高斯分布。实际计算中考虑到计算量的问题,常常采用均匀分布的权重。

    讲了这么多,是时候用图来说明问题了:

    如上图所示,p为去噪的点,因为q1和q2的邻域与p相似,所以权重和比较大,而邻域相差比较大的点q3的权重值很小。如果用一幅图把所有点的权重表示出来,那就得到下面这些权重图:

    这6组图像中,左边是原图,中心的白色色块代表了像素  块邻域,右边是计算出来的权重  图,权重范围从0(黑色)到1(白色)。这个块邻域在整幅图像中移动,计算图像中其他区域跟这个块的相似度,相似度越高,得到的权重越大。最后将这些相似的像素值根据归一化之后的权重加权求和,得到的就是去噪之后的图像了。

    这个算法参数的选择也有讲究,一般而言,考虑到算法复杂度,搜索区域大概取21x21,相似度比较的块的可以取7x7。实际中,常常需要根据噪声来选取合适的参数。当高斯噪声的标准差 越大时,为了使算法鲁棒性更好,需要增大块区域,块区域增加同样也需要增加搜索区域。同时,滤波系数  与  正相关:,当块变大时, 需要适当减小。

    NL-Means算法的复杂度跟图像的大小、颜色通道数、相似块的大小和搜索框的大小密切相关,设图像的大小为NN,颜色通道数为,块的大小为kk,搜索框的大小为nn,那么算法复杂度为:。对512512的彩色图像而言,设置k=7,n=21,OpenCV在使用了多线程的情况下,处理一幅图像所需要的时间需要几十秒。虽然有人不断基于这个算法进行改进、提速,但离实时处理还是比较远。

    最后来看一下这个算法的去噪效果[3]:

      

    BM3D算法

    BM3D(Block-matching and 3D filtering,3维块匹配滤波)可以说是当前效果最好的算法之一。该算法的思想跟NL-Means有点类似,也是在图像中寻找相似块的方法进行滤波,但是相对于NL-Means要复杂得多,理解了NL-Means有助于理解BM3D算法。BM3D算法总共有两大步骤,分为基础估计(Step1)和最终估计(Step2):

    BM3D算法流程图

    在这两大步中,分别又有三小步:相似块分组(Grouping),协同滤波(Collaborative Filtering)和聚合(Aggregation)。上面的算法流程图已经比较好地将这一过程表示出来了,只需要稍加解释。

    Stpe1:基础估计

    (1) Grouping:有了NL-Means的基础,寻找相似块的过程很容易理解。首先在噪声图像中选择一些 大小的参照块(考虑到算法复杂度,不用每个像素点都选参照块,通常隔3个像素为一个不长选取,复杂度降到1/9),在参照块的周围适当大小()的区域内进行搜索,寻找若干个差异度最小的块,并把这些块整合成一个3维的矩阵,整合的顺序对结果影响不大。同时,参照块自身也要整合进3维矩阵,且差异度为0。寻找相似块这一过程可以用一个公式来表示:

    d(P,Q)代表两个块之间的欧式距离。最终整合相似块获得的矩阵就是流程图Step1中左下角的蓝色R矩阵。


    (2) Collaborative Filtering:形成若干个三维的矩阵之后,首先将每个三维矩阵中的二维的块(即噪声图中的某个块)进行二维变换,可采用小波变换或DCT变换等,通常采用小波BIOR1.5。二维变换结束后,在矩阵的第三个维度进行一维变换,通常为阿达马变换(Hadamard Transform)。变换完成后对三维矩阵进行硬阈值处理,将小于阈值的系数置0,然后通过在第三维的一维反变换和二维反变换得到处理后的图像块。这一过程同样可以用一个公式来表达:

    在这个公式中,二维变换和一维变换用一个 来表示。是一个阈值操作:

    是噪声的标准差,代表噪声的强度。

    (3) Aggregation:此时,每个二维块都是对去噪图像的估计。这一步分别将这些块融合到原来的位置,每个像素的灰度值通过每个对应位置的块的值加权平均,权重取决于置0的个数和噪声强度。

    Step2:最终估计

    (1) Grouping:第二步中的聚合过程与第一步类似,不同的是,这次将会得到两个三维数组:噪声图形成的三维矩阵和基础估计结果的三维矩阵。

    (2) Collaborative Filtering:两个三维矩阵都进行二维和一维变换,这里的二维变换通常采用DCT变换以得到更好的效果。用维纳滤波(Wiener Filtering)将噪声图形成的三维矩阵进行系数放缩,该系数通过基础估计的三维矩阵的值以及噪声强度得出。这一过程同样可以用一个公式来表达:

    在这个公式中,二维变换和一维变换用一个 来表示。是一个维纳滤波的系数:

    是噪声的标准差,代表噪声的强度。

    (3) Aggregation:与第一步中一样,这里也是将这些块融合到原来的位置,只是此时加权的权重取决于维纳滤波的系数和噪声强度。

    经过最终估计之后,BM3D算法已经将原图的噪声显著地去除。可以来看一组结果:

      

    该算法的主要运算量还是在相似块的搜索与匹配上,在与NL-Means同样大小的相似块和搜索区域的情况下,BM3D的算法复杂度是要高于NL-Means的,应该大概在NL-Means的3倍左右。梦想着实时处理的同学可以死心了。


    算法比较

    要比较算法效果,必然离不开评价体系。由于人带有主观因素,每个人的评价可能都不一样,因此有必要用几种客观的评价方法来对结果进行评价。目前,用得比较多的评价方式是MSE(Mean-Squared Error,均方误差)和PSNR(Peak Signal-to-Noise Ratio,峰值信噪比)。

    两幅大小的图像和的MSE计算公式如下:

    在这个公式里没有表现出像素值范围对结果的影响,同样的均方误差8-bit的图像和12-bit的图像显然没有可比性。因此,又引入了峰值信噪比:

    上式中, 是图像像素最大值,对于8-bit的图像而言 =255,PSNR的单位是分贝(dB)。 通常 PSNR 值越高表示品质越好,一般而言,当 PSNR<30dB 时,代表以人的肉眼看起来是不能容忍的范围。因此大部分PSNR值都要>30dB。但PSNR高,并不代表图像质量一定好,有时候还是必须要靠人的肉眼去辅助判断图像的质量才较为正确。

    不同PSNR对应的视觉效果

    我对上面两种方法获得的结果针对原图计算了PSNR,结果如下:

    两个算法的PSNR比较
     NL-MeansBM3D
    PSNR32.091333.6711

    NL-Means和BM3D可以说是目前效果最好的去噪算法,其中BM3D甚至宣称它可以得到迄今为止最高的PSNR。从最终的结果也可以看出来,BM3D的效果确实要好于NL-Means,噪声更少,能够更好地恢复出图像的细节。在效果这一点上BM3D胜。无愧于State-of-the-art这一称号。当然,这里进行测试的样本比较少,可能还不足以完全说明问题。

    最后说几句

    这两者可以说是目前最有效的图像去噪算法了,但是都不可避免地要面对一个同问题:尽管计算机性能已经成百上千倍地提高,还是远不能满足很多算法的实时计算的需求,这很大程度上限制了这些算法的使用范围:用户无法处理一张照片需要等待长达几分钟的时间,因此,距离真正意义上的实用还是有一段距离。我们只能期待,要是有一天计算机性能不再是问题,又或者,大牛们能够研究出又快又好的算法吧。


    参考文献

    [1] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE, 2005, 2: 60-65.

    [2] Buades A, Coll B, Morel J M. Nonlocal image and movie denoising[J]. International journal of computer vision, 2008, 76(2): 123-139.

    [3] Antoni Buades, Bartomeu Coll, and Jean-Michel Morel, Non-Local Means Denoising, Image Processing On Line, 1 (2011). http://dx.doi.org/10.5201/ipol.2011.bcm_nlm

    [4] Jacques Froment, Parameter-Free Fast Pixelwise Non-Local Means Denoising, Image Processing On Line, 4 (2014), pp. 300–326. http://dx.doi.org/10.5201/ipol.2014.120

    [5] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. Image Processing, IEEE Transactions on, 2007, 16(8): 2080-2095.

    [6] http://www.cs.tut.fi/~foi/GCF-BM3D/

    [7] Marc Lebrun, An Analysis and Implementation of the BM3D Image Denoising Method, Image Processing On Line, 2 (2012), pp. 175–213. http://dx.doi.org/10.5201/ipol.2012.l-bm3d

    [8] Measures of image quality

    阅读更多
    本文转载来源于https://blog.csdn.net/Adusts/article/details/79958197 要是转载请标明出处
    展开全文
  • 图像去噪是计算机视觉领域的传统方向,对于可见光图像、视频、核磁图像等的处理仍应用广泛,在工业和学术界引起很多人的关注,基于BM3D(block-matching 3D ,2007)框架的...

    图像去噪是计算机视觉领域的传统方向,对于可见光图像、视频、核磁图像等的处理仍应用广泛,在工业和学术界引起很多人的关注,基于BM3D(block-matching 3D ,2007)框架的系列算法是该领域的著名方法,其结合图像非局部相似的属性和变换域的稀疏表示,在深度学习用于CV各领域的今天仍有用武之地。

    今天新出的论文『A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods』,对传统的图像去噪方法和深度学习方法进行了综述和比较,考察了191篇文献,相信对研究该方向的朋友定有帮助。

    该文作者信息:

    作者来自理海大学和华南理工大学。

    • 论文链接:https://arxiv.org/abs/2011.03462

    • 代码链接:https://github.com/ZhaomingKong/Denoising-Comparison

    图像去噪旨在给定噪声图像恢复原图像,单在噪声模型难以估计的情况下,利用图像的 NLSS(非局部自相似) 属性成为方法的主流。亦即自然图像内部含有相似的图像块,利用此特点恢复源图像,NLSS先验与补丁表征示例:

    传统图像去噪方法(成功的BM3D框架的众多方法)流程:

    即噪声图像经过Grouping、Collaborative filtering、Aggregation,得到结果图像。

    传统的多维图像数据的去噪器:

    基于DNN去噪方法及应用:

    具有三个卷积层的简单CNN去噪框架图解:

    该文详尽总结了用于评测结果的人工合成和真实世界的多维图像去噪数据集(具体出处和下载方式请参考原论文):

    具有代表性的多维图像去噪方法和数据集的发展史:

    部分数据集的示例图像:

    另外为评估算法,作者还推出了自己收集的IOCI数据集:

    传统方法和基于DNN的方法在几个真实彩色图像数据集上的结果,以 PSNR 和 SSIM 为评价指标:(请点击查看大图)

    多个方法在真实彩色视频数据集上的评比详细结果:

    另外,对于图像去噪PSNR 和 SSIM 并不能完美反应图像质量,作者还做了大量的视觉效果评估:

    1)CC15 数据集(PSNR)  (图8)

    2)PolyU 数据集(PSNR)  (图9)

    3)IOCI’s IPHONE 5S 数据集(PSNR) (图10)

    4)IOCV 数据集(彩色视频去噪)(图11)

    同样,作者使用用户调查打分的方式,得到了人为评分结果:

    FastDVDNet算法在计算量较低的前提下,效果表现也一致的好。

    在 CAVE 数据集上的高噪声水平σ=100时,对基于张量的去噪器的比较结果:(图12)

    CAVE 数据集上,高斯噪声 σ = {10, 30, 50, 100}时的质量和计算时间(分钟)对比结果:(表7)

    高斯噪声下 MSt-SVD 和 QRNN3D 的平均PSNR/SSIM 值和计算时间(分钟)σ∈{10,20}(表8)

    在真实世界 HHD 数据集上,MSI 去噪方法比较结果:(图13)

    σ≥11%时高噪声水平下的去噪性能比较:(图14)

    T1w、T2w和PDw数据被Rician噪声破坏的情况下,不同方法的平均PSNR/SSIM 值 和 计算时间(s)(表9)

    在估计噪声水平σ = 19% 的合成Brainweb T1w 数据上对比较方法进行可视化评估(图15)

    在估计噪声水平σ=3% 的真实OAS1 0112 T1w数据上对比较方法进行可视化评估(图16)

    在估计噪声水平σ = 4.5% 的真实 OAS1 0092 T1w数据上对比较方法进行可视化评估(图17)

    CBM3D1 在 σ∈[10,30]时五个数据集上的 PSNR 和 SSIM 值对比(图18)

    PSNR 和 SSIM 6种不同实现的(图19)

    使用和不使用图像大小调整策略的 CMSt-SVD 方法的视觉效果对比:(图20)

    当一组中的所有补丁都相同时,T-HOSVD 应用于无噪声图像时的过度平滑效果图(图21)

    最终,作者总结发现:

    1)BM3D系算法在性能和效果上均展示出不俗的表现;

    2)对于仅从噪声观察中学习的传统降噪器,改进的奇异值分解(M-SVD)方法能够与许多基于张量的方法产生相似的结果;

    3)基于DNN的方法虽然在合成数据集上训练(因为所需标签数据在实际场景中是不存在的,只能采用合成噪声图像的方法),但在实际测试中仍表现出强大的泛化能力。

    该文内容涉及广泛,非常值得从事图像去噪的朋友研究。

    在我爱计算机视觉公众号后台恢复“去噪比较”,即可收到下载链接。

    备注:去噪

    图像增强与质量评价交流群

    图像增强、去雾、去雨、图像修补、图像恢复等技术,

    若已为CV君其他账号好友请直接私信。

    我爱计算机视觉

    微信号:aicvml

    QQ群:805388940

    微博知乎:@我爱计算机视觉

    投稿:amos@52cv.net

    网站:www.52cv.net

    点点【在看】分享技术成果

    展开全文
  • 图像去噪是学术工业关注的问题。最近广东深圳哈工大分院的研究人员撰写了最新图像去噪深度学习的综述论文,非常值得学习!
  • 图像去噪是非常基础也是非常必要的研究,去噪常常在更高级的图像处理之前进行,是图像处理的基础。可惜的是,目前去噪算法并没有很好的解决方案,实际应用中,更多的是在效果和运算复杂度之间求得一个平衡,再一次...

    图像去噪是非常基础也是非常必要的研究,去噪常常在更高级的图像处理之前进行,是图像处理的基础。可惜的是,目前去噪算法并没有很好的解决方案,实际应用中,更多的是在效果和运算复杂度之间求得一个平衡,再一次验证了我老师的一句话:

    所有的工程问题最后都是最优化问题。

    好了,废话不多说,来看看效果比较好的去噪算法吧。

    噪声模型

    图像中噪声的来源有许多种,这些噪声来源于图像采集、传输、压缩等各个方面。噪声的种类也各不相同,比如椒盐噪声,高斯噪声等,针对不同的噪声有不同的处理算法。

    对于输入的带有噪声的图像v(x),其加性噪声可以用一个方程来表示:

    其中是原来没有噪声的图像。是像素集合,是加项噪声项,代表噪声带来的影响。是像素的集合,也就是整幅图像。从这个公式可以看出,噪声是直接叠加在原始图像上的,这个噪声可以是椒盐噪声、高斯噪声。理论上来说,如果能够精确地获得噪声,用输入图像减去噪声就可以恢复出原始图像。但现实往往很骨感,除非明确地知道噪声生成的方式,否则噪声很难单独求出来。

    工程上,图像中的噪声常常用高斯噪声来近似表示,其中,是噪声的方差,越大,噪声越大。一个有效的去除高斯噪声的方式是图像求平均,对N幅相同的图像求平均的结果将使得高斯噪声的方差降低到原来的N分之一,现在效果比较好的去噪算法都是基于这一思想来进行算法设计。

    NL-Means算法

    NL-Means的全称是:Non-Local Means,直译过来是非局部平均,在2005年由Baudes提出,该算法使用自然图像中普遍存在的冗余信息来去噪声。与常用的双线性滤波、中值滤波等利用图像局部信息来滤波不同的是,它利用了整幅图像来进行去噪,以图像块为单位在图像中寻找相似区域,再对这些区域求平均,能够比较好地去掉图像中存在的高斯噪声。NL-Means的滤波过程可以用下面公式来表示:

    在这个公式中,是一个权重,表示在原始图像中,像素  和像素  的相似度。这个权重要大于0,同时,权重的和为1,用公式表示是这样:

    是像素  的邻域。这个公式可以这样理解:对于图像中的每一个像素  ,去噪之后的结果等于它邻域中像素  的加权和,加权的权重等于  和  的相似度。这个邻域也称为搜索区域,搜索区域越大,找到相似像素的机会也越大,但同时计算量也是成指数上升。在提出这个算法的文献中,这个区域是整幅图像!导致的结果是处理一幅512x512大小的图像,最少也得几分钟。

    衡量像素相似度的方法有很多,最常用的是根据两个像素的亮度值的差的平方来估计。但因为有噪声的存在,单独的一个像素并不可靠。对此解决方法是,考虑它们的邻域,只有邻域相似度高才能说这两个像素的相似度高。衡量两个图像块的相似度最常用的方法是计算他们之间的欧氏距离:

    其中:  是一个归一化的因子,是所有权重的和,对每个权重除以该因子后,使得权重满足和为1的条件。  是滤波系数,控制指数函数的衰减从而改变欧氏距离的权重。 和  代表了像素  和像素  的邻域,这个邻域常称为块(Patch)邻域。块邻域一般要小于搜索区域。 是两个邻域的高斯加权欧式距离。其中  是高斯核的标准差。在求欧式距离的时候,不同位置的像素的权重是不一样的,距离块的中心越近,权重越大,距离中心越远,权重越小,权重服从高斯分布。实际计算中考虑到计算量的问题,常常采用均匀分布的权重。

    讲了这么多,是时候用图来说明问题了:

    如上图所示,p为去噪的点,因为q1和q2的邻域与p相似,所以权重和比较大,而邻域相差比较大的点q3的权重值很小。如果用一幅图把所有点的权重表示出来,那就得到下面这些权重图:

    这6组图像中,左边是原图,中心的白色色块代表了像素  块邻域,右边是计算出来的权重  图,权重范围从0(黑色)到1(白色)。这个块邻域在整幅图像中移动,计算图像中其他区域跟这个块的相似度,相似度越高,得到的权重越大。最后将这些相似的像素值根据归一化之后的权重加权求和,得到的就是去噪之后的图像了。

    这个算法参数的选择也有讲究,一般而言,考虑到算法复杂度,搜索区域大概取21x21,相似度比较的块的可以取7x7。实际中,常常需要根据噪声来选取合适的参数。当高斯噪声的标准差 越大时,为了使算法鲁棒性更好,需要增大块区域,块区域增加同样也需要增加搜索区域。同时,滤波系数  与  正相关:,当块变大时, 需要适当减小。

    NL-Means算法的复杂度跟图像的大小、颜色通道数、相似块的大小和搜索框的大小密切相关,设图像的大小为NN,颜色通道数为,块的大小为kk,搜索框的大小为nn,那么算法复杂度为:。对512512的彩色图像而言,设置k=7,n=21,OpenCV在使用了多线程的情况下,处理一幅图像所需要的时间需要几十秒。虽然有人不断基于这个算法进行改进、提速,但离实时处理还是比较远。

    最后来看一下这个算法的去噪效果[3]:

      

    BM3D算法

    BM3D(Block-matching and 3D filtering,3维块匹配滤波)可以说是当前效果最好的算法之一。该算法的思想跟NL-Means有点类似,也是在图像中寻找相似块的方法进行滤波,但是相对于NL-Means要复杂得多,理解了NL-Means有助于理解BM3D算法。BM3D算法总共有两大步骤,分为基础估计(Step1)和最终估计(Step2):

    BM3D算法流程图

    在这两大步中,分别又有三小步:相似块分组(Grouping),协同滤波(Collaborative Filtering)和聚合(Aggregation)。上面的算法流程图已经比较好地将这一过程表示出来了,只需要稍加解释。

    Stpe1:基础估计

    (1) Grouping:有了NL-Means的基础,寻找相似块的过程很容易理解。首先在噪声图像中选择一些 大小的参照块(考虑到算法复杂度,不用每个像素点都选参照块,通常隔3个像素为一个不长选取,复杂度降到1/9),在参照块的周围适当大小()的区域内进行搜索,寻找若干个差异度最小的块,并把这些块整合成一个3维的矩阵,整合的顺序对结果影响不大。同时,参照块自身也要整合进3维矩阵,且差异度为0。寻找相似块这一过程可以用一个公式来表示:

    d(P,Q)代表两个块之间的欧式距离。最终整合相似块获得的矩阵就是流程图Step1中左下角的蓝色R矩阵。


    (2) Collaborative Filtering:形成若干个三维的矩阵之后,首先将每个三维矩阵中的二维的块(即噪声图中的某个块)进行二维变换,可采用小波变换或DCT变换等,通常采用小波BIOR1.5。二维变换结束后,在矩阵的第三个维度进行一维变换,通常为阿达马变换(Hadamard Transform)。变换完成后对三维矩阵进行硬阈值处理,将小于阈值的系数置0,然后通过在第三维的一维反变换和二维反变换得到处理后的图像块。这一过程同样可以用一个公式来表达:

    在这个公式中,二维变换和一维变换用一个 来表示。是一个阈值操作:

    是噪声的标准差,代表噪声的强度。

    (3) Aggregation:此时,每个二维块都是对去噪图像的估计。这一步分别将这些块融合到原来的位置,每个像素的灰度值通过每个对应位置的块的值加权平均,权重取决于置0的个数和噪声强度。

    Step2:最终估计

    (1) Grouping:第二步中的聚合过程与第一步类似,不同的是,这次将会得到两个三维数组:噪声图形成的三维矩阵和基础估计结果的三维矩阵。

    (2) Collaborative Filtering:两个三维矩阵都进行二维和一维变换,这里的二维变换通常采用DCT变换以得到更好的效果。用维纳滤波(Wiener Filtering)将噪声图形成的三维矩阵进行系数放缩,该系数通过基础估计的三维矩阵的值以及噪声强度得出。这一过程同样可以用一个公式来表达:

    在这个公式中,二维变换和一维变换用一个 来表示。是一个维纳滤波的系数:

    是噪声的标准差,代表噪声的强度。

    (3) Aggregation:与第一步中一样,这里也是将这些块融合到原来的位置,只是此时加权的权重取决于维纳滤波的系数和噪声强度。

    经过最终估计之后,BM3D算法已经将原图的噪声显著地去除。可以来看一组结果:

      

    该算法的主要运算量还是在相似块的搜索与匹配上,在与NL-Means同样大小的相似块和搜索区域的情况下,BM3D的算法复杂度是要高于NL-Means的,应该大概在NL-Means的3倍左右。梦想着实时处理的同学可以死心了。


    算法比较

    要比较算法效果,必然离不开评价体系。由于人带有主观因素,每个人的评价可能都不一样,因此有必要用几种客观的评价方法来对结果进行评价。目前,用得比较多的评价方式是MSE(Mean-Squared Error,均方误差)和PSNR(Peak Signal-to-Noise Ratio,峰值信噪比)。

    两幅大小的图像和的MSE计算公式如下:

    在这个公式里没有表现出像素值范围对结果的影响,同样的均方误差8-bit的图像和12-bit的图像显然没有可比性。因此,又引入了峰值信噪比:

    上式中, 是图像像素最大值,对于8-bit的图像而言 =255,PSNR的单位是分贝(dB)。 通常 PSNR 值越高表示品质越好,一般而言,当 PSNR<30dB 时,代表以人的肉眼看起来是不能容忍的范围。因此大部分PSNR值都要>30dB。但PSNR高,并不代表图像质量一定好,有时候还是必须要靠人的肉眼去辅助判断图像的质量才较为正确。

    不同PSNR对应的视觉效果

    我对上面两种方法获得的结果针对原图计算了PSNR,结果如下:

    两个算法的PSNR比较
     NL-MeansBM3D
    PSNR32.091333.6711

    NL-Means和BM3D可以说是目前效果最好的去噪算法,其中BM3D甚至宣称它可以得到迄今为止最高的PSNR。从最终的结果也可以看出来,BM3D的效果确实要好于NL-Means,噪声更少,能够更好地恢复出图像的细节。在效果这一点上BM3D胜。无愧于State-of-the-art这一称号。当然,这里进行测试的样本比较少,可能还不足以完全说明问题。

    最后说几句

    这两者可以说是目前最有效的图像去噪算法了,但是都不可避免地要面对一个同问题:尽管计算机性能已经成百上千倍地提高,还是远不能满足很多算法的实时计算的需求,这很大程度上限制了这些算法的使用范围:用户无法处理一张照片需要等待长达几分钟的时间,因此,距离真正意义上的实用还是有一段距离。我们只能期待,要是有一天计算机性能不再是问题,又或者,大牛们能够研究出又快又好的算法吧。


    参考文献

    [1] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE, 2005, 2: 60-65.

    [2] Buades A, Coll B, Morel J M. Nonlocal image and movie denoising[J]. International journal of computer vision, 2008, 76(2): 123-139.

    [3] Antoni Buades, Bartomeu Coll, and Jean-Michel Morel, Non-Local Means Denoising, Image Processing On Line, 1 (2011). http://dx.doi.org/10.5201/ipol.2011.bcm_nlm

    [4] Jacques Froment, Parameter-Free Fast Pixelwise Non-Local Means Denoising, Image Processing On Line, 4 (2014), pp. 300–326. http://dx.doi.org/10.5201/ipol.2014.120

    [5] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. Image Processing, IEEE Transactions on, 2007, 16(8): 2080-2095.

    [6] http://www.cs.tut.fi/~foi/GCF-BM3D/

    [7] Marc Lebrun, An Analysis and Implementation of the BM3D Image Denoising Method, Image Processing On Line, 2 (2012), pp. 175–213. http://dx.doi.org/10.5201/ipol.2012.l-bm3d

    [8] Measures of image quality

    展开全文
  • 这是基于Python编写的经典图像去噪算法BM3D,含源代码和范例。不依赖于作者原版的Matlab,开发使用更为友好,代码结构清晰。
  • 小波去噪程序

    2013-01-28 16:21:35
    这是一个小波去噪的程序,除了实现了最经典的图像去噪算法外,还使用了最新的带有方向性的小波,去噪效果非常好
  • 图像去噪是学术工业关注的问题。最近广东深圳哈工大分院的研究人员撰写了最新图像去噪深度学习的综述论文,非常值得学习!关注文章公众号对话框回复“paper29”获取本篇论文地址:https:...
  • 为了有效地保留视频去噪后的纹理细节,利用Surfacelet变换特性和自适应阈值的方法,提出了一种新的视频去噪算法。Surfacelet变换是超小波分析领域的最新发展,具有良好的多维信号处理能力,真正实现了对多维信号的多...
  • Awesome-Denoise:所有最新的imageburstvideo带有代码和引文的imageburstvideo去噪论文在顶级会议和期刊上发表
  • 1.windows 10 64位2.Anaconda3-4.2.0-Windows-x86_64.exe (当时TF还不支持python3.6,又懒得在高版本的anaconda下配置多个Python环境,于是装了一个3-4.2.0(默认装python3.5),建议装anaconda3的最新版本,...
  • 自然图像固有的相似性已被广泛用于图像去噪和其他应用。 实际上,如果将相似图像块的簇重新排列为矩阵,则列和行之间都存在相似性。 使用相似性,我们提出了... 实验表明,该模型的性能可以与最新的降噪方法相提并论。
  • 基于emd分解特性的阈值去噪算法

    热门讨论 2010-05-18 21:43:23
    这是最新的emd去噪的程序,并且有和小波去噪的比较。 采用的是符合emd分解特性的阈值去噪方法。
  • 提出了一种基于稀疏表示模型的线性贝叶斯极大后验(MAP)估计图像去噪算法。 从在表示向量中构造先验概率... 仿真结果表明,与其他最新去噪算法相比,该方法在主观视觉质量和客观PSNR值方面均具有非常出色的性能。
  • 深度通用盲图像去噪

    2021-02-22 10:05:00
    点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 小白导读论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享,旨...
  • 将理想高分辨率多光谱图像与遥感融合结果之间的残差视为广义噪声,提出了基于深度残差去噪网络(DnCNN)的遥感融合图像质量提升算法。通过DnCNN学习固定融合算法中细节丢失或光谱扭曲的规律,将输入的遥感图像融合结果...
  • 张量(三维矩阵)奇异值分解即SVD分解进行图像去噪-张量(三维矩阵)奇异值分解即SVD分解进行图像去噪-SVD,最新流行算法代码,无错误
  • 该方法利用最新发展的分位耦合理论,通过建立等价模型,在实施小波变换前将未知噪声信号转换为高斯噪声信号,然后再使用传统小波方法去噪。蒙特卡洛模拟试验结果显示,该方法在非高斯噪声下能极大提高信号去噪效果。
  • 为了准确地提取出结构光测量中变形条纹的瞬时相位,需对变形条纹图像进行滤波。在OWT_SURE_LET小波去噪的基础上,用冗余小波代替正交小波,...和其他经典的及最新去噪算法相比,改进后的算法具有最好的结果和稳健性。
  • 一种基于HHT的实验数据去噪方法及其在并列双圆柱绕流研究中的应用,张宁,麻伟巍,Hilbet-Huang变换(简称HHT)是最新发展起来的处理非平稳信号的时频分析方法。其核心内容是经验模态分解 和 变换。本文针对经验...
  • 为了提高去噪算法的实用性,本文提出了一种采用模块化结构的一阶段盲真图像去噪网络(RIDNet)。我们利用残差结构上的残差来缓解低频信息的流动,并利用特征注意来挖掘信道的相关性。此外,通过对19种最新算法的3个...
  • 我收集的最新的几篇小波神经网络的文章,大家共享 小波神经网络初始值的选择.pdf 【摘要】小波神经网络参数初始值影响着网络收敛速度的快慢,甚至关系到网络能否收敛。为了减少网络训练 次数,提高收敛速度,提出了...
  • 论文链接 摘要 消费级传感器越来越受到欢迎和在我们的日常生活被它最近的融合在...我们提出了一个级联深度去噪和精炼网络(DDRNet)来处理这个问题,通过利用多帧融合几何和完成高质量颜色图像通过一个加入训练策...
  • 我收集的最新的几篇小波神经网络的文章,大家共享 小波神经网络初始值的选择.pdf 【摘要】小波神经网络参数初始值影响着网络收敛速度的快慢,甚至关系到网络能否收敛。为了减少网络训练 次数,提高收敛速度,提出了...
  • (手机应用商店或google play商店即可下载,google play商店可以下载到最新版。找不到请百度。)打开Termux,输入pkg install python安装python,默认为python3。此时打开Termux,输入python即可在python交互环境中...
  • MeshLab最新源码

    2019-12-18 01:48:41
    资源为MeshLab源码,广泛用于计算机图形学(包括点云配准,点云去噪滤波,网格处理,可视化操作等)
  • 去噪 自然语言处理 语言建模 机器翻译 问题回答 情感分析 自然语言推理 医学 医学图像分割 药物发现 病变分割 脑肿瘤分割 医学图像生成 方法 Word嵌入 表征学习 转学习 域适应 多任务学习 杂项 ...
  • Original url:https://mp.weixin.qq.com/s/Fh2ob_qCNHeTOWHjZ9DRyg?scene=25#wechat_redirect【导读】Facebook何恺明和RGB两位大神...文章采用图像去噪中常用的非局部平均的思想处理局部特征与全图特征点的关系。...
  • 去雾算法相关资料

    千次阅读 2018-03-03 19:05:31
    最新: 重要: 图像去雾去雨去模糊去噪 PPT:https://blog.csdn.net/f290131665/article/details/79572012 评价指标:https://blog.csdn.net/f290131665/article/details/79514410 AOD-NET: ...

空空如也

空空如也

1 2 3 4 5
收藏数 83
精华内容 33
关键字:

去噪最新