#深度学习图像去噪发展概述
由于深度学习，特别是卷积神经网络（CNN）在图像识别等领域取得了较好的成果，近年来，基于深度学习的图像去噪方法也被提出并得到了发展。2008年，Viren Jain等提出用CNN处理自然图像的去噪问题[21]，得到了与常规方法（如小波变换和马尔可夫随机场）相近或更优的结果。并说明了特定形式的CNN可以被视为图像去噪的马尔可夫模型推断的结果的一种近似，但是神经网络模型可以避免了马尔可夫模型在概率学习和推断过程中的计算困难，从而降低了计算的复杂度。在训练神经网络的过程中为了更加快速和准确的收敛，采取了逐层训练的方法。该方法网络结构如下图所示：

图2.1 Viren Jain等的图像去噪卷积神经网络模型（CN1和CN2区别于训练集的不同）
该网络由四个隐含层组成，每个隐含层含有24个特征通道，每一个特征通道都与8个随机选择的上一层的特征通道相连接。该网络的卷积核大小为5×5，网络的损失函数为带噪图像经过神经网络去噪后的恢复图像和真实图像的误差平方和，即：。除了对噪声已知的情况进行训练和去噪，作者还测试了噪声未知情况下的去噪情况，将在σ=[0,100]的范围内随机变化的不同水平的噪声加入真实图像，并进行训练，此时将隐含层设置为5层，相对于传统方法也取得了较好的效果。
2012年，Xie等利用栈式去噪自编码器（stacked denoising auto-encoder）进行图像去噪以及图像修复（image inpainting）[22]，其网络结构为多层的全连接网络，如图2.2所示。

图2.2 栈式稀疏去噪自编码器（SSDA）
为了将稀疏编码的思想和深度神经网络结合，作者提出了栈式稀疏去噪自编码器（stacked sparse denoising auto-encoder, SSDA），其损失函数如下：


其中KL散度中的ρ^ 代表隐含层激活函数输出的平均值，如果我们设定较小的ρ，则可以通过优化损失函数，使得每一层中被激活的神经元尽可能少，以此达到稀疏约束的目的。训练过程为逐层训练，每训练完一层后，将训练用的数据（带噪图像）和标签（真实图像）都通过该层，将输出送至下一层作为数据和标签进行训练。
Burger等人提出了用多层感知机（Multi Layer Perceptron，MLP）的方法实现神经网络去噪[23]，并说明如果训练集足够，MLP模型可以达到图像去噪的当前最优水平。MLP模型对噪声类型不敏感，对于不同类型的噪声，只要对带有该类噪声的图像进行处理，即可得到较好的结果。作者认为，MLP相对于CNN的优点在于，MLP可以近似所有函数，而CNN可以学习到的函数相对有限。为了使MLP网络达到最优水平，训练网络应足够大，分割图像得到的区块大小应足够大，以及训练集也应足够大。该方法的一个不足之处为它无法适应不同强度的噪声，若将不同水平的噪声图像作为输入进行训练则无法达到对特定噪声进行训练时的结果。

2016年，Mao等提出了深度的卷积编解码网络应用于图像去噪[24]。编码(Encoding)和解码(Decoding)结构对称，且每隔较少层就存在一条由编码卷积层到与其对称的解码层的跨层连接。该网络结构如图2.3所示。该网络共采用了对称的10层卷积层，其中前5层为编码层，后5层为解码层。在该CNN网络的编码层中，每隔2层就用一条跳线将编码层连接到对称的解码层，因此可以直接进行正向和反向传播。从该网络开始，图像去噪神经网络层数开始向更深层发展。以前的神经网络层数普遍较浅，原因在于：一方面，与图像分类等问题只需要提取关键特征的任务不同，图像的复原要求图像的细节在网络传播中不能丢失，而网络层数变深可能会导致图像细节的丢失；另一方面，层数较深容易在训练过程中导致梯度弥散，不容易收敛到最优解。由于该网络采用了卷积和解卷积层间的跳线连接，因此可以较好的解决上述的问题，因此网络相对较深。

图2.3 卷积编解码去噪网络结构（示跳线）
2017年，Zhang等提出用较深层的CNN网络，称为DnCNN[25]，实现去噪，为了解决网络层数加深导致的梯度弥散效应，DnCNN并不对图像进行学习，而是以输出与噪声的l2范数为损失函数来训练网络。网络结构如图2.4所示。DnCNN网络可以视为一个残差学习的过程，这样可以较好的训练。在该网络中利用了BN层（Batch Normalization），实验表明BN层与残差学习共同使用可以提高模型的性能，DnCNN在不同噪声水平上训练，得到的结果要优于现在的最优结果，如BM3D等。

图2.4 DnCNN 网络结构

#深度学习图像去噪发展概述
由于深度学习，特别是卷积神经网络(CNN)在图像识别等领域取得了较好的成果，近年来，基于深度学习的图像去噪方法也被提出并得到了发展。2008年，Viren Jain等提出用CNN处理自然图像的去噪问题[21]，得到了与常规方法(如小波变换和马尔可夫随机场)相近或更优的结果。并说明了特定形式的CNN可以被视为图像去噪的马尔可夫模型推断的结果的一种近似，但是神经网络模型可以避免了马尔可夫模型在概率学习和推断过程中的计算困难，从而降低了计算的复杂度。在训练神经网络的过程中为了更加快速和准确的收敛，采取了逐层训练的方法。该方法网络结构如下图所示：
图2.1 Viren Jain等的图像去噪卷积神经网络模型(CN1和CN2区别于训练集的不同)
该网络由四个隐含层组成，每个隐含层含有24个特征通道，每一个特征通道都与8个随机选择的上一层的特征通道相连接。该网络的卷积核大小为5×5，网络的损失函数为带噪图像经过神经网络去噪后的恢复图像和真实图像的误差平方和，即：。除了对噪声已知的情况进行训练和去噪，作者还测试了噪声未知情况下的去噪情况，将在σ=[0,100]的范围内随机变化的不同水平的噪声加入真实图像，并进行训练，此时将隐含层设置为5层，相对于传统方法也取得了较好的效果。
2012年，Xie等利用栈式去噪自编码器(stacked denoising auto-encoder)进行图像去噪以及图像修复(image inpainting)[22]，其网络结构为多层的全连接网络，如图2.2所示。
图2.2 栈式稀疏去噪自编码器(SSDA)
为了将稀疏编码的思想和深度神经网络结合，作者提出了栈式稀疏去噪自编码器(stacked sparse denoising auto-encoder, SSDA)，其损失函数如下：
其中KL散度中的ρ^ 代表隐含层激活函数输出的平均值，如果我们设定较小的ρ，则可以通过优化损失函数，使得每一层中被激活的神经元尽可能少，以此达到稀疏约束的目的。训练过程为逐层训练，每训练完一层后，将训练用的数据(带噪图像)和标签(真实图像)都通过该层，将输出送至下一层作为数据和标签进行训练。
Burger等人提出了用多层感知机(Multi Layer Perceptron，MLP)的方法实现神经网络去噪[23]，并说明如果训练集足够，MLP模型可以达到图像去噪的当前最优水平。MLP模型对噪声类型不敏感，对于不同类型的噪声，只要对带有该类噪声的图像进行处理，即可得到较好的结果。作者认为，MLP相对于CNN的优点在于，MLP可以近似所有函数，而CNN可以学习到的函数相对有限。为了使MLP网络达到最优水平，训练网络应足够大，分割图像得到的区块大小应足够大，以及训练集也应足够大。该方法的一个不足之处为它无法适应不同强度的噪声，若将不同水平的噪声图像作为输入进行训练则无法达到对特定噪声进行训练时的结果。
2016年，Mao等提出了深度的卷积编解码网络应用于图像去噪[24]。编码(Encoding)和解码(Decoding)结构对称，且每隔较少层就存在一条由编码卷积层到与其对称的解码层的跨层连接。该网络结构如图2.3所示。该网络共采用了对称的10层卷积层，其中前5层为编码层，后5层为解码层。在该CNN网络的编码层中，每隔2层就用一条跳线将编码层连接到对称的解码层，因此可以直接进行正向和反向传播。从该网络开始，图像去噪神经网络层数开始向更深层发展。以前的神经网络层数普遍较浅，原因在于：一方面，与图像分类等问题只需要提取关键特征的任务不同，图像的复原要求图像的细节在网络传播中不能丢失，而网络层数变深可能会导致图像细节的丢失；另一方面，层数较深容易在训练过程中导致梯度弥散，不容易收敛到最优解。由于该网络采用了卷积和解卷积层间的跳线连接，因此可以较好的解决上述的问题，因此网络相对较深。
图2.3 卷积编解码去噪网络结构(示跳线)
2017年，Zhang等提出用较深层的CNN网络，称为DnCNN[25]，实现去噪，为了解决网络层数加深导致的梯度弥散效应，DnCNN并不对图像进行学习，而是以输出与噪声的l2范数为损失函数来训练网络。网络结构如图2.4所示。DnCNN网络可以视为一个残差学习的过程，这样可以较好的训练。在该网络中利用了BN层(Batch Normalization)，实验表明BN层与残差学习共同使用可以提高模型的性能，DnCNN在不同噪声水平上训练，得到的结果要优于现在的最优结果，如BM3D等。
图2.4 DnCNN 网络结构

深度学习图像去噪综述
1 背景与动机
2 深度学习在图像去噪中的应用
2.1 外加白噪声去噪（additive white noisy-image denoising）
2.1.1 CNN/NN for AWNI denoising
2.1.2 CNN/NN and common feature extraction methods for AWNI denoising
2.1.3 Combination of optimization method and CNN/NN for AWNI denoising
2.2 真实噪声图像去噪（real noisy-image denoising）
2.2.1 single end-to-end CNN
2.2.2 The combination of prior knowledge and CNN
2.3 盲去噪（blind denoising）
2.4 混合噪声图像去噪
3 实验
3.1 数据集
4 讨论
4.1 提高去噪性能，有如下解决方法
4.2 提高去噪效率
4.3 解决复杂的噪声图像
4.4 挑战

原文：Deep Learning on Image Denoising: An Overview

论文链接 相关代码
1 背景与动机
数字图像设备已经被应用在天气预测、灾难救援、安全监控与医学诊病等多个领域。然而数字设备常受到相机抖动、运动的物体、暗光和噪声等影响而导致捕获的照片不干净。因此图像去噪技术的研究具有重要的理论和实际应用价值。也就是说去噪后的数据有助于进一步的图像任务（图像分类、目标识别等）。
图像去噪技术在20世纪90年代已经成为研究热点。例如：用非局部相似性来优化稀疏方法能提高去噪的性能。字典学习有助于快速移除噪声。先验知识通过平滑噪声图像来恢复潜在干净图像的细节。更多竞争去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。
虽然这些大部分方法在图像去噪上能达到好的性能，但是他们有以下缺点：(1) 在测试阶段涉及复杂优化方法,(2) 手动设置参数, (3) 一个固定的模型来处理单个去噪任务。拥有灵活的结构，强的自学习能力的深度学习技术能用来解决这些不足。
2 深度学习在图像去噪中的应用
深度学习技术在图像去噪上应用包括外加白噪声图像去噪、真实噪声图像去噪、盲去噪和混合噪声图像去噪的深度学习技术。
2.1 外加白噪声去噪（additive white noisy-image denoising）
首先说一下什么是additive white noisy images（AWNIs），可以理解为噪声图像是由高斯、泊松、盐、胡椒、乘法等操作生成的。

对于外加白噪声的去噪可以分为三类：

CNN/NN for AWNI denoising
CNN/NN and common feature extraction methods for AWNI denoising
Combination of the optimization method and CNN/NN for AWNI denoising

2.1.1 CNN/NN for AWNI denoising
外加白噪声去噪的方法总结如下表：



对于上述方法来说，设计出不同的网络结构是进行图像去噪的关键，设计网络结构有以下方式：

利用多视角来设计网络；包括三种类型：一幅噪声图像作为多个子网络的输入；一个样本的不同角度作为网络的输入；一个网络的不同通道作为输入。
改变Loss函数；
增加CNN的宽度或者深度；
在CNN中增加任意的插件；任意插件包括激活函数、空洞卷积、全连接层和池化层等
在CNN中使用跳跃连接 (Skip connection)或者级联操作（Cascaded operations）；包括skip connection和cascaded operation。

2.1.2 CNN/NN and common feature extraction methods for AWNI denoising
在图像处理中，特征提取用于表示整个输入数据，但是深度学习技术是一个黑盒操作，没有办法对特征进行选择，因此不能确保所获得的特征是最好的。基于此，研究者试图将常用的特征提取方法嵌入到神经网络中实现图像去噪。该方法分为5类：

weak edge-information noisy images
non-linear noisy images
high dimensional noisy images
non-salient noisy images
high computational costs



对于weak edge-information noisy images来说，CNN with transformation domain method来移除噪声是非常有效的。


对于non-linear noisy images来说，CNN with kernel method在恢复潜在干净图像是非常有效的。

这类方法一般有三步：第一步用CNN来提取特征，第二步用核方法把非线性特征转为线性特征，第三步利用残差技术来重构潜在的干净图像。


对于high dimensional noisy images来说，CNN和降维方法的组合是常用的去噪方法。


对于non-salient noisy images来说，信号处理方法能引导CNN来提取显著的特征。


对于high computational cost， CNN和图像的属性结合能有效地降低复杂度。



2.1.3 Combination of optimization method and CNN/NN for AWNI denoising
首先，optimization method 需要手动设置参数，而且非常耗时；其次，discriminative learning method对低级视觉任务不够灵活。为了平衡效率和灵活性，试图将两种方法进行融合，可以分为两类：

improvement of denoising speed
improvement of denoising performance

也就是一类提高去噪速度，一类提高去噪性能。
1、提高去噪速度

将优化方法嵌入到CNN网络是寻找最优解的不错工具。此外，把噪声映射和噪声图像作为CNN的输入也能提高预测噪声的速度。

2、提高去噪性能

将CNN和先验知识进行结合可以有效移除噪声。

2.2 真实噪声图像去噪（real noisy-image denoising）
对于真实噪声图像去噪的问题，包含单一的end-to-end卷积神经网络和先验知识与CNN组合的两种方式。
2.2.1 single end-to-end CNN
常规的方法是修改神经网络的架构，把Multiscale knowledge、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效处理真实噪声图像。


2.2.2 The combination of prior knowledge and CNN
先验知识包括HQS（half quadratic splitting）、channel prior knowledge等。


2.3 盲去噪（blind denoising）
利用image device和soft shrinkage和CNN/NN结合能很好地进行blind denoising。


2.4 混合噪声图像去噪
用warped guidance和CNN组合，单一的CNN以及CNN和iterative algorithm组合都能很好地移除混合噪声。


3 实验
3.1 数据集

训练集


gray-noise (用于训练高斯噪声和盲噪声)

– BSD400

– Waterloo Exploration Database
color-noisy

– BSD432

– Waterloo Exploration Database

– polyU-Real-World-Noisy-Images datasets


测试集


gray-noise(用于测试高斯噪声和盲噪声)

– Set12

– BSD68
color-noisy

– CBSD68

– Kodak24

– McMaster

– cc

– DND

– NC12

– SIDD

– Nam

4 讨论
深度学习一般在图像去噪上都是提高图像性能、去噪效率和复杂的噪声图像。
4.1 提高去噪性能，有如下解决方法

增大网络的感受野能捕获更多上下文信息来提高去噪性能。其中，增加网络宽度和深度是增加感受野最常见的方式，然而，他们会导致高的计算代价和更多内存消耗。空洞卷积能有效解决这个问题。
CNN和先验结合能提取出更鲁棒的特征。
组合局部和全局的信息能提高网络的记忆能力。
把信号处理机制融合到CNN能更好遏制噪声。
数据增加能提高图像去噪性能。
迁移学习、图学习和网络搜索能很好处理噪声图像。

4.2 提高去噪效率
压缩网络能有效地提高去噪的速度。减少网络宽度和深度、利用小的卷积核、组卷积都能有效地提高去噪速度。
4.3 解决复杂的噪声图像
利用分布机制是非常流行的。第一步利用CNN来估计噪声级别作为ground truth或者恢复高分辨率图像。第二步用来恢复潜在干净图像。
4.4 挑战

更深的网络需要占用更多内存。
更深的去噪网络不能稳定地训练真实噪声图像、没有类标的噪声图像的模型。
真实噪声图像不是容易获得的。
更深的网络是困难来解决无监督去噪任务。
寻找更精确的去噪衡量指标。

目前图像去噪算法主要有下面几种方法：

数据预处理
网络结构
多任务结合和先验

1. 数据预处理
1.1 RAW vs RGB
现在越来越多的去噪方法应用于RAW域。RAW域与RGB域比起来，噪声模式更为简单，一般可以描述为泊松分布与高斯分布的叠加或者异方差高斯分布。从RAW到RGB会经过一系列ISP流程，如demosaic等，这些操作会使得噪声分布更加复杂，使其变得与空间位置和颜色相关。在以前RGB图像去噪中，我们常用添加高斯噪声方法来模拟这种复杂的噪声分布，难免与实际噪声分布存在差异，所以在真实噪声图像上应用往往效果会有所下降。而在RAW域，无论是真实拍摄的图像的噪声去除还是人工添加噪声模拟噪声分布，往往都更加方便、有效。从google的hdr+，到其多帧KPN方法，都是在RAW域进行去噪，以及其最近CVPR的文章也介绍了如何用RGB图像生成RAW数据以用于训练数据集的建立（见下图），并在DND测试数据集的RAW域去噪中取得了最高PSNR的成绩。另外，CVPR2019 的Workshop中，也有一项真实图像去噪挑战赛，其分为了RAW-RGB比赛和sRGB比赛两部分，届时会有更多RAW域去噪的方法被提出。


1.2 噪声方差
噪声方差是噪声的一个重要的属性，特别是当实际遇到的噪声都是零均值分布时，噪声方差就成了噪声分布的唯一标识。噪声方差越大，说明噪声变化的更加剧烈，往往也更难以去除，或者在去噪中往往会丢失更多的纹理细节。在传统去噪方法，如BM3D，WNNM中，往往需要噪声方差作为可调参数输入控制去噪水平。而将噪声方差作为网络输入也可以使得网络对不同的强度的噪声有更好的鲁棒性，这在FFDNET和KPN中都已经做了说明。噪声方差的估计方法有很多，其都是将噪声视为高斯分布（RAW域视为异方差高斯分布）。CBDNET将噪声方差估计整合到网络中，取得了state-of-art的效果。
1.3 数据的获取
去噪数据集的建立对网络训练至关重要。但是real noisy-clean pairs往往难以获取。所以有一些文章讨论如何利用已有的数据集生成更加真实的噪声图像。有用添加高斯噪声的图像模拟真实噪声分布的方法，如这篇文章中提到的；或者像上面提到的，用RGB图像生成RAW数据，然后在RAW域上添加噪声；也有一篇文章用GAN生成噪声添加到图像上，也是一种有趣的思路。当然，有些方法另辟蹊径，探索在没有noisy-clean pairs条件下训练去噪网络，这就有了Noise2noise、Noise2void、Noise2self等系列文章。
2. 网络结构
新的网络结构可谓是层出不穷，这应该是大部分论文在做的事。改一下网络结构，在现有数据集上跑一下，通用指标比较一下，得分高一点，发论文（笑哭）。当然调侃归调侃，能够提出一种有效的网络结构还是不容易的，特别是那些有通用性、能即插即用的结构还是让人觉得十分精巧。下面提到的网络结构许多都具有通用性，而且很多是从high-level任务中移植过来的，但只介绍其在low-level中的应用情况。
2.1 充分利用低层特征
对于一个CNN来说，前面的卷积层往往代表着低层特征，如像素级特征。而后面的卷积层往往是高层特征，如语义特征等。



对于识别、分类等high-level任务，高层特征往往更加重要。而对于去噪，超分辨等low-level任务来说，更要充分利用低层的像素级特征。这也是RDN中所强调的，其使用了dense block来使用底层特征。



而在图像生成任务中，U-net（见下图）往往比encoder-decoder效果更好。这也是因为多了skip-connect结构利用了低层特征。


2.2 多尺度
多尺度结构往往是为了获取更大的感受野。最简单的方法当然是用不同的卷积核，但是大卷积核往往会造成参数和计算量的增大。另一种方式是下采样，经典的方法如U-net多次下采样，缩小特征尺寸。而下采样往往会造成信息的丢失，所以U-net需要用skip-connect借助于低层特征上采样，恢复图像尺寸。而膨胀卷积（dilated convolution）可以在不改变图像尺寸的基础上获得更大的感受野，如这篇文章的应用。


2.3 注意力机制
注意力机制（Attention）使得网络重点关注那些对任务更有作用的特征。在low-level中用到的是两种attention结构：空间注意力（spatial attention）和通道注意力（channel-wise attention）。
空间注意力是使用non-local模块实现的，其类似于传统去噪中的non-local mean方式，利用空间其他特征点与当前特征点的相关程度对当前特征点做加权。相关方法如NLRN、RNAN等。计算non-local模块往往比较耗时，NLRN提出对于去噪来说，往往不需要关注全局所有点的特征，只需要计算当前点的一个局部范围的non-local module就可以了。



通道注意力是使用squeeze-and-excitation模块实现的。其认为各通道的特征是有冗余的，通过对各个特征通道做加权，使得网络更加关注那些重要的通道。该模块计算量小且效果不错，因此受到广泛应用，相关方法如RCAN、RIDNET等。


3. 多任务结合和先验
图像去噪，超分辨等图像复原任务本身是欠定的，也就是说一张退化的图像可能对应多张原始图像。在传统方法里我们常常给予许多先验知识来帮助图像复原，在网络中也可以借鉴这个思路。SFTGAN使用图像分割的先验信息，通过告诉网络各位置像素的纹理类别，从而恢复更加准确的纹理。



其次，图像的噪声强度往往不是均匀的，以及对于同一张图像的不同区域我们可能有不同的期望。比如对于纹理丰富的区域我们有可能会容忍一定的噪声从而保持更多的纹理；而对于平滑区域，我们会期望噪声去除得更加干净。Path-Restore方法提供了一种思路，对于同一张图像的不同区域使用不同的网络路径来处理，从而在保持效果同时提高效率。



另外，将图像去噪与high-level任务结合起来，两个任务相互协作，提高彼此的效果，也是一条不错的道路。比如这篇文章将图像去噪网络与图像分类/分割网络串联在一起，借助于高层视觉的损失提升去噪的效果。


4. 结论
无论为了获取更好看的照片还是作为其他任务的预处理，图像去噪都是必不可少的环节。现在的图像去噪方法更加关注于真实图像的去噪。如何获取更快速和轻量级的方法，如何平衡噪声去除和纹理保持的效果，都是图像去噪不断追求的目标。
5. 最后