2017-11-27 13:11:57 edogawachia 阅读数 21609
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39610 人正在学习 去看看 唐宇迪

深度学习图像去噪发展概述

由于深度学习,特别是卷积神经网络(CNN)在图像识别等领域取得了较好的成果,近年来,基于深度学习的图像去噪方法也被提出并得到了发展。2008年,Viren Jain等提出用CNN处理自然图像的去噪问题[21],得到了与常规方法(如小波变换和马尔可夫随机场)相近或更优的结果。并说明了特定形式的CNN可以被视为图像去噪的马尔可夫模型推断的结果的一种近似,但是神经网络模型可以避免了马尔可夫模型在概率学习和推断过程中的计算困难,从而降低了计算的复杂度。在训练神经网络的过程中为了更加快速和准确的收敛,采取了逐层训练的方法。该方法网络结构如下图所示:

这里写图片描述

图2.1 Viren Jain等的图像去噪卷积神经网络模型(CN1和CN2区别于训练集的不同)

该网络由四个隐含层组成,每个隐含层含有24个特征通道,每一个特征通道都与8个随机选择的上一层的特征通道相连接。该网络的卷积核大小为5×5,网络的损失函数为带噪图像经过神经网络去噪后的恢复图像和真实图像的误差平方和,即:。除了对噪声已知的情况进行训练和去噪,作者还测试了噪声未知情况下的去噪情况,将在σ=[0,100]的范围内随机变化的不同水平的噪声加入真实图像,并进行训练,此时将隐含层设置为5层,相对于传统方法也取得了较好的效果。

2012年,Xie等利用栈式去噪自编码器(stacked denoising auto-encoder)进行图像去噪以及图像修复(image inpainting)[22],其网络结构为多层的全连接网络,如图2.2所示。

这里写图片描述

图2.2 栈式稀疏去噪自编码器(SSDA)

为了将稀疏编码的思想和深度神经网络结合,作者提出了栈式稀疏去噪自编码器(stacked sparse denoising auto-encoder, SSDA),其损失函数如下:
这里写图片描述
其中KL散度中的ρ^ 代表隐含层激活函数输出的平均值,如果我们设定较小的ρ,则可以通过优化损失函数,使得每一层中被激活的神经元尽可能少,以此达到稀疏约束的目的。训练过程为逐层训练,每训练完一层后,将训练用的数据(带噪图像)和标签(真实图像)都通过该层,将输出送至下一层作为数据和标签进行训练。
Burger等人提出了用多层感知机(Multi Layer Perceptron,MLP)的方法实现神经网络去噪[23],并说明如果训练集足够,MLP模型可以达到图像去噪的当前最优水平。MLP模型对噪声类型不敏感,对于不同类型的噪声,只要对带有该类噪声的图像进行处理,即可得到较好的结果。作者认为,MLP相对于CNN的优点在于,MLP可以近似所有函数,而CNN可以学习到的函数相对有限。为了使MLP网络达到最优水平,训练网络应足够大,分割图像得到的区块大小应足够大,以及训练集也应足够大。该方法的一个不足之处为它无法适应不同强度的噪声,若将不同水平的噪声图像作为输入进行训练则无法达到对特定噪声进行训练时的结果。
2016年,Mao等提出了深度的卷积编解码网络应用于图像去噪[24]。编码(Encoding)和解码(Decoding)结构对称,且每隔较少层就存在一条由编码卷积层到与其对称的解码层的跨层连接。该网络结构如图2.3所示。该网络共采用了对称的10层卷积层,其中前5层为编码层,后5层为解码层。在该CNN网络的编码层中,每隔2层就用一条跳线将编码层连接到对称的解码层,因此可以直接进行正向和反向传播。从该网络开始,图像去噪神经网络层数开始向更深层发展。以前的神经网络层数普遍较浅,原因在于:一方面,与图像分类等问题只需要提取关键特征的任务不同,图像的复原要求图像的细节在网络传播中不能丢失,而网络层数变深可能会导致图像细节的丢失;另一方面,层数较深容易在训练过程中导致梯度弥散,不容易收敛到最优解。由于该网络采用了卷积和解卷积层间的跳线连接,因此可以较好的解决上述的问题,因此网络相对较深。

这里写图片描述

图2.3 卷积编解码去噪网络结构(示跳线)

2017年,Zhang等提出用较深层的CNN网络,称为DnCNN[25],实现去噪,为了解决网络层数加深导致的梯度弥散效应,DnCNN并不对图像进行学习,而是以输出与噪声的l2范数为损失函数来训练网络。网络结构如图2.4所示。DnCNN网络可以视为一个残差学习的过程,这样可以较好的训练。在该网络中利用了BN层(Batch Normalization),实验表明BN层与残差学习共同使用可以提高模型的性能,DnCNN在不同噪声水平上训练,得到的结果要优于现在的最优结果,如BM3D等。

这里写图片描述

图2.4 DnCNN 网络结构

2019-02-18 09:39:36 u012514944 阅读数 1658
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39610 人正在学习 去看看 唐宇迪

深度学习降噪,越来越受到音频算法工程师的关注,以往每一种算法只能处理一种或者几种效果的局限有望

被打破,这是大家都往这个方向研究的原因之一。

 

下面分享基于rnnoise 开源算法的训练经验:

1、效果的好坏,第一取决于噪声源以及纯语音数据的质量,这是深度学习算法的最重要的部分。所以收集

高质量的数据是关键。

2、语音信号特征点的选择,也是深度学习算法最重要的部分,直接决定了训练的效果。

3、深度学习模型结构以及其复杂度,这个现在大部分模型都有一定的效果,哪一个更好就需要自己训练测试。

总的来说:1 = 2 > 3;

 

鉴于目前现状,我觉得对于音频算法工程师做深度学习降噪的困难主要是:

1、高质量数据的收集,因为目前网上很难找到好的数据,语音识别的数据往往并不纯净。

2、由于第一点的问题,导致深度学习降噪的效果没有理想的好,甚至对于一些信噪比的噪声,效果不如基于

噪声估计的算法,这个时候就需要采取更多的其他的方式来优化。

3、特征点的选择以及训练模型也需要更多的实验。

附:

rnnoise 降噪算法 与传统算法对比分析: https://blog.csdn.net/u012514944/article/details/85247753

本文只是简单分析深度学习降噪目前的挑战,欢迎大家加音频算法讨论群:(作者zeark)153268894 

2019-03-14 14:32:03 weiqiwu1986 阅读数 3235
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39610 人正在学习 去看看 唐宇迪

  实时语音通信发展到今天,用户对通话语音质量提出了越来越高的要求。由于终端设备的多样性以及使用场景的差异,声音问题依然存在。传统的音频处理技术从声音信号本身出发,挖掘其时频特性,作出假设,建立物理模型,很多参数都需要人工进行精细化微调,比较费时费力。随着AI技术的发展,凭借着其强大的拟合能力,利用数据驱动,为改善音频体验提供了更多的可能性。

        关于理论部分,包括论文有很多,每种想法都存在一些问题,包括工程方面的,如需做落地,效果稳定良好,还需要做很多更多的工作,这里稍微做了下总结,深度学习降噪基本都在这份分享的PPT上面,降噪部分有些文章可能有些不太新了,但是还是有学习参考意义的。

   此处就分享几张DNN处理后的样本,增加一下新手的信心,处理非平稳噪声,效果还是非常明显的。

white:

     

 destroyerengine:

    

n32:

    

 n38

     

n61:

    

sil:

    

coffee:

    

 

PPT链接地址:

百度云盘

链接: https://pan.baidu.com/s/1vvUiiGtu-HUdZwclBSInZA 提取码: bsc5 

实时语音通信的总结和深度学习降噪资料都可以直接在QQ群下载到

QQ群:音频信号处理读书会 485186545

如上群已满,请加新群: 音频处理与机器学习 238816966

   

2019-05-10 14:44:23 u012514944 阅读数 549
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39610 人正在学习 去看看 唐宇迪

1、回声消除aec 与降噪ns的关系:

a、回声消除与ns 的前后关系: 回声消除aec 与降噪算法之间的衔接问题一直存在,由于回声消除算法的建模基本都是自适应滤波模拟回声路径,为了尽可能缩短路径,确保自适应滤波的准确性,一般来说aec 都会在ns 之前使用。

b、当前aec与ns如何搭配:   aec 目前大部分aec 算法单靠自适应滤波是很难完全去除回声,因为线程的波动,回声路径的变化等原因往往需要加入非线nlp处理,由于自适应滤波,特别是非线性处理对噪声的影响都非常大,我们往往会在自适应滤波之前就加入噪声估计模块,在nlp处理后加入频带等量的舒适噪声,然后aec 输出后在经过ns时,ns 就能很好的估计出噪声能量,进行降噪处理。

c、深度学习降噪引入的新的搭配问题:   webrtc 采用的就是在aec 中加入舒适噪声,然后ns 进行平稳噪声估计处理的方案,但是深度学习降噪,虽然目前针对语音处理,大部分都会使用有更长记忆的rnn,但是总体而言,我们知道相对平稳噪声估计500ms~2s 的估计时长,深度学习算法属于的非平稳的,这就与之前的平稳噪声有很大的区别。

2、深度学习降噪 对 aec 数据处理的问题 及优化思考:

a、babble 噪声的处理的建议和思考 :如果训练的数据没有经过任何前处理,直接是设备采集的语音,此时如果前处理有aec 最好控制噪声源的babble的幅值以及babble 的类型,因为经过aec 处理后,特别是双讲后,语音和babble 噪声的相似度会很高,往往会造成严重失真,如果前处理没有aec,就可以加大babble 噪音的数据量以及幅值,因为深度学习降噪对babble 噪声的效果非常好。

b、aec 的非线性处理带来的问题:非线性处理往往会破坏语音特征,导致深度学习算法对语音的失真往往比传统算法的大,对于这个问题,可以尝试aec 和ns 深度融合,在aec 线形滤波后就做深度学习降噪,然后在做nlp 。

 

欢迎大家加音频算法讨论群:153268894 (作者 zeark)

2018-07-03 15:49:14 qq_20538071 阅读数 1267
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39610 人正在学习 去看看 唐宇迪

http://www.ux.uis.no/~karlsk/dle/

MATLAB 字典学习 工具网站  

Dictionary Learning Tools for Matlab.


https://blog.csdn.net/geekmanong/article/details/50572148 

基于深度学习的图像去噪(论文总结):2009~2015





图像去噪数据集

阅读数 6608

深度学习抑制啸叫

阅读数 178

没有更多推荐了,返回首页