2017-04-05 15:14:55 qq_26566831 阅读数 3534
  • 人工智能深度学习卷积神经网络入门

    "java大数据人工智能培训学校全套教材"系列课程由1000集视频构成,基本就 是1)时下流行的java培训学校主流内部教材,2)和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来,等于上了培训学校一次,完全可以找个java工程师的工作了。   通过学习卷积神经网络概述,为什么引入神经网络来做识别,判断,预测,训练模型,激活函数,sigmoid激活函数,导数和切线,sigmoid激活函数如何求导, 链式法则,梯度,梯度下降法与delta法则,BP(back propagation)误差逆传播神经网络,卷积到底有什么作用?如何做到特征提取,池化的名字由来, dropout,Anaconda Prompt的用法,Jupyter notebook的用法,Spyder的用法, 建立安装Tensorflow所需的Anaconda虚拟环境,如何在Anaconda虚拟环境安装Tensorflow与Keras 概念等让大家对人工智能,卷积神经网络快速入门。 课程特色:专业细致,偏案例,理论强。 课程软件使用:Anaconda,Spyder,Jupyter notebook 重要声明: 1) 如果感觉噪音大,可以选择不用耳机,加音箱或用电脑原声  2) 既然我们的名字叫人工智能深度学习卷积神经网络入门 ,这个课程的特点就在于成本最低的, 让你最快速的,最容易的入门。人工智能深度学习卷积神经网络入门 的最大的难点在于入门入不了,从而最终放弃。俗话说师傅领进门,修行在个人。只要入了门了,后面的事都好办。选课前,务必注意本章的学习目标和内容。想学更多,注意后边的课程。

    102 人正在学习 去看看 马克

Image Pyramids

目标: 使用表征来分解图片,到不同的scale的图片,来提取特征并且消除噪声。

动机: a) 来提取图像的特征,比如多种尺度的边缘
b) 减少冗余和图像建模,可以做:图像编码,图像增强和复原,图像分析和合成。
c) 当前各种深度网络中都用到了这个,比如[1] [2] [3], 用来做object detection.
例子:a)Gaussian Pyramid 
b) Laplacian Pyramid

1.Gaussian Pyramid

原图片表示为
<a href="http://www.codecogs.com/eqnedit.php?latex=I" target="_blank"><img src="http://latex.codecogs.com/gif.latex?I" title="I" /></a>

, 低通的下采样序列图片表示为
<a href="http://www.codecogs.com/eqnedit.php?latex=[\vec{I}_0,&space;\vec{I}_1,&space;...,&space;\vec{I}_N]" target="_blank"><img src="http://latex.codecogs.com/gif.latex?[\vec{I}_0,&space;\vec{I}_1,&space;...,&space;\vec{I}_N]" title="[\vec{I}_0, \vec{I}_1, ..., \vec{I}_N]" /></a>
高斯金字塔采用一个高斯滤波卷积核来卷积这个图像,设卷积核为h, 同时对卷积后的图像进行下采样,1/2倍,于是可以用下面矩阵形式表达:

反复进行k次之后可以得到如下所示:

2.Laplacian Pyramid

每一个Laplacian Pyramid的层都是相邻两个Gaussian Pyramid的差值
<a href="http://www.codecogs.com/eqnedit.php?latex=\vec{b}_k&space;=&space;\vec{I}_k&space;-&space;E\vec{I}_{k+1}" target="_blank"><img src="http://latex.codecogs.com/gif.latex?\vec{b}_k&space;=&space;\vec{I}_k&space;-&space;E\vec{I}_{k+1}" title="\vec{b}_k = \vec{I}_k - E\vec{I}_{k+1}" /></a>
其中
<a href="http://www.codecogs.com/eqnedit.php?latex=E\vec{I}_{k+1}" target="_blank"><img src="http://latex.codecogs.com/gif.latex?E\vec{I}_{k+1}" title="E\vec{I}_{k+1}" /></a>
是一个上采样的平滑之后的
<a href="http://www.codecogs.com/eqnedit.php?latex=\vec{I}_{k+1}" target="_blank"><img src="http://latex.codecogs.com/gif.latex?\vec{I}_{k+1}" title="\vec{I}_{k+1}" /></a>
所以 
<a href="http://www.codecogs.com/eqnedit.php?latex=\vec{I}_{k+1}" target="_blank"><img src="http://latex.codecogs.com/gif.latex?\vec{I}_{k+1}" title="\vec{I}_{k+1}" /></a>
<a href="http://www.codecogs.com/eqnedit.php?latex=\vec{I}_{k}" target="_blank"><img src="http://latex.codecogs.com/gif.latex?\vec{I}_{k}" title="\vec{I}_{k}" /></a>
的维度是相同的。写成矩阵形式为如下:

通常这两个fileter g 和 h 是相同的.
L层的Laplacian pyramid 表示为
<a href="http://www.codecogs.com/eqnedit.php?latex=[\vec{b}_{0},&space;\vec{b}_1,&space;...,&space;\vec{b}_{L-1},&space;\vec{I}_L]" target="_blank"><img src="http://latex.codecogs.com/gif.latex?[\vec{b}_{0},&space;\vec{b}_1,&space;...,&space;\vec{b}_{L-1},&space;\vec{I}_L]" title="[\vec{b}_{0}, \vec{b}_1, ..., \vec{b}_{L-1}, \vec{I}_L]" /></a>
这样就得到了Laplacian pyramid

但是构造出这种Pyramid的意义何在呢?在传统的方法中,要让两个图片合成,通常会让两个图片的laplacian pyramid拼接在一起(相当于把高通信号融合),再任意选择一个I_L利用Laplacian pyramid反向reconstruct到原图的size, 这样合成的效果就会好很多。这就是把图像的特征分成multi-scale的角度来操作。



2019-12-26 23:37:16 qq_40873545 阅读数 21
  • 人工智能深度学习卷积神经网络入门

    "java大数据人工智能培训学校全套教材"系列课程由1000集视频构成,基本就 是1)时下流行的java培训学校主流内部教材,2)和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来,等于上了培训学校一次,完全可以找个java工程师的工作了。   通过学习卷积神经网络概述,为什么引入神经网络来做识别,判断,预测,训练模型,激活函数,sigmoid激活函数,导数和切线,sigmoid激活函数如何求导, 链式法则,梯度,梯度下降法与delta法则,BP(back propagation)误差逆传播神经网络,卷积到底有什么作用?如何做到特征提取,池化的名字由来, dropout,Anaconda Prompt的用法,Jupyter notebook的用法,Spyder的用法, 建立安装Tensorflow所需的Anaconda虚拟环境,如何在Anaconda虚拟环境安装Tensorflow与Keras 概念等让大家对人工智能,卷积神经网络快速入门。 课程特色:专业细致,偏案例,理论强。 课程软件使用:Anaconda,Spyder,Jupyter notebook 重要声明: 1) 如果感觉噪音大,可以选择不用耳机,加音箱或用电脑原声  2) 既然我们的名字叫人工智能深度学习卷积神经网络入门 ,这个课程的特点就在于成本最低的, 让你最快速的,最容易的入门。人工智能深度学习卷积神经网络入门 的最大的难点在于入门入不了,从而最终放弃。俗话说师傅领进门,修行在个人。只要入了门了,后面的事都好办。选课前,务必注意本章的学习目标和内容。想学更多,注意后边的课程。

    102 人正在学习 去看看 马克

语音识别的基本框图
将语音片段输入转化为文本输出的过程就是语音识别。一个完整的语音识别系统通常包括信息处理和特征提取、声学模型、语言模型和解码搜索四个模块。语言识别系统如下图所示:

图一 语音识别系统的架构
信号处理和特征提取可以视作音频数据的预处理部分,以音频信号为输入,通过消除噪音和信道失真对语音进行增强,将语音信号从时域转换为频域,并为后面的声学模型提取合适的特征。声学模型将声学和发音学的知识进行综合,以特征提取为输入,接下来声学模型会将预处理部分得到的特征向量转化为声学模型得分。同时,语言模型,也就是类似 n-gram 和 RNN 等模型,会得到一个语言模型得分,最后解码搜索阶段会针对声学模型得分和语言模型得分进行综合,将得分最高的词序列作为最后的识别结构。

图二 统计语音识别框图
其中,声学模型为隐马尔科夫模型,Lexcion表示词典,语言模型为n-gram模型。
统计语音识别的基本公式:

图三
其中,X是声学特征向量序列(观察),W表示单词序列,W表示最可能的单词序列。已知观测到的声学X,使用声学模型,语言模型和词汇表来获得最有可能的文字序列W
用贝叶斯公式分析

图四
信息处理和特征提取
因为声波是一种信号,也可称为语音信号。原始的音频信号由人类发声器官和声道共同作用下产生的,属于模拟信号。为了对语音信号进行预处理和特征提取,需要进行模数转换。即采样,将模拟信号转换为数字的形式:

图五
语音引起空气振动,是一种声压波,用麦克风进行录制。经过麦克风录制后的语音信号,其中,采样频率(Fs = 1/Ts)

图六
数字化后,下一步的工作是提取语音信号的声学特征:

图七
采样后的信号通过前处理后进行声学特征向量提取,不同的特征向量表征着不同的声学意义,从音频信号中选择有效的音频表征的过程就是语音特征提取。常用的语音特征包括线性预测倒谱系数(LPCC)和梅尔频率倒谱系数(MFCC),其中 LPCC 特征是根据声管模型建立的特征参数,是对声道响应的特征表征。而 MFCC 特征是基于人的听觉特征提取出来的特征参数,是对人耳听觉的特征表征。所以,在对音频信号进行特征提取时通常使用 MFCC 特征。

图八 基于MFCC的前处理
MFCC 主要由预加重、分帧、加窗、快速傅里叶变换(FFT)、梅尔滤波器组、离散余弦变换几部分组成,其中FFT与梅尔滤波器组是 MFCC 最重要的部分。一个完整的 MFCC 算法包括快速傅里叶变换(FFT);梅尔频率尺度转换;配置三角形滤波器组并计算每一个三角形滤波器对信号幅度谱滤波后的输出;对所有滤波器输出作对数运算,再进一步做离散余弦变换(DTC),即可得到MFCC。
传统的声学模型
在经过语音特征提取之后,将音频特征进行进一步的处理,处理的目的是找到语音来自于某个声学符号的概率。这种通过音频特征找概率的模型就称之为声学模型。声学模型的任务是计算P(W|X),即给模型产生语音波形的概率。声学模型是语音识别系统的重要组成部分,它占据着语音识别大部分的计算开销,决定着语音识别系统的性能。传统的语音识别系统普遍采用的是基于GMM-HMM的声学模型,其中GMM用于对语音声学特征的分布进行建模,HMM则用于对语音信号的时序性进行建模。

图九
在深度学习兴起之前,混合高斯模型(GMM)和隐马尔可夫模型(HMM)一直作为非常有效的声学模型而被广泛使用,作为传统声学模型的代表,我将介绍 GMM 和 HMM 模型。
所谓高斯混合模型(GMM),就是用混合的高斯随机变量的分布来拟合训练数据时形成的模型。原始的音频数据经过短时傅里叶变换或者取倒谱后会变成特征序列,在忽略时序信息的条件下,这种序列非常适用于使用高斯混合模型(GMM)进行建模。在实际的 高斯混合模型训练中,通常采用 EM 算法来进行迭代优化,以求取高斯混合模型中的加权系数及各个高斯函数的均值与方差等参数。高斯混合模型作为一种基于傅里叶频谱语音特征的统计模型,在传统语音识别系统的声学模型中发挥了重要的作用。它的劣势在于不能考虑语音顺序信息,高斯混合分布也很难拟合非线性或近似非线性的数据特征。所以,当状态这个概念引入到声学模型的时候,就有了一种新的声学模型,隐马尔可夫模型(HMM)。
隐马尔可夫模型(HMM)的核心是状态,状态是一个随机变量,通常取离散值,马尔可夫链的每一个状态上都增加了不确定性或者统计分布使得 HMM 成为了一种双随机过程,当一个马尔可夫过程含有隐含未知参数时,这样的模型就称之为隐马尔可夫模型。隐马尔可夫模型(HMM) 的主要内容包括参数特征、仿真方法、参数的极大似然估计、EM估计算法以及维特比状态解码算法等细节知识。
深度神经网络
深度神经网络(Deep Neural Networks,DNN)与RNN循环神经网络、CNN卷积神经网络的区别就是DNN特指全连接的神经元结构,并不包含卷积单元或是时间上的关联。
语音识别中的DNN-HMN混合系统
最早用于声学建模的神经网络就是最普通的深度神经网络,GMM 等传统的声学模型存在音频信号表征的低效问题,但 DNN 可以在一定程度上解决这种低效表征。但在实际建模时,由于音频信号是时序连续信号,DNN 则是需要固定大小的输入,所以早期使用 DNN 来搭建声学模型时需要一种能够处理语音信号长度变化的方法。一种将 HMM 模型与 DNN 模型结合起来的 DNN-HMM 混合系统颇具有效性。

图十 DNN-HMM框架
在上图这个框架中,HMM 用来描述语音信号的动态变化,DNN 则是用来估计观察特征的概率。在给定声学观察特征的条件下,我们可以用 DNN 的每个输出节点来估计 HMM 某个状态的后验概率。由于 DNN-HMM 训练成本不高而且相对较高的识别概率,所以即使是到现在在语音识别领域仍然是较为常用的声学模型。
除了 DNN 之外,经常用于计算机视觉的 CNN 也可以拿来构建语音声学模型。当然,CNN 也是经常会与其他模型结合使用。CNN 用于声学模型方面主要包括 TDNN、CNN-DNN 框架、DFCNN、CNN-LSTM-DNN(CLDNN)框架、CNN-DNN-LSTM(CDL)框架、逐层语境扩展和注意 CNN 框架(LACE)等等。这么多基于 CNN 的混合模型框架都在声学模型上取得了很多成果。
端到端的语音识别系统简介
无论是 GMM 和 HMM 这样的传统声学模型,还是基于深度学习的声学模型,它们对于整个语音识别系统都是分开优化的,但是语音识别本质上是一个序列识别问题,如果模型中的所有组件都能够联合优化,很可能会获取更好的识别准确度,所以需要一种端到端的语音识别处理系统。而解码是基于训练好的声学模型,并结合词典、语言模型,对输入的语音帧序列识别的过程即为解码的过程。传统的解码是将声学模型、词典以及语言模型编译成一个网络。解码就是在这个动态网络空间中,基于最大后验概率,选择一条或多条最优路径作为识别结果(最优的输出字符序列)。
语音识别的基本框图
将语音片段输入转化为文本输出的过程就是语音识别。一个完整的语音识别系统通常包括信息处理和特征提取、声学模型、语言模型和解码搜索四个模块。语言识别系统如下图所示:

图一 语音识别系统的架构
信号处理和特征提取可以视作音频数据的预处理部分,以音频信号为输入,通过消除噪音和信道失真对语音进行增强,将语音信号从时域转换为频域,并为后面的声学模型提取合适的特征。声学模型将声学和发音学的知识进行综合,以特征提取为输入,接下来声学模型会将预处理部分得到的特征向量转化为声学模型得分。同时,语言模型,也就是类似 n-gram 和 RNN 等模型,会得到一个语言模型得分,最后解码搜索阶段会针对声学模型得分和语言模型得分进行综合,将得分最高的词序列作为最后的识别结构。

图二 统计语音识别框图
其中,声学模型为隐马尔科夫模型,Lexcion表示词典,语言模型为n-gram模型。
统计语音识别的基本公式:

图三
其中,X是声学特征向量序列(观察),W表示单词序列,W表示最可能的单词序列。已知观测到的声学X,使用声学模型,语言模型和词汇表来获得最有可能的文字序列W
用贝叶斯公式分析

图四
信息处理和特征提取
因为声波是一种信号,也可称为语音信号。原始的音频信号由人类发声器官和声道共同作用下产生的,属于模拟信号。为了对语音信号进行预处理和特征提取,需要进行模数转换。即采样,将模拟信号转换为数字的形式:

图五
语音引起空气振动,是一种声压波,用麦克风进行录制。经过麦克风录制后的语音信号,其中,采样频率(Fs = 1/Ts)

图六
数字化后,下一步的工作是提取语音信号的声学特征:

图七
采样后的信号通过前处理后进行声学特征向量提取,不同的特征向量表征着不同的声学意义,从音频信号中选择有效的音频表征的过程就是语音特征提取。常用的语音特征包括线性预测倒谱系数(LPCC)和梅尔频率倒谱系数(MFCC),其中 LPCC 特征是根据声管模型建立的特征参数,是对声道响应的特征表征。而 MFCC 特征是基于人的听觉特征提取出来的特征参数,是对人耳听觉的特征表征。所以,在对音频信号进行特征提取时通常使用 MFCC 特征。

图八 基于MFCC的前处理
MFCC 主要由预加重、分帧、加窗、快速傅里叶变换(FFT)、梅尔滤波器组、离散余弦变换几部分组成,其中FFT与梅尔滤波器组是 MFCC 最重要的部分。一个完整的 MFCC 算法包括快速傅里叶变换(FFT);梅尔频率尺度转换;配置三角形滤波器组并计算每一个三角形滤波器对信号幅度谱滤波后的输出;对所有滤波器输出作对数运算,再进一步做离散余弦变换(DTC),即可得到MFCC。
传统的声学模型
在经过语音特征提取之后,将音频特征进行进一步的处理,处理的目的是找到语音来自于某个声学符号的概率。这种通过音频特征找概率的模型就称之为声学模型。声学模型的任务是计算P(W|X),即给模型产生语音波形的概率。声学模型是语音识别系统的重要组成部分,它占据着语音识别大部分的计算开销,决定着语音识别系统的性能。传统的语音识别系统普遍采用的是基于GMM-HMM的声学模型,其中GMM用于对语音声学特征的分布进行建模,HMM则用于对语音信号的时序性进行建模。

图九
在深度学习兴起之前,混合高斯模型(GMM)和隐马尔可夫模型(HMM)一直作为非常有效的声学模型而被广泛使用,作为传统声学模型的代表,我将介绍 GMM 和 HMM 模型。
所谓高斯混合模型(GMM),就是用混合的高斯随机变量的分布来拟合训练数据时形成的模型。原始的音频数据经过短时傅里叶变换或者取倒谱后会变成特征序列,在忽略时序信息的条件下,这种序列非常适用于使用高斯混合模型(GMM)进行建模。在实际的 高斯混合模型训练中,通常采用 EM 算法来进行迭代优化,以求取高斯混合模型中的加权系数及各个高斯函数的均值与方差等参数。高斯混合模型作为一种基于傅里叶频谱语音特征的统计模型,在传统语音识别系统的声学模型中发挥了重要的作用。它的劣势在于不能考虑语音顺序信息,高斯混合分布也很难拟合非线性或近似非线性的数据特征。所以,当状态这个概念引入到声学模型的时候,就有了一种新的声学模型,隐马尔可夫模型(HMM)。
隐马尔可夫模型(HMM)的核心是状态,状态是一个随机变量,通常取离散值,马尔可夫链的每一个状态上都增加了不确定性或者统计分布使得 HMM 成为了一种双随机过程,当一个马尔可夫过程含有隐含未知参数时,这样的模型就称之为隐马尔可夫模型。隐马尔可夫模型(HMM) 的主要内容包括参数特征、仿真方法、参数的极大似然估计、EM估计算法以及维特比状态解码算法等细节知识。
深度神经网络
深度神经网络(Deep Neural Networks,DNN)与RNN循环神经网络、CNN卷积神经网络的区别就是DNN特指全连接的神经元结构,并不包含卷积单元或是时间上的关联。
语音识别中的DNN-HMN混合系统
最早用于声学建模的神经网络就是最普通的深度神经网络,GMM 等传统的声学模型存在音频信号表征的低效问题,但 DNN 可以在一定程度上解决这种低效表征。但在实际建模时,由于音频信号是时序连续信号,DNN 则是需要固定大小的输入,所以早期使用 DNN 来搭建声学模型时需要一种能够处理语音信号长度变化的方法。一种将 HMM 模型与 DNN 模型结合起来的 DNN-HMM 混合系统颇具有效性。

图十 DNN-HMM框架
在上图这个框架中,HMM 用来描述语音信号的动态变化,DNN 则是用来估计观察特征的概率。在给定声学观察特征的条件下,我们可以用 DNN 的每个输出节点来估计 HMM 某个状态的后验概率。由于 DNN-HMM 训练成本不高而且相对较高的识别概率,所以即使是到现在在语音识别领域仍然是较为常用的声学模型。
除了 DNN 之外,经常用于计算机视觉的 CNN 也可以拿来构建语音声学模型。当然, 也是经常会与其他模型结合使用。CNN 用于声学模型方面主要包括 TDNN、CNN-DNN 框架、DFCNN、CNN-LSTM-DNN(CLDNN)框架、CNN-DNN-LSTM(CDL)框架、逐层语境扩展和注 CNN 框架(LACE)等等。这么多基于 CNN 的混合模型框架都在声学模

上取得了很多成果。
端到端的语音识别系统简介
无论是 GMM 和 HMM 这样的传统声学模型,还是基于深度学习的声学模型,它们对于整个语音识别系统都是分开优化的,但是语音识别本质上是一个序列识别问题,如果模型中的所有组件都能够联合优化,很可能会获取更好的识别准确度,所以需要一种端到端的语音识别处理系统。而解码是基于训练好的声学模型,并结合词典、语言模型,对输入的语音帧序列识别的过程即为解码的过程。传统的解码是将声学模型、词典以及语言模型编译成一个网络。解码就是在这个动态网络空间中,基于最大后验概率,选择一条或多条最优路径作为识别结果(最优的输出字符序列)。

2016-03-30 16:26:03 happytofly 阅读数 1245
  • 人工智能深度学习卷积神经网络入门

    "java大数据人工智能培训学校全套教材"系列课程由1000集视频构成,基本就 是1)时下流行的java培训学校主流内部教材,2)和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来,等于上了培训学校一次,完全可以找个java工程师的工作了。   通过学习卷积神经网络概述,为什么引入神经网络来做识别,判断,预测,训练模型,激活函数,sigmoid激活函数,导数和切线,sigmoid激活函数如何求导, 链式法则,梯度,梯度下降法与delta法则,BP(back propagation)误差逆传播神经网络,卷积到底有什么作用?如何做到特征提取,池化的名字由来, dropout,Anaconda Prompt的用法,Jupyter notebook的用法,Spyder的用法, 建立安装Tensorflow所需的Anaconda虚拟环境,如何在Anaconda虚拟环境安装Tensorflow与Keras 概念等让大家对人工智能,卷积神经网络快速入门。 课程特色:专业细致,偏案例,理论强。 课程软件使用:Anaconda,Spyder,Jupyter notebook 重要声明: 1) 如果感觉噪音大,可以选择不用耳机,加音箱或用电脑原声  2) 既然我们的名字叫人工智能深度学习卷积神经网络入门 ,这个课程的特点就在于成本最低的, 让你最快速的,最容易的入门。人工智能深度学习卷积神经网络入门 的最大的难点在于入门入不了,从而最终放弃。俗话说师傅领进门,修行在个人。只要入了门了,后面的事都好办。选课前,务必注意本章的学习目标和内容。想学更多,注意后边的课程。

    102 人正在学习 去看看 马克

环形五麦克风阵列360°全平面拾音角度,远场拾音距离可达5米。

功能特性包括:

  • 二维空间拾音
  • 抗噪能力增强
  • 远距拾取音频
  • 支持连续唤醒
  • 支持回声消除
  • 支持语音打断

噪声、混响、干扰和回声是声学信号处理需要解决的问题。讯飞采用声源定位技术,利用麦克风阵列用基于TDOA(Time Difference Of Arrival,到达时间差)计算声源距离阵列的角度和距离,实现对目标声源的跟踪。再通过波束形成技术,即在期望方向上有效地形成一个波束,仅拾取波束的信号,从而达到同时提取声源和抑制噪声的目的。

图片描述

图片描述

原文:http://www.pieeco.com/zb/keda.html?from=groupmessage&isappinstalled=0

2018-09-09 15:08:06 qq_16307369 阅读数 100
  • 人工智能深度学习卷积神经网络入门

    "java大数据人工智能培训学校全套教材"系列课程由1000集视频构成,基本就 是1)时下流行的java培训学校主流内部教材,2)和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来,等于上了培训学校一次,完全可以找个java工程师的工作了。   通过学习卷积神经网络概述,为什么引入神经网络来做识别,判断,预测,训练模型,激活函数,sigmoid激活函数,导数和切线,sigmoid激活函数如何求导, 链式法则,梯度,梯度下降法与delta法则,BP(back propagation)误差逆传播神经网络,卷积到底有什么作用?如何做到特征提取,池化的名字由来, dropout,Anaconda Prompt的用法,Jupyter notebook的用法,Spyder的用法, 建立安装Tensorflow所需的Anaconda虚拟环境,如何在Anaconda虚拟环境安装Tensorflow与Keras 概念等让大家对人工智能,卷积神经网络快速入门。 课程特色:专业细致,偏案例,理论强。 课程软件使用:Anaconda,Spyder,Jupyter notebook 重要声明: 1) 如果感觉噪音大,可以选择不用耳机,加音箱或用电脑原声  2) 既然我们的名字叫人工智能深度学习卷积神经网络入门 ,这个课程的特点就在于成本最低的, 让你最快速的,最容易的入门。人工智能深度学习卷积神经网络入门 的最大的难点在于入门入不了,从而最终放弃。俗话说师傅领进门,修行在个人。只要入了门了,后面的事都好办。选课前,务必注意本章的学习目标和内容。想学更多,注意后边的课程。

    102 人正在学习 去看看 马克

原创声明:本文为犇丿灬犇原创文章未经博主允许不得转载。犇丿灬犇博客地址 [犇丿灬犇博客]

主成分分析(Principal components analysis,以下简称PCA)是一种简单的机器学习算法。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。可以通过线性代数的方法进行推导。
##推导过程
假设在Rn\mathbb R^n空间有mm个点{x(1),x(2),...x(m}\{x^{(1)},x^{(2)},...x^{(m}\},我们希望对这些点进行有损压缩。这可以使我们使用更少的内存来存储信息,但我们希望精度损失尽可能少。
主成分分析是一种编码方法,即用函数f(x)=cf(\mathbf x)=\mathbf c,其中xRn\mathbf x\in \mathbb R^ncRm\mathbf c\in \mathbb R^m,m&lt;nm&lt;n,主成分分析选择解码函数为g(c)=Dcg(\mathbf c)=\mathbf {Dc},其中DRn×m\mathbf D\in\mathbb R^{n\times m},其列向量彼此正交且为单位向量,为得到一个最优解c\mathbf c^*,需要使cx\mathbf c与\mathbf x的距离最小,即:
c=argmincxg(c)22\mathbf c^*= \arg\min_{\mathbf c} \|\mathbf x-g(\mathbf c)\|_2^2
也即:
c=argminc (xg(c))T(xg(c))\mathbf c^*= \arg\min_{\mathbf c} \ (\mathbf x-g(\mathbf c))^T(\mathbf x-g(\mathbf c))
由于xTx\mathbf x^T\mathbf x不依赖于c\mathbf c因此
c=argminc (2xTg(c)+g(c)Tg(c))\mathbf c^*= \arg\min_{\mathbf c} \ (-2\mathbf x^Tg(\mathbf c)+g(\mathbf c)^Tg(\mathbf c))
更进一步带入g(c)=Dcg(\mathbf c)=\mathbf {Dc}

c=argminc (2xTDc+cTIlc)\mathbf c^*= \arg\min_{\mathbf c} \ (-2\mathbf x^T\mathbf {Dc}+\mathbf c^T\mathbf I_l \mathbf c)

根据梯度下降法取$ (-2\mathbf x^T\mathbf {Dc}+\mathbf c^T\mathbf I_l \mathbf c)$的梯度等于零
c(2xTDc+cTIlc)=0\bigtriangledown_{\mathbf c} (-2\mathbf x^T\mathbf {Dc}+\mathbf c^T\mathbf I_l \mathbf c)=0
得:
c=DTx\mathbf c=\mathbf D^T \mathbf x
因此
xg(f(x))=DDTx=r(x)\mathbf x\approx g(f(\mathbf x))=\mathbf{DD^Tx}=r(\mathbf x)
接下来分析如何挑选D\mathbf D,要挑选最优的D\mathbf D就必须使所有的点重构值与真实值之间距离和最小,即:
D=argminDi,j(xj(i)r(x(i))j)2 ,DTD=Il\mathbf D^*= \arg\min_{\mathbf D}\sqrt{\sum_{i,j}( x_j^{(i)}-r(\mathbf x^{(i)})_j)^2}\ ,这里\mathbf D^T\mathbf D=\mathbf I_l
为简化运算以寻求D\mathbf D^*的算法,取l=1l=1此时DD变为一个列向量d\bf d

整理得:d=argmindix(i)ddTx(i))2 ,dTd=1\mathbf d^*= \arg\min_{\mathbf d}\sum_{i}\|\mathbf x^{(i)}-\mathbf {dd^Tx}^{(i)})\|^2\ ,这里\mathbf d^T\mathbf d=1
将求和形式写成矩阵形式:
d=argmindXXddT2 ,dTd=1\mathbf d^*= \arg\min_{\mathbf d}\|\mathbf X-\mathbf {Xdd^T}\|^2\ ,这里\mathbf d^T\mathbf d=1
不考虑dTd=1\mathbf d^T\mathbf d=1
得:
\begin{equation}
\begin{split}
\mathbf d^&= \arg\min_{\mathbf d}|\mathbf X-\mathbf {XddT}|2\
&= \arg\min_{\mathbf d} \ Tr((\mathbf X-\mathbf {XddT})T(\mathbf X-\mathbf {Xdd^T}))
\end{split}
\end{equation}
整理(除去与d\bf d无关项)得:
\begin{equation}
\begin{split}
\mathbf d^
&= \arg\min_{\mathbf d}(-2Tr(\mathbf{XTXddT})+Tr(\mathbf{XTXddTdd^T}))
\end{split}
\end{equation}

考虑dTd=1\mathbf d^T\mathbf d=1
\begin{equation}
\begin{split}
\mathbf d^*&= \arg\min_{\mathbf d}(-Tr(\mathbf{XTXddT})) \
&=\arg\max_{\mathbf d}(Tr(\mathbf{XTXddT}))\
&=\arg\max_{\mathbf d}(Tr(\mathbf{dTXTXd}))
\end{split}
\end{equation}
上式可以通过特征分解求解,最优的d\bf dXTX\bf{X^TX}的最大特征值对应的特征向量。此为l=1l=1时的情况,更一般的,主成分分析可以取ll个特征值对应的特征向量,这可以用数学归纳法证明。
##sklearn中主成分分析法的使用

class sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False)

###参数含义
n_components

意义:PCA算法中所要保留的主成分个数n,也即保留下来的特征个数n
类型:int 或者 string,缺省时默认为None,所有成分被保留。
赋值为int,比如n_components=1,将把原始数据降到一个维度。
赋值为string,比如n_components=‘mle’,将自动选取特征个数n,使得满足所要求的方差百分比。

copy:

类型:bool,True或者False,缺省时默认为True。
意义:表示是否在运行算法时,将原始训练数据复制一份。
若为True,则运行PCA算法后,原始训练数据的值不会有任何改变,因为是在原始数据的副本上进行运算;
若为False,则运行PCA算法后,原始训练数据的值会改,因为是在原始数据上进行降维计算。

whiten:

类型:bool,缺省时默认为False
意义:白化,使得每个特征具有相同的方差。
###类对象
components_ :返回具有最大方差的成分。
explained_variance_ratio_:返回 所保留的n个成分各自的方差百分比。
n_components_:返回所保留的成分个数n。
mean_:
noise_variance_:
###类方法
fit(X,y=None)
fit()可以说是scikit-learn中通用的方法,每个需要训练的算法都会有fit()方法,它其实就是算法中的“训练”这一步骤。因为PCA是无监督学习算法,此处y自然等于None。
fit(X),表示用数据X来训练PCA模型。
函数返回值:调用fit方法的对象本身。比如pca.fit(X),表示用X对pca这个对象进行训练。

fit_transform(X)

用X来训练PCA模型,同时返回降维后的数据。
newX=pca.fit_transform(X),newX就是降维后的数据。

inverse_transform()

将降维后的数据转换成原始数据,X=pca.inverse_transform(newX)

transform(X)

将数据X转换成降维后的数据。当模型训练好后,对于新输入的数据,都可以用transform方法来降维。

此外,还有get_covariance()、get_precision()、get_params(deep=True)、score(X, y=None)等方法。

  1. https://www.cnblogs.com/eczhou/p/5433856.html
  2. [美]伊恩·古德费洛(Lan Goodfellow)[加]约书亚·本吉奥(Yoshua Bengio)[加]亚伦·库维尔(Aaron Courville)深度学习【M】
2019-12-19 18:35:26 oHangZi 阅读数 45
  • 人工智能深度学习卷积神经网络入门

    "java大数据人工智能培训学校全套教材"系列课程由1000集视频构成,基本就 是1)时下流行的java培训学校主流内部教材,2)和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来,等于上了培训学校一次,完全可以找个java工程师的工作了。   通过学习卷积神经网络概述,为什么引入神经网络来做识别,判断,预测,训练模型,激活函数,sigmoid激活函数,导数和切线,sigmoid激活函数如何求导, 链式法则,梯度,梯度下降法与delta法则,BP(back propagation)误差逆传播神经网络,卷积到底有什么作用?如何做到特征提取,池化的名字由来, dropout,Anaconda Prompt的用法,Jupyter notebook的用法,Spyder的用法, 建立安装Tensorflow所需的Anaconda虚拟环境,如何在Anaconda虚拟环境安装Tensorflow与Keras 概念等让大家对人工智能,卷积神经网络快速入门。 课程特色:专业细致,偏案例,理论强。 课程软件使用:Anaconda,Spyder,Jupyter notebook 重要声明: 1) 如果感觉噪音大,可以选择不用耳机,加音箱或用电脑原声  2) 既然我们的名字叫人工智能深度学习卷积神经网络入门 ,这个课程的特点就在于成本最低的, 让你最快速的,最容易的入门。人工智能深度学习卷积神经网络入门 的最大的难点在于入门入不了,从而最终放弃。俗话说师傅领进门,修行在个人。只要入了门了,后面的事都好办。选课前,务必注意本章的学习目标和内容。想学更多,注意后边的课程。

    102 人正在学习 去看看 马克

深度残差收缩网络是深度残差网络的一种改进,针对的是数据中含有噪声或冗余信息的情况,将软阈值化引入深度残差网络的内部,通过消除冗余特征,增强高层特征的判别性。以下对部分论文原文进行了翻译,仅以学习为目的。

【题目】Deep Residual Shrinkage Networks for Fault Diagnosis
【翻译】基于深度残差收缩网络的故障诊断

Abstract (摘要)

Abstract: This paper develops new deep learning methods, namely, deep residual shrinkage networks, to improve the feature learning ability from highly noised vibration signals and achieve a high fault diagnosing accuracy. Soft thresholding is inserted as nonlinear transformation layers into the deep architectures to eliminate unimportant features. Moreover, considering that it is generally challenging to set proper values for the thresholds, the developed deep residual shrinkage networks integrate a few specialized neural networks as trainable modules to automatically determine the thresholds, so that professional expertise on signal processing is not required. The efficacy of the developed methods is validated through experiments with various types of noise.

摘要:本文提出了一种新的深度学习方法,名为深度残差收缩网络,来提高深度学习方法从强噪声信号中学习特征的能力,并且取得较高的故障诊断准确率。软阈值化作为非线性层,嵌入到深度神经网络之中,以消除不重要的特征。更进一步地,考虑到软阈值化中的阈值是难以设定的,本文所提出的深度残差收缩网络,采用了一个子网络,来自动地设置这些阈值,从而回避了信号处理领域的专业知识。该方法的有效性通过多种不同噪声下的实验进行了验证。

【关键词】Deep learning, deep residual networks, fault diagnosis, soft thresholding, vibration signal.
【翻译】深度学习,深度残差网络,故障诊断,软阈值化,振动信号。

I. Introduction (引言)

在这里插入图片描述
【翻译】旋转机械在制造业、电力供应、运输业和航天工业都是很重要的。然而,因为这些旋转机械工作在严酷的工作环境下,其机械传动系统不可避免地会遭遇一些故障,并且会导致事故和经济损失。准确的机械传动系统故障诊断,能够用来安排维修计划、延长服役寿命和确保人身安全。

在这里插入图片描述
【翻译】现有的机械传动系统故障诊断算法可分为两类,一类是基于信号分析的方法,另一类是基于机器学习的方法。通常,基于信号分析的故障诊断方法通过检测故障相关的振动成分或者特征频率,来确定故障类型。然而,对于大型旋转机械,其振动信号往往是由许多不同的振动信号混叠而成的,包括齿轮的啮合频率、轴和轴承的旋转频率等。更重要地,当故障处于早期阶段的时候,故障相关的振动成分往往是比较微弱的,容易被其他的振动成分和谐波所淹没。总而言之,传统基于信号分析的故障诊断方法经常难以检测到故障相关的振动成分和特征频率。

在这里插入图片描述
【翻译】从另一方面来讲,基于机器学习的故障诊断方法,在诊断故障的时候不需要确定故障相关的成分和特征频率。首先,一组统计特征(例如峭度、均方根值、能量、熵)能够被提取来表征健康状态;然后一个分类器(例如多分类支持向量机、单隐含层的神经网络、朴素贝叶斯分类器)能够被训练来诊断故障。然而,所提取的统计特征经常是判别性不足的,难以区分故障,从而导致了低的诊断准确率。因此,寻找一个判别性强的特征集,是基于机器学习的故障诊断中一个长期的挑战。

在这里插入图片描述
【翻译】近年来,深度学习方法,即有多个非线性映射层的机器学习方法,成为了基于振动信号进行故障诊断的有力工具。深度学习方法能够自动地从原始振动数据中学习特征,以取代传统的统计特征,来获得高的诊断准确率。例如,Ince等人采用一维卷积神经网络,从电流信号中学习特征,应用于实时电机故障诊断。Shao等人采用一种卷积深度置信网络,应用于电机轴承的故障诊断。但是,一个问题是,误差函数的梯度,在逐层反向传播的过程中,逐渐变得不准确。因此,在输入层附近的一些层的参数不能够被很好地优化。

在这里插入图片描述
【翻译】深度残差网络是卷积神经网络的一个新颖的变种,采用了恒等路径来减轻参数优化的难度。在深度残差网络中,梯度不仅逐层地反向传播,而且通过恒等路径直接传递到之前的层。由于优越的参数优化能力,深度残差网络在最近的一些研究中,已经被应用于故障诊断。例如,Ma等人将一种集成了解调时频特征的深度残差网络,应用于不稳定工况下的行星齿轮箱故障诊断。Zhao等人使用深度残差网络,来融合多组小波包系数,应用于故障诊断。相较于普通的卷积神经网络,深度残差网络的优势已经在这些论文中得到了验证。

在这里插入图片描述
【翻译】从大型旋转机械(例如风电、机床、重型卡车)所采集的振动信号,经常包含着大量的噪声。在处理强噪声振动信号的时候,深度残差网络的特征学习能力经常会降低。深度残差网络中的卷积核,其实就是滤波器,在噪声的干扰下,可能不能检测到故障特征。在这种情况下,在输出层所学习到的高层特征,就会判别性不足,不能够准确地进行故障分类。因此,开发新的深度学习方法,应用于强噪声下旋转机械的故障诊断,是十分必要的。

在这里插入图片描述
【翻译】本文提出了两种深度残差收缩网络,即通道间共享阈值的深度残差收缩网络、通道间不同阈值的深度残差收缩网络,来提高从强噪声振动信号中学习特征的能力,最终提高故障诊断准确率。本文的主要贡献总结如下:

(1) 软阈值化(也就是一种流行的收缩方程)作为非线性层,被嵌入深度结构之中,以有效地消除噪声相关的特征。

(2) 采用特殊设计的子网络,来自适应地设置阈值,从而每段振动信号都有着自己独特的一组阈值。

(3) 在软阈值化中,共考虑了两种阈值,也就是通道间共享的阈值、通道间不同的阈值。这也是所提出方法名称的由来。

在这里插入图片描述
【翻译】本文的剩余部分安排如下。第二部分简要地回顾了经典的深度残差网络,并且详细阐述了所提出的深度残差收缩网络。第三部分进行了实验对比。第四部分进行了总结。

II. Theory of the developed DRSNs (深度残差收缩网络的理论)

在这里插入图片描述
【翻译】如第一部分所述,作为一种潜在的、能够从强噪声振动信号中学习判别性特征的方法,本研究考虑了深度学习和软阈值化的集成。相对应地,本部分注重于开发深度残差网络的两个改进的变种,即通道间共享阈值的深度残差收缩网络、通道间不同阈值的深度残差收缩网络。对相关理论背景和必要的想法进行了详细介绍。

A. Basic Components (基本组成)

在这里插入图片描述
【翻译】不管是深度残差网络,还是所提出的深度残差收缩网络,都有一些基础的组成,是和传统卷积神经网络相同的,包括卷积层、整流线性单元激活函数、批标准化、全局均值池化、交叉熵误差函数。这些基础组成的概念在下面进行了介绍。

在这里插入图片描述
【翻译】卷积层是使得卷积神经网络不同于传统全连接神经网络的关键。卷积层能够大量减少所需要训练的参数的数量。这是通过用卷积,取代乘法矩阵,来实现的。卷积核中的参数,比全连接层中的权重,少得多。更进一步地,当参数较少时,深度学习不容易遭遇过拟合,从而能够在测试集上获得较高的准确率。输入特征图和卷积核之间的卷积运算,附带着加上偏置,能够用公式表示为…。卷积可以通过重复一定次数,来获得输出特征图。

在这里插入图片描述
【翻译】图1展示了卷积的过程。如图1(a)-(b)所示,特征图和卷积核实际上是三维张量。在本文中,一维振动信号是输入,所以特征图和卷积核的高度始终是1。如图1©所示,卷积核在输入特征图上滑动,从而得到输出特征图的一个通道。在每个卷积层中,通常有多于一个卷积核,从而输出特征图有多个通道。

在这里插入图片描述
【翻译】图1 (a) 特征图,(b) 卷积核和© 卷积过程示意图

在这里插入图片描述
【翻译】批标准化是一种嵌入到深度结构的内部、作为可训练层的一种特征标准化方法。批标准化的目的在于减轻内部协方差漂移的问题,即特征的分布经常在训练过程中持续变化。在这种情况下,所需训练的参数就要不断地适应变化的特征分布,从而增大了训练的难度。批标准化,在第一步对特征进行标准化,来获得一个固定的分布,然后在训练过程中自适应地调整这个分布。后续介绍公式。

在这里插入图片描述
【翻译】激活函数通常是神经网络中必不可少的一部分,一般是用来实现非线性变换的。在过去的几十年中,很多种激活函数被提出来,例如sigmoid,tanh和ReLU。其中,ReLU激活函数最近得到了很多关注,这是因为ReLU能够很有效地避免梯度消失的问题。ReLU激活函数的导数要么是1,要么是0,能够帮助控制特征的取值范围大致不变,在特征在层间传递的时候。ReLU的函数表达式为max(x,0)。

在这里插入图片描述
【翻译】 全局均值池化是从特征图的每个通道计算一个平均值的运算。通常,全局均值池化是在最终输出层之前使用的。全局均值池化可以减少全连接输出层的权重数量,从而降低深度神经网络遭遇过拟合的风险。全局均值池化还可以解决平移变化问题,从而深度神经网络所学习得到的特征,不会受到故障冲击位置变化的影响。

在这里插入图片描述
【翻译】交叉熵损失函数通常作为多分类问题的目标函数,朝着最小的方向进行优化。相较于传统的均方差损失函数,交叉熵损失函数经常能够提供更快的训练速度。这是因为,交叉熵损失函数对于权重的梯度,相较于均方差损失函数,不容易减弱到零。为了计算交叉熵损失函数,首先要用softmax函数将特征转换到零一区间。然后交叉熵损失函数可以根据公式进行计算。在获得交叉熵损失函数之后,梯度下降法可以用来优化参数。在一定的迭代次数之后,深度神经网络就能够得到充分的训练。

B. Architecture of the Classical ResNet (经典深度残差网络的结构)

在这里插入图片描述
【翻译】深度残差网络是一种新兴的深度学习方法,在近年来受到了广泛的关注。残差构建模块是基本的组成部分。如图2a所示,残差构建模块包含了两个批标准化、两个整流线性单元、两个卷积层和一个恒等路径。恒等路径是让深度残差网络优于卷积神经网络的关键。交叉熵损失函数的梯度,在普通的卷积神经网络中,是逐层反向传播的。当使用恒等路径的时候,梯度能够更有效地流回前面的层,从而参数能够得到更有效的更新。

图2b-2c展示了两种残差构建模块,能够输出不同尺寸的特征图。在这里,减小输出特征图尺寸的原因在于,减小后续层的运算量;增加通道数的原因在于,方便将不同的特征集成为强判别性的特征。

图2d展示了深度残差网络的整体框架,包括一个输入层、一个卷积层、一定数量的残差构建模块、一个批标准化、一个ReLU激活函数、一个全局均值池化和一个全连接输出层。同时,深度残差网络作为本研究的基准,以求进一步改进。

在这里插入图片描述
【翻译】图2 3种残差构建模块:(a) 输入特征图的尺寸=输出特征图的尺寸,(b)输出特征图的宽度减半,©输出特征图的宽度减半、通道数翻倍。(d)深度残差网络的整体框架。

C. Design of Fundamental Architectures for DRSNs (深度残差收缩网络基本结构的设计)

在这里插入图片描述
【翻译】这一小节首先介绍了提出深度残差收缩网络的原始驱动,然后详细介绍了所提出深度残差收缩网络的结构。

1) Theoretical background (理论背景)

在这里插入图片描述
【翻译】在过去的20年中,软阈值化经常被作为许多信号降噪算法中的关键步骤。通常,信号被转换到一个域。在这个域中,接近零的特征,是不重要的。然后,软阈值化将这些接近于零的特征置为零。例如,作为一种经典的信号降噪算法,小波阈值化通常包括三个步骤:小波分解、软阈值化和小波重构。为了保证信号降噪的效果,小波阈值化的一个关键任务是设计一个滤波器。这个滤波器能够将有用的信息转换成比较大的特征,将噪声相关的信息转换成接近于零的特征。然而,设计这样的滤波器需要大量的信号处理方面的专业知识,经常是非常困难的。深度学习提供了一种解决这个问题的新思路。这些滤波器可以通过反向传播算法自动优化得到,而不是由专家进行设计。因此,软阈值化和深度学习的结合是一种有效地消除噪声信息和构建高判别性特征的方式。软阈值化将接近于零的特征直接置为零,而不是像ReLU那样,将负的特征置为零,所以负的、有用的特征能够被保留下来。

在这里插入图片描述
【翻译】软阈值化的过程如图3(a)所示。可以看出,软阈值化的输出对于输入的导数要么是1,要么是0,所以在避免梯度消失和梯度爆炸的问题上,也是很有效的。

在这里插入图片描述
【翻译】图3 (a)软阈值化,(b)它的偏导

在这里插入图片描述
【翻译】在传统的信号降噪算法中,经常难以给阈值设置一个合适的值。同时,对于不同的样本,最优的阈值往往是不同的。针对这个问题,深度残差收缩网络的阈值,是在深度网络中自动确定的,从而避免了人工的操作。深度残差收缩网络中,这种设置阈值的方式,在后续文中进行了介绍。

2) Architecture of the Developed DRSN-CS (通道间共享阈值的深度残差收缩网络结构)

在这里插入图片描述
所提出的通道间共享阈值的深度残差收缩网络,是深度残差网络的一个变种,使用了软阈值化来消除与噪声相关的特征。软阈值化作为非线性层嵌入到残差构建模块之中。更重要地,阈值是在残差构建模块中自动学习得到的,介绍如下。

在这里插入图片描述
【翻译】图4 (a)通道间共享阈值的残差模块,(b)通道间共享阈值的深度残差收缩网络,©通道间不同阈值的残差模块,(d) 通道间不同阈值的深度残差收缩网络

在这里插入图片描述
【翻译】如图4(a)所示,名为“通道间共享阈值的残差收缩构建模块”,与图2(a)中残差构建模块是不同的,有一个特殊模块来估计软阈值化所需要的阈值。在这个特殊模块中,全局均值池化被应用在特征图的绝对值上面,来获得一维向量。然后,这个一维向量被输入到一个两层的全连接网络中,来获得一个尺度化参数。Sigmoid函数将这个尺度化参数规整到零和一之间。然后,这个尺度化参数,乘以特征图的绝对值得平均值,作为阈值。这样的话,就可以把阈值控制在一个合适的范围内,不会使输出特征全部为零。

在这里插入图片描述
【翻译】所提出的通道间共享阈值的深度残差收缩网络的结构简图如图4(b)所示,和图2(d)中经典深度残差网络是相似的。唯一的区别在于,通道间共享阈值的残差收缩模块(RSBU-CS),替换了普通的残差构建模块。一定数量的RSBU-CS被堆叠起来,从而噪声相关的特征被逐渐削减。另一个优势在于,阈值是自动学习得到的,而不是由专家手工设置的,所以在实施通道间共享阈值的深度残差收缩网络的时候,不需要信号处理领域的专业知识。

3) Architecture of the developed DRSN-CW (通道间不同阈值的深度残差收缩网络结构)

在这里插入图片描述
【翻译】道间不同阈值的深度残差收缩网络,是深度残差网络的另一个变种。与通道间共享阈值的深度残差收缩网络的区别在于,特征图的每个通道有着自己独立的阈值。通道间不同阈值的残差模块如图4©所示。特征图x首先被压缩成了一个一维向量,并且输入到一个两层的全连接层中。全连接层的第二层有多于一个神经元,并且神经元的个数等于输入特征图的通道数。全连接层的输出被强制到零和一之间。之后计算出阈值。与通道间共享阈值的深度残差收缩网络相似,阈值始终是正数,并且被保持在一个合理范围内,从而防止输出特征都是零的情况。

在这里插入图片描述
【翻译】通道间不同阈值的深度残差收缩网络的整体框架如图4(d)所示。一定数量的模块被堆积起来,从而判别性特征能够被学习得到。其中,软阈值化,作为收缩函数,用于非线性变换,来消除噪声相关的信息。

在这里插入图片描述
【翻译】重庆大学博士,哈尔滨工业大学(威海)讲师,美国马里兰大学帕克分校先进生命周期工程中心访问学者。

Reference:

M. Zhao, S. Zhong, X. Fu, B. Tang, M. Pecht, Deep Residual Shrinkage Networks for Fault Diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/8850096

参考链接:

秒懂深度残差收缩网络 https://www.jianshu.com/p/90f1ef1b06bc

深度残差收缩网络:(一)背景知识 https://www.cnblogs.com/yc-9527/p/11598844.html

深度残差收缩网络:(二)整体思路 https://www.cnblogs.com/yc-9527/p/11601322.html

深度残差收缩网络:(三)网络结构 https://www.cnblogs.com/yc-9527/p/11603320.html

深度残差收缩网络:(四)注意力机制下的阈值设置 https://www.cnblogs.com/yc-9527/p/11604082.html

深度残差收缩网络:(五)实验验证 https://www.cnblogs.com/yc-9527/p/11610073.html

[论文笔记] 深度残差收缩网络 https://zhuanlan.zhihu.com/p/85238942

转火焰检测识别

阅读数 177

没有更多推荐了,返回首页