精华内容
下载资源
问答
  • CNN公式推导

    万次阅读 多人点赞 2015-06-20 22:30:01
    CNN公式推导 1 前言  在看此blog之前,请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networks】。因为本文...

    CNN公式推导

    1 前言

             在看此blog之前,请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networks】。因为本文就是讲解文献[1]论文前部分公式的推导过程<这里有一个假设,或许公式是错误的,如有好的理解请留言>


    2 CNN公式推导

             卷积神经网络参数求解的过程与上次笔记【BP算法与公式推导】类似,但是在形式上还是有变化的。文献[1]的论文直接给出了参数求解的公式,主要包括:卷积层和subsampling层的残差以及对应的对权重参数和偏置参数的导数。

    注意:这里的卷积核参数所放在的层与残差放在了同一层,和上次笔记略有不同,但是没有影响!


    2.1 卷积层:

    2.1.1 卷积计算

             假设第l层为卷积层,第l+1层为subsampling层,则第l层第j个feature map的计算公式如下:


             上面的*号实质是让卷积核k在第l-1层所有关联的feature maps上做卷积运算,然后求和,再加上一个偏置参数,取sigmoid得到最终激励值的过程。

    例子:假设第l-1层只有两个feature map,大小为4*4像素。

              

    一个卷积核K(二维卷积核K11和K12),大小为2*2。

           

    则计算第l层的一个feature map结果如下,大小为3*3像素:



    注意:在matlab中可以用convn函数来实现卷积,如:

    image = convn(im, kernel, ‘valid’); 其中计算的过程会先将kernel反转180度,再与im做卷积操作。


    因此本文中我们举例子用的卷积核2*2大小是已经旋转180度后的,即


    2.1.2 残差计算

             BP算法中残差计算等于第l+1层与其连接的所有结点的权值和残差的加权和再乘以该点对z的导数值。卷积层的下一层是subsampling层,采用的是一对一非重叠采样,故残差计算更为简单。

             第l层第j个feature map的残差计算公式如下:


    其中第l层为卷积层,第l+1层为subsampling层,subsampling层与卷积层是一一对应的。其中up(x)是将第l+1层的大小扩展为和第l层大小一样。举个简单的例子,假如第l+1层为2*2的,subsampling的采样大小为2*2,其中第l+1层的一个feature map所对应的残差为:


    那么扩展之后就变为了


    直观上的理解:由于是一对一采样,故扩展之后第l层的每个节点只对应第l+1层唯一的一个结点,按照BP算法残差计算公式可以得出:第l层某结点残差就等于权值w乘以第l+1层对应节点残差值再乘以f(z)的导数,公式仅仅是矢量化的形式。

     

    2.1.3 梯度计算

    (1) 论文中给出了偏置参数b的导数,公式为:


    下面我们给出推导公式,(其中第2行到第3行用到了假设,因为这里的zjlbjl都是矩阵,没有矩阵对矩阵求导,这里给出了一个求和公式。我也解释不了是否正确,有知道的可以留言!)其中njl为第l层第j个feature map中点的个数。


    (2) 论文中给出了偏置参数k的导数,其中kijl表示第l层第j个feature map与第l-1层第i个feature map相连所对应的kernel,是一个矩阵:


    公式推导如下:


    这里我们给出例子:比如卷积层为3*3的大小,卷积核的大小为2*2上一层feature map大小为4*4






    论文中给出其matlab代码:


    由于matlab中先要反转180度,故代码中先对残差旋转180度,得到的结果是, 要想得到最后的结果K, 故对其结果再旋转180度。

     

    2.2  subsampling层:

    2.2.1卷积计算

             设第l层为subsampling层,第l-1为卷积层,由于是一对一采样,假设采样大小为2*2,故计算公式为:


    这里的down(x)是将x中2*2的大小中像素值进行求和。计算过程为对上一层卷积层2*2大小进行求和然后乘以权重w,再加上一个偏置,再求取sigmoid函数。

     

    2.2.2 残差计算

    论文中给出了残差的计算公式:


    其中第l层为subsampling层,第l+1层为卷积层。

    直观上的理解:如下图:左边为subsampling层的一个featuremap,右边是卷积层的一个feature map,

     比如对于当前结点中的7号结点,其与下一层的连接方式为{k22, 2; k21,3; k12, 5; k11, 6}(这里可以用笔简单画下就计算出来了)。故根据bp算法中残差计算方法等于第l+1层与其连接的所有结点的权值和残差的加权和再乘以该点对z的导数值,就相当于用卷积核直接在下一层卷积层的残差上做卷积运算,方式为full类型,也就得到公式中的形式,由于matlab自带的卷积函数会先旋转对K旋转180度,故我们需要先对其旋转180度,再计算卷积。(当然我认为这里的公式有点偏差,的下标不应该用j,而是用i,而且需要对第l+1层中所有的与该subsampling相连接的featuremap最后的结果求和—源码中的确是这样的。)

     

    2.2.2 梯度计算

    (1) 偏置b的导数,其公式的推导过程与卷积层是一样的的。

    (2) 权重w的导数,论文给出的公式如下:



    公式推导如下:


    这里我们给出一个例子:比如subsampling层feature map大小为2*2,则其上一层卷积层feature map的大小为4*4,如下所示,计算过程为对上一层卷积层2*2大小进行求和然后乘以权重w,再加上一个偏置,再求取sigmoid函数。(其中1,2,3,4只是一个标号,不是具体的值)

    则计算过程为:

    wjl = d11*{1+2+3+4} +d12*{5+6+7+8} + d21*{9+10+11+12} + d22*{13+14+15+16}。与公式相符。

    注意:公式推导中有一个不那么正确的假设,但有了这个假设,一切结论都是成立的,这个结论或许超出了我数学的海拔高度,有正确解法的可以留言,谢谢!

     

    参考文献:

    1:原始论文:Notes onConvolutional Neural Networks http://cogprints.org/5869/1/cnn_tutorial.pdf

    2: 论文翻译参看:http://blog.csdn.net/zouxy09/article/details/9993371

    3:如何正确使用论文中公式(附带小例子)见:http://www.cnblogs.com/tornadomeet/p/3468450.html


     

    展开全文
  • BP算法的公式推导 (本文为个人学习总结笔记) 原公式: Δθj=−ηgj\Delta \theta_{j}=-\eta g_{j}Δθj​=−ηgj​ 因为: 又:

    BP算法的公式推导


    (本文为个人学习总结笔记)

    原公式:

    Δθj=ηgj\Delta \theta_{j}=-\eta g_{j}

    因为:

    在这里插入图片描述

    又:

    在这里插入图片描述

    展开全文
  • Softmax公式推导

    2017-04-15 09:33:57
    直接给出了梯度更新公式,但是没有给出公式推导。这里对公式推导进行简单的补充说明。

    直接给出了梯度更新公式,但是没有给出公式推导。这里对公式推导进行简单的补充说明。


    展开全文
  • 如果要想求误差E对w1的导数,误差E对w1的求导路径不止一条,这会稍微复杂一点,但换汤不换药,计算过程如下所示: 至此,“反向传播算法”及公式推导的过程总算是讲完了啦!个人感觉,尤其是第二组图,还算是蛮通俗...

    前言(扯犊子)

    自己学习机器学习,深度学习也有好长一段时间了,一直以来都想写点有价值的技术博客,以达到技术分享及记录自己成长的目的,奈何之前一直拖着,近来算是醒悟,打算以后不定时写一写博客,也算是作为自己不断学习,不断进步的记录。既然是写博客,希望自己的博客以后要做到“准确、生动、简洁、易懂”的水平,做到对自己、对读者负责,希望大家多交流,共同进步!

    言归正传,想起当时自己刚入门深度学习的时候,当时对神经网络的“反向传播”机制不是很理解(这对理解以后的很多概念来说,很重要!!一定要搞懂!!),当时查了很多资料,花费了很多时间,感谢当时所查阅的很多资料的作者,本篇博客就网络上很多优秀的资料和我个人的理解,争取生动、简单地讲解一下BP算法,希望能够帮助到大家。

    定义

    首先来一个反向传播算法的定义(转自维基百科):反向传播(英语:Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。 该方法对网络中所有权重计算损失函数的梯度。 这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。(误差的反向传播)

    算法讲解(耐心看)

    如果去问一下了解BP算法的人“BP算法怎推导?”,大概率得到的回答是“不就是链式求导法则嘛”,我觉得这种答案对于提问题的人来说没有任何帮助。BP的推导需要链式求导不错,但提问者往往想得到的是直观的回答,毕竟理解才是王道。直观的答案,非图解莫属了。
    注:下图的确是反向传播算法,但不是深度学习中的backprop,不过backward的大体思想是一样的,毕竟误差没法从前往后计算啊。(在深度学习中操作的是计算图—Computational graph),如果暂时不理解上面那句话,你可以当我没说过,不要紧~(手动?)

    下面通过两组图来进行神经网络前向传播反向传播算法的讲解,第一组图来自国外某网站,配图生动形象。如果对你来说,单纯的讲解理解起来比较费劲,那么可以参考第二组图——一个具体的前向传播和反向传播算法的例子。通过本篇博客,相信就算是刚刚入门的小白(只要有一点点高等数学基础知识),也一定可以理解反向传播算法!

    CASE 1(图示讲解,看不太懂没关系,看第二组图)

    首先拿一个简单的三层神经网络来举例,如下:
    在这里插入图片描述

    每个神经元由两部分组成,第一部分(e)是输入值权重系数乘积的,第二部分(f(e))是一个激活函数(非线性函数)的输出, y=f(e)即为某个神经元的输出,如下:
    在这里插入图片描述

    下面是前向传播过程:
    在这里插入图片描述
    -----------手动分割-----------
    在这里插入图片描述
    -----------手动分割-----------
    在这里插入图片描述

    到这里为止,神经网络的前向传播已经完成,最后输出的y就是本次前向传播神经网络计算出来的结果(预测结果),但这个预测结果不一定是正确的,要和真实的标签(z)相比较,计算预测结果和真实标签的误差(δ\delta),如下:
    在这里插入图片描述

    下面开始计算每个神经元的误差(δ\delta):
    在这里插入图片描述
    (If propagated errors came from few neurons they are added. The illustration is below: )

    在这里插入图片描述

    下面开始利用反向传播的误差,计算各个神经元(权重)的导数,开始反向传播修改权重(When the error signal for each neuron is computed, the weights coefficients of each neuron input node may be modified. In formulas below df(e)de\dfrac {df\left( e\right) }{de} represents derivative of neuron activation function (which weights are modified). ):
    在这里插入图片描述
    在这里插入图片描述
    -----------手动分割-----------
    在这里插入图片描述
    -----------手动分割-----------
    在这里插入图片描述

    Coefficient η\eta affects network teaching speed.
    到此为止,整个网络的前向,反向传播和权重更新已经完成,推荐参考上面给出的本教程的链接,如果对纯理论讲解较难接受,没关系,强烈推荐第二组图的例子!!!

    CASE 2(具体计算举例,嫌麻烦的可直接看这个,强烈推荐!!!!!)

    首先明确,“正向传播”求损失,“反向传播”回传误差。同时,神经网络每层的每个神经元都可以根据误差信号修正每层的权重,只要能明确上面两点,那么下面的例子,只要会一点链式求导规则,就一定能看懂!

    BP算法,也叫δ\delta算法,下面以3层的感知机为例进行举例讲解。
    在这里插入图片描述

    上图的前向传播(网络输出计算)过程如下:(此处为网络的整个误差的计算,误差E计算方法为mse)

    在这里插入图片描述

    上面的计算过程并不难,只要耐心一步步的拆开式子,逐渐分解即可。现在还有两个问题需要解决:

    1. 误差E有了,怎么调整权重让误差不断减小?
    2. E是权重w的函数,何如找到使得函数值最小的w。

    解决上面问题的方法是梯度下降算法(简单图示如下),大家如有不太懂的可先行查阅别的资料,只要能达到理解线性回归梯度下降算法的水平即可,这里不再赘述。
    在这里插入图片描述

    划重点,划重点,划重点!!!
    BP算法的具体例子来喽!!

    就算上面的所有东西你都看的迷迷糊糊,通过下面的例子,相信绝大多数人也能很轻松的理解BP算法。如图是一个简单的神经网络用来举例:
    在这里插入图片描述

    下面是前向(前馈)运算(激活函数为sigmoid):
    在这里插入图片描述

    下面是反向传播(求网络误差对各个权重参数的梯度):

    我们先来求最简单的,求误差E对w5的导数。首先明确这是一个“链式求导”过程,要求误差E对w5的导数,需要先求误差E对out o1的导数,再求out o1对net o1的导数,最后再求net o1对w5的导数,经过这个链式法则,我们就可以求出误差E对w5的导数(偏导),如下图所示:
    在这里插入图片描述

    导数(梯度)已经计算出来了,下面就是反向传播与参数更新过程
    在这里插入图片描述

    上面的图已经很显然了,如果还看不懂真的得去闭门思过了(开玩笑~),耐心看一下上面的几张图,一定能看懂的。

    如果要想求误差E对w1的导数,误差E对w1的求导路径不止一条,这会稍微复杂一点,但换汤不换药,计算过程如下所示:
    在这里插入图片描述

    至此,“反向传播算法”及公式推导的过程总算是讲完了啦!个人感觉,尤其是第二组图,还算是蛮通俗易懂的,希望能帮助到大家,共同进步!

    感觉本篇讲的有点啰嗦了,直接放第二组图可能会更简洁,以后争取改进。

    以上(麻烦大家 点赞 + 关注 一波啊)

    References

    http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
    https://www.cnblogs.com/charlotte77/p/5629865.html
    https://blog.csdn.net/han_xiaoyang

    展开全文
  • 二、公式推导 1.卷积公式推导 2.转置卷积公式推导 3.代码演示 一、公式 1.卷积 2.转置卷积 在Pytorch中,转置卷积层参数还含有output_padding,用于解决输出大小不唯一(歧义)的问题,因此转置卷积...
  • 非常齐全的高等数学积分表公式推导,有助于应用和理解其推导过程。
  • LBFGS公式推导

    千次阅读 2014-08-24 22:41:13
    LBFGS 公式推导
  • 减法器公式推导过程

    2020-12-24 15:06:59
    减法器公式推导过程减法器公式推导减法器原理图“虚短虚断”概念公式推导 减法器公式推导 这篇文章介绍运放减法器的公式推导过程。 减法器原理图 “虚短虚断”概念 “虚短虚断”概念是分析运放的放大基础概念。 虚...
  • 深度学习公式推导

    2019-04-16 22:13:07
    公式推导,待更新。
  • 华里士(Wallis)公式推导

    万次阅读 多人点赞 2019-05-07 15:00:23
    这里给出手写版公式推导过程,后面有空再整理成电子版。 欧拉-泊松公式:
  • Maple公式推导教程

    千次阅读 多人点赞 2020-02-26 11:27:43
    引言 当时在做本科毕设时,需要推导一个振动系统的运动方程,...首先找到了Matlab,为此特意去学习了Matlab的符号推导,但是发现:Matlab的公式推导时,公式的显示形式与平常手写的不一样,比如a的平方显示a^2;Mat...
  • 协方差公式推导

    万次阅读 2017-05-24 14:57:47
    协方差公式推导cov(X,Y)=∑ni=1(Xi−X¯)(Yi−Y¯)n=E[(X−E[X])(Y−E[Y])] cov(X,Y)=\frac{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{n}=E[(X-E[X])(Y-E[Y])] =E[XY−E[X]Y−XE[Y]+E[X]E[Y]] =E[XY-E[X]Y-XE[Y]+...
  • 静态时序分析STA对于同步时序电路必不可少,相关的文章不少但相互之间很多不太统一;本文参考众多分析,记录了一个最“全”的统一版本;介绍了一些基础概念以及STA公式,并多角度进行了公式推导与本质分析
  • 布隆过滤器概念及其公式推导

    千次阅读 多人点赞 2019-05-21 18:48:34
    布隆过滤器概念及其公式推导布隆过滤器概念数据如何存入布隆过滤器误判情况实际应用面试题公式推导误判概率即失误率的证明和计算其他使用场景 公式推导内容转自博客 ...
  • 双线性插值公式推导

    2019-09-23 11:21:33
    双线性插值公式推导
  • CNN公式推导举例

    2018-04-07 21:06:02
    CNN公式推导 本篇文章介绍了cnn的参数基本的计算过程,http://www.datakit.cn/blog/2016/03/23/bp_cnn.html,对于一些细节描述不是很清楚。但是对于参数的传播有例子加以说明。 pooling层和卷积层的反向传播...
  • BP算法公式推导

    千次阅读 2016-10-25 21:22:05
    BP算法公式推导,这几天花了不少时间在算法的公式推导上,只有清楚了原理才能更好地利用BP算法去解决问题!
  • 本文参考众多资料,在此不进行罗列。 下图为AdaBoost的公式推导 下图为分类器权重α的推导公式
  • LMS和RLS公式推导

    千次阅读 2017-10-05 13:16:47
    LMS和RLS公式推导
  • 026 三角函数求导公式推导

    千次阅读 2017-10-01 11:09:31
    026 三角函数求导公式推导
  • Maple 公式推导

    万次阅读 2014-12-24 16:05:37
    Maple 公式推导  2012-03-24 13:07:35| 分类: 学习 | 标签:maple  |举报 |字号 订阅 即以此功德,庄严佛净土。上报四重恩,下救三道苦。惟愿见闻者,悉发菩提心。在世富贵全,往生极乐国...
  • 积分表积分公式推导(打印版).pdf高清无水印。。。。。。
  • LSTM公式推导csdn

    2017-03-04 17:28:41
    LSTM网络公式推导的一些思考导言通过阅读LSTM部分论文,Alex Graves的论文《Supervised Sequence Labelling with Recurrent Neural Networks》以及毛仁歆前辈的博客...前辈在讲解推导LS
  • 动能定理公式推导

    2021-02-26 16:16:05
    动能定理公式推导 动能定理(Kinetic Energy Theorem)的由来与人们所定义的概念有关。 以其说其为定量,不如说是一个人为定义的表达式。 力F沿S做的功能可以写成 W=∫F dS W = \int F\, dS W=∫FdS 那W随时间的变化...
  • 027 反三角函数的求导公式推导

    万次阅读 2017-10-02 21:51:46
    027 反三角函数的求导公式推导
  • BP算法与公式推导

    2018-08-27 17:00:15
    BP算法与公式推导 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 109,337
精华内容 43,734
关键字:

公式推导