使用keras举例说明：

网络结构如下：



loss定义如下:

model.compile(loss="categorical_crossentropy",optimizer=OPT,metrics=["accuracy"],
            loss_weights={'main_output': 1., 'aux_output': 0.2}

网络具有两个输出，分别都要计算loss，那么在计算梯度反向传播的时候，就会有以下问题：

整个网络进行几次梯度更新，1次还是2次？
	
VGG网络部分会受到Aux_out的梯度更新影响吗？
	
concat操作之前的三个CNN网络，梯度是如何计算的？也就是说，网络有concat操作的时候，梯度更新如何作用于cancat之前的网络部分？
问题1

首先给出结论：在反向传播的时候，梯度更新只进行1次。

因为keras是基于计算图构建的网络，并且只有1个optimizer，optimizer也是计算图的一部分，所以最终loss计算是统一进行的，像上面的具有两个输出的网络，loss计算公式如下：

loss = (main_weight * main_loss) + (aux_weight * aux_loss) #you choose the weights in model.compile

其中

main_loss 是 function_of(main_true_output_data, main_model_output)
	
aux_loss 是 function_of(aux_true_output_data, aux_model_output)
网络所有的梯度计算仍然遵循最基本的 ∂(loss)/∂(weight_i)

因此，梯度更新只进行1次，计算方式如上所示。

问题2

网路具有两个输出层，对应两个训练集，一个对应于Aux_out，另一个对应Main_out，因此通过fit定义 model.fit(inputs, [main_y, aux_y], ...)
	
网路同样需要两个loss 函数，一个输出分支对应一个，其中main_loss对应main_out和main_y；Aux_loss对应Aux_out和Aux_y
	
网络的loss是两个输出loss 的和，即loss = (main_weight * main_loss) + (aux_weight * aux_loss)
	
网络一次反向传播更新1次梯度，所以整个网路的参数都通过上面的公式计算，因此，结论如下：

	
Aux_out分支只会影响concat以前的部分，main_out分支会影响整个网络。
		
同时，Aux_out分支之前的网络部分，会同时受到两个分支的梯度更新影响，因此在下次前向传播的时候，VGG网络部分实际上也受到了上一次Aux_out分支更新梯度的影响。
	
问题3

concat是由三个CNN网络的输出拼接而成的，在反向传播的时候，会找到彼此的对应部分，有点像pooling操作的反向传播。

假设三个CNN输出的特征图尺寸完全相同，都是（H，W，C），concat后特征图为（H，W，3C），在反向传播计算到concat层的时候

Input1只会计算（H，W，[0 : C]）部分的梯度
	
nput2只会计算（H，W，[C : 2C]）部分的梯度
	
nput1只会计算（H，W，[2C : 3C]）部分的梯度

一、反向传播 
反向传播：训练模型参数，在所有参数上用梯度下降，使 NN 模型在训练数据上的损失函数最小。 


损失函数（loss）：计算得到的预测值 y 与已知答案 y_的差距。 

损失函数的计算有很多方法，均方误差 MSE 是比较常用的方法之一。

 
均方误差 MSE：求前向传播计算结果与已知答案之差的平方再求平均。 

 

用 tensorflow 函数表示为： 

loss_mse = tf.reduce_mean(tf.square(y_ - y)) 


反向传播训练方法：以减小 loss 值为优化目标，有梯度下降、momentum 优化器、adam 优化器等优化方法。 

这三种优化方法用 tensorflow 的函数可以表示为： 

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) 

 

train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss) 

 

train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss) 


三种优化方法区别如下： 

①tf.train.GradientDescentOptimizer()使用随机梯度下降算法，使参数沿着梯度的反方向，即总损失减小的方向移动，实现更新参数。 

 



参数更新公式是 

 





其中，?(?)为损失函数，?为参数，?为学习率。 

②tf.train.MomentumOptimizer()在更新参数时，利用了超参数，参数更新公式

是 

?? = ???−1 + ?(??−1) 

?? = ??−1 − ??? 

其中，?为学习率，超参数为?，?为参数，?(??−1)为损失函数的梯度。 



③tf.train.AdamOptimizer()是利用自适应学习率的优化算法，Adam 算法和随机梯度下降算法不同。随机梯度下降算法保持单一的学习率更新所有的参数，学习率在训练过程中并不会改变。而 Adam 算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。 

 

学习率：决定每次参数更新的幅度。 优化器中都需要一个叫做学习率的参数，使用时，如果学习率选择过大会出现震荡不收敛的情况，如果学习率选择过小，会出现收敛速度慢的情况。我们可以选个比较小的值填入，比如 0.01、0.001。 

二、搭建神经网络的八股 

我们最后梳理出神经网络搭建的八股，神经网络的搭建课分四步完成：准备工作、前向传播、反向传播和循环迭代。 
0.导入模块，生成模拟数据集； 

                import 

                常量定义 

                生成数据集     
1.前向传播：定义输入、参数和输出 

                 x=        y_= 

                 w1=       w2= 

                 a=        y= 
2. 反向传播：定义损失函数、反向传播方法 

loss= 

train_step= 


3. 生成会话，训练 STEPS 轮 

 

with tf.session() as sess 
 Init_op=tf. global_variables_initializer() 
 sess_run(init_op) 
 STEPS=3000 
 for i in range(STEPS): 
  start= 
  end= 
  sess.run(train_step, feed_dict:) 

 

这是一场以误差（Error）为主导的反向传播（Back Propagation）运动，旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去

文章目录
一、为什么引入反向传播
二、反向传播的重要性
三、前项传播的过程
四、反向传播的过程
五、利用数学概念理解反向传播
六、反向传播与梯度下降的关系

一、为什么引入反向传播
神经网络的过程就是正向传播得到Loss值，再把Loss值反向传播，并对神经网络的参数进行更新，其中反向传播正是神经网络的要点所在

即前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。

至于为什么会提出反向传播算法，我直接应用梯度下降（Gradient Descent）不行吗？想必大家肯定有过这样的疑问。答案肯定是不行的，纵然梯度下降神通广大，但却不是万能的。梯度下降可以应对带有明确求导函数的情况，或者说可以应对那些可以求出误差的情况，比如逻辑回归（Logistic Regression），我们可以把它看做没有隐层的网络；但对于多隐层的神经网络，输出层可以直接求出误差来更新参数，但其中隐层的误差是不存在的，因此不能对它直接应用梯度下降，而是先将误差反向传播至隐层，然后再应用梯度下降，其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助，因此反向传播算法可以说是梯度下降在链式法则中的应用。

比如：

两人猜数字
这一过程类比没有隐层的神经网络，
比如逻辑回归，
其中小黄帽代表输出层节点，左侧接受输入信号，右侧产生输出结果，
小蓝猫则代表了误差，指导参数往更优的方向调整。
由于小蓝猫可以直接将误差反馈给小黄帽，同时只有一个参数矩阵和小黄帽直接相连，
所以可以直接通过误差进行参数优化（实纵线），迭代几轮，误差会降低到最小。



三人猜数字
这一过程类比带有一个隐层的三层神经网络，
其中小女孩代表隐藏层节点，小黄帽依然代表输出层节点，
小女孩左侧接受输入信号，经过隐层节点产生输出结果，
小蓝猫代表了误差，指导参数往更优的方向调整。
由于小蓝猫可以直接将误差反馈给小黄帽，所以与小黄帽直接相连的左侧参数矩阵可以直接通过误差进行参数优化（实纵线）；
而与小女孩直接相连的左侧参数矩阵由于不能得到小蓝猫的直接反馈而不能直接被优化（虚棕线）。
但由于反向传播算法使得小蓝猫的反馈可以被传递到小女孩那进而产生间接误差，
所以与小女孩直接相连的左侧权重矩阵可以通过间接误差得到权重更新，迭代几轮，误差会降低到最小




二、反向传播的重要性
例如：e = (a + b)*(b + 1) 使用如下图表示，其中令 a = 2，b = 1



如果用前向求导模式：关于b向前求导一次：



如果用反向求导模式：向后求导：



三、前项传播的过程
以此示例来讲解





如何将输入层的信号传输至隐藏层呢，以隐藏层节点c为例，站在节点c上往后看（输入层的方向），可以看到有两个箭头指向节点c，因此a，b节点的信息将传递给c，同时每个箭头有一定的权重，因此对于c节点来说，输入信号为：



同理，节点d的输入信号为：



由于计算机善于做带有循环的任务，因此我们可以用矩阵相乘来表示：



所以，隐藏层节点经过非线性变换后的输出表示如下：

激活函数 sigmoid 作用是将输入限制到 (0,1) 这个区间内



同理，输出层的输入信号表示为权重矩阵乘以上一层的输出：



同样，输出层节点经过非线性映射后的最终输出表示为：



输入信号在权重矩阵们的帮助下，得到每一层的输出，最终到达输出层。

可见，权重矩阵在前向传播信号的过程中扮演着运输兵的作用，起到承上启下的功能
四、反向传播的过程
既然梯度下降需要每一层都有明确的误差才能更新参数，所以接下来的重点是如何将输出层的误差反向传播给隐藏层



其中输出层、隐藏层节点的误差如图所示，输出层误差已知，接下来对隐藏层第一个节点c作误差分析。还是站在节点c上，不同的是这次是往前看（输出层的方向），可以看到指向c节点的两个蓝色粗箭头是从节点e和节点f开始的，因此对于节点c的误差肯定是和输出层的节点e和f有关
不难发现，输出层的节点e有箭头分别指向了隐藏层的节点c和d，因此对于隐藏节点e的误差不能被隐藏节点c霸为己有，而是要服从按劳分配的原则（按权重分配），同理节点f的误差也需服从这样的原则，因此对于隐藏层节点c的误差为：



为了减少工作量，我们还是乐意写成矩阵相乘的形式：



你会发现这个矩阵比较繁琐，如果能够简化到前向传播那样的形式就更好了。实际上我们可以这么来做，只要不破坏它们的比例就好，因此我们可以忽略掉分母部分，所以重新成矩阵形式为：



仔细观察，你会发现这个权重矩阵，其实是前向传播时权重矩阵w的转置，因此简写形式如下：



不难发现，输出层误差在转置权重矩阵的帮助下，传递到了隐藏层，这样我们就可以利用间接误差来更新与隐藏层相连的权重矩阵。可见，权重矩阵在反向传播的过程中同样扮演着运输兵的作用，只不过这次是搬运的输出误差，而不是输入信号(我们不生产误差，只是误差的搬运工(っ̯ -｡))。
接下来就根据求得的误差来更新参数


首先对隐藏层的w11进行参数更新，更新之前让我们从后往前推导，直到预见w11为止：

这里采用均方差表示误差



求导得如下公式（所有值已知）：



其中 sigmoid 激励函数为：



同理，误差对于w12的偏导如下：



同样，求导得w12的求值公式：



同理，误差对于偏置求偏导如下：



带入上述公式为：



接着对输入层的w11进行参数更新，更新之前我们依然从后往前推导，直到预见第一层的w11为止（只不过这次需要往前推的更久一些）：



因此误差对输入层的w11求偏导如下：



求导得如下公式（有点长(ฅ́˘ฅ̀)）：



同理，输入层的其他三个参数按照同样的方法即可求出各自的偏导，在这不再赘述。
在每个参数偏导数明确的情况下，带入梯度下降公式即可（不在重点介绍）：



至此，利用链式法则来对每层参数进行更新的任务已经完成。
五、利用数学概念理解反向传播
要更新哪个矩阵就求代价函数C对这个矩阵元素的偏导；
运用链式法则，计算偏导；
把元素乘积转换为矩阵乘积。

假设我们有一个函数 z=x∗y，其中:x=w∗2+b,y=b+1，即:z=(w∗2+b)∗(b+1)

关系如下图：



注意这里 x, y, z 不是变量，w, b 是才变量，因为在神经网络中，我们要最终求解的是 w和b 的值，x,y,z 只是样本值。

当w = 3, b = 4时，会得到如下结果



最终的z值，受到了前面很多因素的影响：变量w，变量b，计算式x，计算式y。常数是个定值，不考虑。目前的z=50，如果我们想让z变大一些，w和b应该如何变化呢？

我们从z开始一层一层向回看，图中各节点关于变量b的偏导计算结果如下图：



因为z = x * y，其中x = w * 2 + b，y = b + 1

所以：



其中：





同理，我们也可以得到图中各变量对w的偏导值：



从以上两图可以看出，反向微分保留了所有变量（包括中间变量）对结果z的影响。若z为误差函数，则对图进行一次计算，可以得到所有节点对z的影响，即梯度值，下一步就可以利用这些梯度值来更新w和b的权重。

w的变化和b的变化，哪一个对z的变化贡献大？从图中还可以注意到：



所以每次 w和b 的变化值是不相同的，b 的变化会比 w 大一些，也就是每一步的跨度大一些，这个是与z = xy = (w2+b)*(b+1)这个算式相关的，并不代表神经网络中实际情况
六、反向传播与梯度下降的关系
由于深度学习网络按层深入，层层嵌套的特点，对深度网络目标函数计算梯度的时候，需要用反向传播的方式由深到浅倒着计算以及更新参数，反向传播法是其在神经网络上的具体实现方式。
梯度下降是计算loss函数局部最小值，从而求解权重的算法。而反向传播可以快速计算梯度算子，也就是反向传播是梯度下降时的一种快速求偏导的算法。
CNN可以使用梯度下降，直接对各权重求偏导，而不使用反向传播算法，但计算量会非常大。

反向传播，目的是为了根据输出的误差来更新初始权重，而梯度下降是其实现方式
参考：

【1】http://www.sohu.com/a/168767295_826434

【2】https://blog.csdn.net/LucyGill/article/details/64920840

【3】https://www.cnblogs.com/ms-uap/p/9945871.html

  写在前面：

          网上有很多推导的过程，限于高数计算能力有限，且对就和符号等符号的排斥，手写了一版推导过程。以后便于回看。