机器学习之多层网络前向传播和反向传播
在上一篇文章中提到了单层感知机的前向传播和后向传播。 现在再谈谈对多层感知机的前向、后向传播的理解。

多层感知机顾名思义，就是由多个神经元构成的一组网络。

可以和单层感知机对比看看。



多层中分为三类权重

红线分别是 w11,w21,w31

绿线分别是 w21,w22,w23

蓝线分别是 w31,w32,w33
由图可以看出多层网络就是将多个神经元相互连接所组成的一个网络。上一层的输出就是下一层的输入。
用公式表达,

xx = w*x + b
第二层权重统一用W表示,偏移用大写的B表示

所以这个多层的网络输出结果就是

output = f(xx) = W*(w*x+b)+B
所以多层网络的前向传播就变得更加复杂

xx = w * x+b

output = W * xx+B

output = f(xx) = W * (w * x + b) + B
而多层网络的反向传播就是在正向传播完成后，依次更新W,B，w,b的过程。 这里可以按照单层感知机的流程来进行理解。

前向传播很好理解，后向传播时候，当有多层神经元，一个神经元输出给多个下一层神经元的时候，导数就不是那么好理解了，下面我画了个三层神经元的图进行了前向后向的演示，能够完全理解其中的传播过程以及导数计算过程

注：其中一个神经元输出给下一层多个神经元（是一个变量被用于多元函数的每个变量组成之一）的dA导数计算，主要是用到链式求导法则的多元函数求导，看个例子：

z=f(u,v)

u=cx

v=dx

dz/dx = dz/du * du/dx + dz/dv * dv/dx 中间那儿是加号，这是关键的地方，这也是为啥一个神经元输出给下一层多个神经元的dA导数计算出来后只有一个数，就是因为根据求导法则得加起来了

解释完毕，上你们最喜欢的高清无码大尺度图，看不懂的话，就联系我吧qq2488890051

cs224n作业 神经网络前向传播后向传播
原来只是自己没有往后看，后面视频解释了前向和后向传播。
前向传播网络
一个简单的网络：



我看不懂这个红点图，同层神经元组与组之间的空格意味着什么？希望有大神赐教一下
后向传播网络
对于后向传播网络，从视频里的多种方式，我觉得最好理解的还是FLOW CHART,就是后向传播的时候，像流水一样一层一层的往后走。

核心：后向的时候记录下每一层的梯度，然后不断往后流动



$当前梯度=Local gradint*higher gradient$
  看完(前两讲)视频做这个作业的时候，可卡住我好一会，这里特此记录一下。其实神经网络前向后向推导不难，难就在于网上很多教程没有把特征和维数讲清楚，以致于在具体写代码实现的过程中卡壳，同样也反映了自己目前思考问题还是平面，没有达到空间思考的程度。

   其实首先不是去思考前向传播时什么，后向传播是什么，首先应该思考这每一层的维数，即shape是什么 。

基本定义：

激活函数：第一层为sigmod，第二层为softmax

n:样本数量

$D_x$:第一层的特征数

H:第二层的特征数

$D_y$:第三层的特征数

$x^{(i)}_j$ :第j个样本的第i个特征

很明显，下图就存在这样的维度转化：

$(n, D_x)\times(D_x,H)-(n,H)\times(H,D_y)-(n,D_y)$



知道了具体的维度，然后我们来推前向和后向传播的公式

前向传播很容易理解，就是按照公式得到下一层结果，不需要求导什么的复杂公式。这里我们定义第一层是sigmod函数，第二层是softmax函数。

前向传播：

$z_2=xW_1+b_1\\
h=sigmoid(z_2)\\
z_3=hW_2+b_2\\
\hat y= softmax(hW_2+b_2)$

反向传播

反向传播实际上就是一系列的链式求导法则，这里有一些常识需要补充一下

$\theta$：通常是代指整个公式中涉及到的所有参数的代名词，并不是指公式中真的需要有一个参数叫$\theta$,比如说这里的W,b（代码里他们是放到一个数组里面，需要的时候再按需取不同位置的参数）

交叉熵函数:为什么使用交叉熵函数是有一番讲究的，我了解到的，一个是求导后的形式好用，另一个是求导后的导数比单纯L2变化更快。具体可以参考https://blog.csdn.net/u012162613/article/details/44239919

这里反向传播没有用上正则项，后面用上了再补。

定义损失函数：

$J(\theta)=-\frac{1}{n}\sum_i\sum_j y_i^{(j)}\log\hat y_i^{(j)}$

注意i是样本数，j是具体的特征维数，理解清楚这里的下标非常重要

我们先关注内层的求和公式，即交叉熵函数（因为外层的求和跟我们求导的参数其实无关，只是对各个样本求导后的平均值）

自己踩的一坑就是没有把形式写清楚就取摸索求导过程了，一开始应该先把形式过程写清楚

推导第二层：

$\frac{\partial J}{\partial W2}=\frac{\partial J}{\partial z}*\frac{\partial z}{\partial W2}\\ 
\frac{\partial J}{\partial b}=\frac{\partial J}{\partial z}*\frac{\partial z}{\partial b2}\\ 
 \frac{\partial J}{\partial h}=\frac{\partial J}{\partial z}*\frac{\partial z}{\partial h}\\$

推导第一层（形式是类似的），为什么叫反向传播，就是每一层推导都保存了$ \frac{\partial J}{\partial h$，方便下一层的推导

$\frac{\partial J}{\partial W1}=\frac{\partial J}{\partial h}*\frac{\partial h}{\partial W1}\\ 
\frac{\partial J}{\partial b}=\frac{\partial J}{\partial h}*\frac{\partial h}{\partial b1}$
具体函数求导的过程这里不详细展开，主要说明一下，关于交叉熵函数的求导

$CE(y,\hat y)=- \sum_i y_i\log{\frac{e^{\theta_i}}{\sum_j e^{\theta_j}}}$

这里的i和j都是指特征维数，这就导致对第k维进行求导的时候，会存在两种形式,一个可以忽略softmax的分子，一个不可以忽略

$\frac{\partial CE}{\partial \theta_k}=\frac{\partial ( - \sum_{i\neq k} y_i\log{\frac{e^{\theta_i}}{\sum_j e^{\theta_j}}} -y_k\log{\frac{e^{\theta_k}}{\sum_j e^{\theta_j}}})}{\partial \theta_k}$

$\frac{\partial CE}{\partial \theta_i}=\hat y_i-y_i$

这里的i是指针对某一维的参数进行求导。

具体其他函数的求导过程可以百度，以下给出代码形式：
# 变量还是要写清楚维度，不然写代码的时候很容然忘记转置
#前向传播
    layer1=np.dot(data,W1)+b1
    layer1_a=sigmoid(layer1)
    layer2=np.dot(layer1_a,W2)+b2
    probs=softmax(layer2)
#后向传播
    cost = -np.sum(np.sum(labels*np.log(probs),axis=1)) /N
    #这里要注意矩阵乘法的时候就把n个样本的值加再一起了，所以不需要sum直接除N
    gradW2=np.dot(layer1_a.T,probs-labels)/N
    #这里要注意sum,因为损失函数还有外层对每个样本求导后的平均值
    gradb2=np.sum((probs-labels),axis=0)/N
    # 记录下当前层的导数，便于下一层计算
    dlayer2=np.dot(probs-labels,W2.T)/N

    dlayer1 = (1-layer1_a)*layer1_a*dlayer2
    gradW1 = np.dot(data.T, dlayer1)
    gradb1 = np.sum(dlayer1,axis =0)

神经网络模型定义

本文研究的多层前馈神经网络（Multi-layer Feedforward Neural Networks），包含多层神经元，每层神经元与下一层神经元完全连接，神经元之间不存在同层连接，也不存在跨层连接.

设神经网络的层数为 $N$, 其中包括输入层、输出层和隐含层。我们用 $n$ 来表示模型的第 $n$ 层（$i\in[1,N]$）.

设神经网络第 $n$ 层的神经元数目为 $K_n$，我们用 $(n,k)$ 来表示模型的第 $n$ 层的第 $k$ 个神经元（$k\in[1,K_n]$）.

对于网络的第 $n$ 层，其每一个神经元的输入都是上一层所有神经元的输出。将第 $n$ 层的神经元的输入记为 $\mathbf{x}^{(n)}$，将第 $n$ 层第 $k$ 个神经元的输出记为 $y^{(n)}_k$，则有
 $$\mathbf{x}^{(n)} =[ y^{(n-1)}_1, y^{(n-1)}_2, \cdots, y^{(n-1)}_{K_{n-1}}]$$ 


设神经元 $(n,k)$ 与上一层各神经元之间的连接权重为 $\mathbf{w}^{(n)}_k$，其维度为 $K_{n-1}$，即上一层的神经元数目. 神经元 $(n,k)$ 的激活阈值为 $b^{(n)}_k$. 因此，神经元 $(n,k)$ 接收到的输入为： 

 $$z^{(n)}_k = \mathbf{w}^{(n)}_k \cdot \mathbf{x}^{(n)} - b^{(n)}_k=\sum_{i=1}^{K_{n-1}}\mathbf{w}^{(n)}_{k,i} \cdot \mathbf{x}^{(n)}_i-b^{(n)}_k$$ 


我们使用Sigmoid函数 $\sigma(x)$ 作为神经元的激活函数： 

 $$\sigma(x) = \frac{1}{1-e^{-x}}$$  

那么神经元 $(n,k)$ 的输出可以表示为： 

 $$y^{(n)}_k=\sigma(z^{(n)}_k) = \frac{1}{1-e^{- (\mathbf{w}^{(n)}_k \cdot \mathbf{x}^{(n)} - b^{(n)}_k)}}$$ 






神经网络推断问题

给定训练数据集 $\mathbf{D} = (\mathbf{X}, \mathbf{Y})$，其中 $\mathbf{X}$ 为数据特征集， $\mathbf{Y}$ 为数据标签集。根据该数据集构建神经网络，网络第一层神经元作为输入层，神经元数目 $K_1$ 为数据特征的维数，网络最后一层（即第 $N$ 层）的神经元作为输出层，神经元数目 $K_N$ 为数据标签的维数。

模型推断的目的是求解最佳的网络参数 $\{\mathbf{w}\},  \{\mathbf{b}\}$，使得神经网络可以尽可能好地拟合给定训练数据集。该问题可以表述为一个最优化问题，目标函数（也即损失函数）为每组数据的模型输出值与真实输出值之间的均方误差，即： 

 $$L=\frac{1}{2}\sum_{k=1}^{K_N}\big(\hat{y}_k-y^{(N)}_k\big)^2$$ 






后向传播算法的推导

我们使用梯度下降法进行模型推断. 对于每组训练数据，我们沿着损失函数的负梯度方向对参数$\{\mathbf{w}\}, \{\mathbf{b}\}$进行调整. 因此，问题的关键在于求解损失函数 $L$ 关于每个参数梯度，即
 $$\frac{\partial L}{\partial w^{(n)}_{k,i}}, \frac{\partial L}{\partial b^{(n)}_{k}}$$ 


我们通过神经元 $(n,k)$ 来观察神经网络中的数据流动过程和变量依赖关系。


神经元 $(n,k)$ 接受上一层的输出 $y^{(n-1)}$ 作为原始输入 $x^{(n)}$，即  $$y^{(n-1)}\rightarrow x^{(n)}$$ 
结合其输入权重 $w^{(n)}_k$，得到该神经元接收到的实际输入 $z^{(n)}_k$，即  $$x^{(n)}, w^{(n)}_k \rightarrow z^{(n)}_k$$ 
实际输入 $z^{(n)}_k$ 经过激活函数后得到该神经元的输出 $y^{(n)}_k$，即  $$z^{(n)}_k \rightarrow  y^{(n)}_k$$ 
该层所有神经元的输出又作为下一层所有神经元的原始输入，即：  $$y^{(n)}\rightarrow x^{(n+1)}$$ 


由此，我们可以看到变量之间的循环依赖关系如下： 

 $$y^{(n-1)}\rightarrow x^{(n)} , \ w^{(n)}_k \rightarrow z^{(n)}_k \rightarrow  y^{(n)}_k \rightarrow x^{(n+1)}$$ 


我们来看第 $n$ 层中的第 $k$ 个神经元 $(n,k)$，我们需要求与其相关的参数的梯度方向，即 $\frac{\partial L}{\partial w^{(n)}_{k,i}}, \frac{\partial L}{\partial b^{(n)}_{k}}$. 根据上述变量依赖关系，我们可以根据链式法则将上述梯度方向写成： 

 $$\begin{align*} 
\frac{\partial L}{\partial w^{(n)}_{k,i}} &= \frac{\partial L}{\partial y^{(n)}_{k}}\cdot \frac{\partial y^{(n)}_{k}}{\partial z^{(n)}_{k}}\cdot\frac{\partial z^{(n)}_{k}}{\partial w^{(n)}_{k,i}}\\
&= \frac{\partial L}{\partial y^{(n)}_{k}}\cdot \sigma'\big(y^{(n)}_{k}\big)\cdot x^{(n)}_{i}\\
\frac{\partial L}{\partial b^{(n)}_{k}} &= \frac{\partial L}{\partial y^{(n)}_{k}}\cdot \frac{\partial y^{(n)}_{k}}{\partial z^{(n)}_{k}}\cdot\frac{\partial z^{(n)}_{k}}{\partial b^{(n)}_{k}}\\
&= \frac{\partial L}{\partial y^{(n)}_{k}}\cdot \sigma'\big(y^{(n)}_{k}\big)\cdot (-1)\\
\end{align*}$$ 


式中第三项很直观，第二项可以利用Sigmoid函数 $\sigma(z)$ 的一个性质简单求解，即 $\sigma'(z) =\sigma(z)\cdot\sigma(1-z)$，这里我们用 $\sigma'\big(y^{(n)}_{k}\big)$表示。于是未知量就只剩下第一项，即 $\frac{\partial L}{\partial y^{(n)}_{k}}$.

注意到 $y^{(n)}_{k}$ 就是 $x^{(n+1)}_{k}$，再次应用链式法则，可以得到（注意 $x^{(n+1)}_{k}$ 会影响到第 $n+1$ 层所有的神经元）： 

 $$\begin{align*} 
\frac{\partial L}{\partial y^{(n)}_{k}} =\frac{\partial L}{\partial x^{(n+1)}_{k}} &=
\sum_{i=1}^{K_{n+1}}
 \frac{\partial L}{\partial y^{(n+1)}_{i}}\cdot \frac{\partial y^{(n+1)}_{i}}{\partial z^{(n+1)}_{i}}\cdot\frac{\partial z^{(n+1)}_{i}}{\partial x^{(n+1)}_{k}}\\
&= \frac{\partial L}{\partial y^{(n+1)}_{k}}\cdot \sigma'\big(y^{(n+1)}_{i}\big)\cdot w^{(n+1)}_{i,k}
\end{align*}$$ 


至此，我们得到了一个递归的公式，基于第 $n+1$ 层的结果用来计算第$n$层的梯度方向。我们可以从最后一层开始，逐步更新前一层参数，直到第一层。这就是所谓的“后向传播”算法。

最后一层，即第$N$层的梯度方向很容易可以求得，由于
 $$L=\frac{1}{2}\sum_{k=1}^{K_N}\big(\hat{y}_k-y^{(N)}_k\big)^2$$ 


因此 

 $$\frac{\partial L}{\partial y^{(N)}_{k}} =\hat{y}_k-y^{(N)}_k$$