bp神经网络

详解BP神经网络

万次阅读 多人点赞 2018-05-06 11:30:41

BP神经网络学习算法可以说是目前最成功的神经网络学习算法。显示任务中使用神经网络时，大多数是使用BP算法进行训练. 在我看来BP神经网络就是一个”万能的模型+误差修正函数“，每次根据训练得到的结果与...

#BackPropagation Neuron NetWok

  BP神经网络学习算法可以说是目前最成功的神经网络学习算法。显示任务中使用神经网络时，大多数是使用BP算法进行训练.

  在我看来BP神经网络就是一个”万能的模型+误差修正函数“，每次根据训练得到的结果与预想结果进行误差分析，进而修改权值和阈值，一步一步得到能输出和预想结果一致的模型。举一个例子：比如某厂商生产一种产品，投放到市场之后得到了消费者的反馈，根据消费者的反馈，厂商对产品进一步升级，优化，从而生产出让消费者更满意的产品。这就是BP神经网络的核心。

  下面就让我们来看看BP算法到底是什么东西。BP网络由输入层、隐藏层、输出层组成。给定训练集***D***={(x₁,y₁),(x₂,y₂…(x_n,y_n)},其中x_nϵR^d，y_nϵR^l,表示输入示例由d个属性组成，输出l维实值变量。现在，我们看看如何求得输出值，以及怎么由输出值调整权值和阈值。

       

   神经元是以生物研究及大脑的响应机制而建立的拓扑结构网络，模拟神经冲突的过程，多个树突的末端接受外部信号，并传输给神经元处理融合，最后通过轴突将神经传给其它神经元或者效应器。神经元的拓扑结构如图：

             
  对于第i个神经元，X₁、X₂、…、X_j为神经元的输入，输入常为对系统模型关键影响的自变量，W₁、W₂、…、W_j为连接权值调节各个输入量的占重比。将信号结合输入到神经元有多种方式，选取最便捷的线性加权求和可得neti神经元净输入:

 $Net_{in}=\sum_{i=1}^{n}{w_i*x_i}$ 

   $\theta$ _i表示该神经元的阈值，根据生物学中的知识，只有当神经元接收到的信息达到阈值是才会被激活。因此，我们将 $Net_{in}$ 和 $\theta_j$ 进行比较，然后通过激活函数处理以产生神经元的输出。

  激活函数：激活函数这里我们不多重述。如果输出值有一定的范围约束，比如用来分类，一般我们用的最多的是Sigmod函数，它可以把输入从负无穷大到正无穷大的信号变换成0到1之间输出。如果没有约束的话，我们可以使用线性激活函数(即权值相乘之和)。这样我们得到的输出为：

 $y_j=f(Net_{in}-\theta_j)$ 

  我们可以将公式化简一下，设第一个输入永远值为 $\theta$ ,权值为-1，则我们可以得到公式：

 $y_j=f(\sum_{i=0}^nw_i*x_i)$ 

  其中w₀=-1,x₀= $\theta$ _j,其中f为选择的激活函数。

  已经知道在BP神经网络模型中，我们有三层结构，输入层、隐藏层、输出层,因此输入层到隐藏层的权值，设为 $v_{ih}$ ,隐藏层第h个神经元的阈值我们设为 $\gamma_h$ 。隐藏层到输出层的权值，设为 $w_{hj}$ ,输出层第j个神经元的阈值我们用 $\theta_j$ 表示。在下面这张图里，有d输入神经元,q个隐藏神经元，隐藏有q个隐藏神经元阈值， $l$ 个输出神经元，因此有 $l$ 个输出神经元阈值。



  其中 $\beta_j$ 中的 $b_h=f(\alpha_h-\gamma_h)$ 。隐藏层和输出层的激活函数，在这里我们暂时全部用 $Sigmod$ 函数。

  在某个训练示例 $(x_k,y_k)$ 中，假设神经网络的训练输出为 $y_{k^,}=({y_1^{k^,},y_2^{k^,},\cdots,y_l^{k^,}})$ ,输出为 $l$ 维向量，其中

 $y_i^{k^,}=f(\beta_i-\theta_i)$ 

  那么这次预测结果的误差我们可以用最小二乘法表示：

 $E_k=\frac{1}{2}\sum_{j=1}^l(y_j^{k^,}-y_j^k)^2$ 

  而我们现在要做的就是根据这个误差去调整 $（d+l+1）q+l$ 个参数的值，一步一步缩小 $E_k$ 。那么从现在开始，我们就要进入数学的世界了。这里我们使用最常用的算法：梯度下降法来更新参数。函数永远是沿着梯度的方向变化最快，那么我们对每一个需要调整的参数求偏导数，如果偏导数>0,则要按照偏导数相反的方向变化；如果偏导数<0，则按照此方向变化即可。于是我们使用-1*偏导数则可以得到参数需要变化的值。同时我们设定一个学习速率 $\eta$ ，这个学习速率不能太快，也不能太慢。太快可能会导致越过最优解；太慢可能会降低算法的效率。(具体设多少就属于玄学调参的领域了)。因此我们可以得到一个参数调整公式：

 $Param+=-\eta\frac{\partial E_k}{\partial Param}$ 

  首先我们看看隐藏层到输出层的权值调整值：

 $\Delta w_{hj}=-\eta\frac{\partial E_k}{\partial w_{hj}}$ 

  好，我们从上到下缕一缕这个偏导该怎么求，我们把每一个公式都罗列出来：

#####  1.输入层到隐藏层：

 $\alpha_h=\sum_{i=1}^dv_{ih}*x_i \cdots \cdots \cdots \cdots \cdots \cdots \cdots(1)$ 

 $\begin{vmatrix} x_1 &x_2 &x_3&\cdots& x_d \end{vmatrix} \cdot \begin{vmatrix} v_{11} &v_{12} &v_{13}& \cdots& v_{1q} \\ v_{21} &v_{22} &v_{23}& \cdots& w_{2q} \\ \cdot & \cdot &\cdot & \cdot &\cdot \\ \cdot & \cdot &\cdot & \cdot &\cdot \\ \cdot & \cdot &\cdot & \cdot &\cdot \\ v_{d1} &w_{d2}&w_{d3} &\cdots & w_{dq} \end{vmatrix}$ 

#####  2.经过隐藏层的激活函数：

 $b_h=f(\alpha_h-\gamma_h) \cdots \cdots \cdots \cdots \cdots \cdots \cdots(2)$ 

#####  3.隐藏层到输出层：

 $\beta_j=\sum_{h=1}^qw_{hj}*b_h \cdots\cdots \cdots \cdots \cdots \cdots \cdots(3)$ 

#####  用矩阵表示

 $\begin{vmatrix} b_1 &b_2 &b_3&\cdots& b_q \end{vmatrix} \cdot \begin{vmatrix} w_{11} &w_{12} &w_{13}& \cdots& w_{1l} \\ w_{21} &w_{22} &w_{23}& \cdots& w_{2l} \\ \cdot & \cdot &\cdot & \cdot &\cdot \\ \cdot & \cdot &\cdot & \cdot &\cdot \\ \cdot & \cdot &\cdot & \cdot &\cdot \\ w_{q1} &w_{q2}&w_{q3} &\cdots & w_{ql} \end{vmatrix}$ 
#####  4.经过输出层的激活函数：

 $y_j^{k^,}=f(\beta_j-\theta_j)\cdots \cdots \cdots \cdots \cdots \cdots \cdots(4))$ 

#####  5.误差：

 $E_k=\frac{1}{2}\sum_{j=1}^l(y_j^{k^,}-y_j^k)^2 \cdots \cdots \cdots \cdots \cdots \cdots \cdots(5)$ 

  综上我们可以得知 $w_{hj}$ 先影响 $\beta_j$ ,再影响 $y_j^{k^,}$ ,最后影响 $E_k$ ,(一个 $w$ 权值只会影响一个 $\beta$ )所以我们可得：

 $\Delta w_{hj}=-\eta\frac{\partial E_k}{\partial w_{hj}}=-\eta\frac{\partial E_k}{\partial y_j^{k^,}}\cdot \frac{\partial y_j^{k^,}}{\partial \beta_j} \cdot\frac{\partial \beta_j}{\partial w_{hj}}\cdots(6)$ 

其中 $\frac{\partial \beta_j}{\partial w_{hj}}=b_h$ ,前面提到过， $b_h$ 是第h个隐藏神经元的输出。

 $g_j=\frac{\partial E_k}{\partial y_j^{k^,}}\cdot \frac{\partial y_j^{k^,}}{\partial \beta_j}=(y_j^{k^,}-y_j^k)\cdot f^{’}(\beta_j-\theta_j) \cdots(7)$ 

  而我们选择的激活函数是 $Sigmod$ 函数，该函数具有一个很好的性质

 $f(x)=\frac{1}{1+e^{-x}}\cdots f^{'}(x)=f(x)(1-f(x)) \cdots(8)$ 

  所以我们有：

 $f^{'}(\beta_j-\theta_j)=f(\beta_j-\theta_j)\cdot (1-f(\beta_j-\theta_j))=y_j^{k^{'}}\cdot (1-y_j^{k^{'}}) \cdots(9)$ 

  综合 $formula(6)(7)(9)$ 我们可得：

 $\Delta w_{hj}=-\eta\frac{\partial E_k}{\partial w_{hj}}=-\eta g_i b_h=-\eta (y_j^{k^{'}}-y_j^k) \cdot y_j^{k^{'}}\cdot (1-y_j^{k^{'}})\cdot b_h \cdots(10)$ 

####  同理：

 $\Delta \theta_j=-\eta \frac{\partial E_k}{\partial \theta_j}=-\eta \frac{\partial E_k}{\partial y_j^{k^{'}}}\cdot\frac{\partial y_j^{k^{'}}}{\partial \theta_j}=\eta\cdot g_j \cdots(11)$ 

  我们再看看 $\Delta v_{ih}$ 的值怎么求，还是由 $formula(1),(2),(3),(4),(5)$ 推导，一个 $v$ 权值会影响所有的 $\beta$ 

 $\Delta v_{ih}=-\eta e_h x_i \cdots\cdots\cdots\cdots(12)$ 

 $\Delta \gamma_h=\eta e_h \cdots \cdots\ \cdots(13)$ 

  其中

 $e_h=（\sum_{j=1}^l \frac{\partial E_k}{\partial \beta_j}\cdot \frac{\partial \beta_j}{\partial b_j}）\cdot f^{'}(\alpha_h-\gamma_h)=(\sum_{j=1}^l(y_j^{k^,}-y_j^k)\cdot f^{’}(\beta_j-\theta_j) \cdot w_{hj})\cdot f^{'}(\alpha_h-\gamma_h) \cdots \cdots \cdots(14)$ 

####  至此，我们所有得公式都推导完毕了，剩下做的就是设定一个迭代终止条件，可以是误差小于一定值时终止递归，也可以是设定迭代次数。这样一个BP神经网络模型就算是设计结束。

  java实现代码和实验数据在我的github上面

收起

展开全文

BP神经网络
2018-04-07 19:29:51
BP神经网络的python实现BP神经网络的python实现BP神经网络的python实现BP神经网络的python实现BP神经网络的python实现BP神经网络的python实现BP神经网络的python实现BP神经网络的python实现BP神经网络的python实现BP...
收起

如何利用matlab做BP神经网络分析（利用matlab神经网络工具箱）

万次阅读 多人点赞 2018-08-02 16:19:53

最近一段时间在研究如何利用...发现神经网络模型可以来预测，并且有很多是结合时间序列或者SVM（支持向量机）等组合模型来进行预测，本文结合实际数据，选取了常用的BP神经网络算法，其算法原理，因网上一大堆，所以...

最近一段时间在研究如何利用预测其销量个数，在网上搜索了一下，发现了很多模型来预测，比如利用回归模型、时间序列模型，GM（1,1）模型，可是自己在结合实际的工作内容，发现这几种模型预测的精度不是很高，于是再在网上进行搜索，发现神经网络模型可以来预测，并且有很多是结合时间序列或者SVM（支持向量机）等组合模型来进行预测，本文结合实际数据，选取了常用的BP神经网络算法，其算法原理，因网上一大堆，所以在此不必一一展示，并参考了bp神经网络进行交通预测的Matlab源代码这篇博文，运用matlab 2016a,给出了下面的代码，并最终进行了预测

clc

clear all

close all

%bp 神经网络的预测代码

%载入输出和输入数据

load C:\Users\amzon\Desktop\p.txt;

load C:\Users\amzon\Desktop\t.txt;

%保存数据到matlab的工作路径里面

save p.mat;

save t.mat;%注意t必须为行向量

%赋值给输出p和输入t

p=p;

t=t;

%数据的归一化处理，利用mapminmax函数，使数值归一化到[-1.1]之间

%该函数使用方法如下：[y,ps] =mapminmax(x,ymin,ymax)，x需归化的数据输入，

%ymin，ymax为需归化到的范围，不填默认为归化到[-1,1]

%返回归化后的值y，以及参数ps，ps在结果反归一化中，需要调用

[p1,ps]=mapminmax(p);

[t1,ts]=mapminmax(t);

%确定训练数据，测试数据,一般是随机的从样本中选取70%的数据作为训练数据

%15%的数据作为测试数据，一般是使用函数dividerand，其一般的使用方法如下：

%[trainInd,valInd,testInd] = dividerand(Q,trainRatio,valRatio,testRatio)

[trainsample.p,valsample.p,testsample.p] =dividerand(p,0.7,0.15,0.15);

[trainsample.t,valsample.t,testsample.t] =dividerand(t,0.7,0.15,0.15);

%建立反向传播算法的BP神经网络，使用newff函数，其一般的使用方法如下

%net = newff(minmax(p),[隐层的神经元的个数，输出层的神经元的个数],{隐层神经元的传输函数，输出层的传输函数｝,'反向传播的训练函数'),其中p为输入数据，t为输出数据

%tf为神经网络的传输函数，默认为'tansig'函数为隐层的传输函数，

%purelin函数为输出层的传输函数

%一般在这里还有其他的传输的函数一般的如下，如果预测出来的效果不是很好，可以调节

%TF1 = 'tansig';TF2 = 'logsig';

%TF1 = 'logsig';TF2 = 'purelin';

%TF1 = 'logsig';TF2 = 'logsig';

%TF1 = 'purelin';TF2 = 'purelin';

TF1='tansig';TF2='purelin';

net=newff(minmax(p),[10,1],{TF1 TF2},'traingdm');%网络创建

%网络参数的设置

net.trainParam.epochs=10000;%训练次数设置

net.trainParam.goal=1e-7;%训练目标设置

net.trainParam.lr=0.01;%学习率设置,应设置为较少值，太大虽然会在开始加快收敛速度，但临近最佳点时，会产生动荡，而致使无法收敛

net.trainParam.mc=0.9;%动量因子的设置，默认为0.9

net.trainParam.show=25;%显示的间隔次数

% 指定训练参数

% net.trainFcn = 'traingd'; % 梯度下降算法

% net.trainFcn = 'traingdm'; % 动量梯度下降算法

% net.trainFcn = 'traingda'; % 变学习率梯度下降算法

% net.trainFcn = 'traingdx'; % 变学习率动量梯度下降算法

% (大型网络的首选算法)

% net.trainFcn = 'trainrp'; % RPROP(弹性BP)算法,内存需求最小

% 共轭梯度算法

% net.trainFcn = 'traincgf'; %Fletcher-Reeves修正算法

% net.trainFcn = 'traincgp'; %Polak-Ribiere修正算法,内存需求比Fletcher-Reeves修正算法略大

% net.trainFcn = 'traincgb'; % Powell-Beal复位算法,内存需求比Polak-Ribiere修正算法略大

% (大型网络的首选算法)

%net.trainFcn = 'trainscg'; % ScaledConjugate Gradient算法,内存需求与Fletcher-Reeves修正算法相同,计算量比上面三种算法都小很多

% net.trainFcn = 'trainbfg'; %Quasi-Newton Algorithms - BFGS Algorithm,计算量和内存需求均比共轭梯度算法大,但收敛比较快

% net.trainFcn = 'trainoss'; % OneStep Secant Algorithm,计算量和内存需求均比BFGS算法小,比共轭梯度算法略大

% (中型网络的首选算法)

%net.trainFcn = 'trainlm'; %Levenberg-Marquardt算法,内存需求最大,收敛速度最快

% net.trainFcn = 'trainbr'; % 贝叶斯正则化算法

% 有代表性的五种算法为:'traingdx','trainrp','trainscg','trainoss', 'trainlm'

%在这里一般是选取'trainlm'函数来训练，其算对对应的是Levenberg-Marquardt算法

net.trainFcn='trainlm';

[net,tr]=train(net,trainsample.p,trainsample.t);

%计算仿真，其一般用sim函数

[normtrainoutput,trainPerf]=sim(net,trainsample.p,[],[],trainsample.t);%训练的数据，根据BP得到的结果

[normvalidateoutput,validatePerf]=sim(net,valsample.p,[],[],valsample.t);%验证的数据，经BP得到的结果

[normtestoutput,testPerf]=sim(net,testsample.p,[],[],testsample.t);%测试数据，经BP得到的结果

%将所得的结果进行反归一化，得到其拟合的数据

trainoutput=mapminmax('reverse',normtrainoutput,ts);

validateoutput=mapminmax('reverse',normvalidateoutput,ts);

testoutput=mapminmax('reverse',normtestoutput,ts);

%正常输入的数据的反归一化的处理，得到其正式值

trainvalue=mapminmax('reverse',trainsample.t,ts);%正常的验证数据

validatevalue=mapminmax('reverse',valsample.t,ts);%正常的验证的数据

testvalue=mapminmax('reverse',testsample.t,ts);%正常的测试数据

%做预测，输入要预测的数据pnew

pnew=[313,256,239]';

pnewn=mapminmax(pnew);

anewn=sim(net,pnewn);

anew=mapminmax('reverse',anewn,ts);

%绝对误差的计算

errors=trainvalue-trainoutput;

%plotregression拟合图

figure,plotregression(trainvalue,trainoutput)

%误差图

figure,plot(1:length(errors),errors,'-b')

title('误差变化图')

%误差值的正态性的检验

figure,hist(errors);%频数直方图

figure,normplot(errors);%Q-Q图

[muhat,sigmahat,muci,sigmaci]=normfit(errors);%参数估计 均值,方差,均值的0.95置信区间,方差的0.95置信区间

[h1,sig,ci]= ttest(errors,muhat);%假设检验

figure, ploterrcorr(errors);%绘制误差的自相关图

figure, parcorr(errors);%绘制偏相关图

运行之后的，结果如下：

BP神经网络的结果分析图

训练数据的梯度和均方误差之间的关系图

验证数据的梯度与学习次数

残差的正态的检验图（Q-Q图）

在网上，发现可以通过神经网络工具箱这个GUI界面来创建神经网络,其一般的操作步骤如下：

1：在输入命令里面输入nntool命令，或者在应用程序这个选项下找到Netrual Net Fitting 这个应用程序，点击打开，就能看见如下界面

2：输入数据和输出数据的导入（在本文中选取了matlab自带的案例数据）

3：随机选择三种类型的数据所占的样本量的比例，一般选取默认即可

4：隐层神经元的确定

5：训练算法的选取，一般是选择默认即可，选择完成后点击<train>按钮即可运行程序

6：根据得到的结果，一般是MSE的值越小，R值越接近1，其训练的效果比较，并第二张图给出了神经网络的各参数的设置以及其最终的结果，其拟合图R越接近1，模型拟合的更好

最终的结果图

7：如果所得到的模型不能满足你的需求，则需重复上述的步骤直至能够得到你想要的精确度

8：将最终的得到的各种数据以及其拟合值进行保存，然后查看，就可以得到所要的拟合值

最后参考了网上和MATLAB的帮助，给出了一些与神经网络相关的函数，希望能够帮助大家。。
图形用户界面功能。
    nnstart - 神经网络启动GUI
    nctool - 神经网络分类工具
    nftool - 神经网络的拟合工具
    nntraintool - 神经网络的训练工具
    nprtool - 神经网络模式识别工具
    ntstool - NFTool神经网络时间序列的工具
    nntool - 神经网络工具箱的图形用户界面。
    查看 - 查看一个神经网络。

  网络的建立功能。
    cascadeforwardnet - 串级，前馈神经网络。
    competlayer - 竞争神经层。
    distdelaynet - 分布时滞的神经网络。
    elmannet - Elman神经网络。
    feedforwardnet - 前馈神经网络。
    fitnet - 函数拟合神经网络。
    layrecnet - 分层递归神经网络。
    linearlayer - 线性神经层。
    lvqnet - 学习矢量量化（LVQ）神经网络。
    narnet - 非线性自结合的时间序列网络。
    narxnet - 非线性自结合的时间序列与外部输入网络。
    newgrnn - 设计一个广义回归神经网络。
    newhop - 建立经常性的Hopfield网络。
    newlind - 设计一个线性层。
    newpnn - 设计概率神经网络。
    newrb - 径向基网络设计。
    newrbe - 设计一个确切的径向基网络。
    patternnet - 神经网络模式识别。
    感知 - 感知。
    selforgmap - 自组织特征映射。
    timedelaynet - 时滞神经网络。

  利用网络。
    网络 - 创建一个自定义神经网络。
    SIM卡 - 模拟一个神经网络。
    初始化 - 初始化一个神经网络。
    适应 - 允许一个神经网络来适应。
    火车 - 火车的神经网络。
    DISP键 - 显示一个神经网络的属性。
    显示 - 显示的名称和神经网络属性
    adddelay - 添加延迟神经网络的反应。
    closeloop - 神经网络的开放反馈转换到关闭反馈回路。
    formwb - 表格偏见和成单个向量的权重。
    getwb - 将它作为一个单一向量中的所有网络权值和偏差。
    noloop - 删除神经网络的开放和关闭反馈回路。
    开环 - 转换神经网络反馈，打开封闭的反馈循环。
    removedelay - 删除延迟神经网络的反应。
    separatewb - 独立的偏见和重量/偏置向量的权重。
    setwb - 将所有与单个矢量网络权值和偏差。

  Simulink的支持。
    gensim - 生成Simulink模块来模拟神经网络。
    setsiminit - 集神经网络的Simulink模块的初始条件
    getsiminit - 获取神经网络Simulink模块的初始条件
    神经元 - 神经网络Simulink的模块库。

  培训职能。
    trainb - 批具有重量与偏见学习规则的培训。
    trainbfg - 的BFGS拟牛顿倒传递。
    trainbr - 贝叶斯规则的BP算法。
    trainbu - 与重量与偏见一批无监督学习规则的培训。
    trainbuwb - 与体重无监督学习规则与偏见一批培训。
    trainc - 循环顺序重量/偏见的培训。
    traincgb - 共轭鲍威尔比尔重新启动梯度反向传播。
    traincgf - 共轭弗莱彻-里夫斯更新梯度反向传播。
    traincgp - 共轭波拉克- Ribiere更新梯度反向传播。
    traingd - 梯度下降反向传播。
    traingda - 具有自适应LR的反向传播梯度下降。
    traingdm - 与动量梯度下降。
    traingdx - 梯度下降瓦特/惯性与自适应LR的反向传播。
    trainlm - 采用Levenberg -马奎德倒传递。
    trainoss - 一步割线倒传递。
    trainr - 随机重量/偏见的培训。
    trainrp - RPROP反向传播。
    trainru - 无监督随机重量/偏见的培训。
    火车 - 顺序重量/偏见的培训。
    trainscg - 规模化共轭梯度BP算法。

  绘图功能。
    plotconfusion - 图分类混淆矩阵。
    ploterrcorr - 误差自相关时间序列图。
    ploterrhist - 绘制误差直方图。
    plotfit - 绘图功能适合。
    plotinerrcorr - 图输入错误的时间序列的互相关。
    plotperform - 小区网络性能。
    plotregression - 线性回归情节。
    plotresponse - 动态网络图的时间序列响应。
    plotroc - 绘制受试者工作特征。
    plotsomhits - 小区自组织图来样打。
    plotsomnc - 小区自组织映射邻居的连接。
    plotsomnd - 小区自组织映射邻居的距离。
    plotsomplanes - 小区自组织映射重量的飞机。
    plotsompos - 小区自组织映射重量立场。
    plotsomtop - 小区自组织映射的拓扑结构。
    plottrainstate - 情节训练状态值。
    plotwb - 图寒春重量和偏差值图。

  列出其他神经网络实现的功能。
    nnadapt - 适应职能。
    nnderivative - 衍生功能。
    nndistance - 距离函数。
    nndivision - 除功能。
    nninitlayer - 初始化层功能。
    nninitnetwork - 初始化网络功能。
    nninitweight - 初始化权函数。
    nnlearn - 学习功能。
    nnnetinput - 净输入功能。
    nnperformance - 性能的功能。
    nnprocess - 处理功能。
    nnsearch - 线搜索功能。
    nntopology - 拓扑结构的功能。
    nntransfer - 传递函数。
    nnweight - 重量的功能。
nndemos - 神经网络工具箱的示威。
    nndatasets - 神经网络工具箱的数据集。
    nntextdemos - 神经网络设计教科书的示威。
    nntextbook - 神经网络设计教科书的资讯。

收起

展开全文

python3_实现BP神经网络 + BP神经网络应用实例

万次阅读 多人点赞 2018-07-29 22:10:28

1.BP神经网络简介 BP神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。优点：具有任意复杂的模式分类能力和优良的...

0.目录

1.BP神经网络简介

2.前期理论准备

2.算法数学原理

（一）符号说明

（二）公式推导

3.python实现（python3编程实现）

（一）sigmoid函数

（二）BP主函数实现

4.数据格式

1.BP神经网络简介


BP神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。

目录

0.目录

1.BP神经网络简介

2.前期理论准备

2.算法数学原理

（一）符号说明

（二）公式推导

3.python实现（python3编程实现）

（一）sigmoid函数

（二）BP主函数实现

4.数据格式

优点：

1.具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或问题的问题（参考博客：https://www.jianshu.com/p/a25788130897 或 https://www.cnblogs.com/xym4869/p/11282469.html）
	2.从结构上讲，BP神经网络具有输入层、隐含层和输出层
	3.从本质上讲，BP算法就是以网络误差平方目标函数、采用梯度下降法来计算目标函数的最小值。基本BP算法包括信号的前向传播和误差的反向传播两个过程。
缺点：

1.学习速度慢，即使是一个简单的过程，也需要几百次甚至上千次的学习才能收敛。
	2.容易陷入局部极小值
	3.网络层数、神经元个数的选择没有相应的理论指导
	4.网络推广能力有限。
应用：

1.函数逼近
	2.模式识别
	3.分类
	4.数据压缩


2.前期理论准备




网络训练的目标：找到合适的权值和阈值，使得误差E最小。

sigmoid函数：在信息科学当中，由于其单增以及其反函数单增等性质，sigmoid函数常被用作神经网络的阈值函数，将变量映射当0和1之间。（该函数的对x的求导也应该理解）


2.算法数学原理

（一）符号说明




Xi: 输入信号。

Xd: 隐层的阈值（是从求和函数中-θ中分离出的-1）。

Vih: 第h个隐层神经元所对应输入信号Xi的权值。

αh: 第h个隐层神经元的输入。

-γh=--1*γh：隐层神经元的阈值。

bh: 第h个隐层神经元的输入。

ωhj: 第j个输出层神经元所对应的隐层神经元输出bh的权值。

-θj=-1*θj:  输出层神经元的阈值（bq）

：第j个输出层神经元的输出（预测输出值，yj为真实值）


（二）公式推导

通过公式变换可得输出层权值与阈值的变化量：



同理可得隐层权值和阈值的变化量：



3.python实现（python3编程实现）

（一）sigmoid函数

def sigmoid(x):
    """
    隐含层和输出层对应的函数法则
    """
    return 1/(1+np.exp(-x))


（二）BP主函数实现

def BP(data_tr, data_te, maxiter=600):

    # --pandas是基于numpy设计的，效率略低
    # 为提高处理效率，转换为数组
    data_tr, data_te = np.array(data_tr), np.array(data_te)

    # --隐层输入
    # -1： 代表的是隐层的阈值
    net_in = np.array([0.0, 0, -1])
    w_mid = np.random.rand(3, 4)          # 隐层权值阈值（-1x其中一个值：阈值）

    # 输出层输入
    # -1：代表输出层阈值
    out_in = np.array([0.0, 0, 0, 0, -1])
    w_out = np.random.rand(5)             # 输出层权值阈值（-1x其中一个值：阈值）
    delta_w_out = np.zeros([5])           # 存放输出层权值阈值的逆向计算误差
    delta_w_mid = np.zeros([3, 4])        # 存放因此能权值阈值的逆向计算误差
    yita = 1.75                           # η： 学习速率
    Err = np.zeros([maxiter])             # 记录总体样本每迭代一次的错误率

    # 1.样本总体训练的次数
    for it in range(maxiter):

        # 衡量每一个样本的误差
        err = np.zeros([len(data_tr)])

        # 2.训练集训练一遍
        for j in range(len(data_tr)):
            net_in[:2] = data_tr[j, :2]                       # 存储当前对象前两个属性值
            real = data_tr[j, 2]

            # 3.当前对象进行训练
            for i in range(4):
                out_in[i] = sigmoid(sum(net_in*w_mid[:, i]))  # 计算输出层输入
            res = sigmoid(sum(out_in * w_out))                # 获得训练结果

            err[j] = abs(real - res)

            # --先调节输出层的权值与阈值
            delta_w_out = yita*res*(1-res)*(real-res)*out_in  # 权值调整
            delta_w_out[4] = -yita*res*(1-res)*(real-res)     # 阈值调整
            w_out = w_out + delta_w_out

            # --隐层权值和阈值的调节
            for i in range(4):
                # 权值调整
                delta_w_mid[:, i] = yita * out_in[i] * (1 - out_in[i]) * w_out[i] * res * (1 - res) * (real - res) * net_in
                # 阈值调整
                delta_w_mid[2, i] = -yita * out_in[i] * (1 - out_in[i]) * w_out[i] * res * (1 - res) * (real - res)
            w_mid = w_mid + delta_w_mid
        Err[it] = err.mean()
    plt.plot(Err)
    plt.show()

    # 存储预测误差
    err_te = np.zeros([100])

    # 预测样本100个
    for j in range(100):
        net_in[:2] = data_te[j, :2]                         # 存储数据
        real = data_te[j, 2]                                # 真实结果

        # net_in和w_mid的相乘过程
        for i in range(4):
            # 输入层到隐层的传输过程
            out_in[i] = sigmoid(sum(net_in*w_mid[:, i]))
        res = sigmoid(sum(out_in*w_out))                    # 网络预测结果输出
        err_te[j] = abs(real-res)                           # 预测误差
        print('res:', res, ' real:', real)
    
    plt.plot(err_te)
    plt.show()




if "__main__" == __name__:

    # 1.读取样本
    data_tr = pd.read_csv("5.2 data_tr.txt")
    data_te = pd.read_csv("5.2 data_te.txt")
    BP(data_tr, data_te, maxiter=600)

4.数据格式

收起

展开全文

神经网络公式推导神经网络

如何利用matlab做BP神经网络分析（包括利用matlab神经网络工具箱）
万次阅读 多人点赞 2016-11-21 21:54:01
利用MATLAB 进行BP神经网络的预测（含有神经网络工具箱）最近一段时间在研究如何利用预测其销量个数，在网上搜索了一下，发现了很多模型来预测，比如利用回归模型、时间序列模型，GM（1,1）模型，可是自己在结合...
收起

详解BP神经网络

BP神经网络

神经网络学习 之 BP神经网络

概述

BP算法的基本思想

BP算法的信号流向图如下图所示 BP网络特性分析——BP三要素

3.1 BP网络的拓扑结构

3.3 BP网络的学习算法

BP网络的训练分解

前向传输（Feed-Forward前向反馈）

逆向反馈（Backpropagation）

训练终止条件

BP网络运行的具体流程

网络结构

变量定义

第四步：求偏导数

第六步：修正权值

第七部：修正权值

第八步：计算全局误差

第九步：判断模型合理性

BP网络的设计

1.网络的层数

2.隐层神经元的个数

3.初始权值的选取

4.学习速率

5.期望误差的选取

BP网络的局限性

BP网络实现

如何利用matlab做BP神经网络分析（利用matlab神经网络工具箱）

python3_实现BP神经网络 + BP神经网络应用实例

0.目录

1.BP神经网络简介

2.前期理论准备

2.算法数学原理

（一）符号说明

（二）公式推导

3.python实现（python3编程实现）

（一）sigmoid函数

（二）BP主函数实现

4.数据格式

如何利用matlab做BP神经网络分析（包括利用matlab神经网络工具箱）

bp神经网络

神经网络学习之 BP神经网络

BP算法的信号流向图如下图所示

BP网络特性分析——BP三要素