前言

在学习编写ADP算法程序时，需要用到神经网络以及神经网络的梯度，原本想采用自编神经网络函数，但训练的特别麻烦，还需要写收敛算法，用牛顿方法或最小二乘方法，精度和效果也不好。所以，研究了一下如何利用MATLAB的神经网络工具箱进行训练，并且如何写出训练好的BP神经网络函数，以及如何写出其导数。

一、MATLAB神经网络工具箱的调用——BP神经网络

采用代码的方式创建神经网络。
数据集为x，写成行向量的形式（每个$x_i$数据是列向量，以$[x_1,x_2,...,x_n]$的形式拼在一起）；
结果为u，也要写成行向量的形式。

%% 搭建网络
net = newff(x, u, 8, {'tansig', 'purelin'},'trainlm');   % 建立BP神经网络，8个隐藏层节点，激活函数为tansig形式
%% 网络参数
net.trainParam.show = 10;      % 每10轮回显示一次结果
net.trainParam.epochs = 5000;  % 最大训练次数
net.trainParam.lr = 0.02;      % 网络的学习速率
net.trainParam.goal = 1e-5;    % 训练网络所要达到的目标误差
net.divideFcn = '';            % 网络误差如果连续6次迭代都没变化，则matlab会默认终止训练。为了让程序继续运行，用以下命令取消这条设置
%% 训练
net = train(net, x, u,'useGPU','only');		% 调用GPU加快训练速度

二、BP神经网络函数化表示

1.函数表示

设计的BP神经网络可以表示为如下形式

$F_N=W_2\tanh \left(W_{1}X+B_1\right)+B_2$

代码如下所示：

%% 从神经网络工具箱中获取训练好的参数
w1 = net.iw{1,1};
b1 = net.b{1};
w2 = net.lw{2,1};
b2 = net.b{2};
z_n = purelin(w2*tansig(w1*x_n + b1) + b2);		% 神经网络拟合函数 记为(a)

可以注意到这里输入和输出分别是x_n和z_n，这是因为在新版的神经网络工具箱中会自动自动对输入和输出的数据进行归一化，x_n和z_n是归一化后的结果。

2.归一化的修正

归一化采用的是mapminmax()函数。
输入是x，归一化后的输出是y，归一化的区间是 $[-1,1]$，归一化的公式如下所示：
$y=(y_{max}-y_{min})\ast (x-x_{min})/(x_{max}-x_{min})+y_{min};$
在mapminmax()提供的参数中可以表示为：
$x_n=(x-x_{offset})\ast k-1;$
所以将上面代码的最后一句(a)替换为进行归一化后的代码，如下所示：

%% 这是只是求神经网络工具箱归一化的参数，并不作为训练的输入
[x_, inputStr1] = mapminmax(x);		% 输入
[u_, outputStr1] = mapminmax(u);	% 结果
%% 取出归一化的参数
k1 = inputStr1.gain;
k2 = outputStr1.gain;
off1 = inputStr1.xoffset;
off2 = outputStr1.xoffset;
%% 函数表达
x_n = (x - off1).*k1 - 1;
z_n = purelin(w2*tansig(w1*x_n + b1) + b2);		% 神经网络拟合函数
z = (z_n + 1)./k2 + off2;

这就实现了BP神经网络的函数化表示。
F N ′ = W 2 { W 1 [ 1 − tanh ⁡ ( W 1 X + B 1 ) ⋅ × tanh ⁡ ( W 1 X + B 1 ) ] } \begin{array}{rl} F_{N}^{\prime}=W_{2}\left\{W_{1}\left[1-\tanh \left(W_{1} X+B_{1}\right) \cdot \times \tanh \left(W_{1} X+B_{1}\right)\right]\right\} \end{array} FN′​=W2​{W1​[1−tanh(W1​X+B1​)⋅×tanh(W1​X+B1​)]}​

三、BP神经网络梯度\求导函数

BP神经网络的梯度表达为：
F N ′ = W 2 { W 1 [ 1 − tanh ⁡ ( W 1 X + B 1 ) ⋅ × tanh ⁡ ( W 1 X + B 1 ) ] } \begin{array}{rl} F_{N}^{\prime}=W_{2}\left\{W_{1}\left[1-\tanh \left(W_{1} X+B_{1}\right) \cdot \times \tanh \left(W_{1} X+B_{1}\right)\right]\right\} \end{array} FN′​=W2​{W1​[1−tanh(W1​X+B1​)⋅×tanh(W1​X+B1​)]}​
但这里也要注意归一化，故修正为：
$\begin{array}{r}{F}_N^{\prime }=W_2\left\{(W_1\cdot \times K_1^T)\left[1-\tanh \left(W_{1}X+B_1\right)\cdot \times \tanh \left(W_{1}X+B_1\right)\right]\right\}\end{array}$

导数的拟合效果确实差了一些，在数据足够多的时候，还是比较接近的。

全部代码放在了文件全部的BP网络函数化的程序中。

总结

尝试了BP神经网络函数化表示，并推导出BP神经网络梯度\求导函数。

一、神经元模型

Neuron Model:多输入，单输出，带偏置。
输入：R维列向量

权值：R维行向量

求和单元：

传递函数：

输出：

二、常用传递函数

阈值函数，在matlab中调用：hardlim

三、创建一个感知器

根据给定的样本输入向量P和目标向量T, 以及需分类的向量组Q, 创建一个感知器, 对其进行分类。
代码如下（示例）：

P=[-0.5 -0.6 0.7;0.8 0 0.1];                      %已知样本输入向量
T=[1 1 0];                                        %已知样本目标向量
net=newp([-1 1;-1 1],1);                          %创建感知器
handle=plotpc(net.iw{1},net.b{1});                %返回划线的句柄
net.trainParam.epochs=10;                         %设置训练最大次数
net=train(net,P,T);                               %训练网络
Q=[0.6 0.9 -0.1;-0.1 -0.5 0.5];                   %已知待分类向量
Y=sim(net,Q);                                     %二元分类仿真结果 
figure;                                           %新建图形窗口
plotpv(Q,Y);                                      %画输入向量
handle=plotpc(net.iw{1},net.b{1},handle)          %画分类线

四、BP网络训练实例

采用动量梯度下降算法训练BP网络。训练样本。
代码如下（示例）：

%定义训练样本
p=[-1 -1 3 1;-1 1 5 -3];  
t=[-1 -1 1 1];
%创建一个新的BP网络
net=newff(minmax(p),[3 1],{'tansig','purelin'},'traingdm');
%设置训练参数
net.trainParam.epochs=1000;
net.trainParam.goal=0.001;
net.trainParam.show=50;
net.trainParam.lr=0.05;
net.trainParam.mc=0.9;                            %动量因子，缺省为0.9
net=train(net,p,t);                               % 训练网络
A=sim(net,p)                                      %网络仿真