我有一些数据点，想找到一个拟合函数，我想一个累积高斯乙状窦函数会拟合，但我真的不知道如何实现这一点。
 
这就是我现在所拥有的：import numpy as np
 
import pylab
 
from scipy.optimize
 
import curve_fit
 
def sigmoid(x, a, b):
 
y = 1 / (1 + np.exp(-b*(x-a)))
 
return y
 
xdata = np.array([400, 600, 800, 1000, 1200, 1400, 1600])
 
ydata = np.array([0, 0, 0.13, 0.35, 0.75, 0.89, 0.91])
 
popt, pcov = curve_fit(sigmoid, xdata, ydata)
 
print(popt)
 
x = np.linspace(-1, 2000, 50)
 
y = sigmoid(x, *popt)
 
pylab.plot(xdata, ydata, 'o', label='data')
 
pylab.plot(x,y, label='fit')
 
pylab.ylim(0, 1.05)
 
pylab.legend(loc='best')
 
pylab.show()
 
但我得到了以下警告：.../scipy/optimize/minpack.py:779: OptimizeWarning: Covariance of the parameters could not be estimated
 
category=OptimizeWarning)
 
有人能帮忙吗？
 
我也愿意接受任何其他的可能性！我只需要一个曲线来拟合这些数据。

1.S函数(sigmoid)$$f(x)=\frac{1}{1+e^{-x}}$$
 
 2.双S函数
 $$f(x)=\frac{1-e^{-x}}{1+e^{-x}}$$
 

Sigmoid函数
 
     Sigmoid 是使用范围最广的一类激活函数，具有指数函数形状 。正式定义为：
 
 
代码：
 
x=-10:0.001:10; 
%sigmoid和它的导数
sigmoid=1./(1+exp(-x));
sigmoidDer=exp(-x)./((1+exp(-x)).^2);
figure;
plot(x,sigmoid,‘r‘,x,sigmoidDer,‘b--‘);
axis([-10 10 -1 1]);
grid on;
title(‘Sigmoid函数（实线）及其导数（虚线）‘);
legend(‘Sigmoid原函数‘,‘Sigmid导数‘);
set(gcf,‘NumberTitle‘,‘off‘);
set(gcf,‘Name‘,‘Sigmoid函数（实线）及其导数（虚线）‘);
 
输出：
 
 
   可见，sigmoid 在定义域内处处可导，且两侧导数逐渐趋近于0，即：
 
 
    Bengio 教授等将具有这类性质的激活函数定义为软饱和激活函数。与极限的定义类似，饱和也分为左侧软饱和与右侧软饱和：
 
左侧软饱和：
 
 
右侧软饱和：
 
 
    与软饱和相对的是硬饱和激活函数，即：f‘(x)=0，当 |x| > c，其中 c 为常数。
 
    同理，硬饱和也分为左侧硬饱和和右侧硬饱和。常见的ReLU 就是一类左侧硬饱和激活函数。
 
Sigmoid 的软饱和性，使得深度神经网络在二三十年里一直难以有效的训练，是阻碍神经网络发展的重要原因。具体来说，由于在后向传递过程中，sigmoid向下传导的梯度包含了一个f‘(x) 因子（sigmoid关于输入的导数），因此一旦输入落入饱和区，f‘(x) 就会变得接近于0，导致了向底层传递的梯度也变得非常小。此时，网络参数很难得到有效训练。这种现象被称为梯度消失。一般来说， sigmoid 网络在 5 层之内就会产生梯度消失现象[Understanding the difficulty of training deep feedforward neural networks]。梯度消失问题至今仍然存在，但被新的优化方法有效缓解了，例如DBN中的分层预训练，Batch Normalization的逐层归一化，Xavier和MSRA权重初始化等代表性技术。
 
    Sigmoid 的饱和性虽然会导致梯度消失，但也有其有利的一面。例如它在物理意义上最为接近生物神经元。(0, 1) 的输出还可以被表示作概率，或用于输入的归一化，代表性的如Sigmoid交叉熵损失函数。
 

 
 
sigmoid函数
 
 

 
  
   σ(x)=11+e−xσ′(x)=(1−σ(x))σ(x)
  
 
 
 
证明
 
 

 
  
   ∂σ(x)∂x=e−x(1+e−x)2=(1+e−x−11+e−x)(11+e−x)=(1−σ(x))σ(x)(7)(8)(9)
  
 

 

单极性Sigmoid函数
 
 单极性Sigmoid函数，即$f(x)=\frac{1}{1+e^{-x}},f\prime(x)=f(x)[1-f(x)]$,该传输函数的输入在$(-\infty,+\infty)$之间取值，输出在$(0,1)$之间取值。sigmoid函数提供概率解释，另外，sigmoid函数是可微的，所以用于反向传播算法（BP）训练的多层网络才采用了该传输函数。 
 
 
双极性Sigmoid函数
 
 双极性Sigmoid函数，即$f(x)=\frac{1-e^{-x}}{1+e^x},f(x)'=\frac{1}{2}[1-f(x)^2]$
 
ReLU函数
 
 校正线性单元（Rectified Linear Unit）： 
 
 $$f(x)= max(0,x)=\begin{cases} 0 & \text {if $x < 0$} \\ x& \text{if $x\geq0$ } \end{cases}$$  

  深度神经网络中最大的问题是梯度消失问题（Gradient Vanishing Problem）,这在使用Sigmoid,tanh等饱和激活函数情况下尤为严重（神经网络进行误差反向传播时，各层都要乘以激活函数的一阶导数

$G=e\cdot\psi\prime(x)\cdot x$,梯度每传递一层都会衰减一次，网络层数较多时，梯度


 
  G
 <script type="math/tex" id="MathJax-Element-7">G</script>就会不停的衰减直至消失），使得训练网络时收敛很慢，而ReLU这类非饱和激活函数收敛速度则快很多，深度学习网络模型中大部分激活函数都选择ReLU.