背景：
作求解无约束极小值点范例。
代码：
import scipy.optimize as opt
import numpy as np

def test_fmin(fminfunc,x0,a):
    """
    x0为优化算法的初始值，各种优化算法必须
    a为目标函数的参数
    """
    def targetfunc(x):
        """
        fminfunc将求使得函数targetfunc值最小的x，这里的目标函数选的是各种优化算法中常用的一个函数
        """
        return 100*(x[0]**2-x[1])**2+(x[0]-a)**2

    print("=========================")
    print('求解函数名称：',fminfunc.__name__)

    print()
    # 优化算法求解
    h0 = fminfunc(targetfunc,x0)
    
    print()
    #输出求解出的极小值点
    print("极小值点:",h0)
    print()

#初始值点
x0 = np.array([12.,32.])
a = 9

test_fmin(opt.fmin,x0,a)
test_fmin(opt.fmin_powell,x0,a)
test_fmin(opt.fmin_cg,x0,a)
test_fmin(opt.fmin_bfgs,x0,a)
结果：

=========================

求解函数名称： fmin



Optimization terminated successfully.

         Current function value: 0.000000

         Iterations: 113

         Function evaluations: 216



极小值点: [  8.99999737  80.9999528 ]



=========================

求解函数名称： fmin_powell



Optimization terminated successfully.

         Current function value: 0.000000

         Iterations: 37

         Function evaluations: 1072



极小值点: [  9.  81.]



=========================

求解函数名称： fmin_cg



Warning: Desired error not necessarily achieved due to precision loss.

         Current function value: 114.368222

         Iterations: 16

         Function evaluations: 243

         Gradient evaluations: 59



极小值点: [-1.55212512  2.5828991 ]



=========================

求解函数名称： fmin_bfgs



Warning: Desired error not necessarily achieved due to precision loss.

         Current function value: 0.000000

         Iterations: 58

         Function evaluations: 608

         Gradient evaluations: 149



极小值点: [  8.99980808  80.99654173]

分析：

可以看出各优化算法得到的最小值点不尽相同，而fmin_cg函数并不能求出最小值点。这里并不是说明这种优化算法不好，各种求最小值的算法都有一定的适用范围，可能对这个问题fmin_cg函数不是很好。
参与过公司开发优化的项目，目标函数带参数的问题一直不是很好处理，用全局变量又耗时间，后来直接写了一个类解决了，如果在python中该不会有这个问题。

（1）离群点
如何识别离群点？
1、Q-Q图，落在置信区间带外的点即可被认为是离群点。
2、一个粗糙的判断准则：标准化残差值大于2或者小于2的点可能是离群

3、library(car)

   outlierTest(fit)  显示离群点
       rstudent unadjusted p-value Bonferonni p

Nevada 3.542929         0.00095088     0.047544

（2）高杠杆值点
它们是由许多异常的预测变量值组合起来的，与响应变量值没有关系
高杠杆值的观测点可通过帽子统计量（hat statistic）判断

hat.plot <- function(fit){

    p <- length(coefficients(fit))

    n <- length(fitted(fit))

    plot(hatvalues(fit), main = "Index Plot of Hat Values")

    abline(h = c(2, 3) * p/n, col = "red", lty = 2)

    identify(1:n, hatvalues(fit), names(hatvalues(fit)))

}



hat.plot(fit)



（3）强影响点
强影响点，即对模型参数估计值影响有些比例失衡的点。例如，若移除模型的一个观测点时模型会发生巨大的改变，那么你就需要检测一下数据中是否存在强影响点了

cutoff <- 4/(nrow(states) - length(fit$coefficients) - 2)

plot(fit, which = 4, cook.levels = cutoff)

abline(h = cutoff, lty = 2, col = "red")



4、如何对线性模型进行改进？
1、删除观测点；
删除离群点通常可以提高数据集对于正态假设的拟合度，而强影响点会干扰结果，通常也会被删除。删除最大的离群点或者强影响点后，模型需要重新拟合

2、变量变换：


Box-Cox正态变换

library(car)

summary(powerTransform(states$Murder))


library(car)

boxTidwell(Murder ~ Population + Illiteracy, data = states)

3、添加或删除变量；

4、使用其他回归方法。

#窗口大小，可以看出来是5，左边2个右边2个
def _nms_5(data):
    length=len(data)
    ans=[]
    for i in range(2,length-2):
        if data[i]>data[i-1] and data[i]>data[i-2] and data[i]>data[i+1] and data[i]>data[i+2]:
            ans.append(i)
    return ans
        

视频21
四、连续函数在闭区间上的性质
函数在区间I上的最大值和最小值定义
设函数f(x) 在区间I 上有定义如果x0 属于I，使得任意 x 属于 I
f(x0) <= f(x) (或 f(x0) >= f(x) ) 
则称f(x0)是f(x)在区间I上的最小值（f(x0)是区间I上的最大值）
记为
minf(x) = f(x0)(x属于区间I)
maxf(x) = f(x0)(x属于区间I)


1 最大最小值定理， 闭区间上的连续函数，在该区间上一定有最大值和最小值
解释


注意：“闭区间” 、“连续”  两个条件不可少
例1 y=1/x 在 （0，1）连续， 它即无最大值、也无最小值
例2 不连续的函数


2 有界性定理：闭区间上连续的函数，在该区间上它一定有界。
证明：设f(x) 在闭区间[a,b]上是连续的,由性质1可知，在闭区间[a,b]内一定存在最大值和最小值 使得m<=f(x)<=M,x属于[a,b],f（x）在闭区间[a,b]既有上界也有下界，从而推出f(x) 在区间【a,b】上有界


3 零值点定理
使得函数f(x)的函数值等于0的点x0, 即f(x0)=0,称x0为f(x)的零值点。
设f(x)在[a,b]上是连续的， 且f(a)与f（b）的积小于0,则至少存在一点 ξ 使得 f(ξ) = 0


4 介值定理
设f(x) 属于[a,b],且f(a) = A,f(b) = B , A <> B, 则对于数C介于A与B之间， 则至少存在一点ξ使得f(ξ) = C,
证明：使用3 证明 4


推论：设f(x)在闭区间[a,b]上连续，令 
m= minf(x),M = maxf(x) (x属于[a,b])
而数μ，m < μ < M,则比存在一点 ξ 使得f(ξ) = μ 


例1 
f(ξ ) = [f(x1) + f(x2) + .. + f(xn) ] / n
由推论证


习题：2-6 ， 9（2）（3）（4）（5）（7），11，12