最小二乘法公式

最小二乘法公式是一个数学的公式，在数学上称为曲线拟合，此处所讲最小二乘法，专指线性回归方程！最小二乘法公式为a=y(平均)-b*x（平均）。

1.简介：

最小二乘法公式：
设拟合直线的公式为,
其中：拟合直线的斜率为：；计算出斜率后，根据和已经确定的斜率k，利用待定系数法求出截距b。

2.基本思路

最小二乘法是解决曲线拟合问题最常用的方法。其基本思路是：令

3.基本原理

设(x,y)是一对观测量，
且 满足以下的理论函数 ：

其中
为待定参数。
为了寻找函数
的参数
的最优估计值，对于给定m 组（通常 m>n）观测数据
，求解目标函数
取最小值的参数
。求解的这类问题称为最小二乘问题，求解该问题的方法的几何语言称为最小二乘拟合。
对于无约束最优化问题，最小二乘法的一般形式为 ：

其中
称为残差函数。当
是x的线性函数时，称为线性最小二乘问题，否则称为非线性最小二乘问题 。

4.最小二乘优化问题

在无约束最优化问题中，有些重要的特殊情形，比如目标函数由若干个函数的平方和构成，这类函数一般可以写成：

其中
，通常要求m≥n，我们把极小化这类函数的问题：

称为最小二乘优化问题。最小二乘优化是一类比较特殊的优化问题 。

1.最小二乘法的原理

最小二乘法的主要思想是通过确定未知参数$\theta$（通常是一个参数矩阵），来使得真实值和预测值的误差（也称残差）平方和最小，其计算公式为$E={\sum }_{i=0}^n{e}_i^2={\sum }_{i=1}^n(y_i-\widehat{y_i})$，其中$y_i$是真实值，$\widehat{y_i}$是对应的预测值。如下图所示（来源于维基百科，Krishnavedala的作品），就是最小二乘法的一个示例，其中红色为数据点，蓝色为最小二乘法求得的最佳解，绿色即为误差。

图中有四个数据点分别为：(1, 6), (2, 5), (3, 7), (4, 10)。在线性回归中，通常我们使用均方误差来作为损失函数，均方误差可以看作是最小二乘法中的E除以m（m为样本个数），所以最小二乘法求出来的最优解就是将均方误差作为损失函数求出来的最优解。对于图中这些一维特征的样本，我们的拟合函数为$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$，所以损失函数为 $$J({\theta }_0,{\theta }_1)=\sum _{i=0}^m(y^{(i)}-h_{\theta }(x^{(i)}){)}^2=\sum _{i=0}^m(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)}{)}^2$$（这里损失函数使用最小二乘法，并非均方误差），其中上标(i)表示第i个样本。

2.最小二乘法求解

要使损失函数最小，可以将损失函数当作多元函数来处理，采用多元函数求偏导的方法来计算函数的极小值。例如对于一维特征的最小二乘法，$J({\theta }_0,{\theta }_1)$分别对${\theta }_0$，${\theta }_1$求偏导，令偏导等于0得：

$$\frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}=-2\sum _{i=1}^m(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)})=0\text{\hspace{1em}(2.1)}$$

$$\frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1}=-2\sum _{i=1}^m(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)})x^{(i)}=0\text{\hspace{1em}(2.2)}$$

联立两式，求解可得：

$${\theta }_0=\frac{{\sum }_{i=1}^m(x^{(i)}{)}^2{\sum }_{i=1}^m{y}^{(i)}-{\sum }_{i=1}^m{x}^{(i)}{\sum }_{i=1}^m{x}^{(i)}{y}^{(i)}}{m{\sum }_{i=1}^m(x^{(i)}{)}^2-{\sum }_{i=1}^m{x}^{(i)}({\sum }_{i=1}^m{x}^{(i)}{)}^2}\text{\hspace{1em}(2.3)}$$

$${\theta }_1=\frac{m{\sum }_{i=1}^m{x}^{(i)}{y}^{(i)}-{\sum }_{i=1}^m{x}^{(i)}{\sum }_{i=1}^m{y}^{(i)}}{m{\sum }_{i=1}^m(x^{(i)}{)}^2-{\sum }_{i=1}^m{x}^{(i)}({\sum }_{i=1}^m{x}^{(i)}{)}^2}\text{\hspace{1em}(2.4)}$$

对于图1中的例子，代入公式$(2.3)$和$(2.4)$进行结算得，${\theta }_0=3.5,{\theta }_1=1.4,J(\theta )=4.2$。

对于n维特征的样本，同样可以采用这种方式来求解。对于特征维度$(x_1,x_2,\cdots ,x_n)$，我们增加一个第0维$x_0=1$，这样增广特征向量$x=(x_0,x_1,\cdots ,x_n)$，增广权向量为$\theta =({\theta }_0,{\theta }_1,\dots ,{\theta }_n)$.

此时我们的拟合函数变为：

$$h_{\theta }(x)=\sum _{i=0}^n{\theta }_i{x}_i={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n$$

损失函数变为：

$$J(\theta )=\sum _{j=1}^m(h_{\theta }(x^{(j)})-y^{(j)}{)}^2=\sum _{j=1}^m(\sum _{i=0}^n{\theta }_i{x}_i^{(j)}-y^{(j)}{)}^2$$

损失函数$J(\theta )$分别对${\theta }_i(i=0,1,\dots ,n)$求偏导，得：

$$\frac{\partial J(\theta )}{\partial {\theta }_i}=2\sum _{j=1}^m(h_{\theta }(x^{(j)})-y^{(j)})x^{(j)}=2\sum _{j=1}^m(\sum _{i=0}^n{\theta }_i{x}_i^{(j)}-y^{(j)})x^{(j)}(i=0,1,\dots ,n)$$

令偏导等于0，则有：

$$\sum {j=1}^m(\sum {i=0}^n{\theta }_i{x}_i^{(j)}-y^{(j)})x^{(j)}=0(i=0,1,\dots ,n)$$

这样最终得到的结果就是一个线性方程组，未知数的个数为n+1，方程的个数也为n+1，这样就可以通过高斯消元法解出${\theta }_i(i=0,1,\dots ,n)$，具体可参见：详解最小二乘法原理和代码。

对于线性回归问题，我们可以依据拟合函数的形式进行特征空间变换，即广义线性回归。例如，$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2$，我们可以令$x_2:=x_2^2$，这里$:=$表示赋值，即将右边的值赋给左边。这样又变成了我们所熟悉的拟合函数形式。

对于非线性回归问题，最小二乘法的思想同样适用，只不过函数形式有所变化。例如，对于拟合函数$h_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_{2}lnx$，此时$J(\theta )={\sum }_{j=1}^m(h_{\theta }(x^{(j)})-y^{(j)}{)}^2$，求偏导的结果为：

$$\frac{\partial J(\theta )}{\partial {\theta }_i}=2\sum _{j=1}^m(h_{\theta }(x^{(j)})-y^{(j)})\frac{\partial h_{\theta }(x)}{{\theta }_i}(i=0,1,2);其中\frac{\partial h_{\theta }(x)}{{\theta }_0}=1,\frac{\partial h_{\theta }(x)}{{\theta }_2}=x,\frac{\partial h_{\theta }(x)}{{\theta }_2}=lnx$$

同样可以构造线性方程组，用高斯消元法求解。

3.矩阵求解最小二乘法

对于函数$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n$，我们将其用矩阵表示为：

$$X\theta =Y\text{\hspace{1em}(3.1)}$$

其中，

$$X=\left\{\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ⋮\\ (x^{(m)}{)}^T\end{array}\right\},Y=\left\{\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)})\end{array}\right\},x^{(j)}=\left\{\begin{array}{c}{x}_0^{(j)})\\ x_1^{(j)}\\ ⋮\\ x_n^{(j)}\end{array}\right\},\theta =\left\{\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right\}$$

m表示样本个数，n为特征维度，$x_0^{(i)}=1(i=0,1,\dots ,m)$，即$X$的第一列全为1，$x_i^{(j)}$表示第j个样本的第i个特征，$X$为增广样本矩阵((1+n)*m维)，$Y$为真实值组成的列向量。

损失函数表示为：

$$J(\theta )=\sum _{j=1}^m(h_{\theta }(x^{(j)})-y^{(j)}{)}^2=(X\theta -Y{)}^T(X\theta -Y)\text{\hspace{1em}(3.2)}$$

根据最小二乘法，利用矩阵求导得：（具体推导参见线性回归矩阵推导和线性回归相关向量求导）

$$\frac{\partial J(\theta )}{\partial \theta }=2X^T(X\theta -Y)$$

令求导结果等于0矩阵，可得：

$$X^{T}X\theta =X^{T}Y\Rightarrow \theta =(X^{T}X{)}^{-1}{X}^{T}Y\text{\hspace{1em}(3.3)}$$

对于图1中的例子，利用公式$(3.3)$计算得：$\theta =\left\{\begin{array}{c}3.5\\ 1.4\end{array}\right\}$

4.总结

最小二乘法可以直接求解参数矩阵，在计算时可以直接套入公式。但是仍有一定的局限性，主要体现在：

1.$X^{T}X$的逆矩阵可能不存在，这个在Matlab中，可以通过求伪逆来进行计算。

2.对于$(3.1)$式，可以将其看成一个线性方程组（假设各方程线性无关）。如果样本个数m小于特征维数n，那么此方程组有无穷多个解。如果m = n，有唯一解。如果m大于n，无解（即存在矛盾解）。最小二乘法一般是在m大于n的时候使用，此时求出来的解是最优近似解。

3.最小二乘法的时间复杂度为$O(n^3)$，当n特别大的时候（一般大于10000），求逆矩阵的过程非常复杂。此时采用最小二乘法，会非常耗时。

参考链接：

最小二乘法小结

半小时学习最小二乘法

附python代码：（网上很多版本bo计算公式有误）

import numpy as np
def LSmethod(x,y):
    n=len(x)
    numerator = 0#分子
    dinominator=0#分母
    for i in range(0,n):
        numerator +=(x[i]-np.mean(x))*(y[i]-np.mean(y))
        dinominator+=(x[i]-np.mean(x))**2
    b1=numerator/float(dinominator)
    b0=np.mean(y)-b1*np.mean(x)
    return b0,b1
def predict(x,b0,b1):
    return b0+b1*x
x = [1, 3, 2, 1, 3]  
y = [14, 24, 18, 17, 27]    
b0, b1 =LSmethod(x, y)  
print( "intercept:", b0, " slope:", b1)   
x_test = 6  
y_test = predict(6, b0, b1)  
print ("y_test:", y_test)