最小二乘法公式
最小二乘法公式是一个数学的公式，在数学上称为曲线拟合，此处所讲最小二乘法，专指线性回归方程！最小二乘法公式为a=y(平均)-b*x（平均）。
1.简介：
最小二乘法公式：

设拟合直线的公式为,

其中：拟合直线的斜率为：；计算出斜率后，根据和已经确定的斜率k，利用待定系数法求出截距b。


2.基本思路
最小二乘法是解决曲线拟合问题最常用的方法。其基本思路是：令




3.基本原理
设(x,y)是一对观测量，

且 满足以下的理论函数  ：



其中 

为待定参数。

为了寻找函数

的参数

的最优估计值，对于给定m 组（通常 m>n）观测数据

，求解目标函数

取最小值的参数

。求解的这类问题称为最小二乘问题，求解该问题的方法的几何语言称为最小二乘拟合。

对于无约束最优化问题，最小二乘法的一般形式为 ：


其中

称为残差函数。当

是x的线性函数时，称为线性最小二乘问题，否则称为非线性最小二乘问题 。
4.最小二乘优化问题
在无约束最优化问题中，有些重要的特殊情形，比如目标函数由若干个函数的平方和构成，这类函数一般可以写成：


其中 

，通常要求m≥n，我们把极小化这类函数的问题：


称为最小二乘优化问题。最小二乘优化是一类比较特殊的优化问题 。

最小二乘法公式推导
https://blog.csdn.net/lql0716/article/details/70165695
转载于:https://www.cnblogs.com/Aaron12/p/8639574.html

单变量线性回归的最小二乘法公式
单变量线性回归
线性回归系数的确定
导数方法
配方法
简单程序验证

单变量线性回归
假设有$n$个点 $(x_1, \, y_1), \, (x_2, \, y_2), \cdots, \, (x_n, \, y_n)$， 我们希望用一个线性关系$y = \beta_0 + \beta_1 x$ 来拟合这$n$个点。$\beta_0$ 与 $\beta_1$的值须要通过使 $\displaystyle \text{RSS} = \sum_{i = 1}^n \left( y_i - (\beta_0 + \beta_1 x_i) \right)^2$最小来确定。这里$RSS$ 是residual sum of squares，即残差的平方和。这个方法即最小二乘法。
线性回归系数的确定
导数方法
对于如何求出 $\beta_0$ 与 $\beta_1$的值，在众多教科书中已有广泛得描述。其中最普遍的方法是把 RSS 对 $\beta_0$ 和 $\beta_1$ 进行求偏导。取使得两个偏导数为0的$\beta_0$ 和 $\beta_1$的值。具体如下：

$\begin{cases}
& \frac{\partial \text{ RSS}}{\partial \beta_0} = 2 n \beta_0 + 2 \sum x_i \beta_1 - 2 \sum y_i = 0 \\
& \frac{\partial \text{ RSS}}{\partial \beta_1} = 2 \sum x_i^2 \beta_1 + 2 \sum x_i \beta_0 - 2 \sum x_i y_i = 0 \\
\end{cases}$

这里的求和符号$\sum$ 均表示从$i = 1$ 到 $i = n$。通过求解这个二元一次线性方程组，我们可以得到：

$\begin{cases}
& \beta_1 = \frac{\sum (x_i - \bar{x} ) (y_i - \bar{y})}{\sum (x_i - \bar{x} )^2 } \\
& \beta_0 = \bar{y} - \beta_1 \bar{x} \\ 
\end{cases}$

这里求和符号$\sum$ 依然均表示从$i = 1$ 到 $i = n$。$\bar{x} = \frac{\sum_{i = 1}^n x_i}{n}$, $\bar{y} = \frac{\sum_{i = 1}^n y_i}{n}$。除此之外，我们须要验证二次导数大于0，来确定这个极值点是最小值。
配方法
我们把RSS 的表达式展开，有

$\text{RSS} (\beta_0, \, \beta_1) = n \beta_0^2 + \sum x_i^2 \, \beta_1^2 + \sum y_i^2 + 2 \sum x_i \, \beta_0 \beta_1 - 2 \sum y_i \, \beta_0 - 2 \sum x_i y_i \, \beta_1$。

因为 $\text{RSS} (\beta_0, \, \beta_1)$ 只是$\beta_0$ 和 $\beta_1$ 的二次函数，我们可以通过配方法来找到使得 $\text{RSS} (\beta_0, \, \beta_1)$ 最小的 $\beta_0$ 和 $\beta_1$ 的值。
先化简一下，$\text{RSS} (\beta_0, \, \beta_1) / n= \beta_0^2 + \frac{\sum x_i^2}{n} \, \beta_1^2 + \frac{\sum y_i^2}{n} + 2 \frac{\sum x_i}{n} \, \beta_0 \beta_1 - 2 \frac{\sum y_i}{n} \, \beta_0 - 2 \frac{\sum x_i y_i}{n} \, \beta_1$。
我们先通过配方法匹配掉 $\beta_0^2$，$\beta_0$，和 $\beta_0 \beta_1$ 这三项。具体计算如下：

$\text{RSS} / n = \left(\beta_0 + \frac{\sum x_i}{n} \, \beta_1 - \frac{\sum y_i}{n} \right)^2 - ( \frac{\sum x_i}{n} )^2 \beta_1^2 + \frac{\sum x_i^2}{n} \beta_1^2 + \frac{\sum y_i^2}{n} -(\frac{\sum y_i}{n} )^2 + 2 \frac{\sum x_i}{n} \frac{\sum y_i}{n} \beta_1 - 2 \frac{\sum x_i y_i}{n} \, \beta_1$。
经过第一步配方，我们得到了$\displaystyle \left(\beta_0 + \frac{\sum x_i}{n} \, \beta_1 - \frac{\sum y_i}{n} \right)^2$这一项。接下来，我们再匹配掉 $\beta_1^2$ 和 $\beta_1$ 这两项。我们有具体的计算如下：
$\begin{aligned} \text{RSS} / n &= \left(\beta_0 + \frac{\sum x_i}{n} \, \beta_1 - \frac{\sum y_i}{n} \right)^2 + \\
& \left(\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2 \right) \left[ \beta_1^2 + \frac{2  \frac{\sum x_i}{n}  \frac{\sum y_i}{n} - 2\frac{\sum x_i y_i}{n}}{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2  } \beta_1 + \left( \frac{\frac{\sum x_i}{n}  \frac{\sum y_i}{n} - \frac{\sum x_i y_i}{n}}{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2} \right)^2 \right] \\ 
& \qquad  + \frac{\sum y_i^2}{n} - (\frac{\sum y_i}{n} )^2 -  \frac{ \left( \frac{\sum x_i}{n}  \frac{\sum y_i}{n} - \frac{\sum x_i y_i}{n} \right)^2}{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2} \\
&= \left(\beta_0 + \frac{\sum x_i}{n} \, \beta_1 - \frac{\sum y_i}{n} \right)^2 + \left(\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2 \right) \left[ \beta_1 +  \frac{  \frac{\sum x_i}{n}  \frac{\sum y_i}{n} - \frac{\sum x_i y_i}{n} }{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2}  \right]^2  \\
& \qquad + \frac{\sum y_i^2}{n} - (\frac{\sum y_i}{n} )^2 -  \frac{ \left( \frac{\sum x_i}{n}  \frac{\sum y_i}{n} - \frac{\sum x_i y_i}{n} \right)^2}{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2} \\
\end{aligned}$
经过两次配方，我们得到了两个平方项。而剩下的项并不依赖于$\beta_0$ 和 $\beta_1$。我们可以看到，要使得$\text{RSS} / n$ 最小，我们须要有

$\begin{cases}
 & \beta_1 =  \frac{ \frac{\sum x_i y_i}{n} -  \frac{\sum x_i}{n}  \frac{\sum y_i}{n} }{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2}  \\
 & \beta_0 = \bar{y} - \beta_1 \bar{x} \\
\end{cases}$
经过化简计算，我们可以验证 $\displaystyle \frac{ \frac{\sum x_i y_i}{n} -  \frac{\sum x_i}{n}  \frac{\sum y_i}{n} }{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2} =  \frac{\sum (x_i - \bar{x} ) (y_i - \bar{y})}{\sum (x_i - \bar{x} )^2 }$。所以，用配方法和用求导的方法获得的 $\beta_0$ 和 $\beta_1$ 的值是一样的。
通过上述计算，我们可以发现配方法的过程要比求导数的方法繁琐很多。并且配方法不易于对多变量（multivariate）回归情形的推广。
另一方面，配方法的一个好处是避免了求导这个步骤。此外，配方法的一个直接结果就是我们可以得到最小的 RSS 的值。即当 $\beta_0$ 和 $\beta_1$ 按照最优解取值时，我们有

$\displaystyle \text{RSS} / n =  \frac{\sum y_i^2}{n} - (\frac{\sum y_i}{n} )^2 -  \frac{ \left( \frac{\sum x_i}{n}  \frac{\sum y_i}{n} - \frac{\sum x_i y_i}{n} \right)^2}{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2}$，即
$\displaystyle \text{RSS} =  \sum y_i^2 - n (\frac{\sum y_i}{n} )^2 - n \frac{ \left( \frac{\sum x_i}{n}  \frac{\sum y_i}{n} - \frac{\sum x_i y_i}{n} \right)^2}{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2}$。
简单程序验证
我们用一个简单的程序来验证用

$\displaystyle   \sum y_i^2 - n (\frac{\sum y_i}{n} )^2 - n \frac{ \left( \frac{\sum x_i}{n}  \frac{\sum y_i}{n} - \frac{\sum x_i y_i}{n} \right)^2}{\frac{\sum x_i^2}{n} -  ( \frac{\sum x_i}{n} )^2}$

求得的 RSS 与sklearn 包中提供的函数是一致的。
import numpy as np
from scipy.stats import norm
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.linear_model import LinearRegression

class least_square_singleVariable:
    
    def __init__(self):
        return
    
    def find_beta_1_and_beta_0(self, train_x: 'pd.Series', train_y: 'pd.Series') -> 'tuple(float, float)':
        """
        Given the independent variable train_x and the dependent variable train_y, find the value for 
        beta_1 and beta_0
        """
        x_bar = np.mean(train_x)
        y_bar = np.mean(train_y)
        beta_1 = np.dot(train_x - x_bar, train_y - y_bar) / (np.sum((train_x - x_bar) ** 2))
        beta_0 = y_bar - beta_1 * x_bar
        return beta_1, beta_0
        
    def find_optimal_RSS(self, train_x: "numpy.ndarray", train_y: "numpy.ndarray") -> float:
        """
        Calculate the residual sum of squares (RSS) using the formula derived in the text above.
        """
        n = len(train_x)
        x_bar = np.mean(train_x)
        y_bar = np.mean(train_y)
        sum_xi_square = np.sum(train_x ** 2)
        sum_yi_square = np.sum(train_y ** 2)
        TSS = np.sum((train_y - y_bar) ** 2)
        sum_xiyi = np.dot(train_x, train_y)
        res = sum_yi_square - n * y_bar ** 2 - \
                n * (x_bar * y_bar - sum_xiyi / n) ** 2 / (sum_xi_square / n - x_bar ** 2)
        return res
    
    def get_optimal_RSS_sklearn(self, train_x: "numpy.ndarray", train_y: "numpy.ndarray") -> float:
        """
        Calculate the residual sum of squares using the LinearRegression() model in sklearn. 
        The result should be the same as the result returned by the function find_optimal_RSS
        """
        n = len(train_x)
        model =  LinearRegression()
        model.fit(train_x.reshape(n, 1), train_y)
        R_square = model.score(train_x.reshape(n, 1), train_y)
        y_bar = np.mean(train_y)
        TSS = np.sum((train_y - y_bar) ** 2)
        RSS = (1 - R_square) * TSS
        return RSS

我们来验证利用上述公式计算得到的 RSS 是否与 sklearn 包中 LinearRegression() 给出的 RSS 相等。
a = least_square_singleVariable()
num_points = 100
train_x = np.linspace(0, 10, num_points)
train_y = 2 * train_x + 3 + np.random.normal(0, 1, num_points)
beta_1, beta_0 = (a.find_beta_1_and_beta_0(train_x, train_y))
print(a.find_optimal_RSS(train_x, train_y))
print(a.get_optimal_RSS_sklearn(train_x, train_y))

输出的结果如下：
89.00851265874053
89.00851265873582

我们发现利用我们推导出来的公式计算得到的RSS 值与sklearn 中利用R-square 来计算得到的 RSS 是一致的。
作图如下：
plt.figure(figsize=(8, 6), dpi=100)
plt.scatter(train_x, train_y)
plt.plot(train_x, beta_1 * train_x + beta_0, color='red', linewidth=4)
plt.xlabel("x value", fontsize=20)
plt.ylabel("y value", fontsize=20)
plt.xticks(fontsize=20)
plt.yticks(fontsize=20)
plt.legend(['linear model', 'training data'], fontsize=15)

1. 符号表示
首先我们将训练样本的特征矩阵X进行表示，其中N为样本个数，p为特征个数，每一行表示为每个样本，每一列表示特征的每个维度：

$X=
\begin{gathered}
\begin{pmatrix} x_{11} & x_{12} & ... & x_{1p}  
\\ x_{21} & x_{22} & ... & x_{2p}
\\ ... & ... &... &...  \\ x_{N1} & x_{N2} & ... & x_{Np}
\end{pmatrix}
\quad
\end{gathered}_{N\cdot p}$
然后我们对训练样本的标签向量Y和权重向量w进行表示，其中权重向量指的是线性回归中各个系数形成的向量。

$Y = 
\begin{gathered}
\begin{pmatrix} y_{1} 
\\ y_{2}
\\ ...
\\ y_{N}
\end{pmatrix}
\quad
\end{gathered}$
$w = 
\begin{gathered}
\begin{pmatrix} w_{1} 
\\ w_{2}
\\ ...
\\ w_{p}
\end{pmatrix}
\quad
\end{gathered}$

为了方便运算，我们把$y_{i} = x_{i}w + b$中的b也并入到w和x中。则上述的符号表示则为：
$X=
\begin{gathered}
\begin{pmatrix} x_{10} & x_{11} & x_{12} & ... & x_{1p}  
\\  x_{20} & x_{21} & x_{22} & ... & x_{2p}
\\ ... & ... &... &...  &...
\\ x_{N0} & x_{N1} & x_{N2} & ... & x_{Np}
\end{pmatrix}
\quad
\end{gathered}_{N\cdot p}$
$w = 
\begin{gathered}
\begin{pmatrix} w_{0} 
\\ w_{1}
\\ w_{2}
\\ ...
\\ w_{p}
\end{pmatrix}
\quad
\end{gathered}$
2. 公式推导
$L(w) = \sum^{N}_{i =1 } (x_{i}w - y_{i})^{2}$

$w = \operatorname { arg } \operatorname { min }L(w) =  \operatorname { arg } \operatorname { min } \sum^{N}_{i =1 } (x_{i}w  - y_{i})^{2}$

为什么是转置乘以原矩阵，这是由于Y是列向量，则$(XW - Y)$则也是列向量。根据矩阵乘法的定义，只有行向量乘以列向量，最终结果才是一个常数。

$L(w) = (XW-Y)^{T} (XW-Y)$
$L(w) = (W^{T}X^{T} - Y^{T})(XW-Y)$
$L(w) = (W^{T}X^{T}XW-2W^{T}X^{T}Y+Y^{T}Y)$
$\frac { \partial L(w)} {\partial w} = 2X^{T}XW - 2X^{T}Y = 0$
$W = {(X^{T}X)}^{-1}X^{T}Y$
  后记：其实求非线性回归的时候也可以使用该最小二乘法来计算多项式系数$w$，只要把高次项添加到原始的$X$后面即可。