估计回归方程式适合度的测量指标。
 
误差变异
 
回归变异
 
总的变异​​​​​​​
 
 
判定系数
 
 
 
SSE的其他表示法：
 
 
 
 
 
 
 

在MATLAB中，计算回归问题的拟合优度（或判定系数）可用[B,BINT,R,RINT,STATS] = regress(Y,X)指令，其中的STATS的第一个返回值即为R2。
 一般来说，R2在0到1的闭区间上取值，但在实验中，有时会遇到R2为inf（无穷大）的情况，这时我们会用到R2的计算公式：
 $$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$
 其中SSR为回归平方和，SSE为残差平方和，SST为总离差平方和，三者还存在下列关系：
 $$SST=SSR+SSE$$
 若用$y_i$表示真实的观测值，用$\bar{y}$表示真实观测值的平均值，用$\widehat{y_i}$表示拟合值，则SSR、SSE、SST公式可以写成下列形式：
 $$SSR=\sum _{i=1}^n(\widehat{y_i}-\bar{y}{)}^2$$
 $$SSE=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$$
 $$SST=SSR+SSE=\sum _{i=1}^n(y_i-\bar{y}{)}^2$$

通过线性回归得到回归参数后，可以通过计算判定系数$R^2$来评估回归函数的拟合优度。判定系数$R^2$定义如下：
 $$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$
 其中，$SSR=\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2$，$SSE=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$和$SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2$。$R^2$越接近1，回归函数的拟合优度越大。上式可改写成$SST=SSR+SSE$，即：
 $$\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$
 
为了理解$R^2$，我们有必要先回顾一下线性回归的通式：
 $$\{\begin{array}{l}{\hat{y}}_i=f(x)={\theta }_0+\sum _{j=1}^n{\theta }_j{x}_i^j\\ y_i={\hat{y}}_i+{ϵ}_i\end{array}$$
 其中，$y_i$实际上由${\hat{y}}_i$和${ϵ}_i$组成，${\hat{y}}_i$随$x_i$变化而变化。令 $x_i^0=1$，${\hat{y}}_i={\theta }_0+\sum _{j=1}^n{\theta }_j{x}_i^j$可被改写成${\hat{y}}_i={\theta }^T{x}_i$。将上式改写成向量和矩阵的形式：
 $$\{\begin{array}{l}\left[\begin{array}{ccccc}1& x_1^1& x_1^2& \dots & x_1^n\\ 1& x_2^1& x_2^2& \dots & x_2^n\\ ⋮& & & & \\ 1& x_m^1& x_m^2& \dots & x_m^n\end{array}\right]\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]=\left[\begin{array}{c}{\hat{y}}_1\\ {\hat{y}}_2\\ ⋮\\ {\hat{y}}_m\end{array}\right]\\ \\ \left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]=\left[\begin{array}{c}{\hat{y}}_1\\ {\hat{y}}_2\\ ⋮\\ {\hat{y}}_m\end{array}\right]+\left[\begin{array}{c}{ϵ}_1\\ {ϵ}_2\\ ⋮\\ {ϵ}_m\end{array}\right]\end{array}$$
 当$\theta ̸=0$时，$\hat{Y}$是$X$的一个线性组合，即$\hat{Y}$存在于由$X$的列向量所展开的列空间中。对于一次幂的线形回归，$X$的列空间即是一个超平面，$\hat{Y}$是存在于面内的一个向量（即$Y$在面上的投影）。为了使得残差最小化，$ϵ$是$Y$垂直于面方向上的投影。在三维中的几何意义如下图（文中$\theta$即图中$\beta$，图中$X_i$表示列向量，图取自）：
 
 
因为$ϵ$垂直于$X$的列空间，所以$ϵ$垂直于$X$的所有列向量，即$X^Tϵ=0$。又因$ϵ=Y-X\theta$，得：
 $$\begin{gathered} X^T(Y-X\theta )=0 \\ {X}^{T}Y=X^{T}X\theta \\ \theta =(X^{T}X{)}^{-1}{X}^{T}Y \\ \hat{Y}=X\theta =X(X^{T}X{)}^{-1}{X}^{T}Y \end{gathered}$$
 根据$\hat{Y}=X\theta =X(X^{T}X{)}^{-1}{X}^{T}Y$，我们得到了投影矩阵$P=X(X^{T}X{)}^{-1}{X}^T$。$\hat{Y}=PY$，投影矩阵$P$乘以$Y$得到了$Y$属于$X$列空间的分量$\hat{Y}$。投影矩阵有两个性质需要了解：
 
$P$是对称矩阵；
 $$P^T=(X(X^{T}X{)}^{-1}{X}^T{)}^T=X((X^{T}X{)}^{-1}{)}^T{X}^T=X((X^{T}X{)}^T{)}^{-1}{X}^T=X(X^{T}X{)}^{-1}{X}^T=P$$
$P^2=P$。
 $$P^2=P^{T}P=X(X^{T}X{)}^{-1}{X}^{T}X(X^{T}X{)}^{-1}{X}^T=X(X^{T}X{)}^{-1}\overbrace{X^{T}X(X^{T}X{)}^{-1}}{X}^T=X(X^{T}X{)}^{-1}{X}^T=P$$
 
现在，我们可以开始推导判定系数公示$SST=SSR+SSE$了。如下（$1\in R^m$）：
 $$\begin{array}{rl}& SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n[(y_i-{\hat{y}}_i)+({\hat{y}}_i-\bar{y}){]}^2\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^{n}2(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^{n}2(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2ϵ(\hat{Y}-\bar{Y}1)\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2ϵ(PY-\bar{Y}1)\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2{ϵ}^T\hat{Y}-2\bar{Y}{ϵ}^{T}1\end{array}$$
 因为$ϵ$垂直于$X$的列空间，且$\hat{Y}$属于$X$的列空间，所以${ϵ}^T\hat{Y}=0$；又因为$1=x_i^0\in R^m$（$1$属于$X$的列空间），所以${ϵ}^{T}1=0$。因此：
 $$SST=\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2{ϵ}^T\hat{Y}-2\bar{Y}{ϵ}^{T}1=SSR+SSE$$

判定系数：用于估计回归方程是否很好的拟合了样本的数据，判定系数为估计的回归方程提供了一个拟合优度的度量
 
1  误差平方和---SSE
 
对于样本中的第i次的观测值，应变量的观测值和应变量的预测值之间的离差为第i个残差，第i个残差表示用去估计的误差，
 
于是，对于第i次观测值，它的残差是 - ，这些残差或误差的平方和是一个用最小二乘来极小化的量。这个量就是误差平方和，记作SSE
 
简单总结为：实际观测值与回归方程预测值之差的平方再求和
 
                                                                          公式：SSE = 
 
2  总平方和---SST
 
简单总结为：样本的观测值与样本均值之差的平方再求和
 
我们依然使用上一篇中披萨饼的数据例子，求得的回归方程为： = 60 + 5x，样本均值为 y(mean) = 130,我们把SST看作是观测值在直线y(mean) = 130周围聚集程度的度量，而把SSE看作是观测值在回归线 = 60 + 5x周围的聚集程度的度量。
 
                                                                        公式：SST = 
 
3 回归平方和---SSR
 
我们依然使用上一篇中披萨饼的数据例子，求得的回归方程为： = 60 + 5x，样本均值为 y(mean) = 130,回归平方和用来度量：在估计的回归线上的 值与直线y(mean)的偏离的大小
 
简单总结为：回归方程的预测值与样本均值之差的平方再求和
 
                                                                        公式：SSR =                                                                         
 
4  统计学中的一个重要结论：
 
                                                                       公式：SST = SSR + SSE
 
即：总平方和  = 回归平方和  + 误差平方和
 
对于这个结论的一点理解：
 
如果应变量每一个值都刚好落在估计的回归线上，那么估计的回归方程将给出一个完全的拟合，在这种情况下，对于每一个观测值，-的值将等于0，即SSE=0，因为SST = SSR + SSE，我们可以看到对于一个完全的拟合，SST必然等于SSR，并且SSR／SST必然等于1。这种情况是理想情况下最好的拟合，因为SSE=0，但实际中一般不会存在这种情况。
 
比较差的拟合，将导致SSE的值计较大，我们把公式变换下SSE = SST - SSR,因此当SSR=0时，SSE=SST，此时SSE的值最大，即最差的拟合
 
5 判定系数
 
回归平方和与总平方和的比值，这个值的取值范围在区间[0, 1]之间，SSR／SST这个值用来对估计的回归方程的拟合优度作出评估，这个比值被称为判定系数，记作。
 
                                                                    公式：
 
判定系数的意义：如果我们用一个百分数表示判定系数，我们能把理解为总平方和中能被估计的回归方程解释的百分比。
 
例子：对于上一篇中比萨饼连锁店的例子，判定系数的值为：
 
                                                 =  SSR ／ SST = 14200 ／ 157300 = 0.9027
 
在用估计的回归方程去预测季度销售收入时，我们能判定，总平方和中的90.27%能被估计的回归方程 = 60 + 5x所解释，换句话说，季度销售收入变异性的90.27%能被学生人数和销售收入之间的线性关系所解释。
 
6  相关系数
 
前几篇中说过皮尔逊积相关系数，这里相关系数的另一种求法
 
                                                                  公式：  * (的符号)
 
式中：为估计的回归方程的斜率
 
的值，在区间[-1, 1]之间，越接近于0，x与y之间相关性越小，大于0时，表示x与y存在正相关性，小于0时，表示x与y存在负相关性。
 
7 下面是披萨饼店例子中各评估数据的求取的实现，具体数据请看上一篇传送门，使用python3.6实现
 
    def predicate_work(self):       # 求取模型的各评估值

        pre_x_data = self.test_data_work(self.x_data)
        # [70.0, 90.0, 100.0, 100.0, 120.0, 140.0, 160.0, 160.0, 170.0, 190.0]
        # 这里不同于机器学习中的监督学习算法，这里是把源数据带入回归方程，得到的样本预测值
        y_mean = np.mean(self.y_data)

        # 计算SSE
        tem1 = np.array(self.y_data)- np.array(pre_x_data)
        tem1 = np.square(tem1)  # 求各元素平方
        sse = np.sum(tem1)      # sse= 1530.0

        # 计算SST
        tem2 = self.y_data - y_mean
        tem2 = np.square(tem2)
        sst = np.sum(tem2)      # sst= 15730.0

        # 计算SSR
        tem3 = pre_x_data - y_mean
        tem3 = np.square(tem3)
        ssr = np.sum(tem3)      # ssr= 14200.0

        # 证明SST = SSR + SSE
        tem4 = ssr + sse
        if sst == tem4:
            print('the SST = SSR + SSE is true')

        # 计算判定系数
        rr = ssr / sst     # rr= 0.9027336300063573

        # 计算相关系数
        tem5 = self.b1 * (1 / np.abs(self.b1))  # 取b1的正号或负号
        tem6 = np.sqrt(rr)
        r_xy = tem5 * tem6   # r_xy= 0.9501229552044079

        dict = {'SSE' : sse, 'SST' : 'sst', 'SSR' : 'ssr', 'pdxs' : rr, 'xgxs' : r_xy}

        return dict
 
  请在上一篇代码中，类SimpleRegress中加入上述方法，可运行得到结果