根据相关系数，y与x1-x9的关系都非常密切（r > 0.8，ρ < 0.001），财政收入与城乡居民储蓄存款年底余额之间关系最为密切（r = 0.995，ρ < 0.001）

相关系数表明了各变量与财政收入之间的线性关系程度相当高，由此可以认为所选取的九个因素都与财政收入存在着线性关系。

基于此结果，觉的继续进行线性回归分析，以便建立财政收入与每个因素之间的回归模型。这里以财政收入为因变量，其他为自变量

————————————————

版权声明：本文为CSDN博主「郭洪源」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/da___vinci/article/details/83475793

本博文源于《商务统计》，旨在讲述如何确定回归分析中的拟合优度。当我们用编程软件整出回归分析曲线的时候，怎样合理解释我们拟合优度的好坏呢？在数学中我们用可决系数进行判别。
问题起源
假设是一条一元线性回归的直线。总所周知，如果直线跟实际点很近，那么我们想当然认为这是一个好的回归直线。我们也知道有一种系数叫做残差系数，描述的是实际值跟预测值之差。我们还知道这种方法基于最小二乘法。那么在拟合出一条回归直线中，如何计算才能确定拟合的好坏呢？只考虑残差吗？


问题分析
无数的数学家已经在此投入大量的精力，我们只需站在前人的肩膀上即可。



上面一种图的一条水平线非常重要！叫做$\bar{y}$也就是所有样本实际y值得平均值。我们构造了这个水平线就是衡量拟合优度的第一步。大家也可以从图中看出样本的实际值到$\bar{y}$由两部分值组成即$y-\hat{y}与\hat{y}-\bar{y}$这两部分组合而成。如果每一个样本都考虑进去，就会产生这样一个式子：
$\sum_{i=1}^n(y_i-\bar{y})^2=\sum_{i=1}^n(y_i-\hat{y_i}+\hat{y_i}-\bar{y})^2$

这部分化简出来就很神奇了。就是平方和化简。第三项数学可证明出为0，这里略去，化简得

$\sum_{i=1}^n(y_i-\bar{y})^2=\sum_{i=1}^n(y_i-\hat{y_i})^2+\sum_{i=1}^n({\hat{y_i}-\bar{y}})^2$

大家可以从第一项中

$\sum_{i=1}^n(y_i-\hat{y_i})^2$

这部分看出，它其实就是残差，那么把它控制住最小，就能使得拟合优度达到最好。
可决系数引出
$R^2=\frac{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2}{\sum_{i=1}^n(y_i-\bar{y})^2}=1-\frac{\sum_{i=1}^n(y_i-\hat{y})^2}{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2}$

可决系数反应直线的拟合程度，取值范围在[0,1]之间.$R^2\rightarrow1$说明回归方程拟合的越好$R^2\rightarrow0$就代表回归方程拟合的很差越差.
可决系数$R^2$与相关系数$r^2$的关系
相关系数是x与y之间的关系的描述指标，只能描述强弱关系，比如正相关或者负相关。

可决系数是含有因果关系在里面，可能是x的变化随着y的变化而变化。
总结
在统计学上面，利用回归分析我们可以拟合出直线或者曲线判定两个变量之间存在什么关系。拟合的好坏我们就可以用可决系数去判定，这样使得回归分析达到有理有据。

https://www.toutiao.com/a6687144116989461004/

 

线性回归是一种流行的监督机器学习技术。当关系本身不完善时，需要确定因变量(也称为目标变量)和一个或多个自变量(也称为预测变量)之间的关系。

最小二乘近似方法可用于确定线性回归系数。线性代数用投影很优雅地解决了这个问题。

让我们深入研究线性代数如何解决这个问题

估计的多元线性回归方程可以写成

Y = b0 + b1X1 + b2X2 + ... bnXn

Y：响应变量
	
X1：预测变量1
	
X2：预测变量2
	
Xn：预测变量n
	
b0：预测变量1的系数
	
b1：预测变量2的系数
	
bn：预测变量n的系数
矩阵形式



 

而需要解决的方程是



 

对于特征矩阵来说应该：m> n

方程组将有一个或零个解。只有当向量b位于由A表示的特征矩阵的列空间时，系统才有解。

通常，对于tall matrix，矩阵A的n列将跨越m维空间的一小部分。因此，大多数情况下的RHS将不在特征矩阵A的列空间中，因此没有解



 

由上图可知，向量b不属于矩阵A的列张成的列空间[C(A)]

从b到A的列空间的最小距离将是从误差向量e表示的从b到C（A）的垂直向量，因此e将垂直于C（A）

误差向量将表示为



 

如果e为零，则是Ax = b的精确解
	
如果e不是零，大多数情况都是如此，e是最小的，则x_hat是最小二乘解。
所以我们的目标是让e尽可能小。

p是b在A [C（A）]的列空间上的投影。因为p在A的列空间中，它可以用它的基向量表示



 

我们正在寻找C（A）中接近b的投影p，使e尽可能小，最近的点是从向量b到A的列空间的垂直向量



 

任何x的平方长度



 

最小意味着|| Ax - b ||的平方长度 最小化

最小二乘解x_hat使得||Ax - b ||的平方长度尽可能小。

因为误差e垂直于列空间，即A的所有列向量根据正交性，这两个垂直向量的点积是零。



 

我们可以得到



 

著名的线性方程和最小二乘解是



 

示例:

找到最接近点（0,6）（1,0）和（2,0）的线。

解：

没有一条直线能通过这三个点。然而，我们可以近似一条最接近所有点的直线，使从所有三个点到直线的误差平方和最小。

设直线方程为Y = b0 + b1 * X

0 = b0 + b1 * 6
	
1 = b0 + b1 * 0
	
2 = b0 + b1 * 0
矩阵形式



 

因此，方程组没有解，因为不在A的列空间中

我们来解最小二乘方程



 

这些数字是最好的C和D，所以5-3t是3个点的最佳直线

向量b的投影p到A的列空间



 

让我们看看python的实现

from sklearn.linear_model import LinearRegression 
import numpy as np
def compute_multiple_regression_coeffs1 (X , Y):
 r,c = X.shape
 K = np.ones (shape = (r,1)) 
 # concatenate feature matrix with intercept
 A = np.concatenate ((K , X), axis = 1) 
 AT_A = (A.transpose()).dot(A) 
 AT_A_INV = np.linalg.inv (AT_A) 
 AT_B = (A.transpose()).dot (Y) 
 coeffs = AT_A_INV.dot (AT_B) 
 intercept , slope = coeffs[0][0] , coeffs[1: , 0:]
 return (slope , intercept)
def compute_multiple_regression_coeffs2 (X , Y):
 r,c = X.shape
 K = np.ones (shape = (r,1)) 
 # concatenate feature matrix with intercept
 A = np.concatenate ((K , X), axis = 1) 
 AT_A = (A.transpose()).dot(A) 
 AT_A_INV = np.linalg.inv (AT_A) 
 AT_B = (A.transpose()).dot (Y) 
 coeffs = np.linalg.solve (AT_A , AT_B)
 intercept , slope = coeffs[0][0] , coeffs[1: , 0:]
 return (slope , intercept)
 
 
X1 = np.array ([89,66,78,111,44,77,80,66,109,76])
X2 = np.array ([4,1,3,6,1,3,3,2,5,3])
X3 = np.array ([3.84,3.19,3.78,3.89,3.57,3.57,3.03,3.51,3.54,3.25])
Y = np.array ([7,5.4,6.6,7.4,4.8,6.4,7,5.6,7.3,6.4])
X1 = X1[:,np.newaxis]
X2 = X2[:,np.newaxis]
X3 = X3[:,np.newaxis]
Y = Y [:,np.newaxis]
print (“computing via method 1 
”)
X123 = np.hstack ([X1 ,X2, X3])
slope,intercept = compute_multiple_regression_coeffs1 (X123 , Y)
print (“Slope : {} “.format(slope))
print (“Intercept : {} 
”.format(intercept))
print (“computing via method 2 
”)
slope,intercept = compute_multiple_regression_coeffs2 (X123 , Y)
print (“Slope : {} “.format(slope))
print (“Intercept : {} 
”.format(intercept))
print (“Computing coeff via sklearn library 
”)
regressor = LinearRegression() 
regressor.fit(X123, Y) 
print(regressor.intercept_) 
print(regressor.coef_)




 

输出 :



 

结论：

该方法既适用于单线性回归，也适用于多元线性回归。与梯度下降法不同，该方法不需要迭代和微调学习参数。但是当特征数变大时，由于公式中出现的倒数项，计算速度变慢

学习笔记，仅供参考，有错必纠

简答题



解释相关关系的含义，说明相关关系的特点

含义：变量之间存在的不确定的数量关系，称为相关关系。
特点：一个变量的取值不能由另一个变量唯一确定。



相关分析主要解决哪些问题?

(1)变量之间是否存在关系;
(2)如果存在关系，它们之间是什么样的关系;
(3)变量之问的关系强度如何;
(4)样本所反映的变量之间的关系能否代表总体变量之间的关系.



相关分析中有哪些基本假定?

(1)两个变量之间是线性关系;

(2)两个变量都是随机变量。



简述相关系数的性质

相关系数是根据样本数据计算的度量两个变量之间线性关系强度的统计量。
若相关系数是根据总体全部数据计算的，称为总体相关系数；若是根据样本数据计算的，则称为样本相关系数。



为什么要对相关系数进行显著性检验?

一般情况下，总体相关系数$\rho$是未知的，通常是根据样本相关系数$r$作为总体相关系数$\rho$的近似估计值。但由于样本相关系数是根据样本数据计算出来的，它受到抽样波动的影响，由于抽取的样本不同，$r$的取值也不同，因此$r$是一个随机变量。
这就需要考察样本相关系数的可靠性，也就是进行显著性检验。