2.4 一元线性回归模型的统计检验
“所有科学命题都要有可证伪性，不可证伪的理论不能成为科学理论。”——卡尔·波普尔
计量经济学模型是通过分析样本数据来量化经济关系，因此我们必须考虑结论的可靠性。而假设检验决定了从样本中能够获得哪些关于现实世界的信息。得出的结论会不会是偶然得到的呢？使用从样本中得到的结论能否拒绝已有的理论？如果理论是正确的，则这一特定样本被观测到的概率有多大？
本章讨论的假设检验是针对回归模型的，也会简要回顾概率统计的基本知识。
在实践中人们想知道他们所关心的理论能否被实际观测样本中得到的估计结果所支持，但要证明已经给出的假设是否正确几乎是不可能的。唯一能说明的是，特定的样本符合特定的假设。即使假设检验不能证实一个给定的结论，却能在一定的显著性水平下拒绝它。在这种情况下，研究者认为在理论假设正确的时候，抽样结果很难被观测到。
2.4.1 假设检验
显著性检验是一种利用样本结果来证实一个虚拟假设真伪的检验程序。它的关键思想在于一个检验统计量及其它在虚拟假设下的抽样分布。它根据样本数据计算出的检验统计量值来判断是否接受H0。
虚拟假设(也称原假设，null hypothesis)通常表述为研究者不希望出现的结果，记为H0，它是不希望出现结果的数值范围。例如，我们不希望某个解释变量对被解释变量是没有影响的，即影响等于0，那么原假设可以表述为：
      上述检验是双侧检验，其对立假设的取值位于原假设的两侧。还有一种是单侧检验，其对立假设的值只位于原假设的一侧。
	在实践中，经济学家总是将其所期望的结果置于对立假设中，这样便可以有充分的理由来拒绝原假设。要注意的是，当没有充分理由来拒绝原假设的时候，不能说接受原假设，更严谨的说法是不能拒绝原假设。
	“就像法庭宣布裁决时用无罪而不是无辜的表述一样，统计检验的结论为不能拒绝而不是接受。”——Jan Kmenta
假设检验的基本思想是先对总体参数提出一个假设，然后利用样本信息来判断这一假设是否成立。它通过数据来确认原假设的合理性，一般总是将期望结果的反面作为原假设，即原假设确定了一个与我们期望不符的参数值。其原理是概率性质的反证法，小概率事件原理，即小概率事件在1次试验中几乎是不可能发生。
2.4.2回归系数的显著性检验
往期回顾：
第一章 绪论1
第一章 绪论2
第二章 一元线性回归模型1
	

	

2.2 一元线性回归模型的基本假设
       方程(2.1.1)给出了y和x之间的函数关系，以及用u表示影响y除x以外的其他因素。现在最大的疑问是：模型(2.1.1)是否真的能让我们得到关于x如何在其他条件不变的情况下影响y的结论？
       “计量经济学是设法对经济关系进行定量估计和预测的学科。经济理论常常影响函数形式的选择，但经济理论很少能告诉我们一个模型的随机设定，这通常依赖于经验分析。计量经济学的一个主要任务就是为给定情形确定一个最好的估计量。而干扰的随机结构对此有极重要的影响。” 因此，我们必须对无法观测的u与解释变量x之间的关系加以约束，才能从一个随机数据样本中获得可靠的参数估计值。
       为了通过样本回归函数尽可能准确地估计总体回归函数，为保证得到可靠的参数估计及良好的统计性质，需要对模型提出若干基本假设。
2.2.1对回归模型设定的假设
       假设1：回归模型是正确设定的。
       模型的正确设定主要包括两方面的内容：(1)模型选择了正确的变量；(2)模型选择了正确的函数形式。
       计量经济模型应用于现实经济问题时，因果关系必须有经济理论为其依据，函数关系也必须要有可靠的依据。
       模型选择了正确的变量指既没有遗漏重要的相关变量，也没有多选无关变量且有经济理论支持该因果关系。当假设1满足时，称模型没有设定偏误，否则模型存在设定偏误。
       假设1‘：线性回归模型
       回归模型对变量不一定是线性的，但对参数是线性的。在计量经济学里说到的线性回归都是指关于参数是线性的。要注意的是回归模型的估计原理不依赖于y和x的定义，但系数的解释依赖于它们的定义。
2.2.2对解释变量的假设
假设2：解释变量X是确定性变量，不是随机变量，在重复抽样中取固定值。
在很多情形中，X往往也是随机的，通过假定X是确定性变量，能够简化对参数估计性质的讨论。
假设3：解释变量X在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量X的样本方差趋于一个非零的有限常数，
回归分析的目的就是用X的变化来解释Y的变化，因此，解释变量X要有足够的变异性，否则无法回答这个问题。
2.2.3对随机干扰项的假设
假设4：随机误差项u具有给定x条件下的零均值、同方差以及无序列相关。
随机误差项u的零条件均值假设意味着u的期望不依赖于x的变化而变化，且总为0。该假设表明u与x不存在任何形式的相关性，因此该假设成立时也称x为外生解释变量，否则称x为内生解释变量。这是一个最关键的假设，我们后面会证明，这个假设不成立的话，我们无法得到参数的无偏估计。
零条件均值假设可以推导出两个结论：E(u)=0，COV(x, u)=0
随机误差项u的条件同方差假设意味u的方差不依赖于x的变化而变化，且总为常数。
随机误差项u的条件无序列相关性表明在给定解释变量任意两个不同值时，对应的随机误差项不相关。
假设5：随机误差项服从零均值、同方差的正态分布。
假设5是为了统计推断的需要而提出的，尤其在小样本下，这个假设非常必要。在大样本下，因为中心极限定理，正态性假设可以放松。
以上5个假设也称为线性回归模型的经典假设，满足该假设的线性回归模型称为经典线性回归模型。而前4个假设称为高斯-马尔可夫假设，这些假设能保证估计方法有良好的统计性质。
2.3 一元线性回归模型的参数估计
2.3.1普通最小二乘法
对于所研究的经济问题，通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。普通最小二乘法(Ordinary Least Squares, OLS)由德国数学家高斯提出，在高斯-马尔可夫假设下，它有非常良好的统计性质，从而使之成为回归分析中最有功效和最为流行的方法之一。
拓展阅读：
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可夫定理。
2.3.2最小二乘估计量的统计性质
(1)线性性
(2)无偏性
     利用上式 
(3) 有效性  
(4)一致性
      回归系数的最小二乘估计依概率收敛到实际参数值。
往期回顾：
第一章 绪论1
第一章 绪论2
第二章 一元线性回归模型1
	

无论时代再如何变，人类的知识体系永远不会变，除非这个世界本身就不是真实的。
很多人不喜欢数学，其实这是普遍现象，但是这个世界就是依靠数学运转着，除非你会魔法，那么你就不需要数学，从入行到现在，我依然不会觉得算法不重要，你只要打好业务代码就好了，难得就不做，这一点我是不行的，就像今天研究dns一样，找了许许多多的方案，最终决定尝试一种方案，一天下来没做啥，真的累了，数据更直观，用相应的公式和数据进行分析，这样就能做出你预期想要的答案，可能有种感觉，回到了中学（如果真能回到中学，我还真想回去，有时候感觉爱因斯坦的物质守恒定论可能并不真确，当然这只属于我个人观点，机器学习的时代的来临为我们能够节约多少时间，这是显而易见，这条路还很长，我们的路还需要慢慢摸索，加入真的有一天人工智能达到了钢铁侠中的jarvis一样，那我真的解放了，世界会怎么样，真的值得期待）。
机器世代的来领早已经开始，下一个时代将是人工智能和数据的时代，也是信息安全保卫战的时代。
信息在那个时代都不过时，我们是信息的使用者，也是信息的创造者，我们这个时代还没有将信息完全的分类和守护好，创造利益是我们当前要做的事，利益的趋向能使当前技术的成熟。
话不多说开始学习线性回归（线性回归，猛地一听是不是想起了线性回归方程，对的就是你了解的线性回归方程，这里我们说的是一元线性回归方程，不难，你会一次方程就会一元线性回归方程，这里不过只是增加了几个概念）：
一元线性回归的基本形式就是 
 。通过这个我们可以得到的一个结论是 
 。这里我们可以用这个方程代替： 
 ,这个我想大家就认识了，通常我们是依照下面的图求出方程：
那时候们是手动求出这条直线，也就是 
 这个方程。而在实际中我们可以利用简单的一元一次方程进行线性回归预测。
这里我说几个概念：线性相关、协方差、相关系数、决定系数R平方，以及最小二乘法。
线性相关：
这里有几个特性：正向相关、负相关、不相关，这几个特性其实是依靠数据将这些相关性反映出来。
正相关：随着x轴值的增大，y增大，这就是正相关，这里我们讨论的是一次方程，要说正相关其实和系数b相关[也就是斜率],斜率为正，那就是正相关，下图就是正相关的绘制曲线：
负相关与正相关相反的特性就是负相关，随着x值增大，y值减小，最主要的反应就是斜率为负，不难想象散点图的分布：
无相关（没有相关性）：这个特性就是既不是正相关，又不是负相关，两种相关性都不符合，那么就是无相关（这种说法可能也不准确，理论上说一切事物都能够用数学解释，主要是你需要寻找一种模型解释现有的数据），下图我们不能用线性方程解释：
协方差（协方差主要描述变量之间的相关性）：
两个数据点的协方差(： 
这里其实求得是单一的期望。
协方差也有缺点：当我们利用协方差描述相关性时，如果两个点的数据变化幅度不想同时，所求的期望差值太大，我们就不能够用协方差进行相关性描述，为此我们需要排除这样的影响，这里我们就需要利用相关系数进行相关性描述。
对于协方差的基本了解我推荐看这篇博客：
如何通俗易懂地解释「协方差」与「相关系数」的概念？ - GRAYLAMB的回答 - 知乎 https://www.zhihu.com/question/20852004/answer/134902061
相关系数：
相关系数系数能够将协方差的影响剔除掉，这一点我们需要进一步学习：
这里我依然推荐刚才那篇博客：
如何通俗易懂地解释「协方差」与「相关系数」的概念？ - GRAYLAMB的回答 - 知乎 https://www.zhihu.com/question/20852004/answer/134902061
这里我们可以用一句话总结：相关系数是标准化后的协方差
相关系数有三个极值：r=-1,r=+1,r=0，r的值有不同的含义。
r=-1:负线性关
r=+1:正相关
r=0:非线性相关
相关系数值的大小表示又有分类：0-0.3表示弱相关，0.3-0.6表示中等相关程度，0.6-1表示强相关。
下面我们开始用代码来分析线性相关：
在这之前我说一下进行线性分析在模型分析中会用到的知识点：特征工程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。现实生活中我们我们描述一个物体物体是怎样的，那么我就需要将这个事物相应的特点描述出来，而这些特点就是我们现在说的特征。而这些特征汇集成一个事物（这里的事物可能就是现实生活中的物品，也可能就是我们的评价等等），这里的事物就是标签，这些标签相对应的就有这些特征。比如下面的猫和驴
如果我将这两张图截取：
仅凭前三张截图，我们大体就能推论出这是一只猫，这是我们固有映像得出的答案，这个答案就是标签。这里面就有相关性的问题，上面已经讲解过相关性了。
这里我们我没用用真实的数据，使用的随机生成的数据进行讲解，大部分产生的数据都是不相关的。
提取特征，这部分。我在我在pycharm 中执行是可以显示现实图片的，这里只是给出了对象。
相关系数，我这里显示的相关系数是0.005109，这里如果我再刷新一次就是负数，基本是不相关的，这里不能用线性相关来解释。
这里的测试数据占用0.2，训练数据占用0.8，这个值得规定是train_testsplit中的train_size决定的。
这一步只是为了展示训练数据和测试数据
训练模型，这一步我们需要将数组转换类型，如果不转换，直接操作LinearRegression()这个函数，我们会得到下面的错误：
其实解析这个错误看他的报错就行，至于怎么解开这个谜题，上面一张图片我已经给出答案。
这里我们绘制直线得出的截距和回归系数这个在绘图中是用不到的
这里最后再画一次其实就是对照一下，求决定系数R平方，这里开方了，得出的结果，我想大家看懂了吧，这个数这么小，而且是负数，说明这条回归线不能描述这组数据的准确性。
好了，这次讲解，主要是对简单的线性回归属性的回顾，操作的代码很少。

目录

1.概览

2代码实现

2.1一元线性回归python代码

2.2sklearn代码

3示例

3.1波士顿房价预测

3.2北京房价预测

1.概览



2代码实现

2.1一元线性回归python代码

# -*- coding: utf-8 -*-
"""
Created on Wed Sep 19 11:12:27 2018
一元线性回归
数据：一组房屋面积和房价变化的示例数据。x 为房屋面积，单位是平方米; y 为房价，单位是万元。
"""
import numpy as np
x = np.array([56, 72, 69, 88, 102, 86, 76, 79, 94, 74])
y = np.array([92, 102, 86, 110, 130, 99, 96, 102, 105, 92])
"""一元函数式代码实现
"""
def f(x, w0, w1):
    y = w0 + w1 * x
    return y
"""平方损失函数实现
"""
def square_loss(x, y, w0, w1):
    loss = sum(np.square(y - (w0 + w1*x)))
    return loss
"""最小二乘法代数求解平方损失函数最小值
"""
def w_calculator(x, y):
    n = len(x)
    w1 = (n*sum(x*y) - sum(x)*sum(y))/(n*sum(x*x) - sum(x)*sum(x))
    w0 = (sum(x*x)*sum(y) - sum(x)*sum(x*y))/(n*sum(x*x)-sum(x)*sum(x))
    return w0, w1       #(41.33509168550616, 0.7545842753077117)
w0 = w_calculator(x, y)[0]
w1 = w_calculator(x, y)[1]
"""拟合结果画图展示
"""
x_temp = np.linspace(50,120,100) # 绘制直线生成的临时点
plt.scatter(x, y)
plt.plot(x_temp, x_temp*w1 + w0, 'r')

2.2sklearn代码

# -*- coding: utf-8 -*-
"""
Created on Wed Sep 19 11:38:20 2018
scikit-learn 线性回归拟合
"""
import numpy as np
x = np.array([56, 72, 69, 88, 102, 86, 76, 79, 94, 74])
y = np.array([92, 102, 86, 110, 130, 99, 96, 102, 105, 92])
from sklearn.linear_model import LinearRegression
# 定义线性回归模型
model = LinearRegression()
model.fit(x.reshape(len(x),1) , y) # 训练, reshape 操作把数据处理成 fit 能接受的形状
# 得到模型拟合参数
model.intercept_, model.coef_
print(model.predict([[150]]))#[154.52273298]

3示例

3.1波士顿房价预测

# -*- coding: utf-8 -*-
"""
Created on Wed Sep 19 11:44:25 2018

波士顿房价预测
数据集共计 506 条，其中包含有 13 个与房价相关的特征以及 1 个目标值（房价）。
http://labfile.oss.aliyuncs.com/courses/1081/course-5-boston.csv
"""
import pandas as pd
df = pd.read_csv("course-5-boston.csv")
features = df[['crim', 'rm', 'lstat']]
target = df['medv'] # 目标值数据
#分割
split_num = int(len(features)*0.7) # 得到 70% 位置
train_x = features[:split_num] # 训练集特征
train_y = target[:split_num] # 训练集目标
test_x = features[split_num:] # 测试集特征
test_y = target[split_num:] # 测试集目标
#建模
from sklearn.linear_model import LinearRegression
model = LinearRegression() # 建立模型
model.fit(train_x, train_y) # 训练模型
model.coef_, model.intercept_ # 输出训练后的模型参数和截距项
preds = model.predict(test_x) # 输入测试集特征进行预测
preds # 预测结果
"""误差计算
平均绝对误差（MAE）
均方误差（MSE）
"""
def mae_value(y_true, y_pred):
    n = len(y_true)
    mae = sum(np.abs(y_true - y_pred))/n
    return mae
def mse_value(y_true, y_pred):
    n = len(y_true)
    mse = sum(np.square(y_true - y_pred))/n
    return mse
mae = mae_value(test_y.values, preds)
mse = mse_value(test_y.values, preds)
print("MAE: ", mae)
print("MSE: ", mse)

 输出：

MAE:  13.022063072780165

MSE:  303.8331247223573

3.2北京房价预测

# -*- coding: utf-8 -*-
"""
Created on Wed Sep 19 11:54:49 2018
北京市住房价格预测
http://labfile.oss.aliyuncs.com/courses/1081/challenge-1-beijing.csv
"""

"""读取并预览数据集
"""
import pandas as pd
df = pd.read_csv("challenge-1-beijing.csv")
df.head()
"""将原始数据集切片为所需数据集
"""
features = df[['公交','写字楼','医院','商场','地铁','学校','建造时间','楼层','面积']]
target = df['每平米价格']
"""方法二
"""
#features = df[df.columns.drop(['小区名字','房型','每平米价格'])]
#target = df['每平米价格']
"""分割
"""
split_num = int(len(df)*0.7) # 70% 分割数
train_x = features[:split_num]
train_y = target[:split_num]
test_x = features[split_num:]
test_y = target[split_num:]
#建模
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(train_x, train_y)
"""平均绝对百分比误差  MAPE
"""
import numpy as np
def mape(y_true, y_pred):
    """
    参数:
    y_true -- 测试集目标真实值
    y_pred -- 测试集目标预测值
    返回:
    mape -- MAPE 评价指标
    """
    n = len(y_true)
    mape = 100 * np.sum(np.abs((y_true-y_pred)/y_true)) / n    
    return mape
y_true = test_y.values
y_pred = model.predict(test_x)
print(mape(y_true, y_pred))
"""
  MAPEMAPE  值较大，意味着预测的偏移量较大。在线性回归实验中，

  我们提到预测结果较差的一个原因可能是数据没有经过预处理。除此之外，线性回归本身就是一种非常基础简单的预测方法。
  对于房价这种包含多个特征的预测问题，我们往往要使用更复杂的方法来进行回归预测才能得到更好的结果。
"""