图片来自网络，侵删
在一元线性回归模型中，我们进行参数的估计之后，随后便进行了模型的检验。多元线性回归是一元的扩展，自然也需要进行统计检验。
夔小攀：计量经济学：一元线性回归模型的统计检验与预测​zhuanlan.zhihu.com
 可决系数的调整
一元线性回归模型中，我们谈到模型拟合优度的判断是通过可决系数来衡量的。多元线性回归当然也可以使用可决系数。
总离差平方和： 
回归平方和： 
残差平方和： 
可决系数： 
但是，在多元的情况下，还能用可决系数判断拟合优度吗？首先， 
 肯定没有错，也就意味着公式没有问题。但是，
我们进行最小二乘估计的时候，都是考虑使得残差平方和最小的估计量。那么：
当我们随便增加一个新的解释变量 
 那么最差的情况，无非是这个解释变量对 
 的解释毫无作用，而增加的解释变量大多数情况下可能会对 
 的解释有所帮助。
这就造成一个错觉：只要不断增加解释变量，模型的拟合优度一定会有所增加。但这样随意增加解释变量，与拟合优度其实没有太多的关系。为了消除这一现象的影响，我们可以通过自由度进行调整。
自由度，就是样本中能够自由变化或者是独立的数据的个数。
总离差平方和中， 
 ，我们其实已经固定了 
 的最大值为 
 ，同时又已知平均值为 
 ，所以如果 
 个 
 已经确定，那么最后一个也就不能随便变化了。因此只有 
 个 
 的平方和和是可以变化的，最后一个则可以通过平均值与样本量确切的计算出来。所以 
 的
「自由度」degree of freedom 
那么对于回归平方和， 
 ，我们可以看到，对于每个 
 可以变化的只有 
 个 
 。但是同样的，平均值已知，正如一元线性回归中所看到的， 
 ，这样又占据了一个自由度。所以 
 的自由度是 
最后，对于残差平方和，不妨回忆一下正规方程组：
 的自由度的确是 
 ，但是就残差而言，我们在这里给定了 
 个方程，那么也就意味着，有 
 个残差是固定了的。所以对于残差平方和，自由度为 
「调整后的可决系数」，也就是除以各自的自由度：
当然，一元线性回归中也是可以进行可决系数的调整的，此时 
 变量的显著性检验（ 
 检验）
 ，这里的 
 其实是一个方差-协方差矩阵，其主对角线上的元素，才是真正的方差。以 
 表示矩阵 
 第 
 行，第 
 列的元素，那么 
 的方差就为 
同样，我们提出原假设
构造统计量：
同样，我们面临着不知道 
 是多少的问题。在一元线性回归中，挖下的坑，在这里将进行填补——如何估计 
 :
对于残差：
这里的 
 是一个幂等、对称矩阵，满足 
那么残差平方和 
很明显，残差平方和是一个数， 
 也就是一个数。这个数相当于 
 的迹
那么：
这就意味着， 
 的估计量为： 
 ，这也就不难理解为什么一元线性回归中 
其实，要进行 
 检验，还得证明统计量是服从 
 分布的。这一证明需要得到两个条件：
1） 
2） 
 与 
 是独立的
以下是可以参考的证明资料：
 方程总体显著性检验
方程所列的线性关系，也是可以进行检验的。这相当于将方程从整体上进行检验。
同样，我们提出原假设
要对这一假设进行检验，需要从 
 这一分解式进行考虑。
在这个统计量中，我们考虑的是两组平方和的差异有多大，如果 
 的比值较大，那么可以认为 
 的联合对 
 的解释程度越高。
 检验的思想，可以类比考虑方差分析。
当然，一元线性回归模型中，也可以考虑 
 检验。但事实上，一元线性回归模型中：

多元线性回归模型是社会科学中常用的模型，但其实这个模型有很多的要求，在应用模型前必须要了解背后的假设，然后来判断在自己的变量上应用这个模型是否适切，如果某些地方有违背，我们可以通过一些统计的方法来修正。
多元线性回归模型的假设
比较重要的假设有5个，至少要同时满足这5个才是一个好的多元线性回归模型。
既然是线性模型，那关系必然是线性的。
误差与自变量不相关
方差齐性 homoscedasticity (equal variance of ui)
误差之间不相关
误差正态分布 normality disturbance
下面逐个解释
1.自变量与因变量呈线性关系
通过散点图可以大致看出，左图是个曲线，但是右图可能是直线。因此右图就更加适合线性模型。如果非把曲线关系用线性模型来呈现，那么这个斜率其实是没有意义的，因为曲线模型的斜率一直是变化的，我们做这个模型预测得出的因变量会非常不准确。
2.误差项（u）与自变量不相关
误差项是自变量以外，解释因变量变异的部分。因为我们无法测量，所以称为误差。
导致误差项和自变量相关的几种情况：
影响因变量的自变量没有放入模型中
因果关系倒置(reverse causation)： 因变量成了自变量，可不就与误差相关了吗？因为误差本来就是解释因变量变异的
自变量的测量误差（measurement erros)： 没有完美的测量工具，measurement error必然存在，只有当测量误差比较大，或与自变量相关时，才有问题。例如，
误差项与自变量相关会导致什么问题？
3.方差齐性
不同的自变量X取值，对应的因变量Y的变化，应该是类似的，也就是Y的方差变化不能太大。如果因变量方差变化太大，也就是方差不齐，会导致几个后果： 1）斜率没有偏倚unbiased，但是斜率的误差变大了。 2）统计检验会出问题
4.不同个案之间的误差不相关 errors across cases are not correlated
也就是说，个案之间是相互独立，互不影响的。常见的影响个案独立性的群组效应，例如同一个班级的学生对某位老师的看法可能类似、同一个家庭的生活习惯也可能相似。追踪数据也会出现观察值之间有关联的问题，因为毕竟都是同一个人的数据，一个人在不同时期的体重可能具有很高的相关度。
如果个案之间相互影响，斜率依然没有偏倚unbiased，但是斜率的误差会变大（通常是变小），也会带来统计检验的问题。（why???)
5.正态分布
误差是正态分布的。
多元线性回归模型的检验 Detection of assumption violation
具体解释：
1.检验线性关系
1）偏回归图: 在简单线性回归（一个X一个Y）中，我们画出自变量和因变量的散点图大致可以判断是否为线性关系。但是在多元线性回归中，我们不能再用这种一个自变量和一个因变量的bivariate plot，因为它没有控制其他自变量的影响，而是应该用偏回归图。什么是偏回归图？partial regression plots (residuals of Y on the remaining explanatory variables vs residuals of the target explanatory variable on the remaining explanatory variables)
2)  检验多项式; 如果X的平方、X的三次方在多元线性回归方程中也显著，说明X和Y不是线性关系。
3) 检验虚拟变量dummy variables： 把X划分为几个虚拟变量，然后检验这几个虚拟变量和Y的关系如何。如果虚拟变量和Y的关系类似，那么比较有可能是线性，如果几个虚拟变量和Y之间的关系差异比较大，那么X和Y之间更有可能是非线性关系。例如，探讨年龄和幸福感之间的关系，把年龄分为6-19儿童，20-40青年，41-60中年，61以上老年几个年龄段，儿童的幸福感随着年龄的增长而提高，但青年和中年的幸福感可能随着时间而降低，老年时人的幸福感可能又会提高。
2.自变量与误差不相关
理论与逻辑推断
3.检验方差齐性
1) 偏回归图；
2) 自变量和因变量的散点图
如图就是一个方差不齐的例子，可以看到点越来越分散了，离散程度越来越大。
3）在stata中检验方差是否整齐：
Breusch-Pagan test, stata 命令: hettest （只用于检验线性的方差异质性）
White's general test, stata命令：首先ssc install whitetest 安装程序，然后whitetst.( 除了可以检验线性的异质性，还可以检验曲线的方差的异质性，也就是检验X平方、X三次方的方差是否整齐）
4.误差之间不相关
注意时间序列数据、群组数据，这些数据可能会有误差相关的问题
多元线性回归模型的修正 Remedies of assumption violation
1.线性关系：用正确的模型，如果是曲线关系应该用log转化，或平方项，或虚拟变量（见用多元线性回归模型表示曲线关系）
2.误差与自变量不相关：
1）增加遗漏的变量
2）如果有因果倒置reverse causation的问题： 2SLS
3）如果有measurement errors, multilevel models
3. 方差不齐：
robust standard error：也就是用white standard error, 在stata中只要reg y x1 x2, robust即可（具体原理待补充）
加权最小二乘法weighted least square：如果方差是整齐的，那么每一个数据都是被同等对待的，权重是一样的；如果方差不齐，那么我们就给方差小的数据更多的权重，给方差大的数据更少的权重（因为方差大意味着偏离整体的程度高）
4. 误差不相关：
1）multilevel/mixed model
2）autoregressive model

本博文源于《商务统计》,旨在讲述如何理解多元线性回归中的F检验。
问题起源


我们通过统计软件计算多元线性回归的参数，计算测得后，如何更好的描述你拥有回归参数对y的影响呢？换句话说，如果某一个参数消失会不会对y产生影响。那我们就要做假设检验证明它们具有很强的线性关系。

假设

$H_0:\beta_1=\beta_2=....=\beta_k=0 线性关系不显著\\
H_1:\beta_1,\beta_2,....\beta_k 至少有一个不等于0$
线性关系检验简要介绍
刚才上面给出了原假设和备择假设。它是检验因变量与所有自变量之间的线性关系是否显著.也被称为总体的显著性检验。

所采用的检验方法是将回归均方和(MSR)同离差均方和(MSE)加以比较,应用F检验来分析二者之间的差别是否显著。

如果是显著的，因变量与自变量之间存在线性关系。
如果不显著，因变量与自变量之间不存在线性关系。

计算检验统计量F
$F=\frac{SSR/k}{SSE/n-k-1}=\frac{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2/k}{\sum_{i=1}^n(y_i-\hat{y})^2/n-k-1}\sim{F(k,n-k-1)}$

确定显著性水平$\alpha$和分子自由度k、分母自由度n-k-1找出临界值$F_\alpha$
统计决策
若$F\gt{F_\alpha}$，或P值<$\alpha$，拒绝$H_0$
总结
当我们想要测定多元自变量是否整体与y因变量线性相关时，就需要F检验。 F检验的计算公式都已经给出，在相应的统计软件中只需要输入数据，选中几个选项即可。

	

本文从T检验、F检验及其统计学意义来讲，主要内容涉及T检验和F检验的由来，T检验和F检验的关系等内容。
1  T检验和F检验的由来
一般而言，为了确定从样本(sample)统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。
通过把所得到的统计检定值，与统计学家建立了一些随机变量的概率分布(probability distribution)进行比较，我们可以知道在多少%的机会下会得到目前的结果。倘若经比较后发现，出现这结果的机率很少，亦即是说，是在机会很少、很罕有的情况下才出现；那我们便可以有信心的说，这不是巧合，是具有统计学上的意义的(用统计学的话讲，就是能够拒绝虚无假设null hypothesis,Ho)。相反，若比较后发现，出现的机率很高，并不罕见；那我们便不能很有信心的直指这不是巧合，也许是巧合，也许不是，但我们没能确定。
F值和t值就是这些统计检定值，与它们相对应的概率分布，就是F分布和t分布。统计显著性(sig)就是出现目前样本这结果的机率。
2  统计学意义(P值或sig值)
结果的统计学意义是结果真实程度(能够代表总体)的一种估计方法。专业上，p值为结果可信程度的一个递减指标，p值越大，我们越不能认为样本中变量的关联是总体中各变量关联的可靠指标。p值是将观察结果认为有效即具有总体代表性的犯错概率。如p=0.05提示样本中变量关联有5%的可能是由于偶然性造成的。即假设总体中任意变量间均无关联，我们重复类似实验，会发现约20个实验中有一个实验，我们所研究的变量关联将等于或强于我们的实验结果。(这并不是说如果变量间存在关联，我们可得到5%或95%次数的相同结果，当总体中的变量存在关联，重复研究和发现关联的可能性与设计的统计学效力有关。)在许多研究领域，0.05的p值通常被认为是可接受错误的边界水平。
3. T检验和F检验
至于具体要检定的内容，须看你是在做哪一个统计程序。
举一个例子，比如，你要检验两独立样本均数差异是否能推论至总体，而行的t检验。
两样本(如某班男生和女生)某变量(如身高)的均数并不相同，但这差别是否能推论至总体，代表总体的情况也是存在著差异呢？
会不会总体中男女生根本没有差别，只不过是你那麼巧抽到这2样本的数值不同？
为此，我们进行t检定，算出一个t检定值。
与统计学家建立的以「总体中没差别」作基础的随机变量t分布进行比较，看看在多少%的机会(亦即显著性sig值)下会得到目前的结果。
若显著性sig值很少，比如<0.05(少于5%机率)，亦即是说，「如果」总体「真的」没有差别，那么就只有在机会很少(5%)、很罕有的情况下，才会出现目前这样本的情况。虽然还是有5%机会出错(1-0.05=5%)，但我们还是可以「比较有信心」的说：目前样本中这情况(男女生出现差异的情况)不是巧合，是具统计学意义的，「总体中男女生不存差异」的虚无假设应予拒绝，简言之，总体应该存在著差异。
每一种统计方法的检定的内容都不相同，同样是t-检定，可能是上述的检定总体中是否存在差异，也同能是检定总体中的单一值是否等于0或者等于某一个数值。
至于F-检定，方差分析(或译变异数分析，Analysis of Variance)，它的原理大致也是上面说的，但它是透过检视变量的方差而进行的。它主要用于：均数差别的显著性检验、分离各有关因素并估计其对总变异的作用、分析因素间的交互作用、方差齐性(Equality of Variances)检验等情况。
4. T检验和F检验关系
t检验过程，是对两样本均数(mean)差别的显著性进行检验。惟t检验须知道两个总体的方差(Variances)是否相等；t检验值的计算会因方差是否相等而有所不同。也就是说，t检验须视乎方差齐性(Equality of Variances)结果。所以，SPSS在进行t-test for Equality of Means的同时，也要做Levene's Test for Equality of Variances 。
4.1在Levene's Test for Equality of Variances一栏中 F值为2.36, Sig.为.128，表示方差齐性检验「没有显著差异」，即两方差齐(Equal Variances)，故下面t检验的结果表中要看第一排的数据，亦即方差齐的情况下的t检验的结果。
4.2.在t-test for Equality of Means中，第一排(Variances=Equal)的情况：t=8.892, df=84, 2-Tail Sig=.000, Mean Difference=22.99
既然Sig=.000，亦即，两样本均数差别有显著性意义！
4.3到底看哪个Levene's Test for Equality of Variances一栏中sig,还是看t-test for Equality of Means中那个Sig. (2-tailed)啊?
答案是：两个都要看。先看Levene's Test for Equality of Variances，如果方差齐性检验「没有显著差异」，即两方差齐(Equal Variances)，故接著的t检验的结果表中要看第一排的数据，亦即方差齐的情况下的t检验的结果。
反之，如果方差齐性检验「有显著差异」，即两方差不齐(Unequal Variances)，故接著的t检验的结果表中要看第二排的数据，亦即方差不齐的情况下的t检验的结果。
4.4你做的是T检验，为什么会有F值呢?
就是因为要评估两个总体的方差(Variances)是否相等，要做Levene's Test for Equality of Variances，要检验方差，故所以就有F值。
另一种解释：
t检验有单样本t检验，配对t检验和两样本t检验。
单样本t检验：是用样本均数代表的未知总体均数和已知总体均数进行比较，来观察此组样本与总体的差异性。
配对t检验：是采用配对设计方法观察以下几种情形，1，两个同质受试对象分别接受两种不同的处理；2,同一受试对象接受两种不同的处理；3，同一受试对象处理前后。
F检验又叫方差齐性检验。在两样本t检验中要用到F检验。
从两研究总体中随机抽取样本，要对这两个样本进行比较的时候，首先要判断两总体方差是否相同，即方差齐性。若两总体方差相等，则直接用t检验，若不等，可采用t'检验或变量变换或秩和检验等方法。
其中要判断两总体方差是否相等，就可以用F检验。
若是单组设计，必须给出一个标准值或总体均值，同时，提供一组定量的观测结果，应用t检验的前提条件就是该组资料必须服从正态分布；若是配对设计，每对数据的差值必须服从正态分布；若是成组设计，个体之间相互独立，两组资料均取自正态分布的总体，并满足方差齐性。之所以需要这些前提条件，是因为必须在这样的前提下所计算出的t统计量才服从t分布，而t检验正是以t分布作为其理论依据的检验方法。
简单来说就是实用T检验是有条件的，其中之一就是要符合方差齐次性，这点需要F检验来验证。
5 如何判定结果具有真实的显著性
在最后结论中判断什么样的显著性水平具有统计学意义，不可避免地带有武断性。换句话说，认为结果无效而被拒绝接受的水平的选择具有武断性。实践中，最后的决定通常依赖于数据集比较和分析过程中结果是先验性还是仅仅为均数之间的两两比较，依赖于总体数据集里结论一致的支持性证据的数量，依赖于以往该研究领域的惯例。通常，许多的科学领域中产生p值的结果≤0.05被认为是统计学意义的边界线，但是这显著性水平还包含了相当高的犯错可能性。结果0.05≥p>0.01被认为是具有统计学意义，而0.01≥p≥0.001被认为具有高度统计学意义。但要注意这种分类仅仅是研究基础上非正规的判断常规。
6. 所有的检验统计都是正态分布？
并不完全如此，但大多数检验都直接或间接与之有关，可以从正态分布中推导出来，如t检验、f检验或卡方检验。这些检验一般都要求：所分析变量在总体中呈正态分布，即满足所谓的正态假设。许多观察变量的确是呈正态分布的，这也是正态分布是现实世界的基本特征的原因。当人们用在正态分布基础上建立的检验分析非正态分布变量的数据时问题就产生了，(参阅非参数和方差分析的正态性检验)。这种条件下有两种方法：一是用替代的非参数检验(即无分布性检验)，但这种方法不方便，因为从它所提供的结论形式看，这种方法统计效率低下、不灵活。另一种方法是：当确定样本量足够大的情况下，通常还是可以使用基于正态分布前提下的检验。后一种方法是基于一个相当重要的原则产生的，该原则对正态方程基础上的总体检验有极其重要的作用。即，随着样本量的增加，样本分布形状趋于正态，即使所研究的变量分布并不呈正态。
本文来源于网络