异方差性（heteroscedasticity）
目录
[隐藏]
1 异方差性的定义[1]
2 产生异方差性的原因[2]
3 异方差性的影响[1]
4 参考文献
[编辑]
异方差性的定义[1]
　　设线性回归模型为:
　　
　　经典回归中所谓同方差是指不同随机误差项的方差相同，即：
　　var(ut) = σ2
　　如果随机误差项的方差不是常数，则称随机项 具有异方差性（heteroskedasticity），即:
　　常数u_t(t=1,2,\cdots n)
　　异方差性的几何直观表示形式，可借助观测值的散布图表示。以一元线性回归为例，在散布图上，就是样本残差平方随解释变量的变化而变化。
[编辑]
产生异方差性的原因[2]
　　 在计量经济研究中，异方差性的产生原因主要有以下几种。
　　1.模型中遗漏了某些解释变量
　　如果模型中只包含所要研究的几个主要因素，其他被省略的因素对被解释变量的影响都归入了随机误差项，则可能使随机误差项产生异方差性。
　　例如，用截面数据研究消费函数，根据绝对收入消费原理，设消费函数为：
　　yt = b0 + b1x1 + ut
　　其中：yt为家庭消费支出，xt为家庭可支配收入。在该模型中，物价水平Pt没有包括在解释变量中，但它对消费支出是有影响的，该影响因素却被放在随机误差项中。如果物价水平是影响消费的重要部分，则很可能使随机误差的方差变动呈现异方差性。另一方面如果用xt / Pt只表示不同家庭收入组的数据来研究消费函数，则不同收入组在消费支出上的差异是不同的。高收入组的消费支出差异应该很大，而低收入组的消费支出差异就很小。不同收入的家庭其消费支出有不同的差异变化。
　　再例如，用截面数据研究某一时点上不同地区的某类企业的生产函数，其模型为：
　　
　　u为随机误差项，它包含了除资本K和劳动力L以外的其他因素对产出Y的影响，比如不同企业在设计上、生产工艺上的区别，技术熟练程度或管理上的差别以及其他因素，这些因素在小企业之间差别不大，而在大企业之间则相差很远，随机误差项随L、K增大而增大。由于不同的地区这些因素不同造成了对产出的影响出现差异，使得模型中的u具有异方差性，并且这种异方差性的表现是随资本和劳动力的增加而有规律变化的。
　　2.模型函数形式的设定误差
　　在一般情况下，解释变量与被解释变量之间的关系是比较复杂的非线性关系。在构造模型时，为了简化模型，用线性模型代替了非线性关系，或者用简单的非线性模型代替了复杂的非线性关系，造成了模型关系不准确的误差。如将指数曲线模型误设成了线性模型，则误差有增大的趋势。
　　3.样本数据的测量误差
　　一方面，样本数据的测量误差常随时间的推移而逐步积累，从而会引起随机误差项的方差增加。另一方面，随着时间的推移，抽样技术和其他收集资料方法的改进，也使得样本的测量误差逐步减少，从而引起随机误差的方差减小。因此，在时间序列资料中，由于在不同时期测量误差的大小不同，从而随机项就不具有同方差性。
　　4.随机因素的影响
　　经济变量本身受很多随机因素影响(比如政策变动、自然灾害或金融危机等)，不具有确定性和重复性，同时，社会经济问题涉及人的思维和行为，也涉及各阶层的物质利益，人的行为具有很多不确定因素。
　　因此，经济分析中经常会遇到异方差性的问题。而且经验表明，利用横截面数据建立模型时，由于在不同样本点上(解释变量之外)其他因素影响的差异较大，所以比时间序列资料更容易产生异方差性。
　　在实际经济计量分析中，绝对严格的同方差性几乎是不可能的，异方差性可以说是一种普遍的现象。
[编辑]
异方差性的影响[1]
　　1.对模型参数估计值无偏性的影响
　　以一元线性回归模型为例。设一元线性回归模型为yt = b0 + b1xt + ut，随机误差项ut的方差随解释变量的变化而变化：，其他条件不变。此时：。在高斯——马尔可夫定理证明过程中曾经得到：，因此，。这表明b1满足无偏性。同理可以证明也是b0的无偏估计量。
　　由此可见，随机误差项存在异方差性，并不影响模型参数最小二乘估计值的无偏性。
　　2.对模型参数估计值有效性的影响
　　在上述假定下参数b1的估计值的方差为
　　
　　在随机误差项ut同方差的假定下，则参数的估计值的方差为
　　
　　在随机误差项ut存在异方差条件下，假设参数估计值为，=var（ut=1,2,…n）,此时，
　　
　　比较上式两端，当时，有
　　从而说明在随机误差项ut存在异方差条件下，最小二乘估计量不再具有最小方差。同理也有类似的结果。
　　由此可见，当线性回归模型的随机误差项存在异方差时，参数的最小二乘估计量不是一个有效的估计量。
　　3.对模型参数估计值显著性检验的影响
　　在同方差的情况下，如果以σ2的无偏估计量估计σ2，就可以得到系数的标准误差为
　　
　　但是，在异方差的情况下，是一些不同的数值，只有估计出每一个之后才能得到系数的标准误差，这在只有一组样本观测值的情况下是无法做到的。而且如果设，则在异方差的情况下，系数的标准误差：
　　
　　因此，如果仍然用计算系数的标准误差，将会产生估计偏差，偏差的大小取决于第二个因子值的大小，当其大于1时，则会过低估计系数的误差；反之，则做出了过高的估计。因而，检验的可靠性降低。
　　在异方差情况下，无法正确估计系数的标准误差，用t统计量为来判断解释变量影响的显著性将失去意义。

2.5 例子（续）
上一讲的最后介绍了 AR 序列自相关系数的递推公式，现在来考察 AR(2) 自协方差函数的计算。
（一）AR(2) 的自协方差函数
例 
解法一：Y-W 方程推论
根据 Y-W 方程的推论可以得到关于自协方差函数的如下递推关系
其中由第二个式子可得
考察 Y-W 方程推论在 k=0 和 1的情形
我们需要解出两个待定的常数，利用得到的通解取 k=0 和 1，有
将其代入上面的式子中化简得到
所以
解法二：级数展开
首先将特征多项式的倒数作有理因式分解，然后级数展开得到
 这样得到 wold 系数为 
当 k≥0 时，有
这样也能得到同样的结果，但计算上会复杂一些，考试时不采用此种方法。
解法三：先算自相关系数，再算 
首先根据定义有
结合 Y-W 推论取 k=1 的情形 
 可以联立解得 
 。
我自己算了一遍，解法一和解法三的时间是差不多的，但解法三会避免一次性进行多个分数的通分运算，所以我个人偏向于解法三。
（二）AR(2) 的稳定域和允许域
上一讲的最后，我们计算得到使得 AR(2) 序列的特征根在单位圆外的系数满足
这一集合称为 AR(2) 的稳定域。
而根据 Y-W 方程，偏相关系数和自相关系数能够互相表示如下
可以得到当偏相关系数落入稳定域时，自相关系数的取值范围
称这一集合为 AR(2) 的允许域。
稳定域和允许域等价性的证明：
由稳定域推允许域
由允许域推稳定域
大致思路：稳定域的前两式等价允许域中的第一式，稳定域中第三式对应于允许域中的后两式。
（三）AR(2) 的谱密度
其谱密度的形式为 
（1）实根不相等情形讨论：
设 
 为 
 的两个不相等实根，则自相关系数可以表示为
其中待定的常数满足方程组
可以解得
而 
 ，所以
对应的谱密度为
具体共有如图五种情形
以下介绍其中两个情形。
当 a2>0, a1<0 时：
考察 AR(2) 模型 
特征根为 
 ，自相关系数为
谱密度为
从谱密度的峰值可看出，具有周期 
当 a2<0, a1>0 时：
考察模型： 
特征根为 
 ，自相关系数为
谱密度为
由于谱密度的峰值只有 0，所以无周期性。
注意：谱密度应该是 
 ，老师课件上写错了，后续模拟的图像应该还是对的。
（2）虚根情形讨论：
设两个共轭虚根为 
 ， 
 ，根据上一讲开头计算的那个式子（自协方差表示为 cos 形式）可得
从上面这个形式可以看出，自相关系数指数衰减，并且有周期振荡特性，振荡的角频率为 
 。相应的周期为 
 。
也可以从差分方程的角度推导自相关系数：
通过取 k=0 可以得到 c，结果和之前给出的一样。
其中 
 是共轭的，注意不是 
 ！
考察具体模型： 
其中衰减的角频率为 
谱密度在 0.9733 处有峰值 。
第三章 MA 模型和 ARMA 模型
3.1 滑动平均模型
（一）q 步相关（q 后截尾）
平稳序列的自协方差函数满足 
 且 
 ，称该序列 q 步相关（q 步截尾）
现有一时间序列数据，其图像和自相关系数图像如下
其自相关系数有衰减趋势，但并没有达到负指数的速度，我们对数据进行一阶差分得到
其自相关系数一步截尾，因此可以拟合模型 
 ，可得
注意：由此可得 
 .
（二）MA(q) 模型和 MA(q) 序列
定义 设 
 是 
 ，如果实数 
 使得
即特征多项式的根不在单位圆内，那么称
是 q 阶滑动平均模型，简称 MA(q) 模型。由上面式子决定的平稳序列，称为 MA(q) 序列。如果进一步要求单位圆上也没有零点，则称为可逆的 MA(q) 模型，相应的平稳序列为可逆的 MA(q) 序列。
问：根据定义，白噪声的线性和都是平稳序列，为什么要加条件？
答：对于根在单位圆内的，可以通过变换白噪声方差，使其满足根在单位圆外。
例如考察模型 
 ，它的特征多项式的根在单位圆内
但是对于 
 ，计算得两个模型的自协方差函数是一样的，而下面这个模型满足特征根不再单位圆内，所以是 MA(2) 模型。
（1）可逆 MA 模型和 AR(∞) 
利用推移算子可将模型写为
由于根都在单位圆外，所以可以将特征多项式泰勒展开得到
因此
也就是说对于 MA 模型，用 AR 模型来建模也是可以的。
（2）MA 序列的自协方差函数
记 
 ，则 MA(q) 序列的期望为 0 ，自协方差函数为
（3）MA 序列的谱密度
MA(q) 序列的自协方差函数是 q 后截尾的，并且有谱密度
  第一个等号为线性平稳序列的谱密度公式，第二个等号利用谱密度的自协方差反演公式。
下面来证明 MA(q) 序列和自协方差函数是 q 后截尾等价。首先给出一个引理，它表明谱密度公式的第二行能倒推第一行。
引理 假设有实常数 
 使得 
 ，且
那么有唯一的实系数多项式满足单位圆内没根
并且
其中 
 是某个常数。
证明：
首先常数 
 的对称性并不是显然的，但谱密度公式中自协方差函数是具有对称性的，所以先来证明 
 的对称性。
注意到 
 是实数，所以对等式两边同取共轭复数得到
等式右边用 j=-j 替代得到
两者相减得到
这个形式可以看成一个关于 
 的多项式，它恒等于 0 ，等价于系数为 0，这就得到了 
 的对称性。
接下来令 
 ，则该多项式的 2q 个根中，每一个根的倒数也必然是根（因为 
 ），我们把这 q 对根中，所有不在单位圆内的根取出来，就得到 q 个不在单位圆内的根，由这些根组合可得 B(z) 。
然后考虑 
 ，它的每一对互为倒数的
实根对应的因子为 
 ，而
因此 
 是共轭的，两者相乘便得到引理中模平方的结构。
而对于每一对互为倒数的复根，我们需要找到与其共轭的另外一对互为倒数的复根，这样对应的 
 才是共轭的。，这是需要注意的地方。
而当 q 后截尾且自协方差绝对可和的时候，谱密度可以写为
根据引理 
 ，其中 
 在单位圆内没有根（这里严格来说还要讨论根在单位圆上的情形，但这比较复杂，就略去了，后面就假定单位圆上也没有根），利用线性滤波的谱密度公式可得
是白噪声序列，这就证明了 
 是 MA(q) 序列。
（3）MA 序列系数的计算
线性迭代法：
自协方差函数可以写为
进而
Newton-Raphson算法：
递推式为
利用牛顿法迭代解多元非线性方程组的公式
教材介绍的方法（来自一篇研究生论文）：
记
MA 序列的系数可由下面的公式计算得到
其中 
例 考察模型 
首先计算两个特征根得到 
 ，然后计算自协方差函数
现在我们从自协方差函数出发，求解 MA(2) 模型的系数。
利用公式
其中 
 ，以下给出不同 k 值的程序运行结果
（4）MA(1) 序列讨论
考察可逆的 MA(1) 模型
自协方差和自相关系数如下
谱密度为
下面利用 Y-W 方程求解偏相关系数
利用克莱姆法则求解，记左边系数行列式为 
 ，则由递推式
求解这个差分方程可得
继而用克莱姆法则解得偏相关系数为

  功率和方差这两个概念，一个是表示信号的强度，一个是表示随机信号的一个统计量，为什么高斯白噪声的平均功率会等于它的方差呢？
什么是高斯白噪声？
  维基百科上给出的解释是：在通信领域中指的是一种功率谱函数是常数（即白噪声），且幅度服从高斯分布的噪声信号。因其可加性、幅度服从高斯分布且为白噪声的一种而得名。
自相关函数
  高斯白噪声是一种平稳的随机过程，假设该过程为$ \xi (t) $，那么其自相关函数的定义如下：

$R(\tau) = E[\xi(t) \xi(t+\tau)]$

随机过程的自相关函数非常重要，它有两条非常重要的性质：

R(0) = E[$ \xi ^ 2(t)  $]，表示平均功率
R(∞) = $ E^2[\xi(t)] $，表示直流功率

  为什么R(0)表示平均功率？为什么R(∞) 表示直流功率呢？
  其实R(0)表示平均功率相对好理解一些，输入的信号是$ \xi (t) $，信号的平方就是功率，对功率取个E()，就是取平均，那就是平均功率了。
  当$\tau$为无穷大时，$ \xi (t) $和$ \xi (t+\tau) $相当于独立同分布的两个随机变量了，因此：

这个就是信号先求平均（即直流分量），再平方，结果自然就是直流的功率了。
自协方差函数
  自相关函数也叫二阶原点矩，而自协方差函数是二阶中心矩，它的定义为：

其中m(t)表示t时刻的平均值。
当$\tau=0$时，$c(0)=E[ \xi ^ 2(t)]  - m^2(t)=R(0) - m^2(t)$，即平均功率减去均值平方，表示方差。
所以，对于高斯白噪声来说，它的均值为0，即m(t)为0，因此平均功率等于方差。
欢迎关注微信公众号：Quant_Times

定义
概念理解
虽然不懂大佬时怎么从定义中看出来的，但是先记住吧。学分要紧。
计算性质
性质一：协方差可以交换顺序
有没有感觉到一丝熟悉的味道，比如范数的定义，内积的定义
这是因为常数 
 的数学期望 
 ,还是这个常数，从而 
 . 
 .
哈，随机变量乘以0是个什么操作。或者说随机变量函数的有什么现实意义么？
不理解。留待以后解决吧。反正老师说怎么求就怎么求。
下面是课本上的话，不明绝厉。
这是随机变量的定义
性质二-与常数的协方差为0、常数可以提取出来、随机变量的四则运算的协方差等于协方差的四则运算
是不是感觉更熟悉了，跟范数的定义差不多嘛。
下面这个公式更直观一些 ，a啦，b啦没说不能取负数对吧。
性质三：随机变量相互独立，那么他们的协方差为0
可以用来说明随机变量和的方差不等于方差的和