精华内容
下载资源
问答
  • 方差

    2018-11-30 13:05:02
    不同样本的残差项方差不同,即Var(σi)≠常数Var(\sigma_i) \ne 常数Var(σi​)̸​=常数,Var(σi)Var(\sigma_i)Var(σi​)于XiX_iXi​有关 产生的原因 模型中忽略了重要变量,XXX的相关性归入了残差项。 模型设定...

    异方差的实质

    不同样本的残差项方差不同,即Var(σi)Var(\sigma_i) \ne 常数Var(σi)Var(\sigma_i)XiX_i有关

    产生的原因

    1. 模型中忽略了重要变量,XX的相关性归入了残差项。
    2. 模型设定错误,如非线性关系设定为线性关系,忽略重要解释变量。
    3. 数据测量误差。
    4. 截面数据中总体各单位的差异。截面数据比时间序列数据更容易产生异方差。

    异方差的后果

    1. 不变:OLS参数估计的线性性和无偏性
    2. 变:OLS参数估计的最小方差性变了,变得更小

    异方差的检验

    图示法

    第一步:将数据导入Eviews

    data y x
    

    第二步:画图:如果随着XX的增加,YY的离散程度有增加或减小的趋势则存在异方差。

    scat x y
    

    XY散点图
    第三步:残差分布图分析: 建立模型,对XX进行排序,在Equation窗口点击 Resids,观察残差分布的离散程度有无扩大趋势。

    ls y c x
    sort x
    

    残差分布图以上检验说明序列存在异方差性。

    GQ检验

    1. 原理:先将解释变量排序,删除中间C个样本(C=n/4C=n/4),最终取两个样本分别建立回归模型,比较RSS1RSS_1RSS1RSS_1FF统计量:F=RSS1RSS2F = \frac{RSS_1}{RSS_2}若两者存在显著差异,则表明存在异方差。
    2. 前提条件使用大样本容量,样本容量不低于参数个数的两倍。
    3. 假设H0:H_0:两部分数据的方差相等H1:H_1:两部分数据的方差不等
    4. 判断F>FαF>F_ \alpha ,则拒绝原假设
    sort x
    smpl 1 10    # 确定样本1
    ls y c x    # RRS1 = 2579.59
    smpl 19 28    # 确定样本2
    ls y c x    #RRS2 = 63769.67
    

    White检验

    1. 原理:建立辅助回归模型ei2=a0+α1x1i+α2x2i+α3x1i2+α4x2i2+α5x1ix2i+e_i^2=a_0+ \alpha_1 x_{1i}+\alpha_2 x_{2i}+\alpha_3 x_{1i}^2+\alpha_4 x_{2i}^2+\alpha_5 x_{1i}x_{2i}+ \cdots
    2. 假设H0:α1=α2=α3=α4=α5=0H_0:\alpha_1=\alpha_2=\alpha_3=\alpha_4=\alpha_5=0,没有异方差
    3. 判断:统计量nR2nR^2大于临界值则拒绝原假设。
    4. 优点:可以判断是那个变量的哪种形式引起的异方差
    5. 缺点:引入太多变元,容易消耗自由度,有时可以把交叉项去掉
    ls y c x
    

    在Equation中:View\ Residual Diagnostics \ Heterosk…\ white

    Glejser检验

    1. 原理:建立辅助回归模型ei=α+βxih+vi,h=±1,±2,\vert e_i \vert = \alpha+\beta x_i^h +v_i, h=\pm1,\pm2,\cdots
    2. 优点:可以判断是那个变量的哪种形式引起的异方差
    3. 缺点:函数形式不易确定,检验量太大
    4. 原假设:系数全等于0,不存在异方差

    异方差的补救

    1. 加权最小二乘法
      从White 检验和Glejser检验得到异方差是由哪个变量的具体形式得到的之后
    ls(w = 形式) y c x
    
    1. 对数变化法
    genr lny = log(y)
    genr lnx = log(x)
    ls lny c lnx
    

    再进行white检验

    展开全文
  • 随机变量的数字特征是一些由它的概率分布所决定的常数,这些常数能够反映随机变量某些方面的重要特征,故称之随机变量的数字特征。 一、数学期望 1.1 随机变量的数学期望: 1.1.1 离散型随机变量x 设x的分布律...

    总结自《概率论与数理统计应用》第二版 西安交大出版社
    下面是书中一些涉及到期望和方差的内容

    第三章:随机变量的数字特征

    随机变量的数字特征是一些由它的概率分布所决定的常数,这些常数能够反映随机变量某些方面的重要特征,故称之为随机变量的数字特征。

    一、数学期望

    1.1 随机变量的数学期望:

    1.1.1 离散型随机变量x

    x的分布律为:
    P{x=xi}=pi , i=1,2,...P\{x=x_{i}\} = p_{i}\ ,\ i=1,2,...
    若级数1ixipi\sum_{1\le i\le \infty}x_{i}\,p_{i}绝对收敛,则称它的数学期望可以表示为:
    E(x)=1ixipiE(x)=\sum_{1\le i\le \infty}x_{i}\,p_{i}
    绝对收敛的意思:我的理解为,它的概率分布是稳定且不会变化的,我们的采样方式是不变的,采样概率是x的客观属性,当试验次数很大时,频率\approx概率。

    1.1.2 连续型随机变量x

    设连续型随机变量x的概率密度为f(x)f(x),若积分xf(x)dx\int_{-\infty}^{\infty}xf(x)dx绝对收敛,则称xf(x)dx\int_{-\infty}^{\infty}xf(x)dx为随机变量x的数学期望,记为E(x)E(x),即
    E(x)=xf(x)dxE(x)=\int_{-\infty}^{\infty}xf(x)dx

    1.2 随机变量的函数的数学期望

    g(x)g(x)为随机变量x的函数
    E[g(X)]={1ig(xi)pi当x是离散型g(x)fx(x)dx当x是连续型E[g(X)]=\begin{cases} \sum_{1\le i\le \infty}g(x_{i})p_{i}, &\text{当x是离散型} \\ \int_{-\infty}^{\infty}g(x)f_{x}(x)dx, &\text{当x是连续型} \end{cases}

    1.3 数学期望的性质

    (1)E(C)=C,E(C)=C,
    (2)E(CX)=CE(X),E(CX)=CE(X),
    (3)E(X+Y)=E(X)+E(Y),E(X+Y)=E(X)+E(Y),
    (4)若XXYY相互独立,则E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)
    证明:
    (3)E(X+Y)=(x+y)f(x,y)dxdyE(X+Y)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(x+y)f(x,y)dxdy
    =xdxf(x,y)dy+ydyf(x,y)dx=\int_{-\infty}^{\infty}xdx\int_{-\infty}^{\infty}f(x,y)dy+\int_{-\infty}^{\infty}ydy\int_{-\infty}^{\infty}f(x,y)dx
    根据边缘定理可知,上式等于
    =xf(x)dx+yf(y)dy=\int_{-\infty}^{\infty}xf(x)dx+\int_{-\infty}^{\infty}yf(y)dy
    =E(X)+E(Y)=E(X)+E(Y)
    (4)E(XY)=xyf(x,y)dxdyE(XY)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf(x,y)dxdy
    根据相互独立定理可知,f(x,y)=f(x)f(y)f(x,y)=f(x)f(y),上式等于
    =xf(x)dxyf(y)dy=\int_{-\infty}^{\infty}xf(x)dx\int_{-\infty}^{\infty}yf(y)dy
    =E(x)E(y)=E(x)E(y)

    二、方差

    2.1 方差和标准差

    我们用E{[XE(X)]2}E\{[X-E(X)]^{2}\}来度量XX对其期望E(X)E(X)的分散程度。这个量就叫做XX的方差(‘平均平方偏差’)。

    方差和标准差的定义:

    XX为随机变量,若E{[XE(X)]2}E\{[X-E(X)]^{2}\}存在,则
    D(X)=E{[XE(X)]2}D(X)=E\{[X-E(X)]^{2}\}
    称为随机变量XX的方差,而称D(X)\sqrt{D(X)}XX的标准差,记为σ(X)\sigma(X),即:
    σ(X)=D(X)\sigma(X)=\sqrt{D(X)}
    根据数学期望的性质,令μ=E(X)\mu=E(X),则:
    E[(XE(X))2]=E[X22XE(X)+E(X)2]=E[X2]2μE(X)+μ2=E[X2]μ2E[(X-E(X))^{2}]=E[X^{2}-2XE(X)+E(X)^{2}]=E[X^{2}]-2\mu\,E(X)+\mu^{2}=E[X^{2}]-\mu^{2}
    即:
    D(X)=E(X2)(E[X])2D(X)=E(X^2)-(E[X])^2

    2.2 方差的性质

    (1) D(C)=0D(C)=0
    (2) D(CX)=C2D(X)D(CX)=C^{2}D(X)
    (3) 若XXYY相互独立,则D(X±Y)=D(X)+D(Y)D(X\pm\,Y)=D(X)+D(Y)
    (4) D(X)=0D(X)=0的充要条件是P{X=E(X)}=1P\{X=E(X)\}=1
    性质三的证明:
    E[((XY)E(XY))2]E[((X-Y)-E(X-Y))^{2}]
    =E[X2+Y22XY+E[X]2+E[Y]22E(X)E(Y)2XE(X)+2XE(Y)+2YE(Y)2YE(Y)]=E[X^{2}+Y^2-2XY+E[X]^2+E[Y]^2-2E(X)E(Y)-2XE(X)+2XE(Y)+2YE(Y)-2YE(Y)]
    =E[X2+E(X)22XE(X)+Y2+E(Y)22YE[Y]2XY2E[X]E[Y]+2YE[X]+2XE[Y]]=E[X^2+E(X)^2-2XE(X)+Y^2+E(Y)^2-2YE[Y]-2XY-2E[X]E[Y]+2YE[X]+2XE[Y]]
    注意:E(X)E(X)E(Y)E(Y)是固有属性,可以看作是常数,XXYY相互独立,所以E(XY)=E(X)E(Y)E(XY)=E(X)E(Y),而XXXX不独立,所以E(X2)E(X)2E(X^2)\ne E(X)^2
    所以:
    E[2XY2E[X]E[Y]+2YE[X]+2XE[Y]]=0E[-2XY-2E[X]E[Y]+2YE[X]+2XE[Y]]=0
    所以:
    D(X±Y)=D(X)+D(Y)D(X\pm\,Y)=D(X)+D(Y)

    第五章 数理统计学的基本概念

    前面介绍的是数学基础,从这里开始是统计学的基本内容,我这里会摘录一些统计学的基本概念,便于期望和方差在实际生活中使用统计学计算的理解。

    一 总体与样本

    1.1 总体及其分布

    在实际应用中,把研究对象的全体元素组成的集合叫做总体或母体。总体中每个元素称为个体。
    从数学角度说,总体是指数量指标可能取的各种不同数值的全体,而各种不同数值在客观上有一定的比率。我们把数量指标取不同数值的比率叫做总体分布。即客观上总体存在一个概率分布函数:
    F(x)=P{Xx}F(x)=P\{X\leqslant x\}

    1.2 样本

    从总体中取出一部分个体,这一部分个体称为样本或者子样。样本中所含个体的个数称为样本容量。取得样本的过程称为抽样。抽样过程所采取的方法称为抽样法
    在数理统计中,采用的抽样法是随机抽样法,即样本中的每一个个体是从总体中随机地取出来的。采用随机抽样法得到的样本称为随机样本。
    通常,定义样本(X1,X2,...,Xn)(X_1,X_2,...,X_n)是n维你随机变量,这是针对具体进行一次抽样前而言。进行一次具体抽样后得到的是一族具体的实数(x1,x2,...,xn)(x_1,x_2,...,x_n),他是样本(X1,X2,...,Xn)(X_1,X_2,...,X_n)的一个观察值,称为样本值
    我们抽取样本的目的是为了对总体分布进行各种分析、推断,因而要求抽取的样本能很好地反映总体的特性,这就必须对随机抽样的方法提出一定的要求,通常提出下面两点最有使用价值的要求:
    1、样本的每个分量Xi(i=1,2,...,n)X_i(i=1,2,...,n)必须与总体具有相同的分布
    2、样本的各分量X1,X2,...,XnX_1,X_2,...,X_n是相互独立的。
    具有上述两个性质的样本称为简单随机样本。获得简单随机样本的抽样方法称为简单随机抽样.
    对于简单随机样本,其概率分布是由总体XX的分布完全确定的。
    P{X1=x1,X2=x2,...,Xn=xn}=i=1nP{Xi=xi}P\{X_1=x_1,X_2=x_2,...,X_n=x_n\}=\prod_{i=1}^{n}P\{X_i=x_i\}

    1.3 统计量

    1.3.1 统计量概念

    样本是我们推断总体分布的依据,利用样本进行统计推断时,第一步的工作是要把样本中所包含的关于我们所关心的事务的信息集中起来,这便是针对不同的问题构造出样本的适当函数,这种函数在统计学中称为统计量。
    注意:由于统计量是样本的函数,是随机变量,因此,对于不同的样本值得到的参数估计值往往是不相同的

    定义:

    (X1,X2,...,Xn)(X_1,X_2,...,X_n)是来自总体XX的一个样本,T=g(X1,X2,...,Xn)T=g(X_1,X_2,...,X_n)(X1,X2,...,Xn)(X_1,X_2,...,X_n)的一个实值函数,且gg中不包含任何未知参数,则称TT为样本(X1,X2,...,Xn)(X_1,X_2,...,X_n)的一个统计量。若(x1,x2,...,xn)(x_1,x_2,...,x_n)是样本(X1,X2,...,Xn)(X_1,X_2,...,X_n)的一个观察值,则t=g(x1,x2,...,xn)t=g(x_1,x_2,...,x_n)称为统计量TT的一个观察值。

    1.3.2 几个常用的统计量

    (X1,X2,...,Xn)(X_1,X_2,...,X_n)是来自总体XX的样本,(x1,x2,...,xn)(x_1,x_2,...,x_n)是这一样本的观察值。

    1.3.2.1 样本均值

    统计量:
    Xˉ=1ni=1nXi=1n(X1+X2+...+Xn)\bar{X}=\dfrac{1}{n}\sum_{i=1}^nX_i=\dfrac{1}{n}(X_1+X_2+...+X_n)
    称为样本均值,其观察值记为
    xˉ=1ni=1nxi\bar{x}=\dfrac{1}{n}\sum_{i=1}^{n}x_i
    定理:设总体XX的均值(即数学期望)E(X)=μE(X)=\mu和方差D(X)=σ2D(X)=\sigma^2存在,则
    (1)
    E(Xˉ)=μE(\bar{X})=\mu
    D(Xˉ)=σ2nD(\bar{X})=\dfrac{\sigma^2}{n}
    (2)
    limnXˉ=μ\lim_{n\rightarrow\infty}\bar{X}=\mu
    证明:
    (1) 因为X1,X2,...,XnX_1,X_2,...,X_n都与XX有相同的分布,所以,E(Xi)=μE(X_i)=\muD(Xi)=σ2(i=1,2,...,n)D(X_i)=\sigma^2(i=1,2,...,n)。又因为X1,X2,...,XnX_1,X_2,...,X_n相互独立,所以
    E(Xˉ)=1ni=1nE(Xi)=μE(\bar{X})=\dfrac{1}{n}\sum_{i=1}^{n}E(X_i)=\mu
    D(Xˉ)=D(i=1nXin)=D(i=1nXi)n2D(\bar{X})=D(\dfrac{\sum_{i=1}^{n}X_i}{n})=\dfrac{D(\sum_{i=1}^{n}X_i)}{n^2}
    因为每一次抽样是相互之间独立的,所以上面公式等于
    i=1nD(Xi)n2==σ2n\dfrac{\sum_{i=1}^{n}D(X_i)}{n^2}==\dfrac{\sigma^2}{n}
    (2)由大数定律知成立
    此定理表明,随着样本容量n的逐渐增大,样本均值Xˉ\bar{X}以越来越大的概率落在总体均值μ\mu的邻近,因此,样本均值常用于估计总体均值,或检验有关总体均值的假设。这里注意:样本均值不是总体分布的数学期望(总体均值)!!

    1.3.2.2 样本方差和样本标准差

    统计量:
    S2=1n1i=1n(XiXˉ)2S^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2
    称为样本方差,其观察值记为:
    s2=1n1i=1n(xixˉ)2s^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2
    样本标准差
    S=S2=1n1i=1n(XiXˉ)2S=\sqrt{S^2}=\sqrt{\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2}

    定理:设总体XX的均值E(X)=μE(X)=\mu和方差D(X)=σ2D(X)=\sigma^2存,则E(S2)=σ2E(S^2)=\sigma^2

    证明
    E(S2)=E(1n1i=1n(XiXˉ)2)=1n1E(i=1n(XiXˉ)2)=1n1E(i=1nXi2+i=1nXˉ22Xˉi=1nXi)=1n1E(i=1nXi2nXˉ2)=1n1(i=1nE(Xi2)nE(Xˉ2))E(S^2)=E(\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2)=\dfrac{1}{n-1}E(\sum_{i=1}^{n}(X_i-\bar{X})^2)=\dfrac{1}{n-1}E(\sum_{i=1}^{n}X_i^2+\sum_{i=1}^{n}\bar{X}^2-2\bar{X}\sum_{i=1}^{n}X_i)=\dfrac{1}{n-1}E(\sum_{i=1}^{n}X_i^2-n\bar{X}^2)=\dfrac{1}{n-1}(\sum_{i=1}^{n}E(X_i^2)-nE(\bar{X}^2))
    注意:样本均值不是总体分布的数学期望(总体均值)!!样本均值是一个变量,它随着样本容量n的逐渐增大,样本均值Xˉ\bar{X}以越来越大的概率落在总体均值μ\mu的邻近。
    因为:
    E(Xi2)=D(Xi)+E(Xi)2=σ2+μ2E(X_i^2)=D(X_i)+E(X_i)^2=\sigma^2+\mu^2
    E(Xˉ2)=D(Xˉ)+E(Xˉ)2=σ2n+μ2E(\bar{X}^2)=D(\bar{X})+E(\bar{X})^2=\dfrac{\sigma^2}{n}+\mu^2
    所以,上式等于:
    1n1(i=1nE(Xi2)nE(Xˉ2))=1n1(nσ2+nμ2σ2nμ2)=σ2\dfrac{1}{n-1}(\sum_{i=1}^{n}E(X_i^2)-nE(\bar{X}^2))=\dfrac{1}{n-1}(n\sigma^2+n\mu^2-\sigma^2-n\mu^2)=\sigma^2
    证明了样本方差是总体方差的无偏估计量,无偏的概念后文中有介绍

    第六章 数理统计学的基本概念

    参数估计:所谓参数估计是指由样本对总体中的(未知)参数作出估计。参数全部可容许值组成的集合称为参数空间,记为Θ\Theta。另外,在有些实际问题中,事先并不知道总体XX的分布类型,而要对其某些数字特征,如均值E(X)E(X)、方差D(X)D(X)等作出估计。通常,我们把这些数字特征也称为参数,这些问题也属于参数估计问题。
    参数估计有点估计与区间估计两种方式。

    6.1 点估计

    6.1.1 估计量概念

    估计量是关于样本的适当函数。
    一般地,设总体XX的分布函数是F(x;θ1,θ2,...,θl)F(x;\theta_1,\theta_2,...,\theta_l),其中θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l是待估计的未知参数,(X1,X2,...,Xn)(X_1,X_2,...,X_n)是来自总体XX的样本,(x1,x2,...,xn)(x_1,x_2,...,x_n)是相应的样本值,点估计问题就是要构造ll个适当的统计量θi^(X1,X2,...,Xn)(i=1,2,...,l)\hat{\theta_i}(X_1,X_2,...,X_n)(i=1,2,...,l),分别用观察值θ^i(x1,x2,...,xn)\hat\theta_i(x_1,x_2,...,x_n)作为未知参数θi\theta_i的估计值。
    注意:由于估计量是样本的函数,是随机变量,因此,对于不同的样本值得到的参数估计值往往是不相同的

    6.1.2 估计量的求法

    点估计量的求法有许多种,下面主要介绍常用的两种方法:矩估计法和极大似然估计法。
    1、矩估计法:
    设总体XX的分布中含有ll个待估计的未知参数:θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l,求出XXll个原点矩,要求它们都是θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l的函数。不妨设总体XX的前ll阶矩ak=E(Xk)(k=1,2,...,l)a_k=E(X^k)(k=1,2,...,l)存在,且都是θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l的函数,即
    ak=ak(θ1,θ2,...,θl)(k=1,2,...,l)a_k=a_k(\theta_1,\theta_2,...,\theta_l) (k=1,2,...,l)
    把上面各式中的总体矩用相应的样本矩代替,未知参数用其估计量代替,得:
    ak(θ1^,θ2^,...,θl^)=Ak(k=1,2,...,l)a_k(\hat{\theta_1},\hat{\theta_2},...,\hat{\theta_l})=A_k (k=1,2,...,l)
    解此方程组可得θ1^,θ2^,...,θl^\hat{\theta_1},\hat{\theta_2},...,\hat{\theta_l},并将它们作为θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l的估计量。这种求估计量的方法称为矩估计法,简称矩法。用矩估计法求得的估计量称为矩估计量
    矩估计法的理论依据是大数定律,当样本容量充分大时,样本矩AkA_k以很大的概率落在总体矩aka_k的邻近,因而可用AkA_k作为aka_k的矩估计量
    2、极大似然估计法:
    极大似然估计方法就是利用总体XX的分布函数F(x;θ1,θ2,...,θl)F(x;\theta_1,\theta_2,...,\theta_l)的已知表达式及样本所提供的信息,来建立未知参数θi\theta_i的估计量θi^(X1,X2,...,Xn)(i=1,2,...,l)\hat{\theta_i}(X_1,X_2,...,X_n)(i=1,2,...,l)
    定义 如果总体XX是离散型或连续行随机变量,其分布律为
    P{X=x}=p(x;θ1,θ2,...,θl)P\{X=x\}=p(x;\theta_1,\theta_2,...,\theta_l)
    或概率密度为:
    f(x;θ1,θ2,...,θl)f(x;\theta_1,\theta_2,...,\theta_l)
    其中,θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l为未知参数,在参数空间Θ\Theta内取值,变元xx在随机变量XX的可能取值范围内取值。设(X1,X2,...,Xn)(X_1,X_2,...,X_n)是来自总体XX的样本,则(X1,X2,...,Xn)(X_1,X_2,...,X_n)的联合分布律为:
    L(x1,x2,...,xn;θ1,θ2,...,θl)=P{X=x1,X2=x2,...,Xn=xn}=i=1np(x;θ1,θ2,...,θl)L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_l)=P\{X=x_1,X_2=x_2,...,X_n=x_n\}=\prod_{i=1}^{n}p(x;\theta_1,\theta_2,...,\theta_l)
    或联合概率密度为:
    L(x1,x2,...,xn;θ1,θ2,...,θl)=i=1nf(xi;θ1,θ2,...,θl)L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_l)=\prod_{i=1}^{n}f(x_i;\theta_1,\theta_2,...,\theta_l)
    上式也被称为似然函数,似然函数的对数称为对数似然函数。
    极大似然估计法就是当得到样本值(x1,x2,...,xn)(x_1,x_2,...,x_n)时,选取使似然函数L(x1,x2,...,xn;θ1,θ2,...,θl)L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_l)取得最大值的θ1^,θ2^,...,θl^\hat{\theta_1},\hat{\theta_2},...,\hat{\theta_l},分别作为未知参数θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l的估计值。
    这样得到的θ1^,θ2^,...,θl^\hat{\theta_1},\hat{\theta_2},...,\hat{\theta_l}与样本值(x1,x2,...,xn)(x_1,x_2,...,x_n)有关,记为θi^=θi^(x1,x2,...,xn)\hat{\theta_i}=\hat{\theta_i}(x_1,x_2,...,x_n),并称为参数θi(i=1,2,...,l)\theta_i(i=1,2,...,l)极大似然估计值,而相应的统计量θi^(X1,X2,...,Xn)(i=1,2,...,l)\hat{\theta_i}(X_1,X_2,...,X_n)(i=1,2,...,l)称为参数θi\theta_i极大似然估计量
    由于lnxlnxxx的单调上升函数,因此lnL(θ1,θ2,...,θl)lnL(\theta_1,\theta_2,...,\theta_l)L(θ1,θ2,...,θl)L(\theta_1,\theta_2,...,\theta_l)有相同的极大值点,因此,可以等价地选取使对数似然函数lnL(x1,x2,...,xn;θ1,θ2,...,θl)lnL(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_l)取得最大值的θ1^,θ2^,...,θl^\hat{\theta_1},\hat{\theta_2},...,\hat{\theta_l},分别作为未知参数θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l的估计值。
    很多情形下,似然函数和对数似然函数关于θ1,θ2,...,θl\theta_1,\theta_2,...,\theta_l的偏导数存在,此时θ1^,θ2^,...,θl^\hat{\theta_1},\hat{\theta_2},...,\hat{\theta_l}可以从方程组
    L(θ1,θ2,...,θl)θj=0(j=1,2,...,l)\dfrac{\partial{L(\theta_1,\theta_2,...,\theta_l)}}{\partial{\theta_j}}=0(j=1,2,...,l)
    或方程组
    lnL(θ1,θ2,...,θl)θj=0(j=1,2,...,l)\dfrac{\partial{lnL(\theta_1,\theta_2,...,\theta_l)}}{\partial{\theta_j}}=0(j=1,2,...,l)
    上面两个方程组分别称为似然方程和对数似然方程。

    6.1.3 估计量的评选标准
    6.1.3.1 无偏性

    估计量是随机变量,对于不同的样本值就会得到不同的估计值。这样,我们要确定一个估计量的好坏,不能仅仅依据某次抽样的结果来衡量,而必须由多次抽样的结果来衡量。
    无偏性:尽管在一次抽样中得到的估计值不一定恰好等于待估计的参数真值,但在大量重复抽样(样本容量相同)时,所得到的估计值平均起来应该与待估计的参数真值相同,这就是无偏性的要求。
    定义:设(X1,X2,...,Xn)(X_1,X_2,...,X_n)是来自总体XX的一个样本,θ\theta是包含在XX的分布中的未知参数,θ\theta的取值范围为Θ\Thetaθ^=θ^(X1,X2,...,Xn)\hat{\theta}=\hat{\theta}(X_1,X_2,...,X_n)θ\theta的一个估计量。如果对任意θΘ\theta\in\Theta有:
    E(θ^)=θE(\hat{\theta})=\theta
    则称θ^\hat{\theta}θ\theta的一个无偏估计量
    一个估计量如果不是无偏的就称它是有偏估计量,并且称E(θ^)θE(\hat{\theta})-\theta为估计量θ^\hat{\theta}偏差或简称为
    如果E(θ^)θ0E(\hat{\theta})-\theta\ne0,但是当样本容量nn\to\infty时,有
    limn[E(θ^)θ]=0lim_{n\to\infty}[E(\hat{\theta})-\theta]=0
    则称θ^\hat{\theta}θ\theta渐进无偏估计量

    6.1.3.2 有效性

    有效性:衡量一个参数的两个无偏估计量哪个更好的标准,应该看它们谁的取值更集中,即方差更小。
    定义:设(X1,X2,...,Xn)(X_1,X_2,...,X_n)是来自总体XX的样本,θ\thetaXX的分布中包含的待估参数,θ^=θ^(X1,X2,...,Xn)\hat{\theta}=\hat{\theta}(X_1,X_2,...,X_n)θ^=θ^(X1,X2,...,Xn)\hat{\theta}^*=\hat{\theta}^*(X_1,X_2,...,X_n)都是θ\theta的无偏估计量,如果
    D(θ^)<=D(θ^)D(\hat{\theta})<=D(\hat{\theta}^*)

    E[(θ^θ)2]<=E[(θ^θ)2]E[(\hat{\theta}-\theta)^{2}]<=E[(\hat{\theta}^*-\theta)^{2}]
    则称θ^\hat{\theta}θ^\hat{\theta}^*有效。

    展开全文
  • 方差

    千次阅读 2018-06-17 15:01:59
    方差性(heteroscedasticity)目录[隐藏]1 异方差性的定义[1]2 产生异方差性的原因[2]3 异方差性的影响[1]4 参考文献[编辑]异方差性的定义[1] 设线性回归模型: 经典回归中所谓同方差是指不同随机误差项的...


    异方差性(heteroscedasticity)

    目录

    [隐藏]

    异方差性的定义[1]

      设线性回归模型为:

      y_t=b_0+b_1x_{1t}+b_2x_{2t}+\cdots+b_kx_{kt}+u_t

      经典回归中所谓同方差是指不同随机误差项u_t(t=1,2,\cdots n)的方差相同,即:

      var(ut) = σ2

      如果随机误差项的方差不是常数,则称随机项 具有异方差性(heteroskedasticity),即:

      var(u_t)=\sigma^2\ne常数u_t(t=1,2,\cdots n)

      异方差性的几何直观表示形式,可借助观测值的散布图表示。以一元线性回归为例,在散布图上,就是样本残差平方e^2_t随解释变量的变化而变化。

    Image:异方差性在散布图上的反映.jpg

    产生异方差性的原因[2]

       在计量经济研究中,异方差性的产生原因主要有以下几种。

      1.模型中遗漏了某些解释变量

      如果模型中只包含所要研究的几个主要因素,其他被省略的因素对被解释变量的影响都归入了随机误差项,则可能使随机误差项产生异方差性。

      例如,用截面数据研究消费函数,根据绝对收入消费原理,设消费函数为:

      yt = b0 + b1x1 + ut

      其中:yt为家庭消费支出,xt为家庭可支配收入。在该模型中,物价水平Pt没有包括在解释变量中,但它对消费支出是有影响的,该影响因素却被放在随机误差项中。如果物价水平是影响消费的重要部分,则很可能使随机误差的方差变动呈现异方差性。另一方面如果用xt / Pt只表示不同家庭收入组的数据来研究消费函数,则不同收入组在消费支出上的差异是不同的。高收入组的消费支出差异应该很大,而低收入组的消费支出差异就很小。不同收入的家庭其消费支出有不同的差异变化。

      再例如,用截面数据研究某一时点上不同地区的某类企业的生产函数,其模型为:

      Y_t=AL_t^{\alpha}K_t^{\beta}e^{u_t}

      u为随机误差项,它包含了除资本K和劳动力L以外的其他因素对产出Y的影响,比如不同企业在设计上、生产工艺上的区别,技术熟练程度或管理上的差别以及其他因素,这些因素在小企业之间差别不大,而在大企业之间则相差很远,随机误差项随L、K增大而增大。由于不同的地区这些因素不同造成了对产出的影响出现差异,使得模型中的u具有异方差性,并且这种异方差性的表现是随资本和劳动力的增加而有规律变化的。

      2.模型函数形式的设定误差

      在一般情况下,解释变量与被解释变量之间的关系是比较复杂的非线性关系。在构造模型时,为了简化模型,用线性模型代替了非线性关系,或者用简单的非线性模型代替了复杂的非线性关系,造成了模型关系不准确的误差。如将指数曲线模型误设成了线性模型,则误差有增大的趋势。

      3.样本数据的测量误差

      一方面,样本数据的测量误差常随时间的推移而逐步积累,从而会引起随机误差项的方差增加。另一方面,随着时间的推移,抽样技术和其他收集资料方法的改进,也使得样本的测量误差逐步减少,从而引起随机误差的方差减小。因此,在时间序列资料中,由于在不同时期测量误差的大小不同,从而随机项就不具有同方差性。

      4.随机因素的影响

      经济变量本身受很多随机因素影响(比如政策变动、自然灾害或金融危机等),不具有确定性和重复性,同时,社会经济问题涉及人的思维和行为,也涉及各阶层的物质利益,人的行为具有很多不确定因素。

      因此,经济分析中经常会遇到异方差性的问题。而且经验表明,利用横截面数据建立模型时,由于在不同样本点上(解释变量之外)其他因素影响的差异较大,所以比时间序列资料更容易产生异方差性。

      在实际经济计量分析中,绝对严格的同方差性几乎是不可能的,异方差性可以说是一种普遍的现象。

    异方差性的影响[1]

      1.对模型参数估计值无偏性的影响

      以一元线性回归模型为例。设一元线性回归模型为yt = b0 + b1xt + ut,随机误差项ut的方差随解释变量的变化而变化:var(u_t)=\sigma^2_t,其他条件不变。此时:u_t-N(0,\sigma^2_t)。在高斯——马尔可夫定理证明过程中曾经得到:\widehat{b}_1=b_1+\sum k_tu_t,因此,E(\widehat{b}_1)=b_1+\sum k_tE(u_t)=b_1。这表明b1满足无偏性。同理可以证明\widehat{b}_0也是b0无偏估计量

      由此可见,随机误差项存在异方差性,并不影响模型参数最小二乘估计值的无偏性。

      2.对模型参数估计值有效性的影响

      在上述假定下参数b1的估计值\widehat{b}_1的方差为

      var(\widehat{b}_1)=var(b_1+\sum k_tu_t)=\sum k_t^2var(u_t)

      在随机误差项ut同方差的假定下,则参数的估计值\widehat{b}_1的方差为

      var(\widehat{b}_1)=\sum k_t^2\sigma^2=\sigma^2\sum k_t^2=\frac{\sigma^2}{\sum(x_t-\overline{x})^2}

      在随机误差项ut存在异方差条件下,假设参数估计值为\widehat{b}_1^*,=var(ut=1,2,…n),此时,

      var(\widehat{b}_1^*)=\sum k_t^2\sigma^2=\sigma^2\sum \lambda_t k_t^2=\sigma^2\sum k_t^2\cdot\frac{\sum \lambda_t k_t^2}{\sum k_t^2}=var(\widehat{b_1})\cdot\frac{\sum \lambda_t k_t^2}{\sum k_t^2}

      比较上式两端,当\frac{\sum \lambda_t k_t^2}{\sum k_t^2}>1时,有var(\widehat{b}_1^*)>var(\widehat{b}_1)

      从而说明在随机误差项ut存在异方差条件下,最小二乘估计量\widehat{b}_1不再具有最小方差。同理\widehat{b}_0也有类似的结果。

      由此可见,当线性回归模型的随机误差项存在异方差时,参数的最小二乘估计量不是一个有效的估计量。

      3.对模型参数估计值显著性检验的影响

      在同方差的情况下,如果以σ2的无偏估计量\widehat{\sigma}^2=\frac{\sum e_t^2}{n-2}估计σ2,就可以得到系数\widehat{b}_1标准误差

      s(\widehat{b}_1)=\sqrt{\sum k_t^2\widehat{\sigma}^2}=\sqrt{\frac{\widehat{\sigma}^2}{\sum(x_t-\overline{x})^2}}

      但是,在异方差的情况下,\sigma^2_t是一些不同的数值,只有估计出每一个\sigma^2_t之后才能得到系数的标准误差,这在只有一组样本观测值的情况下是无法做到的。而且如果设\sigma^2_t=\lambda_t\widehat{\sigma}^2(\lambda_t>0t=1,2,\cdots n),则在异方差的情况下,系数的标准误差:

      s(\widehat{b}_1^*)=\sqrt{\sum k_t^2\widehat{\sigma}^2_t}=\sqrt{\sqrt{\sum k_t^2\lambda_t\widehat{\sigma}^2}}=\sqrt{\sum k_t^2\widehat{\sigma}^2}\sqrt{\frac{\sum\lambda_tk^2_t}{\sum k_t^2}}=s(\widehat{b}_1)\cdot\sqrt{\frac{\sum\lambda_tk^2_t}{\sum k_t^2}}

      因此,如果仍然用s(\widehat{b}_1)计算系数的标准误差,将会产生估计偏差,偏差的大小取决于第二个因子值\frac{\sum\lambda_tk^2_t}{\sum k_t^2}的大小,当其大于1时,则会过低估计系数的误差;反之,则做出了过高的估计。因而,检验的可靠性降低。

      在异方差情况下,无法正确估计系数的标准误差s(\widehat{b}_1),用t统计量为t(\widehat{b}_1)=\frac{\widehat{b}_1}{s(\widehat{b}_1)}来判断解释变量影响的显著性将失去意义。


    展开全文
  • 方差性质

    万次阅读 2017-06-28 10:09:23
    如果方差齐性假定不成立,即随机误差的方差不在是常数,它会随时间的变化而变化,可以表示时间的某个常数。这种情况称为异方差

    残差序列的异方差性

    异方差的影响

    使用ARIMA模型拟合非平稳序列时,对残差序序列有一个重要假定——残差序列为零均值白噪声序列。换言之,残差序列要满足如下三个假定条件。
    (1)零均值
    (2)纯随机
    (3)方差齐性
    如果方差齐性假定不成立,即随机误差的方差不在是常数,它会随时间的变化而变化,可以表示为时间的某个常数。这种情况称为异方差。
    在残差序列的三个假定条件中,零均值假定最容易实现,只要对序列中心化处理就行了,这个假定通常无需检验。
    纯随机假定一直是我们重点监控的对象,如果这个假定不满足,就说明残差中蕴涵值得提取的自相关系数。为了检验这个假设条件是否成立,统计学家构造了许多适用于不同场合的自相关统计计量。比如前面介绍的Q统计量,LB统计量,DW统计量。
    只有第三个假定——方差齐性假定,在我们之前我们没有做任何检验,在缺省条件一直认为默认残差序列满足个条件。但是在实际中,这个假定条件并不总是满足的,忽视异方差的存在会导致残差的方差被严重低估,继而参数检验容易犯伪错误,这使得参数的显著性检验失去意义,最终导致模型的拟合精度受影响。为了提高模型的拟合的精度,需要对残差序列进行方差齐性检验,并对异方差序列深入分析。

    异方差的直观诊断

    1.残差图
    这里写图片描述
    2.残差平方和
    由于残差序列的方差实际上就是它平方的期望,所以残差序列是否方差奇性,主要是考察它残差的平方的期望。我们可以借助残差平方图对残差序列的方差齐性进行直观诊断。
    这意味残差的平方的期望在某个常数值附近随机波动,它不应该具有任何明显的趋势,否则出现异方差性。
    直观考察美国1963年4月至1971年7月短期国库券的月度收益率序列的方差齐性。

    #读入数据,并绘制时序图
    h<-read.table("D:/R-TT/book4/4R/data/file21.csv",sep=",",header = T)
    x<-ts(h$yield_rate,start = c(1963,4),frequency = 12)
    plot(x)

    短期国库券的月度收益
    短期国库券的月度收益
    作一阶差分,并绘制差分后残差序列时序图

    #作1阶差分,并绘制出差分后残差序列时序图
    x.dif<-diff(x)
    plot(x.dif)

    一阶差分残差时序图
    一阶差分残差时序图

    #绘制1阶差分后残差平方图
    plot(x.dif^2)

    1阶差分后残差平方图
    1阶差分后残差平方图
    时序图显示序列显著非平稳,1阶差分后序列显示出均值平稳但方差递增的性质,进一步观察1阶差分后残差平方图,可以发现它更加明显的地呈现出异方差的特征。
    当残差序列异方差时,我们需要对它进行进一步的处理,处理有两种思路:
    (1)假如已知异方差函数具体形式,进行方差齐性变换。
    (2)假如不知异方差函数的具体形式,拟合条件异方差模型。
    ####方差齐性变换
    1.使用场合
    这里写图片描述
    2.转换函数的确定
    这里写图片描述
    这里写图片描述
    对美国1963年4月至1971年7月短期国库券的月度收益率序列使用方差齐性变换方法进行对比分析。

    #作对数变换,并绘制对数变换后时序图
    lnx<-log(x)
    plot(lnx)

    短期国库券月度收益率对数序列时序图
    短期国库券月度收益率对数序列时序图

    #作1阶差分,并绘制出差分后序列时序图
    dif.lnx<-diff(lnx)
    plot(dif.lnx)

    对数序列一阶差分后序列时序图
    对数序列一阶差分后序列时序图

    #残差白噪声检验
    for(i in 1:2) print(Box.test(dif.lnx,lag=6*i))
    Box-Pierce test
    
    data:  dif.lnx
    X-squared = 3.4118, df = 6, p-value = 0.7557
    
    
        Box-Pierce test
    
    data:  dif.lnx
    X-squared = 9.8323, df = 12, p-value = 0.6307

    白噪声显示该序列可视为白噪声序列,通过方差齐性变化,拟合效果不错。

    展开全文
  • 什么是均方差 直观上看,均方差是表达的是欧几里得距离,表示的是预测点到原来点的距离,这个距离越小越好。...不变方差假设:误差项e的方差(用σ2σ^{2}σ2表示)是常数且与 x1,x2,…. 的值...
  •   功率和方差这两个概念,一个是表示信号的强度,一个是表示随机信号的一个统计量,什么高斯白噪声的平均功率会等于它的方差呢? 什么是高斯白噪声?   维基百科上给出的解释是:在通信领域中指的是一种功率谱...
  • 然后我们开始推理什么下面这个链接中的公式的第三行和第六行中为0 公式链接源地址 下图是公式 首先对于第三行消掉的式子 中的后半部分小括号中的预测期望减去y_d这个东西,完全就是个常数! 因为到这里,期望是...
  • 很多同学会很奇怪一个问题,那就是什么样本的二阶中心矩m2=1n∑i=1n(Xi−X‾)2m_2=\frac{1}{n} \sum_{i = 1}^{n}(X_i - \overline{X})^2m2​=n1​∑i=1n​(Xi​−X)2和样本的方差S2=1n−1∑i=1n(Xi−X‾)2S^2 = \...
  • 功率和方差这两个概念,一个是表示信号的强度,一个是表示随机信号的一个统计量,什么高斯白噪声的平均功率会等于它的方差呢?什么是高斯白噪声? 维基百科上给出的解释是:在通信领域中指的是一种功率谱函数是...
  • 方差的性质

    千次阅读 2019-12-24 15:04:33
    当C为常数时,Var(C)=0Var( C ) = 0Var(C)=0 当X是随机变量,C是常数时:Var(CX)=C2Var(X),Var(C+X)=Var(X)Var(CX) = C^2Var(X),Var(C+X)=Var(X)Var(CX)=C2Var(X),Var(C+X)=Var(X) 设X与Y是随机变量,Var(X+Y)=...
  • 直接上源代码:avg_adj = avg_adj - 0.5f * (avg_adj_pow2 - modeTwoConst) / avg_adj; (以下方差均指取10次方根后的方差,即QP偏移) ...=2时有如下条件:也即真实方差为1024,va的10次方。 以上关系说明平均方.
  • 无偏估计与方差

    2017-09-25 10:00:00
    在阅读 The Elements of Statistical Learning 第三章的时候,有一个式子我没有弄明白:设 $Y = X\beta + \epsilon$,其中 $\epsilon$ 的均值为 0,方差为 $\sigma^2$;再设 $X$ 是 $N \times (p+1)$ 的矩阵(每条...
  • 在这个等式中,x输入可以近似的看成是一个不变的常数,而D(y)又完全由权重初始化稳定控制一个常数,所以输出的方差就完全决定于权重的平均数,优化过程中平均数一般变化比较稳定,所以输出值方差稳定。 如果不控制...
  • 01离散型随机变量的均值视频讲解1、离散型随机变量的均值2、均值的性质若Y=aX+b,其中a,b为常数,X是随机变量,①Y也是随机变量;②E(aX+b)=aE(X)+b。3、两点分布、二项分布的均值(1)两点分布:若X服从两点...
  • 径向基函数方差的选取

    千次阅读 2017-02-07 19:43:26
    最近在毕设过程中用到这个函数,对于方差的选取可以采用如下方法: 式中cmax 所选取中心之间的最大距离,h是聚类的类数。扩展常数这么计算是为了避免径向基函数太尖或太平。 其中对与kmeans聚类的类...
  • 在PCA算法中用到了方差,协方差矩阵,其中方差公式,协方差矩阵公式,当时不明白什么除的... 假设X独立同分布的一组随机变量,总体M,随机抽取N个随机变量构成一个样本,和是总体的均值和方差, 是常数。是
  • 假设X独立同分布的一组随机变量,总体M,随机抽取N个随机变量构成一个样本,和是总体的均值和方差,是常数。是对样本的均值和方差,由于样本是随机抽取的,也是随机的。 既然是随机变量,就可以观察他们的均值...
  • 遇见问题 在用keras实现对某数据利用LSTM做时间序列回归的任务时,若loss出现以下情况: 注意其loss(此处用mean square error作为loss ...对输入数据进行特征标准化,即将输入数据的每个数据的均值变为0,方差变...
  • 掌握几种不同的方差分析方法; 二、实验内容 1.均值比较的T检验分几种类型?各自检验的假设是什么? 答:(1)单一样本t检验,检验单个变量的均值是否与给定的常数之间存在差异。即样本均 值与总体均值相等的假设。 (2)...
  • 以某台GYROMAT3000陀螺经纬仪实验对象,在步入式高低温实验室内设计并开展了仪器常数温度漂移测定实验。实验结果的方差分析表明,该台仪器的仪器常数的温漂对定向结果无显著影响。根据实测结果,利用三次样条函数拟合...
  • 线性分布、卡方分布与方差分析

    千次阅读 2019-04-09 20:58:49
    线性分布 通过具体因果关系的一组...形如(1)式,可称为一元线性回归模型,称为回归系数,常数均未知。 对于线性回归的求解方法,可以采用最小二乘法进行求解。 设取得的一组试验数据,假定满足如下的一元线...
  • 基于光闪烁的孔径平均效应,研制了测量大气折射率结构常数的大口径激光闪烁仪(LALS)。... 进一步分析表明,大气湍流内尺度会对闪烁方差的测量产生影响,从而导致大气折射率结构常数的测量结果略显离散。
  • 一、方差分析基本原理 1、方差分析(analysis of variance)... (1)将资料总变异的自由度和平方和分解各变异原因的自由度和平方和,并算的其均方  (2)计算均方比,做出F测验,以明了各变异因素的重要程度 ...
  • 在实际场景中,我们通常会假定图像包含的噪声高斯白噪声,所以在许多实际应用的预处理部分,都会采用高斯滤波抑制噪声。 高斯核计算方式: 公式中前一部分常数可以忽略不计,因为最后都是要进行归一化的。 ...
  • 说完了树回归,再简单的提下模型树,因为树回归每个节点是一些特征和特征值,选取的原则是根据特征方差最小。如果把叶子节点换成分段线性函数,那么就变成了模型树,如(图六)所示: (图六) (图六)中...

空空如也

空空如也

1 2 3 4 5 ... 11
收藏数 219
精华内容 87
关键字:

常数方差为