精华内容
下载资源
问答
  • 本文中结论较多,证明较少,是为了多元正态分布的假设检验做的前置准备。

    五、多元统计的“三大分布”

    一元正态总体参数μ,σ2\mu,\sigma^2的参数检验,涉及到单总体、多总体,有三种比较常见的分布:χ2\chi^2分布,tt分布,FF分布;推广到多元正态总体上,也有三种对应的分布。在介绍多元统计的三大分布之前,先介绍正态变量二次型的分布以及非中心三大分布。

    1.正态变量的二次型

    正态变量二次型的分布,是对独立的同方差正态变量XiN1(μi,σ2),σ20X_i\sim N_1(\mu_i,\sigma^2),\sigma^2\ne 0而言的。如果记X=(X1,,Xn)X=(X_1,\cdots,X_n)',则XNp(μ,σ2In)X\sim N_p(\mu,\sigma^2I_n),这里μ=(μ1,,μn)\mu=(\mu_1,\cdots,\mu_n)'。对于一个矩阵An×nA_{n\times n}XAXX'AX就称为二次型,很多时候AA还会是对称阵

    从简单的开始讨论,首先讨论A=InA=I_n,此时ξ=XInX=XX\xi=X'I_nX=X'X。更进一步简化μ=0\mu=0,就得到
    ξσ2=α=1nXα2σ2χ2(n). \frac{\xi}{\sigma^2}=\sum_{\alpha=1}^n \frac{X_{\alpha}^2}{\sigma^2}\sim \chi^2(n).
    这就是我们对χ2\chi^2分布的定义,为了方便记忆,我们也可以写成XXσ2χ2(n)X'X\sim \sigma^2\chi^2(n)

    而如果μ0\mu\ne0,我们可以类似定义非中心χ2\chi^2分布,只需要加入非中心参数δ=μμ=α=1nμα2\delta=\mu'\mu=\sum_{\alpha=1}^n \mu_\alpha^2,此时对σ2=1\sigma^2=1时,就应该有XXχ2(n,δ)X'X\sim \chi^2(n,\delta);当σ21\sigma^2\ne 1时,令Yi=Xi/σY_i=X_i/\sigma,则YiN1(μ/σ,1)Y_i\sim N_1(\mu/\sigma,1),且YYχ2(n,δ/σ2)Y'Y\sim \chi^2(n,\delta/\sigma^2),所以
    XXσ2χ2(n,δσ2). X'X\sim \sigma^2\chi^2(n,\frac{\delta}{\sigma^2}).
    既然提出了非中心χ2\chi^2分布,就顺道提一下非中心tt分布与非中心FF分布。非中心tt分布是指对相互独立的XN(δ,1),Yχ2(n)X\sim N(\delta,1),Y\sim \chi^2(n)T=XY/nT=\frac{X}{\sqrt{Y/n}}的分布,记作Tt(n,δ)T\sim t(n,\delta);非中心FF分布是指对相互独立的Xχ2(m,δ),Yχ2(n)X\sim \chi^2(m,\delta),Y\sim \chi^2(n)F=X/mY/nF=\frac{X/m}{Y/n}的分布,记作FF(m,n,δ)F\sim F(m,n,\delta)

    接下来,将情况变得复杂一点,AA不是单位阵,而扩展到幂等对称阵,即A2=AA^2=A。幂等矩阵有一个特征,是它的特征值只能是0或1,因为A(AI)=0λ(λ1)=0A(A-I)=0\Leftrightarrow \lambda(\lambda-1)=0。基于此,我们得到以下结论:

    XNn(0,σ2In)X\sim N_n(0,\sigma^2I_n)AA为对称阵且rank(A)=r{\rm rank}(A)=r,则
    XAXσ2χ2(r)A2=A. X'AX\sim \sigma^2\chi^2(r)\Leftrightarrow A^2=A.
    XNn(μ,σ2In)X\sim N_n(\mu,\sigma^2I_n)AA为对称阵,则令δ=μAμ/σ2\delta=\mu'A\mu/\sigma^2,有
    XAXσ2χ2(r,δ)A2=Arank(A)=r. X'AX\sim \sigma^2\chi^2(r,\delta)\Leftrightarrow A^2=A且{\rm rank}(A)=r.

    证明第一个结论,先证充分性\Rightarrow。因为AA对称,所以存在正交阵Γ\Gamma使得
    ΓAΓ=diag(λ1,λ2,,λr,0,,0)=dΛ. \Gamma A\Gamma'={\rm diag}(\lambda_1,\lambda_2,\cdots,\lambda_r,0,\cdots,0)\stackrel {\rm d}=\Lambda.
    Y=ΓXN(0,σ2In)Y=\Gamma'X\sim N(0,\sigma^2I_n),则X=ΓYX=\Gamma Y,有
    ξ=XAXσ2=YΛYσ2=α=1rλαYα2/σ2. \xi=\frac{X'AX}{\sigma^2}=\frac{Y'\Lambda Y}{\sigma^2}=\sum_{\alpha=1}^r \lambda_\alpha Y_{\alpha}^2/\sigma^2.
    这里Yα2/σ2Y_\alpha^2/\sigma^2服从χ2(1)\chi^2(1)分布。又因为χ2(k)\chi^2(k)分布的特征函数是(12it)k/2(1-2{\rm i}t)^{-k/2}且各YαY_{\alpha}独立,所以ξ\xi的特征函数是
    φξ(t)=[(12iλ1t)(12iλrt)]1/2=(12it)r/2. \varphi_\xi(t)=[(1-2{\rm i}\lambda_1t)\cdots(1-2{\rm i}\lambda_rt)]^{1/2}=(1-2{\rm i}t)^{r/2}.
    由此可以推出λ1==λr=1\lambda_1=\cdots=\lambda_r=1,从而A2=ΓΛΓΓΛΓ=ΓΛ2Γ=AA^2=\Gamma'\Lambda\Gamma\Gamma'\Lambda\Gamma=\Gamma'\Lambda^2\Gamma=A

    再证必要性\Leftarrow,由题意存在一个Γ\Gamma,使得
    ΓAΓ=[IrOOO]. \Gamma' A\Gamma=\begin{bmatrix} I_r & O\\ O & O \end{bmatrix}.
    Y=ΓX,X=ΓYY=\Gamma'X,X=\Gamma Y,则YN(0,σ2In)Y\sim N(0,\sigma^2I_n),且
    ξ=XAXσ2=YΓAΓYσ2=1σ2Y[IrOOO]Y=1σ2α=1rYα2. \xi=\frac{X'AX}{\sigma^2}=\frac{Y'\Gamma A\Gamma Y}{\sigma^2}=\frac1{\sigma^2}Y'\begin{bmatrix}I_r & O \\ O & O \end{bmatrix}Y=\frac 1{\sigma^2}\sum_{\alpha=1}^r Y_\alpha^2.
    所以XAXσ2χ2(r)X'AX\sim \sigma^2\chi^2(r)。对于非中心的情况,在不知道非中心χ2\chi^2分布特征函数的情况下不太好证明,记住结论即可。

    对于随机正态变量的二次型,还有以下关于独立性的结论:

    XNn(μ,σ2In)X\sim N_n(\mu,\sigma^2I_n)AAnn阶对称矩阵,BBm×nm\times n矩阵,令ξ=XAX,Z=BX\xi=X'AX,Z=BX,则
    BA=OZ=BXξ=XAX. BA=O\Leftrightarrow Z=BX与\xi=X'AX相互独立.

    也就是,当BA=OBA=O时,多元正态分布Z=BXZ=BX与二次型随机向量XAXX'AX相互独立。

    最后,对于一般pp维正态随机向量XNp(μ,Σ),Σ>0X\sim N_p(\mu,\Sigma),\Sigma>0,有以下结论:

    1. 结论一:XΣ1Xχ2(p,δ)X'\Sigma^{-1}X\sim \chi^2(p,\delta),其中δ=μΣ1μ\delta=\mu'\Sigma^{-1}\mu。证明的关键是将Σ\Sigma分解成CCCC'

    2. 结论二:对于对称阵AArank(A)=r{\rm rank}(A)=r,则
      (Xμ)A(Xμ)χ2(r)ΣAΣAΣ=ΣAΣ. (X-\mu)'A(X-\mu)\sim \chi^2(r)\Leftrightarrow \Sigma A\Sigma A\Sigma=\Sigma A\Sigma.
      证明的关键是将Σ\Sigma分解为(Σ1/2)2(\Sigma^{1/2})^2,且用到YCYχ2(p)C2=CY'CY\sim \chi^2(p)\Leftrightarrow C^2=C结论。

    3. 结论三:对于对称阵A,BA,B,有
      (Xμ)A(Xμ)(Xμ)B(Xμ)ΣAΣBΣ=O. (X-\mu)'A(X-\mu)与(X-\mu)'B(X-\mu)独立\Leftrightarrow \Sigma A\Sigma B\Sigma =O.

    2.威沙特(Wishart)WW分布

    在一元统计中,χ2\chi^2分布用来刻画正态样本的样本方差分布,推广到多元统计,对应的样本离差阵的分布,也应该由一种分布来刻画,这种分布就是Wishart分布。其定义如下:

    Wishart分布:设X(α)Np(0,Σ)(α=1,,n)X_{(\alpha)}\sim N_p(0,\Sigma)(\alpha=1,\cdots,n)相互独立,记X=(X(1),,X(n))X=(X_{(1)},\cdots,X_{(n)})'n×pn\times p矩阵,则称随机阵W=α=1nX(α)X(α)=XXW=\sum\limits_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}'=X'X的分布为Wishart分布,记作WWp(n,Σ)W\sim W_p(n,\Sigma)

    非中心Wishart分布:设X(α)Np(μ,Σ)(α=1,,n)X_{(\alpha)}\sim N_p(\mu,\Sigma)(\alpha=1,\cdots,n)相互独立,记
    M=[μ1μpμ1μp]=1nμ,Δ=MM=mμμ, M=\begin{bmatrix} \mu_1 & \cdots & \mu_p \\ \vdots & & \vdots \\ \mu_1 & \cdots & \mu_p \end{bmatrix}=\boldsymbol 1_n\mu',\quad \Delta=M'M=m\mu \mu',
    则称W=XXW=X'X服从非中心参数为Δ\Delta的非中心Wishart分布,记作WWp(n,Σ,Δ)W\sim W_p(n,\Sigma,\Delta)

    更一般地如果X(α)Np(μp,Σ)X_{(\alpha)}\sim N_p(\mu_p,\Sigma)相互独立,则
    M=[μ11μ1pμn1μnp],Δ=MM=α=1nμαμα. M=\begin{bmatrix} \mu_{11} & \cdots & \mu_{1p} \\ \vdots & & \vdots \\ \mu_{n1} & \cdots & \mu_{np} \end{bmatrix},\quad \Delta =M'M=\sum_{\alpha=1}^n \mu_{\alpha}\mu_\alpha'.
    W=XXW=X'X服从非中心参数为Δ\Delta的非中心Wishart分布,记作WWp(n,Σ,Δ)W\sim W_p(n,\Sigma,\Delta)

    可以看到,区分Wishart分布是中心化的还是非中心的,以及非中心参数的情况如何,关键在于正态总体Np(μ,Σ)N_p(\mu,\Sigma)是不是零均值的,均值是否随样本变化。当然,离差阵作为自协方差矩阵的估计,抽取的样本肯定要是同方差的。

    关于Wishart分布,类似数理统计中的三大分布一样,有一些结论是不需证明,但需要记忆的。

    • X(α)Np(μ,Σ)X_{(\alpha)}\sim N_p(\mu,\Sigma),则样本离差阵服从自由度为n1n-1的Wishart分布,即
      A=α=1n(X(α)Xˉ)(X(α)Xˉ)Wp(n1,Σ). A=\sum_{\alpha=1}^{n}(X_{(\alpha)}-\bar X)(X_{(\alpha)}-\bar X)'\sim W_p(n-1,\Sigma).
      这是因为我们已经证明了W=dt=1n1ZtZtW\stackrel {\rm d}=\sum_{t=1}^{n-1}Z_tZ_t',这里ZtZ_t独立同分布于Np(0,Σ)N_p(0,\Sigma)

    • Wishart分布关于自由度nn具有可加性,这与χ2\chi^2分布类似,即WiWp(ni,Σ)W_i\sim W_p(n_i,\Sigma)相互独立,则
      i=1kWiWp(i=1kni,Σ). \sum_{i=1}^k W_i\sim W_p(\sum_{i=1}^k n_i,\Sigma).

    • Wishart分布服从可线性变换性,设WWp(n,Σ)W\sim W_p(n,\Sigma)CCm×pm\times p常数阵,则
      CWCWm(n,CΣC). CWC' \sim W_m(n\,,C\Sigma C').
      可以从定义式入手,W=i=1nZαZαW=\sum_{i=1}^n Z_\alpha Z_\alpha',令Yα=CZαNm(0,CΣC)Y_{\alpha}=CZ_{\alpha}\sim N_m(0,C\Sigma C'),计算CWCCWC'就得结论。

      特别地,取C=aIpC=\sqrt aI_p时,得到aWWp(n,aΣ)aW\sim W_p(n,a\Sigma)

      特别地,取C=l=(l1,,lp)C'=l=(l_1,\cdots,l_p)'时,得到lWl=ξW(n,lΣl)l'Wl=\xi\sim W(n,l'\Sigma l)。设σ2=lΣl\sigma^2=l'\Sigma l,则将Wishart分布与χ2\chi^2分布联系起来,有ξσ2χ2(n)\xi\sim \sigma^2\chi^2(n)。这里建立了Wishart分布与一元统计的桥梁。

    • 分块Wishart分布:将WW类似X,ΣX,\Sigma一样分解,则W11Wr(n,Σ11),W22Wpr(n,Σ22)W_{11}\sim W_r(n,\Sigma_{11}),W_{22}\sim W_{p-r}(n,\Sigma_{22}),且当Σ12=O\Sigma_{12}=OW11W_{11}W22W_{22}相互独立。

    • 条件Wishart分布:WW也可以类似寻找W11W_{11}W22W_{22}的回归,记W112=W11W12W221W21W_{11\cdot2}=W_{11}-W_{12}W_{22}^{-1}W_{21},则
      W112Wp(r,Σ112), W_{11\cdot 2}\sim W_p(r,\Sigma_{11\cdot2}),
      W112W_{11\cdot 2}W22W_{22}相互独立,这点与X(1)X_{(1)}X(2)X_{(2)}的回归类似。

    • Wishart分布的期望:WWp(n,Σ)W\sim W_p(n,\Sigma),则EW=nΣ{\rm E}W=n\Sigma。在χ2\chi^2的情形,如果ξσ2χ2(n)\xi \sim \sigma^2\chi^2(n),则EW=σ2n{\rm E}W=\sigma^2n

    • 与一元统计中二次型类似的结论:设XNn×p(M,InΣ)X\sim N_{n\times p}(M,I_n\otimes \Sigma)A,BA,B都是nn阶幂等矩阵,设Δ=MAM\Delta =M'AM,则
      XAXWp(r,Σ,Δ)A2=A,rank(A)=r;XAXXBXAB=O. X'AX\sim W_p(r, \Sigma, \Delta)\Leftrightarrow A^2=A,且{\rm rank}(A)=r;\\ X'AX与X'BX相互独立\Leftrightarrow AB=O.

    3.霍特林(Hotelling)T2T^2分布

    Hotelling T2T^2分布是一元统计中tt分布的推广,在一元统计中定义的tt变量为X/ξ/nX/\sqrt{\xi /n},其中X,ξX,\xi相互独立,且XX是标准正态变量,ξ\xi服从自由度为nn的卡方分布。现将t2t^2推广为T2T^2,就得到Hotelling T2T^2分布的定义。

    Hotelling T2T^2分布:设XNp(0,Σ)X\sim N_p(0,\Sigma),随机阵WWp(n,Σ)W\sim W_p(n,\Sigma)Σ>0,np\Sigma>0,n\ge p,且X,WX,W相互独立,则Hotelling T2T^2统计量定义为T2=X(W1n)X=nXW1XT^2=X'(\frac {W^{-1}}n)X=nX'W^{-1}X,记作T2T2(p,n)T^2\sim T^2(p,n)

    非中心Hotelling T2T^2分布:设XNp(μ,Σ)X\sim N_p(\mu,\Sigma),则存在非中心Hotelling T2T^2分布T2=nXW1XT^2=nX'W^{-1}X,记作T2T2(p,n,μ)T^2\sim T^2(p,n,\mu)

    注意到,定义Hotelling T2T^2统计量时,虽然为正态向量与Wishart向量都指定了自协方差矩阵Σ\Sigma,但在最后T2T^2分布的表达式中却没有出现,这说明Hotelling T2T^2统计量是Σ\Sigma无关的。同时,非中心Hotelling T2T^2分布的非中心参数也只是μ\mu,而不是非中心Wishart分布中的nμμn\mu\mu'

    现在证明Hotelling T2T^2统计量的分布与Σ\Sigma无关,只要证明对任何T2=nXW1XT^2=nX' W^{-1}X,都与标准正态随机向量UNp(0,Ip)U\sim N_p(0,I_p)与对应的Wishart统计量W0Wp(n,In)W_0\sim W_p(n,I_n)构成的T02=nUW01UT_0^2=nU'W_0^{-1}U同分布即可。由于XNp(0,Σ),WWp(n,Σ)X\sim N_p(0,\Sigma),W\sim W_p(n,\Sigma),所以
    U=dΣ1/2X,W0=dΣ1/2WΣ1/2.nUW01/2U=dnXΣ1/2Σ1/2W1Σ1/2Σ1/2X=nXW1X. U\stackrel {\rm d}= \Sigma^{-1/2}X,\quad W_0\stackrel {\rm d}= \Sigma^{-1/2}W\Sigma^{-1/2}.\\ nU'W_0^{-1/2} U\stackrel {\rm d}= nX'\Sigma^{-1/2}\Sigma^{1/2}W^{-1}\Sigma^{1/2}\Sigma^{1/2}X=nX'W^{-1}X.
    除此之外,Hotelling T2T^2分布还有以下不需证明,但需要记忆的性质。

    • X(α)X_{(\alpha)}是来自Np(μ,Σ)N_p(\mu,\Sigma)的随机样本,Xˉ,A\bar X,A分别是正态总体Np(μ,Σ)N_p(\mu,\Sigma)的样本均值向量和样本离差阵,则建立如下统计量可以在Σ\Sigma未知时用来对μ\mu进行参数检验
      T2=[n(Xˉμ)](An1)[n(Xˉμ)]=n(n1)(Xˉμ)A(Xˉμ)T2(p,n1). T^2=[\sqrt n(\bar X-\mu)]'(\frac{A}{n-1})[\sqrt n(\bar X-\mu)]=n(n-1)(\bar X-\mu)'A(\bar X-\mu)\sim T^2(p,n-1).
      这一点与一元统计中tt分布的应用是类似的。

    • T2T^2分布与FF分布之间存在关系:若T2T2(p,n)T^2\sim T^2(p,n),则
      np+1npT2F(p,np+1). \frac{n-p+1}{np}T^2\sim F(p,n-p+1).
      这就建立了T2T^2分布与一元三大分布的联系。另外,令δ=nμΣ1μ\delta=n\mu'\Sigma^{-1}\mu,还有
      np(n1)pT2F(p,np,δ). \frac{n-p}{(n-1)p}T^2\sim F(p,n-p,\delta).

    • T2T^2统计量对非退化变换不变,即如果存在一个常数阵Cp×pC_{p\times p}pp维向量ddY(α)=CX(α)+dY_{(\alpha)}=CX_{(\alpha)}+d,则Ty2=n(n1)[Yˉ(Cμ+d)]Ay1[Yˉ(Cμ+d)]=Tx2T_y^2=n(n-1)[\bar Y-(C\mu+d)]'A_y^{-1}[\bar Y-(C\mu+d)]=T_x^2,只要注意到Y=XC+1pdY=XC'+\boldsymbol 1_pd'

    4.威尔克斯(Wilks)Λ\Lambda分布

    显然,Wilks分布应该对应一元分布中的FF分布,而FF分布主要用于检验两个正态总体的方差比。在多元统计中,方差变成了自协方差矩阵,不能直接作比,除非我们用一个数值来描述总体的离散程度。为此,我们定义广义方差的概念。

    对于正态总体XNp(μ,Σ)X\sim N_p(\mu,\Sigma),协方差阵的行列式Σ|\Sigma|称为总体XX的广义方差;如果从总体中抽取样本X(α)(α=1,,n)X_{(\alpha)}(\alpha=1,\cdots,n),则样本广义方差定义为det(An)\det(\frac An)det(An1)\det(\frac A{n-1})

    在有了样本广义方差的定义后,我们可以介绍Wilks分布的定义。

    Wilks分布:设A1Wp(n1,Σ),A2Wp(n2,Σ)A_1\sim W_p(n_1,\Sigma),A_2\sim W_p(n_2,\Sigma),则定义Wilks统计量为
    Λ=A1A1+A2. \Lambda=\frac{|A_1|}{|A_1+A_2|}.
    记作ΛΛ(p,n1,n2)\Lambda \sim \Lambda(p,n_1,n_2)

    如果p=1p=1,则上下两个Wishart分布将退化成χ2\chi^2分布,而χ2\chi^2分布又是同尺度参数的Γ\Gamma分布,故Λ(1,n1,n2)=β(n12,n22)\Lambda(1,n_1,n_2)=\beta(\frac {n_1}2,\frac{n_2}2)

    以下是一些Λ\Lambda分布与T2T^2分布的联系,由于T2T^2分布可以直接转化成FF分布,所以Λ\Lambda分布也可以联系上FF分布。

    • n2=1n_2=1时,设n=n1>pn=n_1>p,则
      Λ(p,n,1)=d11+1nT2(p,n),T2(p,n)=dn1Λ(p,n,1)Λ(p,n,1).np+1npT2(p,n)=dnp+1p1Λ(p,n,1)Λ(p,n,1)=dF(p,np+1). \Lambda(p,n,1)\stackrel {\rm d}=\frac{1}{1+\frac 1nT^2(p,n)},\quad T^2(p,n)\stackrel {\rm d}=n\cdot\frac{1-\Lambda(p,n,1)}{\Lambda(p,n,1)}.\\ \frac{n-p+1}{np}T^2(p,n)\stackrel {\rm d}=\frac{n-p+1}{p}\frac{1-\Lambda(p,n,1)}{\Lambda(p,n,1)}\stackrel {\rm d}=F(p,n-p+1).

    • n2=2n_2=2时,设n=n1>pn=n_1>p,则
      np+1n1Λ(p,n,2)Λ(p,n,2)=dF(2p,2(np+1)). \frac{n-p+1}{n}\frac{1-\sqrt{\Lambda(p,n,2)}}{\sqrt{\Lambda(p,n,2)}}\stackrel {\rm d}= F(2p,2(n-p+1)).

    • p=1p=1时,
      n1n21Λ(1,n1,n2)Λ(1,n1,n2)=dF(n2,n1). \frac{n_1}{n_2}\frac{1-\Lambda(1,n_1,n_2)}{\Lambda(1,n_1,n_2)}\stackrel {\rm d}=F(n_2,n_1).

    • p=2p=2时,
      n11n21Λ(2,n1,n2)Λ(2,n1,n2)=dF(2n2,2(n11)). \frac{n_1-1}{n_2}\frac{1-\sqrt{\Lambda(2,n_1,n_2)}}{\sqrt{\Lambda(2,n_1,n_2)}}\stackrel {\rm d}=F(2n_2,2(n_1-1)).

    • n2>2,p>2n_2>2,p>2时,可以用χ2\chi^2统计量近似,即对于Λ(p,n1,n2)\Lambda(p,n_1,n_2),当nn\to \infty时有
      rlnΛχ2(pn2),r=n112(pn2+1). -r\ln \Lambda\sim \chi^2(pn_2),\quad r=n_1-\frac12(p-n_2+1).

    除此之外,还有两个结论:

    • ΛΛ(p,n1,n2)\Lambda\sim\Lambda(p,n_1,n_2),则存在Bkβ(n1p+k2,n22)(k=1,,p)B_k\sim \beta(\frac{n_1-p+k}{2},\frac{n_2}{2})(k=1,\cdots,p)相互独立,使得
      Λ=dB1B2Bk. \Lambda\stackrel {\rm d}=B_1B_2\cdots B_k.

    • n2<pn_2<p,则
      Λ(p,n1,n2)=dΛ(n2,p,n1+n2p). \Lambda(p,n_1,n_2)\stackrel {\rm d}=\Lambda(n_2,p,n_1+n_2-p).

    本文中提到许多结论,大多在假设检验中发挥作用,尽管不需要证明,但还是需要牢记。

    回顾总结

    1. 非中心三大分布:

      分布 定义 非中心参数
      非中心χ2\chi^2分布 对于nn个独立的正态随机变量XiN(μi,σ2)X_i\sim N(\mu_i,\sigma^2),有χ2=i=1nXi2χ2(n,δ)\chi^2=\sum\limits_{i=1}^n X_i^2\sim \chi^2(n,\delta) δ=i=1nμi2\delta=\sum\limits_{i=1}^n \mu_i^2
      非中心tt分布 XN(δ,1),ξχ2(n)X\sim N(\delta,1),\xi\sim \chi^2(n)相互独立,有t=Xξ/nt(n,δ)t=\frac{X}{\sqrt{\xi/n}}\sim t(n,\delta) δ\delta
      非中心FF分布 Xχ2(n1,δ),Yχ2(n2)X\sim \chi^2(n_1,\delta),Y\sim \chi^2(n_2)相互独立,有F=X/n1Y/n2F(n1,n2,δ)F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2,\delta) δ\delta
    2. 假设XNp(μ,Σ)X\sim N_p(\mu,\Sigma),则μ=0\mu=0XAXσ2χ2(r)X'AX\sim \sigma^2\chi^2(r)等价于AA是秩为rr的幂等矩阵;μ0\mu\ne 0时,XAXσ2χ2(r,δ)X'AX\sim \sigma^2\chi^2(r,\delta)等价于AA是秩为rr的幂等矩阵,这里δ=μAμ\delta=\mu'A\mu

    3. 假设XNp(μ,Σ)X\sim N_p(\mu,\Sigma),则XΣ1Xχ2(p,δ)X'\Sigma^{-1}X\sim \chi^2(p,\delta),这里δ=μΣ1μ\delta=\mu'\Sigma^{-1}\mu

    4. 如果An×nA_{n\times n}是对称阵,Bm×nB_{m\times n},则XAXX'AXBXBX独立BA=O\Leftrightarrow BA=O

    5. 对于对称阵A,BA,BXNp(μ,Σ)X\sim N_p(\mu,\Sigma),有
      (rank(A)=r)(Xμ)A(Xμ)χ2(r)ΣAΣAΣ=ΣAΣ,(Xμ)A(Xμ)(Xμ)B(Xμ)AB=O. ({\rm rank}(A)=r)\quad (X-\mu)'A(X-\mu)\sim \chi^2(r)\Leftrightarrow \Sigma A\Sigma A\Sigma =\Sigma A\Sigma,\\ (X-\mu)'A(X-\mu)和(X-\mu)'B(X-\mu)独立\Leftrightarrow AB=O.

    6. 多元三大分布:

      分布 类型 表达式
      Wishart WW分布 随机矩阵的分布。X(α)Np(0,Σ),α=1,,nX_{(\alpha)}\sim N_p(0,\Sigma),\alpha=1,\cdots,n. W=α=1nX(α)X(α)Wp(n,Σ)W=\sum\limits_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}'\sim W_p(n,\Sigma)
      Hotelling T2T^2分布 一元分布。XNp(0,Σ),WWp(n,Σ)X\sim N_p(0,\Sigma),W\sim W_p(n,\Sigma) T2=nXW1XT2(p,n)T^2=nX'W^{-1}X\sim T^2(p,n)
      Wilks Λ\Lambda分布 一元分布。A1W1(n1,Σ),A2W(n2,Σ)A_1\sim W_1(n_1,\Sigma),A_2\sim W(n_2,\Sigma) $\Lambda=\dfrac{
    7. Wishart分布的相关性质

      • 正态总体样本中,AWp(n1,Σ)A\sim W_p(n-1,\Sigma)
      • 关于nn服从可加性。
      • 可线性变换,WWp(n,Σ)W\sim W_p(n,\Sigma),则CWCWp(n,CΣC)CWC'\sim W_p(n,C\Sigma C')。特别地有aWWp(n,aΣ)aW\sim W_p(n,a\Sigma)lWlWp(n,lΣl)lΣlχ2(n)l'W l\sim W_p(n,l'\Sigma l)\sim l'\Sigma l\chi^2(n)
      • EW=nΣ{\rm E}W=n\Sigma
    8. Hotelling T2T^2分布的相关性质

      • Hotelling T2T^2分布与定义中的Σ\Sigma无关。

      • n(n1)XA1XT2(p,n1)n(n-1)X'A^{-1}X\sim T^2(p,n-1)

      • T2T^2统计量在非退化变换下不变。

      • T2T^2分布与FF分布存在联系,有
        np+1npT2(p,n)=dF(p,np+1). \frac{n-p+1}{np}T^2(p,n)\stackrel {\rm d}=F(p,n-p+1).

    9. Wilks Λ\Lambda分布的相关性质

      • Λ(p,n1,n2)\Lambda(p,n_1,n_2)可以看成pp个独立的Bk=β(n1p+k2,n22)B_k=\beta(\frac{n_1-p+k}{2},\frac{n_2}2)的乘积。

      • 如果n2<pn_2<p,则1/Λ(p,n1,n2)=Λ(n2,p,n1+n2p)1/\Lambda(p,n_1,n_2)=\Lambda(n_2,p,n_1+n_2-p)

      • Λ\Lambda可以转化为T2T^2分布,当n2,p>2n_2,p>2时,随着n1n_1的增加,有
        rlnΛ=χ2(pn2),r=n112(pn2+1). -r\ln \Lambda=\chi^2(pn_2),\quad r=n_1-\frac12(p-n_2+1).
        特别当n2=1n_2=1时,有
        Λ(p,n,1)=d11+1nT2(p,n), \Lambda(p,n,1)\stackrel {\rm d}=\frac{1}{1+\frac1nT^2(p,n)},
        p=1p=1时,有
        n1n21Λ(1,n1,n2)Λ(1,n1,n2)=dF(n2,n1). \frac{n_1}{n_2}\frac{1-\Lambda(1,n_1,n_2)}{\Lambda(1,n_1,n_2)}\stackrel {\rm d}=F(n_2,n_1).

    展开全文
  • 、多元正态分布 四、均值向量的检验 五、判别分析和分类分析 六、主成分分析 七、因子分析 八、聚类分析 一、多元统计分析概述 1.1 多元分析的定义 多元统计分析是什么? 多元统计分析定义 多元数据 例子 ...

    〇、前情提要

    b站看【厦门大学MOOC】多元统计分析,因为老师很好看。
    参考:

    1. 【厦门大学MOOC】多元统计分析
      https://www.bilibili.com/video/BV1v7411E7PB

    课程大纲:
    一、多元统计分析概述
    二、多元数据的描述与展示
    三、多元正态分布
    四、均值向量的检验
    五、判别分析和分类分析
    六、主成分分析
    七、因子分析
    八、聚类分析


    一、多元统计分析概述

    在这里插入图片描述


    1.1 多元分析的定义

    多元统计分析是什么?

    多元统计分析定义

    在这里插入图片描述

    多元数据

    在这里插入图片描述

    例子

    鸢尾花例子

    在这里插入图片描述
    行:样本 列:信息维度
    在这里插入图片描述
    ->研究变量之间的相关性、做回归

    购物网站例子

    在这里插入图片描述
    在这里插入图片描述
    -> 维度之间的关系
    -> 业务问题


    1.2 多元分析的方法简介

    在这里插入图片描述

    数据描述

    多元数据特征和可视化、多元正态分布

    1. 怎么从特征上面去描述:多元数据波动性、平均情况、变量与变量之间的相关性
    2. 怎么用图形表示
    3. 多元正态分布情况

    第二章、第三章

    统计推断

    多元数据的统计检验

    1. 假设检验(数理统计 一个变量时均值的检验、两样本t检验)

    第四章

    经典降维

    简化数据结构

    1. 具体怎么做

    第六章、第七章

    目标归类

    根据数据特征构造归类模式

    1. 特征 聚类问题
    2. 标签 分类 判别分析问题

    第八章、第五章


    在这里插入图片描述

    数据描述

    将从四个部分来讲(第二章)
    在这里插入图片描述
    数据都是有分布的,多元正态(第三章)
    二元正态
    在这里插入图片描述

    顾客满意度评分

    平均、波动性、相关性
    在这里插入图片描述

    微博活跃程度

    在这里插入图片描述

    统计推断

    μ=μ0的推广(第四章)
    在这里插入图片描述

    在这里插入图片描述

    经典降维

    在这里插入图片描述

    在这里插入图片描述
    不是所有的信息都有用
    用少数代替多数
    在这里插入图片描述

    主成分分析

    样本/个体之间差异 最大化方差

    因子分析

    综合指标/公共因子 变量与变量之间的相关性 有公共因素

    数据减肥

    在这里插入图片描述

    目标归类

    对新的样本分类
    在这里插入图片描述
    多种信息维度分类
    在这里插入图片描述

    监督学习-分类问题

    分类问题
    在这里插入图片描述
    第五章
    在这里插入图片描述

    无监督学习-聚类问题

    聚类问题
    在这里插入图片描述
    第八章
    在这里插入图片描述


    1.3 多元分析的应用领域

    用统计学原理,研究各种感兴趣领域的知识。
    在这里插入图片描述

    不同行业的应用

    聚类 分类 判别问题

    市场营销

    在这里插入图片描述

    银行业

    在这里插入图片描述

    金融行业

    在这里插入图片描述

    医疗行业

    在这里插入图片描述

    分子生物学

    在这里插入图片描述

    天文学

    在这里插入图片描述

    法务会计

    在这里插入图片描述

    如何使数据驱动价值

    有原始数据
    ->直观有效信息(二三章 可视化 波动性 平均情况 分布性)
    ->提取有用的知识(统计推断 显著)
    ->统计建模(回归 分类)
    在这里插入图片描述


    展开全文
  • 应用多元分析(王学民)

    热门讨论 2010-08-03 16:29:43
    多元正态分布  3.1 多元正态分布的定义  3.2 多元正态分布的性质  3.3 极似然估计及估计量的性质  3.4 〖WTHX〗〖Akx-〗和/n-1)S的抽样分布 *§3.5 二次型分布 小结 附录3-1 SAS的应用 附录3-2 §3.2...
  • 多元线性回归

    2016-08-03 15:40:00
    散点图主要需要看四个方面,一是散点的疏密程度,越密表示相关性越;二是看散点的趋势;是看数据的主体模式在哪一部分;四是趋势之外的异常值分布在哪里(建模时考虑剔除)。在回归分析之前,需要先绘制变量间的...

    在说明线性回归前,想先讲几个与线性回归密切相关的知识点。

    一、散点图

    散点图主要需要看四个方面,一是散点的疏密程度,越密表示相关性越大;二是看散点的趋势;三是看数据的主体模式在哪一部分;四是趋势之外的异常值分布在哪里(建模时考虑剔除)。在回归分析之前,需要先绘制变量间的散点图,以此判断各变量间是否为线性关系。

    二、相关分析

    相关分析是针对两个连续之间的相关程度和方向进行探究。一般在统计中相关分析只是作为回归分析的预分析,用于观察y与x两两之间相关情况,且主要是看它们之间的散点图,用于模型的确定。最常用的皮尔森相关系数公式如下,另外需注意相关分析的P值受样本n的影响,n越大,p值越显著,因而在数据挖掘的角度,P值的可信程度远远下降。

    变量筛选

    具体如下图,其中向前法首先用每一个x与y做回归,选取一个解释力度最高的X,选择的标准有很多包括R方最高,P最小,AIC/BIC最小。在选取第二个x时,把剩下的x一个个加入,选取那个使得残差平方和减少的最多,即解释力度最大,依次做下去,知道根据标准没有可添加的变量,这个标准要事先设定好,比如P值不能大于5%,当引入新变量每个都大于5%时,停止。这几个方法都只是作为参考,并不绝对。

     

     

    四、多元回归

    相关与回归有什么关系呢,相关分析侧重反映的是散点的疏密程度,而回归分析侧重反映散点的趋势情况。图1和图2相关系数相同但回归线不同,图3和图4相关系数不同,但回归线相同。

     

    线性回归的基本过程如下图,与方差分析的思路十分类似。如果SSR=SSE则说明回归线解释的和误差解释的一样多,则说明回归线根本没有作用,因此对于回归分析,首先要F检验通过,才能谈R^2,R^2是说明模型拟合好到什么程度的,自变量一共能够解释因变量的百分之多少。

      其实多元线性回归的难点在于其必须满足一系列的假设,①x和y线性关系。②y或者服从正态分布(x在样本已知的情况下是固定的,不属于随机变量)③服从均值为0方差固定的正态分布,即要求方差齐性针对假设(一般时间序列要考虑异方差问题,DW检验,在2左右最好)3与x不相关,即正交假定⑤之间不能共线性(共线性影响模型稳定性,方差膨胀因子检验)

    由上面的假设可知,有三条都与残差密切相关,因而对于线性回归而言残差分析尤为关键,首先需要通过残差的直方图,观察残差是否符合正态分布,针对假设2。其次根据残差散点图观察残差是否在0上下波动,并且观察残差波动的宽度是否一致(一般超过3倍的最小宽度则视为异方差),针对假设3。最后借助残差图观看是否有明显趋势,针对假设4。如果假设4不满足,即存在内生性问题,一般是最关键的主要问题,则需要引入新的自变量,或者使用两阶段最小二乘法2SLS。如果假设3不满足,即存在异方差问题,需要注意是否由于异常值的影响,应该去掉异常值(根据标准化残差值与界限2比较),如果不是异常值问题,使用权重估计WLS。如果假设2不满足,即不满足正态,需要进行对数处理、求根号、(x-中位数)/四分为距。如果不满足假设5,可能要考虑岭回归方法。两阶段最小二乘法2SLS、权重估计WLS、岭回归等都是多元线性回归衍生出来的回归方法,这里我就具体不写了,因为还得具体看计量的书籍才能写清楚了。对于满足所有假设,但仍然不满足T检验的变量,可以考虑删除。

    下面是张文彤《SPSS统计分析高级教程》里提到的多元线性回归的具体步骤,讲的可能比我要清楚一点,我就贴在下面啦~

     

    转载于:https://www.cnblogs.com/fionacai/p/5733159.html

    展开全文
  • 我们使用了一种距离抽样调查方法和多元统计数据,以获取独特的树荫咖啡种植园鸟类密度和季节变化的估计。 我们的目的是确定人工林中哪种栽培方式对鸟类的丰富度贡献最大。 我们在尼加拉瓜西部蒙巴巴乔火山自然保护区...
  • 判别分析是根据观测到的某些指标对所研究的对象进行分类的一种多元统计分析方法。 判别分析(Discriminant Analysis,简称DA)技术是由费舍(R.A.Fisher)于1936年提出的。 判别分析对判别变量有个基本假设。 其...

    1.介绍

    判别分析是根据观测到的某些指标对所研究的对象进行分类的一种多元统计分析方法。
    判别分析(Discriminant Analysis,简称DA)技术是由费舍(R.A.Fisher)于1936年提出的。
    判别分析对判别变量有三个基本假设。
    其一是变量之间没有显著的相关。否则将无法估计判别函数,或者虽然能够求解但参数估计的标准误很大,以致于参数估计统计性不显著。
    其二是各组案例的协方差矩阵相等。在此条件下,可以使用很简单的公式来计算判别函数和进行显著性检验。
    其三是各判别变量之间具有多元正态分布,即每个变量对于所有其它变量的固定值有正态分布。

    2.Mtalab 调用

    Matlab统计工具箱中提供了classify函数,用来对未知类别的样品进行判别,可以进行距离判别和先验分布为正态分布的贝叶斯判别,其调用格式如下:

    1. class=classify( sample, training, group)
    2. class=classify(sample, training, group, type)
    3. class=classify(sample, training, group, type, prior)
    4. [class,err]=classify(sample, training, group, type, prior)
      其中sample是待判别的样本数据矩阵,training是用于构造判别函数的训练样本数据矩阵,它们的每一行对应一个观察,每一列对应一个变量,sample和training具有相同的列数。

    在这里插入图片描述

    3.案例分析

    某地大气样品污染分类表为:
    气体 氯 硫化氢 二氧化碳 碳4 环氧氯丙烷 环已烷 污染分类
    1 0.056 0.084 0.031 0.038 0.0081 0.022 1
    2 0.04 0.055 0.1 0.11 0.022 0.0073 1
    3 0.05 0.074 0.041 0.048 0.071 0.02 1
    4 0.045 0.05 0.11 0.1 0.025 0.0063 1
    5 0.038 0.13 0.079 0.17 0.058 0.043 2
    6 0.03 0.11 0.07 0.16 0.05 0.046 2
    7 0.034 0.095 0.058 0.16 0.2 0.029 1
    8 0.03 0.09 0.068 0.18 0.22 0.039 1
    9 0.084 0.066 0.029 0.32 0.012 0.041 2
    10 0.085 0.076 0.019 0.3 0.01 0.04 2
    11 0.064 0.072 0.02 0.25 0.028 0.038 2
    12 0.054 0.065 0.022 0.28 0.021 0.04 2
    13 0.048 0.089 0.062 0.26 0.038 0.036 2
    14 0.045 0.092 0.072 0.2 0.035 0.032 2
    15 0.069 0.087 0.027 0.05 0.089 0.021 1
    在此地某大型化工厂的厂区及邻近地区挑选了4个有代表性的大气样本取样点,获得数据如下:

    气体 氯 硫化氢 二氧化碳 碳4 环氧氯丙烷 环已烷 污染分类
    样品1 0.052 0.084 0.0211 0.037 0.0071 0.022
    样品2 0.041 0.055 0.11 0.11 0.021 0.0073
    样品3 0.03 0.112 0.072 0.16 0.056 0.021
    样品4 0.074 0.083 0.105 0.19 0.02 1
    求它们的污染分类。

    matlab 代码:

    `clc,clear 
    training=[0.056	0.084	0.031	0.038	0.0081	0.022
    0.04	0.055	0.1  	0.11	    0.022	0.0073
    0.05	0.074	0.041	0.048	0.0071	0.02
    0.045	0.05 	0.11	   0.1	    0.025	0.0063
    0.038	0.13 	0.079	0.17 	0.058	0.043
    0.03	0.11	    0.07	    0.16	    0.05	    0.046
    0.034	0.095	0.058	0.16  	0.2	    0.029
    0.03	0.09	    0.068	0.18	    0.22	    0.039
    0.084	0.066	0.029	0.32  	0.012	0.041
    0.085	0.076	0.019	0.3	    0.01	    0.04
    0.064	0.072	0.02 	0.25	    0.028	0.038
    0.054	0.065	0.022	0.28 	0.021	0.04
    0.048	0.089	0.062	0.26	    0.038	0.036
    0.045	0.092	0.072	0.2	    0.035	0.032
    0.069	0.087	0.027	0.05	    0.089	0.021];
                                                                  %用于构造判别函数的训练样本数据矩阵
    group=[1;1;1;1;2;2;1;1;2;2;2;2;2;2;1];   %参数group是与training相应的分组变量
    sample=[0.052  0.084 0.0211  0.037	  0.0071  0.022
    0.041	 0.055	0.11	    0.11 	0.021	0.0073
    0.03	 0.112	0.072	0.16	    0.056	0.021
    0.074	 0.083	0.105	0.19	    0.02     1];      %待判别的样本数据矩阵
    [class,err]=classify(sample,training,group,'linear')   %线性判别法分类
    % [class,err]=classify(sample,training,group,'mahalanobis')  %马氏距离判别法
    %[class,err]=classify(sample,training,group,'quadratic')   %二次判别法`
    

    计算结果:class =
    1
    1
    2
    2
    err =
    0
    即样品1、2为一类污染,样品3、4为二类污染,出错概率为0。

    展开全文
  • 文章目录一、概述二、参数方法基于正态分布的一元异常点检测多元异常点检测多个特征相关,且符合多元高斯分布三、非参数方法四、HBOS五、总结 一、概述 统计学方法对数据的正常性做出假定。它们假定正常的数据对象...
  • 第9章 多元统计 9.1 判别分析 9.2 系统聚类分析 9.3 K均值聚类 9.4 主成分分析 9.5 因子分析 9.6 多元方差分析 第10章 统计过程控制 第11章 试验设计 第12章 统计图 第13章 文件输入/输出 第14章 统计演示 第二篇 ...
  • 统计学方法与数据分析(上下册)

    热门讨论 2013-12-29 11:32:47
    部分章节中都使用实例未引入主题,并把统计概念和这些非常实际的问题联系在一起进行讲解,深入浅出,从而可以避免许多人对统计所抱有的粗浅的感性认识,即认为统计仅仅是另一门数学课程。作者把统计数据的收集与...
  • 北京中科信软SAS培训

    2013-03-11 11:08:44
    讲 insight模块:数据探索,菜单化的变量分布、回归、多元统计分析 第四讲 sas编程的基本语法 第五讲 建立sas数据集的5种方法;使用sas导入和导出数据,sas数据和其他格式数据的交互 第六讲 analyst模块 第...
  • 利用多元GARCH模型估算了来自农村/地区,城市,第级和私人ICU的多个提供者系列的条件方差和相关性的时间动态。 对于平稳的第一阶差分序列,最适合的是t分布(自由度11.6)和ARMA(7,0)的t分布的非对称幂GARCH...

空空如也

空空如也

1 2 3 4 5
收藏数 93
精华内容 37
关键字:

多元统计三大分布