精华内容
下载资源
问答
  • 多元正态分布 多元正态分布 多元正态分布 多元正态分布
  • 多元正态分布多元正态分布

    热门讨论 2012-11-20 23:01:10
    多元正态分布一些性质的证明,比较详细。有兴趣的可以下去看看 多元正态分布一些性质的证明,比较详细。有兴趣的可以下去看看 多元正态分布一些性质的证明,比较详细。有兴趣的可以下去看看
  • u),其中 'X' 是具有协方差 'Sig' 的零均值多元正态向量。 在高维度上,该算法大大优于 Matlab 统计工具箱中的算法,请参见示例。 参考:ZI Botev (2015),“线性限制下的正态定律:通过 Minimax Tilting 进行模拟和...
  • u),其中 'X' 是具有协方差 'Sig' 的零均值多元正态向量。 在中到高维度中使用准蒙特卡罗。 该算法优于 Matlab 统计工具箱中的算法,参见示例。 参考:ZI Botev (2015),“线性限制下的正态定律:通过 Minimax ...
  • X = rmvnrnd(MU,SIG,N,A,B) 在 N×P 矩阵 X a 中返回从 P 维多元正态中抽取的随机样本均值 MU 和协方差 SIG 截断为 a 的分布由不等式 Ax<=B 定义的超平面界定的区域。 [X,RHO,NAR,NGIBBS] = rmvnrnd(MU,SIG,N,A,B...
  • 该程序按照参考文献实现了两个多元正态概率密度函数之间的 tKL: Baba C. Vemuri, Meizhu Liu, Shun-Ichi Amari 和 Frank Nielsen, 总 Bregman 散度及其在 DTI 分析中的应用, IEEE 医学影像学报 (TMI'10),2010 年...
  • 多元正态分布

    2015-11-15 00:18:08
    多元正态分布原理及特点,很详细 从一维开始,然后二维,最后扩展到三维
  • 透彻理解多元正态分布

    千次阅读 多人点赞 2020-03-14 14:50:52
    本篇内容主要是对于基本书籍教材多元正态分布相关章节所写的学习笔记,结合自己的理解尽可能表述得通俗易懂,主要思路内容取自《程序员的数学之概率统计》。 前言 多元正态分布就是含有多个变量的正态分布,为什么...


    本篇内容主要是对于基本书籍教材多元正态分布相关章节所写的学习笔记,结合自己的理解尽可能表述得通俗易懂,主要思路内容取自《程序员的数学之概率统计》。

    前言

    多元正态分布就是含有多个变量的正态分布,为什么关于多元正态分布要专门写一篇学习笔记?因为其具有重要意义,在理论研究或者实际应用中,我们常会首先考虑多元正态分布是否适用,如果不符,再考虑其他类型的分布。基于下面两个特征,多元正态分布应用十分广泛:

    • 多元正态分布的表达式易于处理,且理论推导的结果较为简洁
    • 现实生活中很多问题都能通过多元正态分布解释或近似

    多元正态分布的数学形式复杂,但大多情况下都可以通过椭圆或椭圆体表述,这就是学习时需要具备的几何理解。

    多元标准正态分布

    定义:如果列向量Z=(Z1,,Zn)TZ=(Z_1,\dots,Z_n)^T由n个遵从标准正态分布的随机变量Z1,,ZnZ_1,\dots,Z_n组成,那么称Z遵从n元标准正态分布。二元标准正态分布(均值0方差1)的概率密度及概率密度函数如下图所示:
    在这里插入图片描述
    Z1,,ZnZ_1,\dots,Z_n互相独立时,概率密度函数如下:
    fZ(z)=g(z1)g(z2)g(zn)f_{Z}(z)=g\left(z_{1}\right) g\left(z_{2}\right) \cdots g\left(z_{n}\right)
    这里的g是标准正态分布的概率密度函数,具体形式如下:
    fZ(z)=cexp(z122)cexp(z222)cexp(zn22)f_{Z}(z)=c \exp \left(-\frac{z_{1}^{2}}{2}\right) \cdot c \exp \left(-\frac{z_{2}^{2}}{2}\right) \cdots c \exp \left(-\frac{z_{n}^{2}}{2}\right)
    这里的c是根据总概率为1这一条件所求得的常量。整理上式可得到如下表达式:
    fZ(z)=dexp(12z2)f_{Z}(z)=d \exp \left(-\frac{1}{2}\|z\|^{2}\right)
    这就是n元标准正态分布的概率密度函数。d仍是由总概率为1的条件求得的常量。(cexp(z2/2)dz=1c\int_{-\infty}^{\infty} \exp \left(-z^{2} / 2\right) d z=1c=1/2πc=1/\sqrt{2\pi}d=cnd=c^n这就是c和d的具体值)
    观察n元标准正态分布的概率密度函数,向量z的长度为:
    z=z12+z22++zn2=zTz\|z\|=\sqrt{z_{1}^{2}+z_{2}^{2}+\cdots+z_{n}^{2}}=\sqrt{z^{T} z}
    由此可发现,概率密度函数fZ(z)f_Z(z)的等高线是一个或者等值面试一个球面超球面(这里超球面或者等值线就是所有函数值相同的点连接得到的图形)。
    为什么是圆或者球面超球面可以这么理解:fZ(z)f_Z(z)的表达式中的自变量其实就是z||z||,也就是说,即使不知道向量z具体值,只要确定其长度,就可以计算得到fZ(z)f_Z(z)。所以只要向量长度相同,函数值就相同,也就是以原点为中心的圆周上任意位置的函数值都相同,这就是球面超球面圆的定义。
    确定Z的概率密度函数之后,再来求期望值向量与协方差矩阵。以n=3的情况为例:
    E[Z]=(E[Z1]E[Z2]E[Z3])=(000)=oV[Z]=(V[Z1]Cov[Z1,Z2]Cov[Z1,Z3]Cov[Z2,Z1]V[Z2]Cov[Z2,Z3]Cov[Z3,Z1]Cov[Z3,Z2]V[Z3])=(100010001)\begin{array}{l} \mathrm{E}[\boldsymbol{Z}]=\left(\begin{array}{c} \mathrm{E}\left[Z_{1}\right] \\ \mathrm{E}\left[Z_{2}\right] \\ \mathrm{E}\left[Z_{3}\right] \end{array}\right)=\left(\begin{array}{l} 0 \\ 0 \\ 0 \end{array}\right)=o \\ \mathrm{V}[\boldsymbol{Z}]=\left(\begin{array}{ccc} \mathrm{V}\left[Z_{1}\right] & \operatorname{Cov}\left[Z_{1}, Z_{2}\right] & \operatorname{Cov}\left[Z_{1}, Z_{3}\right] \\ \operatorname{Cov}\left[Z_{2}, Z_{1}\right] & \mathrm{V}\left[Z_{2}\right] & \operatorname{Cov}\left[Z_{2}, Z_{3}\right] \\ \operatorname{Cov}\left[Z_{3}, Z_{1}\right] & \operatorname{Cov}\left[Z_{3}, Z_{2}\right] & \mathrm{V}\left[Z_{3}\right] \end{array}\right)=\left(\begin{array}{lll} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array}\right) \end{array}
    推广到n元的情况也是一样,期望值是n元零向量oo,协方差矩阵是n元单位矩阵II。综上,即可通过ZN(o,I)Z \sim N(o,I)表示Z遵从n元标准正态分布。有以下性质:

    • 各元素标准差均为1
    • 不仅坐标轴方向,任意方向标准差都为1

    这里由上面已证明的等高线是圆,可从第一条推出第二条。

    多元一般正态分布

    一般正态分布可由标准正态分布通过平移或缩放得到,同理,多元一般正态分布也可以由多元标准正态分布通过变换得到。在讨论之前先看一下如何通过转换随机变量X来获得需要的期望和方差。假如有两个随机变量Y和Z,他们与X的关系满足Y=X+cY=X+cZ=cXZ=cX。那么他们的方差和均值变化的结果如下,先看Y的情况:
    E[Y]=E[X+c]=E[X]+c,V[Y]=V[X+c]=V[X]E[Y]=E[X+c]=E[X]+c, V[Y]=V[X+c]=V[X]
    再看Z的情况:
    E[Z]=E[cX]=cE[X],V[Z]=V[cX]=c2V[X]E[Z]=E[cX]=cE[X], V[Z]=V[cX]=c^2V[X]
    根据这些性质,就可以通过转换随机变量X来获得需要的期望值与方差了。例如X的期望为μ\mu方差为σ2\sigma^2,此时只要令W=XμσW=\frac{X-\mu}{\sigma}即可得到期望为0,方差为1的分布了。这个令期望为0方差为1的转换处理过程就叫做标准化(或者归一化)

    缩放与位移相同尺度

    X=σZ+μX=\sigma Z+\mu,其中σ\sigma是一个正的常量,μ\mu是一个n元的常向量。此时,X的期望值与方差如下:
    E[X]=σE[Z]+μ=μV[X]=σ2V[Z]=σ2I=(σ2σ2)\begin{aligned} &\mathrm{E}[\boldsymbol{X}]=\sigma \mathrm{E}[\boldsymbol{Z}]+\boldsymbol{\mu}=\boldsymbol{\mu}\\ &\mathrm{V}[\boldsymbol{X}]=\sigma^{2} \mathrm{V}[\boldsymbol{Z}]=\sigma^{2} I=\left(\begin{array}{ccc} \sigma^{2} & & \\ & \ddots & \\ & & \sigma^{2} \end{array}\right) \end{aligned}
    X服从的分布就称为“期望值为μ\mu且协方差矩阵为σ2I\sigma^2 I的n元正态分布”,记作XN(μ,σ2I)X \sim N(\mu, \sigma^2 I)。二元情况下其概率密度与概率密度函数如下图所示:
    在这里插入图片描述
    上面右图的体积为1,基准圆圆心变为μ\mu,半径变为σ\sigma

    缩放与位移不同尺度

    上一部分的缩放中,所有方向的缩放程度是相等的。如果不同坐标轴缩放倍率不同,那就会得到一个椭圆状分布。基准圆也会变为椭圆。还是以列向量Z=(Z1,,Zn)TZ=(Z_1,\dots,Z_n)^T为例,如果对Z的各个元素分别缩放不同倍,得到X=(σ1Z1,,σnZn)T\boldsymbol{X} =\left(\sigma_{1} Z_{1}, \cdots, \sigma_{n} Z_{n}\right)^{T},这一变换的矩阵形式如下:
    X=DZ,D(σ1σn)\boldsymbol{X}=D \boldsymbol{Z}, \quad D \equiv\left(\begin{array}{ccc} \sigma_{1} & & \\ & \ddots & \\ & & \sigma_{n} \end{array}\right)
    此时X的协方差矩阵是如下对角阵:
    V[X]=D2=(σ12σn2)\mathrm{V}[\boldsymbol{X}]=D^{2}=\left(\begin{array}{ccc} \sigma_{1}^{2} & & \\ & \ddots & \\ & & \sigma_{n}^{2} \end{array}\right)
    协方差矩阵的求解推导过程如下(如果对下面推导过程不明白,可参考之前博文协方差与协方差矩阵内容):
    V[X]=V[DZ]=DV[Z]DT=DIDT=D2\mathrm{V}[\boldsymbol{X}]=\mathrm{V}[D \boldsymbol{Z}]=D \mathrm{V}[\boldsymbol{Z}] D^{T}=D I D^{T}=D^{2}
    如果再加上常向量μ\mu来使其在各个坐标轴方向上平移不同的距离,那么期望值向量会增加μ\mu,而协方差矩阵不变。此时的分布就是一般的多元正态分布的形式,记作N(μ,D2)N(\mu,D^2)。其概率密度与概率密度函数如下图所示:
    在这里插入图片描述

    旋转变换

    旋转已有的分布后得到的将是更加一般的多元正态分布,通常我们使用正交矩阵的乘法运算来表示旋转变换。如果X是以原点为中心的多元正态分布,有正交矩阵Q使得Y=QXY=QX,那么:
    E[Y]=QE[X]=oV[Y]=QV[X]QT=QD2QT\begin{array}{l} \mathrm{E}[Y]=Q \mathrm{E}[X]=o \\ \mathrm{V}[Y]=Q \mathrm{V}[X] Q^{T}=Q D^{2} Q^{T} \end{array}
    由此就得到了一个协方差矩阵不是对角阵的一般多元正态分布。反之,如果希望某个分布属于多元正态分布(如果希望得到的多元正态分布具有符合要求的协方差矩阵V),那么就令其协方差矩阵符合V=QD2QTV=QD^2Q^T这个条件,其中Q为正交阵,D为对角阵。
    注意,这个条件和QTVQ=D2Q^TVQ=D^2是等价的。又因为协方差矩阵V是一个对称阵,所以这个条件可以描述为:对于给定的对称阵V,找到一个合适的正交矩阵Q,使得QTVQQ^TVQ是一个对角阵。这就是通过对称矩阵和正交矩阵实现矩阵对角化的方法。依据的是该定理:如果一个矩阵H是对称矩阵,那么必然存在正交矩阵Q,使得QTHQQ^THQ为对角阵。这个对角阵的每一个对角元素都是特征值,每个特征值对应的Q中的向量都是特征向量
    解出对角阵后只需使D2=diag(λ1,,λn)D^{2}=\operatorname{diag}\left(\lambda_{1}, \cdots, \lambda_{n}\right)即可解得D为:
    D=(λ1λn)D = \left(\begin{array}{ccc} \sqrt{\lambda_{1}} & & \\ & \ddots & \\ & & \sqrt{\lambda_{n}} \end{array}\right)
    由此将D与Q代入上面的V的表达式中,即可得到多元正态分布N(o,V)N(o, V)。再加上常向量μ\mu即可实现平移,得到最一般的多元正态分布N(μ,V)N(\mu,V)。其概率密度与概率密度函数示意图如下:
    在这里插入图片描述

    多元正态分布的概率密度函数

    为讨论多元正态分布的各种方便的性质,首先需要知道多元正态分布的概率密度函数。对于n元标准正态分布上面已经推导过其概率密度函数如下:
    fZ(z)=12πnexp(12z2)f_{Z}(z)=\frac{1}{\sqrt{2 \pi}^{n}} \exp \left(-\frac{1}{2}\|z\|^{2}\right)
    如何对Z进行变换,从而得到一个协方差矩阵为V=QD2QTV=QD^2Q^T的一般n元正态分布呢?
    先令
    Y=QDZY=QDZ
    这里的Q是正交阵,D是对角线元素全部都为正的对角阵。由于Q和D都是正规矩阵,所以它们的乘积QD也是正规矩阵。
    这里再补充一个知识点,即多变量乘以一个正规矩阵变换之后的新变量的概率密度函数和原概率密度函数的关系。该知识点可进行如下描述。
    对于Z1=g1(X1,,Xn),,Zn=gn(X1,,Xn)Z_1=g_1(X_1,\dots,X_n), \dots, Z_n=g_n(X_1,\dots,X_n)的概率密度函数f有以下结论:
    fZ1,,Zn(z1,,zn)=(x1,,xn)(z1,,zn)fX1,,Xn(x1,,xn)f_{Z_{1}, \cdots, Z_{n}}\left(z_{1}, \cdots, z_{n}\right)=\left|\frac{\partial\left(x_{1}, \cdots, x_{n}\right)}{\partial\left(z_{1}, \cdots, z_{n}\right)}\right| f_{X_{1}, \cdots, X_{n}}\left(x_{1}, \cdots, x_{n}\right)
    其中
    (x1,,xn)(z1,,zn)det(x1z1x1znxnz1xnzn)=1(z1,,zn)/(x1,,xn)\frac{\partial\left(x_{1}, \cdots, x_{n}\right)}{\partial\left(z_{1}, \cdots, z_{n}\right)} \equiv \operatorname{det}\left(\begin{array}{ccc} \frac{\partial x_{1}}{\partial z_{1}} & \cdots & \frac{\partial x_{1}}{\partial z_{n}} \\ \vdots & & \vdots \\ \frac{\partial x_{n}}{\partial z_{1}} & \cdots & \frac{\partial x_{n}}{\partial z_{n}} \end{array}\right)=\frac{1}{\partial\left(z_{1}, \cdots, z_{n}\right) / \partial\left(x_{1}, \cdots, x_{n}\right)}
    这个知识点讲述了这么一个情况:以二维为例,x和y组成了表示概率密度的平面网格点,而z轴则是概率密度函数值,其和xy平面围成的体积必须为1。当把xy进行线性变换之后,网格的大小也会有倍数的扩大,这个面积的变化就叫做面积扩大率,其数值为detA|detA|。既然面积扩大了,那么为了维持体积不变,概率密度函数值就需要缩小相应的倍数。所以,多元标准正态分布的随机变量乘以A=QDA=QD之后,概率密度函数就会改变为:
    fY(y)=1detAfZ(A1y)=1detA12πnexp(12A1y2)f_{\boldsymbol{Y}}(\boldsymbol{y})=\frac{1}{|\operatorname{det} A|} f_{\boldsymbol{Z}}\left(A^{-1} \boldsymbol{y}\right)=\frac{1}{|\operatorname{det} A|} \cdot \frac{1}{\sqrt{2 \pi}^{n}} \exp \left(-\frac{1}{2}\left\|A^{-1} \boldsymbol{y}\right\|^{2}\right)
    这还不够,这个概率密度函数中体现不出方差的概念。对上面等式右边进行整理,尝试用协方差矩阵V来表示。首先根据下面关系(如果对下面推导过程不明白,可参考之前博文协方差与协方差矩阵内容):
    V=V[AZ]=AV[Z]AT=AIAT=AATV=\mathrm{V}[A Z]=A \mathrm{V}[Z] A^{T}=A I A^{T}=A A^{T}
    可得到如下结论
    detV=det(AAT)=(detA)(detAT)=(detA)2\operatorname{det} V=\operatorname{det}\left(A A^{T}\right)=(\operatorname{det} A)\left(\operatorname{det} A^{T}\right)=(\operatorname{det} A)^{2}
    又由于V1=(AAT)1=(AT)1A1=(A1)TA1V^{-1}=\left(A A^{T}\right)^{-1}=\left(A^{T}\right)^{-1} A^{-1}=\left(A^{-1}\right)^{T} A^{-1},可得到如下结果
    A1y2=(A1y)T(A1y)=yT(A1)TA1y=yTV1y\left\|A^{-1} \boldsymbol{y}\right\|^{2}=\left(A^{-1} \boldsymbol{y}\right)^{T}\left(A^{-1} \boldsymbol{y}\right)=\boldsymbol{y}^{T}\left(A^{-1}\right)^{T} A^{-1} \boldsymbol{y}=\boldsymbol{y}^{T} V^{-1} \boldsymbol{y}
    综上,最终结果为:
    fY(y)=1(2π)ndetVexp(12yTV1y)f_{Y}(y)=\frac{1}{\sqrt{(2 \pi)^{n} \operatorname{det} V}} \exp \left(-\frac{1}{2} y^{T} V^{-1} y\right)
    这就得到了期望值为o的n元正态分布N(o,V)N(o,V)的概率密度函数。
    这里还有局限性,因为期望值是0,为得到更一般的多元正态分布概率密度函数表达式,令Y位移至Y^=Y+μ\hat Y=Y+\mu,即可得到期望值为μ\mu的n元正态分布了,由于只是位移,所以面积和体积都不会发生变化,于是其概率密度函数变化如下
    fY~(y~)=fY(y~μ)=1(2π)ndetVexp(12(y~μ)TV1(y~μ))f_{\tilde{Y}}(\tilde{y})=f_{Y}(\tilde{y}-\mu)=\frac{1}{\sqrt{(2 \pi)^{n} \operatorname{det} V}} \exp \left(-\frac{1}{2}(\tilde{y}-\mu)^{T} V^{-1}(\tilde{y}-\mu)\right)
    综上,最终可得到n元正态分布的概率密度函数为:
    f(x)=1(2π)ndetVexp(12(xμ)TV1(xμ))f(\boldsymbol{x})=\frac{1}{\sqrt{(2 \pi)^{n} \operatorname{det} V}} \exp \left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{T} V^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right)
    如果觉得上面公式太复杂,可以抽象为如下形式:
    f(x)=Cexp(X)f(x)=C \exp(X元素的二次式)
    反之,如果概率密度形如上式,则就可以确定X的分布是一种正态分布。这与一元情况同理,对二次式进行配平得方差期望,之后根据体积为1求得常量。

    多元正态分布的性质

    多元正态分布具有下面三个良好的性质。

    • 可由期望值向量和协方差矩阵确定具体分布
    • 如果各随机变量不相关,则一定独立
    • 多元正态分布经过线性变换之后还是多元正态分布
    • 多元正态分布的条件分布也是多元正态分布
    • 多元正态分布的边缘分布也是多元正态分布

    对于第一条性质,显然成立。只要计算期望值向量和协方差矩阵将其代入上一部分求出的概率密度函数公式即可解得概率密度函数。
    对于第二条性质,解释之前首先要明确一个概念:
    如果随机变量X和Y相互独立,那么其协方差为0,即相关系数为0。
    如果随机变量X和Y的协方差为0,即相关系数为0,那么X和Y不一定相互独立
    但是,如果X和Y组成二元正态分布,就可以由协方差等于0直接推得X与Y独立。理由如下。
    因为协方差是0,所以协方差矩阵V为对角阵,所以其逆矩阵也是对角阵,两个随机变量方差分别为σ\sigmaτ\tau,那么
    fX(x)=□exp((xμ)TV1(xμ))=exp((xμ)2σ2(yν)2τ2)=□exp((xμ)2σ2)exp((yν)2τ2)\begin{aligned} f_{X}(x) &=\operatorname{\square exp}\left(-\square(x-\mu)^{T} V^{-1}(x-\mu)\right)=\square \exp \left(-\square \frac{(x-\mu)^{2}}{\sigma^{2}}-\square \frac{(y-\nu)^{2}}{\tau^{2}}\right) \\ &=\operatorname{\square exp}\left(-\square \frac{(x-\mu)^{2}}{\sigma^{2}}\right) \exp \left(-\square \frac{(y-\nu)^{2}}{\tau^{2}}\right) \end{aligned}
    其中\square代表无关紧要的常量,上式可以分解为仅含x的式子和仅含y的式子。这就表明了两个随机变量相互独立,为什么呢?


    这里看一下独立性的定义
    独立性有多种表述方式,其中最易于理解的就是“无论是否附加条件,分布都不会发生变化”,那对于随机变量X和Y,这个表述的数学表达形式就是,如果下式始终成立,则称X与Y独立。
    fYX(ba)=fY(b)f_{Y|X}(b|a)=f_Y(b)
    这个表达式等价于:
    fX,Y(a,b)=fX(a)fY(b)f_{X,Y}(a,b)=f_X(a)f_Y(b)


    如果随机变量超过两个,该结论依然成立。因为最终V[X]V[X]是一个对角阵,只要它是对角阵,就可以将概率密度函数分解为仅含单个随机变量的n个正态分布概率密度函数的乘积。
    对于第三条性质,对于XN(μ,V)\boldsymbol{X} \sim \mathrm{N}(\boldsymbol{\mu}, V),假设(正规矩阵)A是一个取值确定的矩阵,经过变量变换Y=AXY=AX将得到一个n元正态分布,变换后的期望值和协方差矩阵如下(如果对下面推导过程不明白,可参考之前博文协方差与协方差矩阵内容):
    νE[Y]=AE[X]=AμWV[Y]=AV[X]AT=AVAT\begin{aligned} \boldsymbol{\nu} & \equiv \mathrm{E}[\boldsymbol{Y}]=A \mathrm{E}[\boldsymbol{X}]=A \boldsymbol{\mu} \\ W & \equiv \mathrm{V}[\boldsymbol{Y}]=A \mathrm{V}[\boldsymbol{X}] A^{T}=A V A^{T} \end{aligned}
    由于Y具有如下概率密度函数,所以可确认它是一个多元正态分布。
    fY(y)=1detAfX(A1y)=exp(12(A1yμ)TV1(A1yμ))=exp(y)\begin{aligned} f_{Y}(\boldsymbol{y}) &=\frac{1}{|\operatorname{det} A|} f_{X}\left(A^{-1} y\right) \\ &=\square \exp \left(-\frac{1}{2}\left(A^{-1} \boldsymbol{y}-\boldsymbol{\mu}\right)^{T} V^{-1}\left(A^{-1} \boldsymbol{y}-\boldsymbol{\mu}\right)\right)\\ &=\square \exp \left(y的元素的二次式\right) \end{aligned}
    对于第四条性质,可以用截面的形式来解读,性质重新描述如下。
    假设X(X1,X2,,Xn)T\boldsymbol{X} \equiv\left(X_{1}, X_{2}, \cdots, X_{n}\right)^{T}遵从n元正态分布N(o,V)N(o,V)。在X1=cX_1=c的条件下,由剩余向量组成的c的条件分布将是一个n-1元正态分布。
    接下来是验证,设V的逆矩阵中的元素为r,条件概率密度函数可写为:
    fX~X1(x2,,xnc)=exp(12(c,x2,,xn)(r11r12r1nr21r22r2nrn1rn2rnn)(cx2xn))=exp(x2,,xn)\begin{array}{l} f_{\tilde{X} | X_{1}}\left(x_{2}, \cdots, x_{n} | c\right) \\ =\square \exp \left(-\frac{1}{2}\left(c, x_{2}, \cdots, x_{n}\right)\left(\begin{array}{cccc} r_{11} & r_{12} & \cdots & r_{1 n} \\ r_{21} & r_{22} & \cdots & r_{2 n} \\ \vdots & \vdots & & \vdots \\ r_{n 1} & r_{n 2} & \cdots & r_{n n} \end{array}\right)\left(\begin{array}{c} c \\ x_{2} \\ \vdots \\ x_{n} \end{array}\right)\right) \\ =\square \exp (x_{2}, \cdots, x_{n}的二次式) \end{array}
    通过类似证明,反复应用该结论,就可证明所有由剩余向量组成的条件分布都是多元正态分布。引入n=3的例子来看看直观理解,当n=3时,三元正态分布的概率密度函数的等值面是椭圆体,截面上就是椭圆,也就是二元正态分布,示意图如下:
    在这里插入图片描述


    如果要计算条件分布的期望值向量与协方差矩阵的值,应用如下通用结论即可。对于这样的分布:
    (XY)N((μμ),(T))\left(\begin{array}{l} X \\ Y \end{array}\right) \sim \mathrm{N}\left(\left(\begin{array}{l} \mu \\ \mu \end{array}\right),\left(\begin{array}{ll} 甲 & 乙 \\ 乙^{T} & 丁 \end{array}\right)\right)
    如果给定X=c,Y的条件分布为N(ν~,W~)\mathrm{N}(\tilde{\boldsymbol{\nu}}, \tilde{W}),其中:
    ν~ν+T1(cμ)W~T1\begin{aligned} \tilde{\nu} & \equiv \nu+乙^{T} 甲^{-1}(c-\mu) \\ \tilde{W} & \equiv 丁-乙^{T} 甲^{-1} 乙 \end{aligned}
    这里的甲乙丁都是矩阵。


    对于第五条性质,可以通过积分计算边缘分布的概率密度函数,通过观察积分可发现,边缘分布其实也是一个多元正态分布。其期望值和协方差矩阵的值很容易就能得到,例如设X=(X1,X2,X3,X4)T\boldsymbol{X}=\left(X_{1}, X_{2}, X_{3}, X_{4}\right)^{T},且X~=(X2,X3,X4)T\boldsymbol{\tilde X}=\left(X_{2}, X_{3}, X_{4}\right)^{T},相应的期望值向量与协方差矩阵如下。
    E[X]=(E[X1]E[X2]E[X3]E[X4])=(E[X~])V[X]=(V[X1]Cov[X1,X2]Cov[X1,X3]Cov[X1,X4]Cov[X2,X1]V[X2]Cov[X2,X3]Cov[X2,X4]Cov[X3,X1]Cov[X3,X2]V[X3]Cov[X3,X4]Cov[X4,X1]Cov[X4,X2]Cov[X4,X3]V[X4])=(V[X~])\begin{array}{l} \mathrm{E}[\boldsymbol{X}]=\left(\begin{array}{c} \mathrm{E}\left[X_{1}\right] \\ \hline \mathrm{E}\left[X_{2}\right] \\ \mathrm{E}\left[X_{3}\right] \\ \mathrm{E}\left[X_{4}\right] \end{array}\right)=\left(\begin{array}{c} *\\ \hline \\ \mathrm{E}[\tilde{\boldsymbol{X}}]\\ \\ \end{array}\right) \\ \mathrm{V}[\boldsymbol{X}]=\left(\begin{array}{ccc} \mathrm{V}\left[X_{1}\right] & \operatorname{Cov}\left[X_{1}, X_{2}\right] & \operatorname{Cov}\left[X_{1}, X_{3}\right] & \operatorname{Cov}\left[X_{1}, X_{4}\right] \\ \operatorname{Cov}\left[X_{2}, X_{1}\right] & \mathrm{V}\left[X_{2}\right] & \operatorname{Cov}\left[X_{2}, X_{3}\right] & \operatorname{Cov}\left[X_{2}, X_{4}\right] \\ \operatorname{Cov}\left[X_{3}, X_{1}\right] & \operatorname{Cov}\left[X_{3}, X_{2}\right] & \mathrm{V}\left[X_{3}\right] & \operatorname{Cov}\left[X_{3}, X_{4}\right] \\ \operatorname{Cov}\left[X_{4}, X_{1}\right] & \operatorname{Cov}\left[X_{4}, X_{2}\right] & \operatorname{Cov}\left[X_{4}, X_{3}\right] & \mathrm{V}\left[X_{4}\right] \end{array}\right)=\left(\begin{array}{c|ccc} *& * & * & * \\ \hline *\\ *& & \mathrm{V}[\tilde{X}] &\\ * \end{array}\right) \end{array}
    如上面公式所示,只需要从E[X]和V[X]中取出相应部分就能得到边缘分布需要的期望值向量和协方差矩阵。从图形的角度解释,椭圆体的投影也是一个椭圆:
    在这里插入图片描述
    只要反复应用上面得到的结论就能证明所有由剩余向量组成的边缘分布都是多元正态分布。多元正态分布中的各个元素都遵从一元正态分布。因为独立的正态分布经过加法运算后仍然是正态分布。但是需要注意,相反推导是不行的,即我们无法仅凭边缘分布就确定联合分布除非随机变量之间相互独立

    展开全文
  • 多元正态总体检验

    2015-07-30 01:59:17
    多元正态检验例题,源于多元统计分析课程。使用正态总体检验的SAS软件操作。
  • mvnfast :快速多元正态分布和学生t分布 mvnfast R软件包提供了与多元正态分布和Student t分布有关的高效计算工具。 由于通过Rcpp \ RcppArmadillo软件包使用了C ++代码并通过OpenMP API进行了并行化,因此这些工具...
  • 多元正态分布初识

    2021-03-31 22:35:27
    在本科阶段的教材中,往往会有多元正态分布的公式出现,但课堂上都不会重点讲解,而在研究生入学考试中也基本不会考。但在实际应用中,多元的情况却非常常见。 本文通过对多元正态分布的公式进行拆解,来看看它到底...

    在本科阶段的教材中,往往会有多元正态分布的公式出现,但课堂上都不会重点讲解,而在研究生入学考试中也基本不会考。但在实际应用中,多元的情况却非常常见。

    本文通过对多元正态分布的公式进行拆解,来正式认识一下它。

    1 多元正态分布公式

    对于DD维正态分布变量xx,直接上它的密度公式:
    N(xμ,Σ)=1(2π)D/21Σ1/2exp{12(xμ)Σ1(xμ)} \mathcal{N}(x|\mu,\Sigma)=\dfrac{1}{(2\pi)^{D/2}}\dfrac{1}{\vert\Sigma\vert^{1/2}}\exp\left\{-\dfrac{1}{2}(x-\mu)'\Sigma^{-1}(x-\mu)\right\}

    其中μ\muD×1D\times 1的均值向量,Σ\SigmaD×DD\times D的协方差矩阵。

    公式看起来十分复杂,相信第一次见到时,几乎所有人都会被吓到。沉住气,我们把它拆解了看。

    2 公式拆解

    先看最后面指数函数中的部分,其中有一个二次型:
    Δ2=(xμ)Σ1(xμ) \Delta^2=(x-\mu)'\Sigma^{-1}(x-\mu)

    Δ\Delta叫作μ\muxx之间的Mahalanobis distance,中文叫马哈拉诺比斯距离或者马氏距离,是印度统计学家Mahalanobis提出的。

    Σ\Sigma一般可以是对称矩阵,考虑它的DD个特征值λi\lambda_i和相应的相互正交的特征向量uiu_iΣui=λiui\Sigma u_i = \lambda_i u_i,记U=(u1,,uD)U=(u_1,\cdots,u_D)UU满足UU=IDU'U=I_D,再记Λ=diag(λ1,,λD)\Lambda=\text{diag}(\lambda_1,\cdots,\lambda_D),那么可将Σ\Sigma写成特征向量展开的形式:
    Σ=UΛU=i=1Dλiuiui \Sigma =U\Lambda U'= \sum_{i=1}^{D} \lambda_i u_i u_i'

    如果做换元y=U(xμ)y=U'(x-\mu),则有Δ2=yΛ1y\Delta^2=y'\Lambda^{-1}y,也就是说,通过换元,我们将原来在xx坐标系下的分布,变成了一个在yy坐标系下的、各个分量互相不相关的分布。如图所示:

    再看在指数函数前面的部分,由Σ=UΛU\Sigma =U\Lambda U'可知Σ=Λ|\Sigma|=|\Lambda|,因此Σ1=Λ1=j=1Dλj1|\Sigma|^{-1}=|\Lambda|^{-1}=\prod\limits_{j=1}^{D}\lambda_j^{-1}

    利用Jacobian matrix J=UJ=U',并由J2=UU=1|J|^2=|U'U|=1可得J=1|J|=1,于是我们可以将原来的密度函数直接变换为
    fY(y)=JfX(x(y))=1(2π)D/21Λ1/2exp{12yΛ1y}=j=1D1(2πλj)1/2exp(yj22λj) \begin{aligned} f_Y(y) =& |J|f_X\left(x(y)\right)\\ =& \dfrac{1}{(2\pi)^{D/2}}\dfrac{1}{\vert\Lambda\vert^{1/2}}\exp\left\{-\dfrac{1}{2}y'\Lambda^{-1}y\right\}\\ =& \prod_{j=1}^{D} \dfrac{1}{(2\pi \lambda_j)^{1/2}}\exp(-\dfrac{y_j^2}{2\lambda_j}) \end{aligned}

    在原来的xx坐标系下,各分量之间可能有相关性,对应二维时候的图像为下图(1),而在新的yy坐标系下,协方差矩阵变为对角矩阵,也因此图像变为下图中(2)的情况,而若各分量同方差,则会变为类似于标准正态分布的同心圆即下图(3)的形式:

    展开全文
  • 模拟从 d 维 N(0,Sig) 分布(具有协方差“Sig”的零均值正态分布)精确(完美)分布的“n”个随机向量,条件是 l<X<u。 接受截断限制“l”和“u”的无限值。 参考:ZI Botev (2015),“线性限制下的正态定律:...
  • 多元正态分布矩阵python源码,仅需要预先安装Anaconda3即可良好运行
  • R语言:多元正态分布的检验

    千次阅读 2020-04-24 21:46:25
    多元正态分布的检验多元正态分布mshapiro.test {mvnormtest}mvn {MVN} 多元正态分布 转自个人微信公众号【Memo_Cleon】的统计学习笔记:多元正态分布检验的R实现方法。 多元正态分布也称多元高斯分布。如同正态分布...

    多元正态分布

    转自个人微信公众号【Memo_Cleon】的统计学习笔记:多元正态分布检验的R实现方法
    在这里插入图片描述
    多元正态分布也称多元高斯分布。如同正态分布在单变量分析中的地位类似,在对多个因变量(多元)同时进行分析时,常常假设因变量组合成的向量服从一个多元正态分布。比如重复测量数据将重复的测量结果(比如各个时间点上的测量结果)视为不同的因变量,可以采用多元方差分析,此时就要求各个因变量的组合向量服从多元正态分布。对多元正态分布的判断通常采用的边际分布来判断,即每个因变量的分布呈正态或近似正态。但实际上单因变量正态是多因变量多元正态的必要非充分条件:所有因变量的组合服从多元正态分布,每个因变量的分布(边际分布)必然呈正态;每个因变量的分布呈正态分布,所有因变量的组合未必呈正态分布。只要有一个因变量不服用正态分布则组合分布肯定不服从多元正态分布。

    虽然我们可以通过边际分布来大体判断,有没有统计方法直接判断是否满足多元正态分布呢?当然,R有无所不能的“包”!比如程序包mvnormtest【函数mshapiro.test】、程序包mvShapiroTest【mvShapiro.Test】、程序包MVN【函数mvn】、程序包mvnTest【函数AD.test、CM.test、DH.test、HZ.test、R.test、S2.test等】、程序包mvtnorm【函数pmvnorm】、程序包energy【函数mvnorm.e、mvnorm.test、mvnorm.etest】……

    我们以mshapiro.test {mvnormtest}和mvn {MVN}为例演示多元正态分布检验的R实现方法。

    mshapiro.test {mvnormtest}

    mshapiro.test(U):Performs the Shapiro-Wilk test for multivariate normality。U要求是数值型矩阵,且a matrix with number of columns (sample size) between 3 and 5000。因为在一般在录入时行表示观测/记录,列表示变量/字段,因此使用此函数需要先对行和列进行转置,转置函数为t(“矩阵或数据框”)。

    示例:两组新生儿出生时的体重与身长数据如下。预对两组的体重和身高同时进行检验,可以考虑多元方差分析,应考察多元正态性。
    在这里插入图片描述
    文件导入:
    library(openxlsx) #调用程序包openxlsx
    mn<-read.xlsx(“D:/Temp/multivnorm.xlsx”,1) #从名称为multivnorm的excel文件中导入第1个sheet的数据到数据框mn中

    **将数据调整成mshapiro.test的分析格式:**对数据框mn的行列进行转置
    A<-t(mn[1:8,3:4])
    B<-t(mn[9:16,3:4])

    多元正态分析:
    library(mvnormtest) #调用程序包mvnormtest
    mshapiro.test(A)
    mshapiro.test(B)

    结果显示A组多元正态分布SW检验W=0.912,P
    =0.366>0.05,呈二元正态分布;B组多元正态分布SW检验W=0.861,P=0.122>0.05,呈二元正态分布。在这里插入图片描述

    mvn {MVN}

    mvn(data, subset = NULL, mvnTest = c(“mardia”, “hz”, “royston”, “dh”, “energy”), covariance = TRUE, tol = 1e-25, alpha = 0.5, scale = FALSE, desc = TRUE, transform = “none”, R = 1000, univariateTest = c(“SW”, “CVM”, “Lillie”, “SF”, “AD”), univariatePlot = “none”, multivariatePlot = “none”, multivariateOutlierMethod = “none”, bc = FALSE, bcType = “rounded”, showOutliers = FALSE, showNewData = FALSE)。Data为矩阵或数据框。

    示例:10名肥胖患者在医生指导下服用药物减肥,按统一标准记录服药前和服药后1-4周的体重。在这里插入图片描述
    这是一个典型的无对照的重复测量数据,如将各个时点的体重视为不同的因变量,因变量(结果变量)就不止一个,此时可考虑多元方差分析(MANOVA)对它们同时进行分析。多元方差分析要求多元正态性、组间方差-协方差矩阵同质性、各因变量间有一定的相关性(个体内不独立,但个体间独立)。

    library(openxlsx) #调用程序包openxlsx
    mn2<-read.xlsx(“D:/Temp/multivnorm.xlsx”,2) #从名称为multivnorm的excel文件中导入第2个sheet的数据到数据框mn2中
    U<-mn2[1:10,2:6]
    library(MVN)
    mvn(U, mvnTest = c(“dh”), multivariatePlot = “qq”)

    注:本例10行6列,列名为id、W0、W1、W2、W3、W4。分析时仅筛选列,行不进行筛选,U<-multivnorm[1:10,2:6]可以直接U<-multivnorm[2:6]或者U<-multivnorm[-1]都可以。
    在这里插入图片描述
    结果:本例采用Doornik-Hansen了多变量正态性检验,当然也可以在语句中修改命令,换成Marida, Royston, Henze-Zirkler’s, E-Statistics等方法。结果显示E=6.79,P=0.75>0.05,数据满足多元正态分布。同时结果还给出了每个变量的Shapiro-Wilk检验结果,结果显示W0、W1、W2、W3、W4均满足正态分布。另外本例同时给出了多元正态性的QQ图。

    转自个人微信公众号【Memo_Cleon】的统计学习笔记:多元正态分布检验的R实现方法
    在这里插入图片描述

    展开全文
  • R中计算多元正态密度函数可以使用mvtnorm包中的dmvnorm函数。 dvnorm(x,mu,sigma,log=T/F) x为服从多元正态分布的随机向量 mu和sigma分别为多元正态均值和协方差阵(可以是对角阵或者非对角阵) log=T时,对密度取...

    R中计算多元正态密度函数可以使用mvtnorm包中的dmvnorm函数。

    dvnorm(x,mu,sigma,log=T/F)
    

    x为服从多元正态分布的随机向量
    mu和sigma分别为多元正态均值和协方差阵(可以是对角阵或者非对角阵)
    log=T时,对密度取自然对数
    当x为维时,输出结果与dnorm相同
    可以同时输出多个多元正态密度:
    当二维随机向量服从以mu为均值,sigma为协方差阵的多元正态分布时,如果x为n*2维矩阵,则dmvnorm(x,mu,sigma,log=T)会把x的每一行当成服从上述分布的一个二维随机向量观测值,最终输出每一行的ln(密度).在计算似然函数时很有用:

    #x为观测数据阵:n*2维
    loglikelihood=sum(dmvnorm(x,mu,sigma,log=T))
    
    
    展开全文
  • 本文讨论了多元正态分布的定义,重点讨论多元正态分布的独立性、回归与最佳预测等问题。
  • 多元正态分布

    2019-08-05 16:32:16
    文章目录3.1 多元正态分布的定义二元正态分布例子 3.1 多元正态分布的定义 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2) f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}f(x)...
  • 算是一个学习指引吧,方便你找资料,其中也有部分底层代码,以及计算协方差的代码,代码都是经过验算的。涉及多元正态分布验算的部分,可以去寻找一元正态分布验算的代码,从而从曲线图像上观测样本拟合程度
  • 多元统计分析上机题之R语言实现(多元正态分布)-附件资源
  • 【多元】多元正态分布,聚类分析

    千次阅读 2019-11-01 21:13:09
    多元正态分布、聚类分析(系统、模糊、k均值、有序样品)
  • 众所周知,许多多元统计程序需要多元正态性 (MVN) 的假设。 针对这个问题已经提出了至少 50 种不同的程序。 不幸的是,通过不同的程序可以得出关于数据集的 MVN 的不同结论(Mecklin 和 Mundfrom,2005)。 Shapiro...
  • 多元正态分布的概率密度函数 N维随机向量 如果服从多变量正态分布,必须满足下面的三个等价条件: 任何线性组合 服 从正态分布。 存在随机向量 ( 它的每个元素服从独立标准正态分布),向量 及 矩阵A满足 存在 和一...
  • 在文献中,有几种可用的多元正态性检验(约 50)。 其中包括基于观测值平方 Mahalanobis 距离的卡方分位数-分位数图的图形方法。 除了图形 qq 接近之外,在这个文件中,我们提出了一个替代的统计测试。 它只需要多元...
  • 多元正态总体分布的统计推断可见 适合应用多元统计的人学习

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 673
精华内容 269
关键字:

多元正态