精华内容
下载资源
问答
  • 多元正态分布(多元高斯分布) 直接从多元正态分布讲起。多元正态分布公式如下: 这就是多元正态分布的定义,均值好理解,就是高斯分布的概率分布值最大的位置,进行采样时也就是采样的中心点。而协方差矩阵在多维上...
  • 协方差矩阵与多元正态分布

    千次阅读 2021-10-21 12:32:02
    文章目录协方差矩阵协方差协方差矩阵多元正态分布协方差矩阵的特征值分解 协方差矩阵 协方差 在统计学中,方差用来度量单个随机变量的离散程度,而协方差用来刻画两个随机变量的相似程度,方差的计算公式 σx2=1n−1...

    协方差矩阵

    协方差

    在统计学中,方差用来度量单个随机变量的离散程度,而协方差用来刻画两个随机变量的相似程度,方差的计算公式
    σ x 2 = 1 n − 1 ∑ i n ( x i − x ˉ ) \sigma_x^2=\cfrac{1}{n-1}\sum\limits_i^n(x_i-\bar{x}) σx2=n11in(xixˉ)
    其中 n n n 表示样本数, x ˉ \bar{x} xˉ 表示观测样本的均值。
    协方差的计算公式定义为:
    σ ( x , y ) = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) \sigma(x,y)=\cfrac{1}{n-1}\sum\limits_{i=1}^n(x_i-\bar{x})(y_i-\bar{y}) σ(x,y)=n11i=1n(xixˉ)(yiyˉ)
    在公式中, x ˉ , y ˉ \bar{x},\bar{y} xˉ,yˉ分别表示两个随机变量对应的观测样本均值。
    可以发现:

    方差 σ x 2 \sigma_x^2 σx2 可视作随机变量 x x x 关于自身的协方差。

    协方差矩阵

    给定一个 d d d维随机向量 x = ( x 1 , x 2 , ⋯   , x d ) x=(x_1,x_2,\cdots,x_d) x=(x1,x2,,xd),则
    σ ( x m , x k ) = 1 n − 1 ∑ i = 1 n ( x m i − x ˉ m ) ( x k i − x ˉ k ) \sigma(x_m,x_k)=\cfrac{1}{n-1}\sum\limits_{i=1}^n(x_{mi}-\bar{x}_m)(x_{ki}-\bar{x}_k) σ(xm,xk)=n11i=1n(xmixˉm)(xkixˉk)
    协方差矩阵为:
    Σ = [ σ ( x 1 , x 1 ) ⋯ σ ( x 1 , x d ) ⋮ ⋱ ⋮ σ ( x d , x 1 ) ⋯ σ ( x d , x d ) ] \Sigma= \begin{bmatrix} \sigma(x_1,x_1) & \cdots & \sigma(x_1,x_d) \\ \vdots & \ddots & \vdots\\ \sigma(x_d,x_1) & \cdots & \sigma(x_d,x_d) \end{bmatrix} Σ=σ(x1,x1)σ(xd,x1)σ(x1,xd)σ(xd,xd)
    根据上述协方差矩阵的定义,矩阵 Σ \Sigma Σ为对称矩阵(symmetric matrix),其大小为 d × d d\times d d×d

    多元正态分布

    假设一个向量 x x x服从均值向量为 μ \mu μ的均值向量、协方差矩阵为 Σ \Sigma Σ的多元正态分布(multi-variable Gaussian distribution),则
    p ( x ) = ∣ 2 π Σ ∣ − 1 2 exp ⁡ ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) p(x)=\vert{2\pi\Sigma}\rvert^{-\frac{1}{2}}\exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) p(x)=2πΣ21exp(21(xμ)TΣ1(xμ))

    令均值向量 μ = 0 \mu=0 μ=0,指数前的系数 ∣ 2 π Σ ∣ − 1 2 \vert{2\pi\Sigma}\rvert^{-\frac{1}{2}} 2πΣ21为常数项,所以有
    p ( x ) ∝ exp ⁡ ( − 1 2 x T Σ − 1 x ) p(x)\propto \exp(-\frac{1}{2}x^T\Sigma^{-1}x) p(x)exp(21xTΣ1x)

    x x x为二维随机向量 x = ( x 1 , x 2 ) x=(x_1,x_2) x=(x1,x2),其协方差矩阵为单位矩阵 I 2 I_2 I2,则 x 1 x_1 x1 x 2 x_2 x2的方差均为1,生成的散点图如下:
    在这里插入图片描述

    对于每个随机数,似然为:
    L ∝ exp ⁡ ( − 1 2 x T x ) \mathcal{L}\propto\exp(-\cfrac{1}{2}x^Tx) Lexp(21xTx)
    对图1的点进行一个线性变换: t = A x t=Ax t=Ax,得到图2:
    在这里插入图片描述
    在上述变换中,矩阵 A A A称为变换矩阵(transformation matrix),将变换矩阵分解为两个矩阵。
    尺度矩阵(scaling matrix):
    S = [ s 1 0 0 s 2 ] = [ 1 0 0 1 2 ] S=\begin{bmatrix}s_1 & 0 \\ 0 & s_2\end{bmatrix}=\begin{bmatrix}1 & 0 \\ 0 & \frac{1}{2}\end{bmatrix} S=[s100s2]=[10021]
    旋转矩阵(rotation matrix):
    R = [ cos ⁡ θ − sin ⁡ θ sin ⁡ θ cos ⁡ θ ] = [ cos ⁡ π 6 − sin ⁡ π 6 sin ⁡ π 6 cos ⁡ π 6 ] = [ 3 2 − 1 2 1 2 3 2 ] R=\begin{bmatrix} \cos{\theta} & -\sin{\theta} \\ \sin{\theta} & \cos{\theta} \end{bmatrix}=\begin{bmatrix} \cos{\frac{\pi}{6}} & -\sin{\frac{\pi}{6}} \\ \sin{\frac{\pi}{6}} & \cos{\frac{\pi}{6}} \end{bmatrix}=\begin{bmatrix} \frac{\sqrt{3}}{2} & -\frac{1}{2} \\ \frac{1}{2} &\frac{\sqrt{3}}{2} \end{bmatrix} R=[cosθsinθsinθcosθ]=[cos6πsin6πsin6πcos6π]=[23 212123 ]

    其中 θ \theta θ为逆时针旋转的度数。

    变换矩阵、尺度矩阵和旋转矩阵的关系: A = R S A=RS A=RS

    A = R S = [ 3 2 − 1 4 1 2 3 4 ] A=RS=\begin{bmatrix} \frac{\sqrt{3}}{2} & -\frac{1}{4} \\ \frac{1}{2} &\frac{\sqrt{3}}{4} \end{bmatrix} A=RS=[23 214143 ]

    经过线性变换 t = A x t=Ax t=Ax t t t的分布:
    x = A − 1 t x=A^{-1}t x=A1t 带入似然 L ( x ) \mathcal{L}(x) L(x)
    L ∝ exp ⁡ ( − 1 2 ( A − 1 t ) T ( A − 1 t ) ) = exp ⁡ ( − 1 2 t T ( A T A ) − 1 t ) \mathcal{L}\propto\exp(-\cfrac{1}{2}(A^{-1}t)^T(A^{-1}t))\\ =\exp(-\cfrac{1}{2}t^T(A^TA)^{-1}t) Lexp(21(A1t)T(A1t))=exp(21tT(ATA)1t)
    可得,多元正态分布的协方差矩阵:
    Σ = A A T = [ 13 16 3 3 16 3 3 16 7 16 ] \Sigma=AA^T=\begin{bmatrix} \frac{13}{16} & \frac{3\sqrt{3}}{16} \\ \frac{3\sqrt{3}}{16} &\frac{7}{16} \end{bmatrix} Σ=AAT=[16131633 1633 167]

    协方差矩阵的特征值分解

    对于实对称矩阵 Σ \Sigma Σ,必相似于对角矩阵,即存在可逆矩阵P,满足:
    Σ = P Λ P T \Sigma=P\Lambda P^T Σ=PΛPT
    P P P的每一列为相互正交的特征向量, Λ \Lambda Λ为对角矩阵,特征值从大到小排列。

    上述对称矩阵的分解可得:
    Σ = ( P Λ 1 / 2 ) ( P Λ 1 / 2 ) T = A A T = ( R S ) ( R S ) T \Sigma=(P\Lambda^{1/2})(P\Lambda^{1/2})^T=AA^T=(RS)(RS)^T Σ=(PΛ1/2)(PΛ1/2)T=AAT=(RS)(RS)T
    可得:
    P = R = [ cos ⁡ θ − sin ⁡ θ sin ⁡ θ cos ⁡ θ ] = [ 3 2 − 1 2 1 2 3 2 ] P=R=\begin{bmatrix} \cos{\theta} & -\sin{\theta} \\ \sin{\theta} & \cos{\theta} \end{bmatrix}=\begin{bmatrix} \frac{\sqrt{3}}{2} & -\frac{1}{2} \\ \frac{1}{2} &\frac{\sqrt{3}}{2} \end{bmatrix} P=R=[cosθsinθsinθcosθ]=[23 212123 ]
    Λ = S S T = [ s 1 2 0 0 s 2 2 ] = [ 1 0 0 1 4 ] \Lambda=SS^T=\begin{bmatrix}s_1^2 & 0 \\ 0 & s_2^2 \end{bmatrix}=\begin{bmatrix}1 & 0 \\ 0 & \frac{1}{4}\end{bmatrix} Λ=SST=[s1200s22]=[10041]

    所以,多元正态分布得概率密度由协方差矩阵的特征向量控制旋转(rotation),特征值控制尺度(scale),均值向量控制概率密度的均值。

    关于矩阵在线性变换的理解,见下篇博客。

    如何直观地理解「协方差矩阵」?

    展开全文
  • 在讲这个问题之前,首先抛出一个问题:如何求函数的定积分?通常我们首先找到该函数的原函数,将定积分的上下限分别代入原函数中计算这...所以一切都是为了求积分,正太分布标准正太分布也是这个目的,方便求值。 ...

           在讲这个问题之前,首先抛出一个问题:如何求函数的定积分?通常我们首先找到该函数的原函数,将定积分的上下限分别代入原函数中计算这两个值的差值作为定积分的值。但是对于复杂函数的定积分,我们很难一眼就能发现该函数所对应的原函数,那该怎么办?我们可以做定积分变量替换,替换之后,会发现可以根据基本的积分公式进行积分求值了。所以一切都是为了求积分,正态分布转标准正态分布也是这个目的,方便求值。

    1. 定积分变量替换

    在做变量替换时,注意积分上下限也跟着变换。

    2. 正态分布转换标准正态分布的推导过程

    发现, z服从标准正态分布,概率密度函数为:

    注意:这里面变量x由z进行替换,那么原先x变量的积分上下限由函数对应到z的上下限

    3. 由正态分布转换至标准正态分布意义

    我们知道标准正态分布求积分非常方便,可以通过查表就可以直接获得积分数值,如下图所示:

    通过上述表格,我们可以直接得到各个区段的积分,也即是各个区段的概率和,因此转换的目的就在于此。

     

    参考文献:1. https://www.zhihu.com/question/30121927

                      2. https://www.shuxuele.com/data/standard-normal-distribution-table.html

    展开全文
  • 透彻理解多元正态分布

    千次阅读 多人点赞 2020-03-14 14:50:52
    本篇内容主要是对于基本书籍教材多元正态分布相关章节所写的学习笔记,结合自己的理解尽可能表述得通俗易懂,主要思路内容取自《程序员的数学之概率统计》。 前言 多元正态分布就是含有多个变量的正态分布,为什么...


    本篇内容主要是对于基本书籍教材多元正态分布相关章节所写的学习笔记,结合自己的理解尽可能表述得通俗易懂,主要思路内容取自《程序员的数学之概率统计》。

    前言

    多元正态分布就是含有多个变量的正态分布,为什么关于多元正态分布要专门写一篇学习笔记?因为其具有重要意义,在理论研究或者实际应用中,我们常会首先考虑多元正态分布是否适用,如果不符,再考虑其他类型的分布。基于下面两个特征,多元正态分布应用十分广泛:

    • 多元正态分布的表达式易于处理,且理论推导的结果较为简洁
    • 现实生活中很多问题都能通过多元正态分布解释或近似

    多元正态分布的数学形式复杂,但大多情况下都可以通过椭圆或椭圆体表述,这就是学习时需要具备的几何理解。

    多元标准正态分布

    定义:如果列向量 Z = ( Z 1 , … , Z n ) T Z=(Z_1,\dots,Z_n)^T Z=(Z1,,Zn)T由n个遵从标准正态分布的随机变量 Z 1 , … , Z n Z_1,\dots,Z_n Z1,,Zn组成,那么称Z遵从n元标准正态分布。二元标准正态分布(均值0方差1)的概率密度及概率密度函数如下图所示:
    在这里插入图片描述
    Z 1 , … , Z n Z_1,\dots,Z_n Z1,,Zn互相独立时,概率密度函数如下:
    f Z ( z ) = g ( z 1 ) g ( z 2 ) ⋯ g ( z n ) f_{Z}(z)=g\left(z_{1}\right) g\left(z_{2}\right) \cdots g\left(z_{n}\right) fZ(z)=g(z1)g(z2)g(zn)
    这里的g是标准正态分布的概率密度函数,具体形式如下:
    f Z ( z ) = c exp ⁡ ( − z 1 2 2 ) ⋅ c exp ⁡ ( − z 2 2 2 ) ⋯ c exp ⁡ ( − z n 2 2 ) f_{Z}(z)=c \exp \left(-\frac{z_{1}^{2}}{2}\right) \cdot c \exp \left(-\frac{z_{2}^{2}}{2}\right) \cdots c \exp \left(-\frac{z_{n}^{2}}{2}\right) fZ(z)=cexp(2z12)cexp(2z22)cexp(2zn2)
    这里的c是根据总概率为1这一条件所求得的常量。整理上式可得到如下表达式:
    f Z ( z ) = d exp ⁡ ( − 1 2 ∥ z ∥ 2 ) f_{Z}(z)=d \exp \left(-\frac{1}{2}\|z\|^{2}\right) fZ(z)=dexp(21z2)
    这就是n元标准正态分布的概率密度函数。d仍是由总概率为1的条件求得的常量。( c ∫ − ∞ ∞ exp ⁡ ( − z 2 / 2 ) d z = 1 c\int_{-\infty}^{\infty} \exp \left(-z^{2} / 2\right) d z=1 cexp(z2/2)dz=1 c = 1 / 2 π c=1/\sqrt{2\pi} c=1/2π d = c n d=c^n d=cn这就是c和d的具体值)
    观察n元标准正态分布的概率密度函数,向量z的长度为:
    ∥ z ∥ = z 1 2 + z 2 2 + ⋯ + z n 2 = z T z \|z\|=\sqrt{z_{1}^{2}+z_{2}^{2}+\cdots+z_{n}^{2}}=\sqrt{z^{T} z} z=z12+z22++zn2 =zTz
    由此可发现,概率密度函数 f Z ( z ) f_Z(z) fZ(z)的等高线是一个或者等值面试一个球面超球面(这里超球面或者等值线就是所有函数值相同的点连接得到的图形)。
    为什么是圆或者球面超球面可以这么理解: f Z ( z ) f_Z(z) fZ(z)的表达式中的自变量其实就是 ∣ ∣ z ∣ ∣ ||z|| z,也就是说,即使不知道向量z具体值,只要确定其长度,就可以计算得到 f Z ( z ) f_Z(z) fZ(z)。所以只要向量长度相同,函数值就相同,也就是以原点为中心的圆周上任意位置的函数值都相同,这就是球面超球面圆的定义。
    确定Z的概率密度函数之后,再来求期望值向量与协方差矩阵。以n=3的情况为例:
    E [ Z ] = ( E [ Z 1 ] E [ Z 2 ] E [ Z 3 ] ) = ( 0 0 0 ) = o V [ Z ] = ( V [ Z 1 ] Cov ⁡ [ Z 1 , Z 2 ] Cov ⁡ [ Z 1 , Z 3 ] Cov ⁡ [ Z 2 , Z 1 ] V [ Z 2 ] Cov ⁡ [ Z 2 , Z 3 ] Cov ⁡ [ Z 3 , Z 1 ] Cov ⁡ [ Z 3 , Z 2 ] V [ Z 3 ] ) = ( 1 0 0 0 1 0 0 0 1 ) \begin{array}{l} \mathrm{E}[\boldsymbol{Z}]=\left(\begin{array}{c} \mathrm{E}\left[Z_{1}\right] \\ \mathrm{E}\left[Z_{2}\right] \\ \mathrm{E}\left[Z_{3}\right] \end{array}\right)=\left(\begin{array}{l} 0 \\ 0 \\ 0 \end{array}\right)=o \\ \mathrm{V}[\boldsymbol{Z}]=\left(\begin{array}{ccc} \mathrm{V}\left[Z_{1}\right] & \operatorname{Cov}\left[Z_{1}, Z_{2}\right] & \operatorname{Cov}\left[Z_{1}, Z_{3}\right] \\ \operatorname{Cov}\left[Z_{2}, Z_{1}\right] & \mathrm{V}\left[Z_{2}\right] & \operatorname{Cov}\left[Z_{2}, Z_{3}\right] \\ \operatorname{Cov}\left[Z_{3}, Z_{1}\right] & \operatorname{Cov}\left[Z_{3}, Z_{2}\right] & \mathrm{V}\left[Z_{3}\right] \end{array}\right)=\left(\begin{array}{lll} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array}\right) \end{array} E[Z]=E[Z1]E[Z2]E[Z3]=000=oV[Z]=V[Z1]Cov[Z2,Z1]Cov[Z3,Z1]Cov[Z1,Z2]V[Z2]Cov[Z3,Z2]Cov[Z1,Z3]Cov[Z2,Z3]V[Z3]=100010001
    推广到n元的情况也是一样,期望值是n元零向量 o o o,协方差矩阵是n元单位矩阵 I I I。综上,即可通过 Z ∼ N ( o , I ) Z \sim N(o,I) ZN(o,I)表示Z遵从n元标准正态分布。有以下性质:

    • 各元素标准差均为1
    • 不仅坐标轴方向,任意方向标准差都为1

    这里由上面已证明的等高线是圆,可从第一条推出第二条。

    多元一般正态分布

    一般正态分布可由标准正态分布通过平移或缩放得到,同理,多元一般正态分布也可以由多元标准正态分布通过变换得到。在讨论之前先看一下如何通过转换随机变量X来获得需要的期望和方差。假如有两个随机变量Y和Z,他们与X的关系满足 Y = X + c Y=X+c Y=X+c Z = c X Z=cX Z=cX。那么他们的方差和均值变化的结果如下,先看Y的情况:
    E [ Y ] = E [ X + c ] = E [ X ] + c , V [ Y ] = V [ X + c ] = V [ X ] E[Y]=E[X+c]=E[X]+c, V[Y]=V[X+c]=V[X] E[Y]=E[X+c]=E[X]+c,V[Y]=V[X+c]=V[X]
    再看Z的情况:
    E [ Z ] = E [ c X ] = c E [ X ] , V [ Z ] = V [ c X ] = c 2 V [ X ] E[Z]=E[cX]=cE[X], V[Z]=V[cX]=c^2V[X] E[Z]=E[cX]=cE[X],V[Z]=V[cX]=c2V[X]
    根据这些性质,就可以通过转换随机变量X来获得需要的期望值与方差了。例如X的期望为 μ \mu μ方差为 σ 2 \sigma^2 σ2,此时只要令 W = X − μ σ W=\frac{X-\mu}{\sigma} W=σXμ即可得到期望为0,方差为1的分布了。这个令期望为0方差为1的转换处理过程就叫做标准化(或者归一化)

    缩放与位移相同尺度

    X = σ Z + μ X=\sigma Z+\mu X=σZ+μ,其中 σ \sigma σ是一个正的常量, μ \mu μ是一个n元的常向量。此时,X的期望值与方差如下:
    E [ X ] = σ E [ Z ] + μ = μ V [ X ] = σ 2 V [ Z ] = σ 2 I = ( σ 2 ⋱ σ 2 ) \begin{aligned} &\mathrm{E}[\boldsymbol{X}]=\sigma \mathrm{E}[\boldsymbol{Z}]+\boldsymbol{\mu}=\boldsymbol{\mu}\\ &\mathrm{V}[\boldsymbol{X}]=\sigma^{2} \mathrm{V}[\boldsymbol{Z}]=\sigma^{2} I=\left(\begin{array}{ccc} \sigma^{2} & & \\ & \ddots & \\ & & \sigma^{2} \end{array}\right) \end{aligned} E[X]=σE[Z]+μ=μV[X]=σ2V[Z]=σ2I=σ2σ2
    X服从的分布就称为“期望值为 μ \mu μ且协方差矩阵为 σ 2 I \sigma^2 I σ2I的n元正态分布”,记作 X ∼ N ( μ , σ 2 I ) X \sim N(\mu, \sigma^2 I) XN(μ,σ2I)。二元情况下其概率密度与概率密度函数如下图所示:
    在这里插入图片描述
    上面右图的体积为1,基准圆圆心变为 μ \mu μ,半径变为 σ \sigma σ

    缩放与位移不同尺度

    上一部分的缩放中,所有方向的缩放程度是相等的。如果不同坐标轴缩放倍率不同,那就会得到一个椭圆状分布。基准圆也会变为椭圆。还是以列向量 Z = ( Z 1 , … , Z n ) T Z=(Z_1,\dots,Z_n)^T Z=(Z1,,Zn)T为例,如果对Z的各个元素分别缩放不同倍,得到 X = ( σ 1 Z 1 , ⋯   , σ n Z n ) T \boldsymbol{X} =\left(\sigma_{1} Z_{1}, \cdots, \sigma_{n} Z_{n}\right)^{T} X=(σ1Z1,,σnZn)T,这一变换的矩阵形式如下:
    X = D Z , D ≡ ( σ 1 ⋱ σ n ) \boldsymbol{X}=D \boldsymbol{Z}, \quad D \equiv\left(\begin{array}{ccc} \sigma_{1} & & \\ & \ddots & \\ & & \sigma_{n} \end{array}\right) X=DZ,Dσ1σn
    此时X的协方差矩阵是如下对角阵:
    V [ X ] = D 2 = ( σ 1 2 ⋱ σ n 2 ) \mathrm{V}[\boldsymbol{X}]=D^{2}=\left(\begin{array}{ccc} \sigma_{1}^{2} & & \\ & \ddots & \\ & & \sigma_{n}^{2} \end{array}\right) V[X]=D2=σ12σn2
    协方差矩阵的求解推导过程如下(如果对下面推导过程不明白,可参考之前博文协方差与协方差矩阵内容):
    V [ X ] = V [ D Z ] = D V [ Z ] D T = D I D T = D 2 \mathrm{V}[\boldsymbol{X}]=\mathrm{V}[D \boldsymbol{Z}]=D \mathrm{V}[\boldsymbol{Z}] D^{T}=D I D^{T}=D^{2} V[X]=V[DZ]=DV[Z]DT=DIDT=D2
    如果再加上常向量 μ \mu μ来使其在各个坐标轴方向上平移不同的距离,那么期望值向量会增加 μ \mu μ,而协方差矩阵不变。此时的分布就是一般的多元正态分布的形式,记作 N ( μ , D 2 ) N(\mu,D^2) N(μ,D2)。其概率密度与概率密度函数如下图所示:
    在这里插入图片描述

    旋转变换

    旋转已有的分布后得到的将是更加一般的多元正态分布,通常我们使用正交矩阵的乘法运算来表示旋转变换。如果X是以原点为中心的多元正态分布,有正交矩阵Q使得 Y = Q X Y=QX Y=QX,那么:
    E [ Y ] = Q E [ X ] = o V [ Y ] = Q V [ X ] Q T = Q D 2 Q T \begin{array}{l} \mathrm{E}[Y]=Q \mathrm{E}[X]=o \\ \mathrm{V}[Y]=Q \mathrm{V}[X] Q^{T}=Q D^{2} Q^{T} \end{array} E[Y]=QE[X]=oV[Y]=QV[X]QT=QD2QT
    由此就得到了一个协方差矩阵不是对角阵的一般多元正态分布。反之,如果希望某个分布属于多元正态分布(如果希望得到的多元正态分布具有符合要求的协方差矩阵V),那么就令其协方差矩阵符合 V = Q D 2 Q T V=QD^2Q^T V=QD2QT这个条件,其中Q为正交阵,D为对角阵。
    注意,这个条件和 Q T V Q = D 2 Q^TVQ=D^2 QTVQ=D2是等价的。又因为协方差矩阵V是一个对称阵,所以这个条件可以描述为:对于给定的对称阵V,找到一个合适的正交矩阵Q,使得 Q T V Q Q^TVQ QTVQ是一个对角阵。这就是通过对称矩阵和正交矩阵实现矩阵对角化的方法。依据的是该定理:如果一个矩阵H是对称矩阵,那么必然存在正交矩阵Q,使得 Q T H Q Q^THQ QTHQ为对角阵。这个对角阵的每一个对角元素都是特征值,每个特征值对应的Q中的向量都是特征向量
    解出对角阵后只需使 D 2 = diag ⁡ ( λ 1 , ⋯   , λ n ) D^{2}=\operatorname{diag}\left(\lambda_{1}, \cdots, \lambda_{n}\right) D2=diag(λ1,,λn)即可解得D为:
    D = ( λ 1 ⋱ λ n ) D = \left(\begin{array}{ccc} \sqrt{\lambda_{1}} & & \\ & \ddots & \\ & & \sqrt{\lambda_{n}} \end{array}\right) D=λ1 λn
    由此将D与Q代入上面的V的表达式中,即可得到多元正态分布 N ( o , V ) N(o, V) N(o,V)。再加上常向量 μ \mu μ即可实现平移,得到最一般的多元正态分布 N ( μ , V ) N(\mu,V) N(μ,V)。其概率密度与概率密度函数示意图如下:
    在这里插入图片描述

    多元正态分布的概率密度函数

    为讨论多元正态分布的各种方便的性质,首先需要知道多元正态分布的概率密度函数。对于n元标准正态分布上面已经推导过其概率密度函数如下:
    f Z ( z ) = 1 2 π n exp ⁡ ( − 1 2 ∥ z ∥ 2 ) f_{Z}(z)=\frac{1}{\sqrt{2 \pi}^{n}} \exp \left(-\frac{1}{2}\|z\|^{2}\right) fZ(z)=2π n1exp(21z2)
    如何对Z进行变换,从而得到一个协方差矩阵为 V = Q D 2 Q T V=QD^2Q^T V=QD2QT的一般n元正态分布呢?
    先令
    Y = Q D Z Y=QDZ Y=QDZ
    这里的Q是正交阵,D是对角线元素全部都为正的对角阵。由于Q和D都是正规矩阵,所以它们的乘积QD也是正规矩阵。
    这里再补充一个知识点,即多变量乘以一个正规矩阵变换之后的新变量的概率密度函数和原概率密度函数的关系。该知识点可进行如下描述。
    对于 Z 1 = g 1 ( X 1 , … , X n ) , … , Z n = g n ( X 1 , … , X n ) Z_1=g_1(X_1,\dots,X_n), \dots, Z_n=g_n(X_1,\dots,X_n) Z1=g1(X1,,Xn),,Zn=gn(X1,,Xn)的概率密度函数f有以下结论:
    f Z 1 , ⋯   , Z n ( z 1 , ⋯   , z n ) = ∣ ∂ ( x 1 , ⋯   , x n ) ∂ ( z 1 , ⋯   , z n ) ∣ f X 1 , ⋯   , X n ( x 1 , ⋯   , x n ) f_{Z_{1}, \cdots, Z_{n}}\left(z_{1}, \cdots, z_{n}\right)=\left|\frac{\partial\left(x_{1}, \cdots, x_{n}\right)}{\partial\left(z_{1}, \cdots, z_{n}\right)}\right| f_{X_{1}, \cdots, X_{n}}\left(x_{1}, \cdots, x_{n}\right) fZ1,,Zn(z1,,zn)=(z1,,zn)(x1,,xn)fX1,,Xn(x1,,xn)
    其中
    ∂ ( x 1 , ⋯   , x n ) ∂ ( z 1 , ⋯   , z n ) ≡ det ⁡ ( ∂ x 1 ∂ z 1 ⋯ ∂ x 1 ∂ z n ⋮ ⋮ ∂ x n ∂ z 1 ⋯ ∂ x n ∂ z n ) = 1 ∂ ( z 1 , ⋯   , z n ) / ∂ ( x 1 , ⋯   , x n ) \frac{\partial\left(x_{1}, \cdots, x_{n}\right)}{\partial\left(z_{1}, \cdots, z_{n}\right)} \equiv \operatorname{det}\left(\begin{array}{ccc} \frac{\partial x_{1}}{\partial z_{1}} & \cdots & \frac{\partial x_{1}}{\partial z_{n}} \\ \vdots & & \vdots \\ \frac{\partial x_{n}}{\partial z_{1}} & \cdots & \frac{\partial x_{n}}{\partial z_{n}} \end{array}\right)=\frac{1}{\partial\left(z_{1}, \cdots, z_{n}\right) / \partial\left(x_{1}, \cdots, x_{n}\right)} (z1,,zn)(x1,,xn)detz1x1z1xnznx1znxn=(z1,,zn)/(x1,,xn)1
    这个知识点讲述了这么一个情况:以二维为例,x和y组成了表示概率密度的平面网格点,而z轴则是概率密度函数值,其和xy平面围成的体积必须为1。当把xy进行线性变换之后,网格的大小也会有倍数的扩大,这个面积的变化就叫做面积扩大率,其数值为 ∣ d e t A ∣ |detA| detA。既然面积扩大了,那么为了维持体积不变,概率密度函数值就需要缩小相应的倍数。所以,多元标准正态分布的随机变量乘以 A = Q D A=QD A=QD之后,概率密度函数就会改变为:
    f Y ( y ) = 1 ∣ det ⁡ A ∣ f Z ( A − 1 y ) = 1 ∣ det ⁡ A ∣ ⋅ 1 2 π n exp ⁡ ( − 1 2 ∥ A − 1 y ∥ 2 ) f_{\boldsymbol{Y}}(\boldsymbol{y})=\frac{1}{|\operatorname{det} A|} f_{\boldsymbol{Z}}\left(A^{-1} \boldsymbol{y}\right)=\frac{1}{|\operatorname{det} A|} \cdot \frac{1}{\sqrt{2 \pi}^{n}} \exp \left(-\frac{1}{2}\left\|A^{-1} \boldsymbol{y}\right\|^{2}\right) fY(y)=detA1fZ(A1y)=detA12π n1exp(21A1y2)
    这还不够,这个概率密度函数中体现不出方差的概念。对上面等式右边进行整理,尝试用协方差矩阵V来表示。首先根据下面关系(如果对下面推导过程不明白,可参考之前博文协方差与协方差矩阵内容):
    V = V [ A Z ] = A V [ Z ] A T = A I A T = A A T V=\mathrm{V}[A Z]=A \mathrm{V}[Z] A^{T}=A I A^{T}=A A^{T} V=V[AZ]=AV[Z]AT=AIAT=AAT
    可得到如下结论
    det ⁡ V = det ⁡ ( A A T ) = ( det ⁡ A ) ( det ⁡ A T ) = ( det ⁡ A ) 2 \operatorname{det} V=\operatorname{det}\left(A A^{T}\right)=(\operatorname{det} A)\left(\operatorname{det} A^{T}\right)=(\operatorname{det} A)^{2} detV=det(AAT)=(detA)(detAT)=(detA)2
    又由于 V − 1 = ( A A T ) − 1 = ( A T ) − 1 A − 1 = ( A − 1 ) T A − 1 V^{-1}=\left(A A^{T}\right)^{-1}=\left(A^{T}\right)^{-1} A^{-1}=\left(A^{-1}\right)^{T} A^{-1} V1=(AAT)1=(AT)1A1=(A1)TA1,可得到如下结果
    ∥ A − 1 y ∥ 2 = ( A − 1 y ) T ( A − 1 y ) = y T ( A − 1 ) T A − 1 y = y T V − 1 y \left\|A^{-1} \boldsymbol{y}\right\|^{2}=\left(A^{-1} \boldsymbol{y}\right)^{T}\left(A^{-1} \boldsymbol{y}\right)=\boldsymbol{y}^{T}\left(A^{-1}\right)^{T} A^{-1} \boldsymbol{y}=\boldsymbol{y}^{T} V^{-1} \boldsymbol{y} A1y2=(A1y)T(A1y)=yT(A1)TA1y=yTV1y
    综上,最终结果为:
    f Y ( y ) = 1 ( 2 π ) n det ⁡ V exp ⁡ ( − 1 2 y T V − 1 y ) f_{Y}(y)=\frac{1}{\sqrt{(2 \pi)^{n} \operatorname{det} V}} \exp \left(-\frac{1}{2} y^{T} V^{-1} y\right) fY(y)=(2π)ndetV 1exp(21yTV1y)
    这就得到了期望值为o的n元正态分布 N ( o , V ) N(o,V) N(o,V)的概率密度函数。
    这里还有局限性,因为期望值是0,为得到更一般的多元正态分布概率密度函数表达式,令Y位移至 Y ^ = Y + μ \hat Y=Y+\mu Y^=Y+μ,即可得到期望值为 μ \mu μ的n元正态分布了,由于只是位移,所以面积和体积都不会发生变化,于是其概率密度函数变化如下
    f Y ~ ( y ~ ) = f Y ( y ~ − μ ) = 1 ( 2 π ) n det ⁡ V exp ⁡ ( − 1 2 ( y ~ − μ ) T V − 1 ( y ~ − μ ) ) f_{\tilde{Y}}(\tilde{y})=f_{Y}(\tilde{y}-\mu)=\frac{1}{\sqrt{(2 \pi)^{n} \operatorname{det} V}} \exp \left(-\frac{1}{2}(\tilde{y}-\mu)^{T} V^{-1}(\tilde{y}-\mu)\right) fY~(y~)=fY(y~μ)=(2π)ndetV 1exp(21(y~μ)TV1(y~μ))
    综上,最终可得到n元正态分布的概率密度函数为:
    f ( x ) = 1 ( 2 π ) n det ⁡ V exp ⁡ ( − 1 2 ( x − μ ) T V − 1 ( x − μ ) ) f(\boldsymbol{x})=\frac{1}{\sqrt{(2 \pi)^{n} \operatorname{det} V}} \exp \left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{T} V^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right) f(x)=(2π)ndetV 1exp(21(xμ)TV1(xμ))
    如果觉得上面公式太复杂,可以抽象为如下形式:
    f ( x ) = C exp ⁡ ( X 元 素 的 二 次 式 ) f(x)=C \exp(X元素的二次式) f(x)=Cexp(X)
    反之,如果概率密度形如上式,则就可以确定X的分布是一种正态分布。这与一元情况同理,对二次式进行配平得方差期望,之后根据体积为1求得常量。

    多元正态分布的性质

    多元正态分布具有下面三个良好的性质。

    • 可由期望值向量和协方差矩阵确定具体分布
    • 如果各随机变量不相关,则一定独立
    • 多元正态分布经过线性变换之后还是多元正态分布
    • 多元正态分布的条件分布也是多元正态分布
    • 多元正态分布的边缘分布也是多元正态分布

    对于第一条性质,显然成立。只要计算期望值向量和协方差矩阵将其代入上一部分求出的概率密度函数公式即可解得概率密度函数。
    对于第二条性质,解释之前首先要明确一个概念:
    如果随机变量X和Y相互独立,那么其协方差为0,即相关系数为0。
    如果随机变量X和Y的协方差为0,即相关系数为0,那么X和Y不一定相互独立
    但是,如果X和Y组成二元正态分布,就可以由协方差等于0直接推得X与Y独立。理由如下。
    因为协方差是0,所以协方差矩阵V为对角阵,所以其逆矩阵也是对角阵,两个随机变量方差分别为 σ \sigma σ τ \tau τ,那么
    f X ( x ) = □exp ⁡ ( − □ ( x − μ ) T V − 1 ( x − μ ) ) = □ exp ⁡ ( − □ ( x − μ ) 2 σ 2 − □ ( y − ν ) 2 τ 2 ) = □exp ⁡ ( − □ ( x − μ ) 2 σ 2 ) exp ⁡ ( − □ ( y − ν ) 2 τ 2 ) \begin{aligned} f_{X}(x) &=\operatorname{\square exp}\left(-\square(x-\mu)^{T} V^{-1}(x-\mu)\right)=\square \exp \left(-\square \frac{(x-\mu)^{2}}{\sigma^{2}}-\square \frac{(y-\nu)^{2}}{\tau^{2}}\right) \\ &=\operatorname{\square exp}\left(-\square \frac{(x-\mu)^{2}}{\sigma^{2}}\right) \exp \left(-\square \frac{(y-\nu)^{2}}{\tau^{2}}\right) \end{aligned} fX(x)=exp((xμ)TV1(xμ))=exp(σ2(xμ)2τ2(yν)2)=exp(σ2(xμ)2)exp(τ2(yν)2)
    其中 □ \square 代表无关紧要的常量,上式可以分解为仅含x的式子和仅含y的式子。这就表明了两个随机变量相互独立,为什么呢?


    这里看一下独立性的定义
    独立性有多种表述方式,其中最易于理解的就是“无论是否附加条件,分布都不会发生变化”,那对于随机变量X和Y,这个表述的数学表达形式就是,如果下式始终成立,则称X与Y独立。
    f Y ∣ X ( b ∣ a ) = f Y ( b ) f_{Y|X}(b|a)=f_Y(b) fYX(ba)=fY(b)
    这个表达式等价于:
    f X , Y ( a , b ) = f X ( a ) f Y ( b ) f_{X,Y}(a,b)=f_X(a)f_Y(b) fX,Y(a,b)=fX(a)fY(b)


    如果随机变量超过两个,该结论依然成立。因为最终 V [ X ] V[X] V[X]是一个对角阵,只要它是对角阵,就可以将概率密度函数分解为仅含单个随机变量的n个正态分布概率密度函数的乘积。
    对于第三条性质,对于 X ∼ N ( μ , V ) \boldsymbol{X} \sim \mathrm{N}(\boldsymbol{\mu}, V) XN(μ,V),假设(正规矩阵)A是一个取值确定的矩阵,经过变量变换 Y = A X Y=AX Y=AX将得到一个n元正态分布,变换后的期望值和协方差矩阵如下(如果对下面推导过程不明白,可参考之前博文协方差与协方差矩阵内容):
    ν ≡ E [ Y ] = A E [ X ] = A μ W ≡ V [ Y ] = A V [ X ] A T = A V A T \begin{aligned} \boldsymbol{\nu} & \equiv \mathrm{E}[\boldsymbol{Y}]=A \mathrm{E}[\boldsymbol{X}]=A \boldsymbol{\mu} \\ W & \equiv \mathrm{V}[\boldsymbol{Y}]=A \mathrm{V}[\boldsymbol{X}] A^{T}=A V A^{T} \end{aligned} νWE[Y]=AE[X]=AμV[Y]=AV[X]AT=AVAT
    由于Y具有如下概率密度函数,所以可确认它是一个多元正态分布。
    f Y ( y ) = 1 ∣ det ⁡ A ∣ f X ( A − 1 y ) = □ exp ⁡ ( − 1 2 ( A − 1 y − μ ) T V − 1 ( A − 1 y − μ ) ) = □ exp ⁡ ( y 的 元 素 的 二 次 式 ) \begin{aligned} f_{Y}(\boldsymbol{y}) &=\frac{1}{|\operatorname{det} A|} f_{X}\left(A^{-1} y\right) \\ &=\square \exp \left(-\frac{1}{2}\left(A^{-1} \boldsymbol{y}-\boldsymbol{\mu}\right)^{T} V^{-1}\left(A^{-1} \boldsymbol{y}-\boldsymbol{\mu}\right)\right)\\ &=\square \exp \left(y的元素的二次式\right) \end{aligned} fY(y)=detA1fX(A1y)=exp(21(A1yμ)TV1(A1yμ))=exp(y)
    对于第四条性质,可以用截面的形式来解读,性质重新描述如下。
    假设 X ≡ ( X 1 , X 2 , ⋯   , X n ) T \boldsymbol{X} \equiv\left(X_{1}, X_{2}, \cdots, X_{n}\right)^{T} X(X1,X2,,Xn)T遵从n元正态分布 N ( o , V ) N(o,V) N(o,V)。在 X 1 = c X_1=c X1=c的条件下,由剩余向量组成的c的条件分布将是一个n-1元正态分布。
    接下来是验证,设V的逆矩阵中的元素为r,条件概率密度函数可写为:
    f X ~ ∣ X 1 ( x 2 , ⋯   , x n ∣ c ) = □ exp ⁡ ( − 1 2 ( c , x 2 , ⋯   , x n ) ( r 11 r 12 ⋯ r 1 n r 21 r 22 ⋯ r 2 n ⋮ ⋮ ⋮ r n 1 r n 2 ⋯ r n n ) ( c x 2 ⋮ x n ) ) = □ exp ⁡ ( x 2 , ⋯   , x n 的 二 次 式 ) \begin{array}{l} f_{\tilde{X} | X_{1}}\left(x_{2}, \cdots, x_{n} | c\right) \\ =\square \exp \left(-\frac{1}{2}\left(c, x_{2}, \cdots, x_{n}\right)\left(\begin{array}{cccc} r_{11} & r_{12} & \cdots & r_{1 n} \\ r_{21} & r_{22} & \cdots & r_{2 n} \\ \vdots & \vdots & & \vdots \\ r_{n 1} & r_{n 2} & \cdots & r_{n n} \end{array}\right)\left(\begin{array}{c} c \\ x_{2} \\ \vdots \\ x_{n} \end{array}\right)\right) \\ =\square \exp (x_{2}, \cdots, x_{n}的二次式) \end{array} fX~X1(x2,,xnc)=exp21(c,x2,,xn)r11r21rn1r12r22rn2r1nr2nrnncx2xn=exp(x2,,xn)
    通过类似证明,反复应用该结论,就可证明所有由剩余向量组成的条件分布都是多元正态分布。引入n=3的例子来看看直观理解,当n=3时,三元正态分布的概率密度函数的等值面是椭圆体,截面上就是椭圆,也就是二元正态分布,示意图如下:
    在这里插入图片描述


    如果要计算条件分布的期望值向量与协方差矩阵的值,应用如下通用结论即可。对于这样的分布:
    ( X Y ) ∼ N ( ( μ μ ) , ( 甲 乙 乙 T 丁 ) ) \left(\begin{array}{l} X \\ Y \end{array}\right) \sim \mathrm{N}\left(\left(\begin{array}{l} \mu \\ \mu \end{array}\right),\left(\begin{array}{ll} 甲 & 乙 \\ 乙^{T} & 丁 \end{array}\right)\right) (XY)N((μμ),(T))
    如果给定X=c,Y的条件分布为 N ( ν ~ , W ~ ) \mathrm{N}(\tilde{\boldsymbol{\nu}}, \tilde{W}) N(ν~,W~),其中:
    ν ~ ≡ ν + 乙 T 甲 − 1 ( c − μ ) W ~ ≡ 丁 − 乙 T 甲 − 1 乙 \begin{aligned} \tilde{\nu} & \equiv \nu+乙^{T} 甲^{-1}(c-\mu) \\ \tilde{W} & \equiv 丁-乙^{T} 甲^{-1} 乙 \end{aligned} ν~W~ν+T1(cμ)T1
    这里的甲乙丁都是矩阵。


    对于第五条性质,可以通过积分计算边缘分布的概率密度函数,通过观察积分可发现,边缘分布其实也是一个多元正态分布。其期望值和协方差矩阵的值很容易就能得到,例如设 X = ( X 1 , X 2 , X 3 , X 4 ) T \boldsymbol{X}=\left(X_{1}, X_{2}, X_{3}, X_{4}\right)^{T} X=(X1,X2,X3,X4)T,且 X ~ = ( X 2 , X 3 , X 4 ) T \boldsymbol{\tilde X}=\left(X_{2}, X_{3}, X_{4}\right)^{T} X~=(X2,X3,X4)T,相应的期望值向量与协方差矩阵如下。
    E [ X ] = ( E [ X 1 ] E [ X 2 ] E [ X 3 ] E [ X 4 ] ) = ( ∗ E [ X ~ ] ) V [ X ] = ( V [ X 1 ] Cov ⁡ [ X 1 , X 2 ] Cov ⁡ [ X 1 , X 3 ] Cov ⁡ [ X 1 , X 4 ] Cov ⁡ [ X 2 , X 1 ] V [ X 2 ] Cov ⁡ [ X 2 , X 3 ] Cov ⁡ [ X 2 , X 4 ] Cov ⁡ [ X 3 , X 1 ] Cov ⁡ [ X 3 , X 2 ] V [ X 3 ] Cov ⁡ [ X 3 , X 4 ] Cov ⁡ [ X 4 , X 1 ] Cov ⁡ [ X 4 , X 2 ] Cov ⁡ [ X 4 , X 3 ] V [ X 4 ] ) = ( ∗ ∗ ∗ ∗ ∗ ∗ V [ X ~ ] ∗ ) \begin{array}{l} \mathrm{E}[\boldsymbol{X}]=\left(\begin{array}{c} \mathrm{E}\left[X_{1}\right] \\ \hline \mathrm{E}\left[X_{2}\right] \\ \mathrm{E}\left[X_{3}\right] \\ \mathrm{E}\left[X_{4}\right] \end{array}\right)=\left(\begin{array}{c} *\\ \hline \\ \mathrm{E}[\tilde{\boldsymbol{X}}]\\ \\ \end{array}\right) \\ \mathrm{V}[\boldsymbol{X}]=\left(\begin{array}{ccc} \mathrm{V}\left[X_{1}\right] & \operatorname{Cov}\left[X_{1}, X_{2}\right] & \operatorname{Cov}\left[X_{1}, X_{3}\right] & \operatorname{Cov}\left[X_{1}, X_{4}\right] \\ \operatorname{Cov}\left[X_{2}, X_{1}\right] & \mathrm{V}\left[X_{2}\right] & \operatorname{Cov}\left[X_{2}, X_{3}\right] & \operatorname{Cov}\left[X_{2}, X_{4}\right] \\ \operatorname{Cov}\left[X_{3}, X_{1}\right] & \operatorname{Cov}\left[X_{3}, X_{2}\right] & \mathrm{V}\left[X_{3}\right] & \operatorname{Cov}\left[X_{3}, X_{4}\right] \\ \operatorname{Cov}\left[X_{4}, X_{1}\right] & \operatorname{Cov}\left[X_{4}, X_{2}\right] & \operatorname{Cov}\left[X_{4}, X_{3}\right] & \mathrm{V}\left[X_{4}\right] \end{array}\right)=\left(\begin{array}{c|ccc} *& * & * & * \\ \hline *\\ *& & \mathrm{V}[\tilde{X}] &\\ * \end{array}\right) \end{array} E[X]=E[X1]E[X2]E[X3]E[X4]=E[X~]V[X]=V[X1]Cov[X2,X1]Cov[X3,X1]Cov[X4,X1]Cov[X1,X2]V[X2]Cov[X3,X2]Cov[X4,X2]Cov[X1,X3]Cov[X2,X3]V[X3]Cov[X4,X3]Cov[X1,X4]Cov[X2,X4]Cov[X3,X4]V[X4]=V[X~]
    如上面公式所示,只需要从E[X]和V[X]中取出相应部分就能得到边缘分布需要的期望值向量和协方差矩阵。从图形的角度解释,椭圆体的投影也是一个椭圆:
    在这里插入图片描述
    只要反复应用上面得到的结论就能证明所有由剩余向量组成的边缘分布都是多元正态分布。多元正态分布中的各个元素都遵从一元正态分布。因为独立的正态分布经过加法运算后仍然是正态分布。但是需要注意,相反推导是不行的,即我们无法仅凭边缘分布就确定联合分布除非随机变量之间相互独立

    展开全文
  • 目录0引言1、函数名2、示例2.1正态分布随机数2.2偏正态分布2.3对数正态分布写在最后的话 0引言 最近在看偏正态分布相关的东西,偏正态分布的定义形式还是挺多样的,在偏态分布及其数字特征(R语言可视化)中我介绍的...

    0引言

    最近在看偏正态分布相关的东西,偏正态分布的定义形式还是挺多样的,在偏态分布及其数字特征(R语言可视化)中我介绍的最初的一种定义。在平时做模型做随机模拟的时候的需要产生随机数来检验自己模型估计的有效性,我们可以通过各种分层表示用已知的分布去近似,也可以通过筛法使用均匀分布去生成、也可以用MCMC去采样。但是最为一个专业的统计软件——R语言肯定是有内置函数或者内置包去做的。大家感兴趣原理的也可以自行打开R函数查看。
    本文的主要目的是介绍R语言内部的产生下面分布的随机数的函数。
    – 一元正态分布随机数
    – 一元偏正态分布随机数
    – 一元对数正态随机数
    – 多元正态分布随机数
    – 多元偏正态分布随机数
    – 多元对数正态随机数

    1、函数名

    对于熟悉R语言的人只有函数名字和包名即可,下面列出具体名字。

    维度分布函数
    一维度正态分布rnormstats
    一维度偏正态分布rsnsn
    一维度对数正态rlnormstats
    多维度正态分布mvrnormMASS
    多维度偏正态分布rmsnsn
    多维度对数正态mvlognormalMethylCapSig

    但是对于很多R小白的科研大佬来说只有一个名字是比较浪费时间的,下面给出具体案例。

    2、示例

    先把该安装的包岸上并且载入,后面有备注大家按需安装载入。

    install.packages("MethylCapSig")  # 多元对数正态包
    install.packages("MASS")  # 多元正态分布包
    install.packages("sn")  # 偏态数据包
    library(MASS)
    library(sn)
    library(MethylCapSig)
    

    2.1正态分布随机数

    这块介绍如何生成一元和多元的正态分布随机数。生成正态分布的随机数的函数是rnorm,多元正态随机数用mvrnorm

    #生成n个均值0标准差1的正态随机数
    > n = 10
    > rnorm(n, mean = 0, sd = 1)
     [1]  0.6035027 -0.9081701  1.5303255  0.3761588 -1.6406858 -1.5728766
     [7] -1.6586157  0.8287051  1.7688131  1.1472097
    
    mvrnorm(n = 1, mu, Sigma, tol = 1e-6, empirical = FALSE, EISPACK = FALSE)
    # 生成均值为mu,协方差矩阵为Sigma的10次观测的多元正态随机数
    > mu <- rep(0, 2)
    > mu
    [1] 0 0
    > Sigma <- matrix(c(5,1,1,2),2,2)
    > Sigma
         [,1] [,2]
    [1,]    5    1
    [2,]    1    2
    > mvrnorm(n, mu, Sigma)
                [,1]       [,2]
     [1,]  0.3458454  0.3552218
     [2,] -4.9145503 -2.2932391
     [3,]  2.3285543  1.7957570
     [4,]  2.6422543  1.4493042
     [5,] -2.0447422 -0.5195390
     [6,] -0.5682730 -0.1557601
     [7,] -0.0560933  0.6941458
     [8,]  3.5873361  2.1324344
     [9,] -0.3522617 -1.0535145
    [10,]  1.9490186 -1.7155158
    

    2.2偏正态分布

    这块介绍如何生成一元和多元的偏正态分布随机数。生成偏正态分布的随机数的函数是rsn,多元正态用rmsn

    rsn(n=1, xi=0, omega=1, alpha=0, tau=0,  dp=NULL)
    # 生成10个位置参数为5,标准差为2,偏度为5的一元偏正态分布
    > n = 10
    > rsn(n, 5, 2, 5)
     [1] 6.366628 4.622272 4.973537 5.716082 6.438601 7.489781 5.034990 5.762948
     [9] 9.547775 8.470482
    attr(,"family")
    [1] "SN"
    attr(,"parameters")
    [1] 5 2 5 0
    
    rmsn(n=1, xi=rep(0,length(alpha)), Omega, alpha,  tau=0, dp=NULL)
    # 生成多元偏态分布,均值向量xi,协方差矩阵,偏度向量 alpha
    > xi <- c(0, 0)
    > xi
    [1] 0 0
    > Omega <- matrix(c(5,1,1,2),2,2)
    > Omega
         [,1] [,2]
    [1,]    5    1
    [2,]    1    2
    > alpha <- c(2,-2)
    > alpha
    [1]  2 -2
    > rmsn(10, xi, Omega, alpha)
                 [,1]       [,2]
     [1,] -0.65320266  0.6861521
     [2,]  1.37481687 -0.1659318
     [3,]  3.14522100  0.4529551
     [4,] -0.07057607 -0.6608571
     [5,] -2.68493331 -2.9035422
     [6,]  2.19216656  0.7597699
     [7,]  1.50244323  0.7730602
     [8,] -1.81347772 -1.4717120
     [9,] -0.56875748 -0.8176260
    [10,]  0.88476306 -0.3663496
    attr(,"family")
    [1] "SN"
    attr(,"parameters")
    attr(,"parameters")$xi
    [1] 0 0
    
    attr(,"parameters")$Omega
         [,1] [,2]
    [1,]    5    1
    [2,]    1    2
    
    attr(,"parameters")$alpha
    [1]  2 -2
    
    attr(,"parameters")$tau
    [1] 0
    

    2.3对数正态分布

    这块介绍如何生成一元和多元的对数正态分布随机数。生成对数正态分布的随机数的函数是rlnorm,多元对数正态用mvlognormal

    生成10个对数均值为0,对数标准差为1的对数随机数。
    > n = 10
    > rlnorm(n, meanlog = 0, sdlog = 1)
     [1] 1.5638173 0.7085567 0.9552697 0.7990129 0.3913724 2.3829746 2.7009141
     [8] 2.3251721 4.7090633 0.5284348
    
    mvlognormal(n, Mu, Sigma, R)
    # 生成10个 5维度的多元对数正态分布
    > n = 10
    > p = 5
    > Mu = runif(p, 0, 1)
    > mvlognormal(n, Mu, Sigma = rep(2, p), R = toeplitz(0.5^(0:(p-1))))
                [,1]       [,2]       [,3]       [,4]       [,5]
     [1,] 0.19001058 1.03046394 0.96453695 0.82259809 0.15816013
     [2,] 0.17443047 0.06155735 0.37621382 0.33498919 0.27119953
     [3,] 0.34553546 0.28509934 0.29120016 0.04141813 0.22553617
     [4,] 0.11498941 0.35994614 0.23380755 0.15672124 0.04621199
     [5,] 0.32452033 0.11553876 0.55283657 0.26637357 0.11062302
     [6,] 0.04953786 0.16264098 1.75032911 6.34862167 1.38340544
     [7,] 0.32886451 0.30378793 0.02375825 0.02375620 0.89213319
     [8,] 0.16846539 0.03653899 0.11298382 0.22751003 0.09530435
     [9,] 0.07762988 0.31748557 0.05862739 0.03529833 0.12301490
    [10,] 0.18367711 2.58261427 0.03078996 0.01153906 0.07951331
    > 
    

    写在最后的话

    希望可以帮助大家学习R语言。水平有限发现错误还望及时评论区指正,您的意见和批评是我不断前进的动力。

    展开全文
  • 贝叶斯神经网络中,正态分布常用作变分分布和先验分布。 KL散度为: 详细推导-VAE中的例子 两个多变量高斯分布之间的KL散度是变分自编码中损失函数推导的重要步骤 结果的第一项: ...
  • 多元正态分布多元统计分析中所占的重要地位,如同一元统计分析中一元正态分布所占的重要地位一样,多元统计分析中的许多重要理论和方法都是直接或间接建立在正态分布的基础上,多元正态分布多元统计分析的基础,...
  • 二元正态分布多元正态分布

    千次阅读 2019-06-19 19:45:27
    对于两个随机变量 XXX, YYY,若它们服从二维正态分布,则概率密度函数为: f(x,y)=12πσXσY1−ρ2exp⁡(−11−ρ2[(x−μX)2σX+(y−μY)2σY−2ρ(x−μX)(y−μY)σXσY]) f(x,y)=\frac{1}{2\pi \sigma_X\sigma_...
  • 多元正态分布的四种定义

    千次阅读 2020-10-21 16:12:49
    除标准定义外,还可以用特征函数、充要性质和标准正态分布性质来定义。 一、标准定义 若ppp维随机向量X=(X1,X2,…,Xp)′X=(X_1,X_2,…,X_p)'X=(X1​,X2​,…,Xp​)′的概率密度函数为KaTeX parse error: Invalid ...
  • 计算标准正态分布,在scipy库 中有专门的函数进行计算,如: s = scipy.stats.norm().cdf(1) print(s) #0.8413447460685429 也可以通过Taylor展开进行: def Taylor(t,n=50): ''' :param t: 积分上限 :param n:...
  • R语言生成多元正态分布代码

    千次阅读 2021-03-26 19:10:38
    library(MASS) #加载MASS包 mean<-c(2, 1, 3) #指定均值向量 sigma<-matrix(c(1, 0,0, 0, 1, 0, 0, 0, 1), nrow=3, ...- mvrnorm(1000, mean, sigma) #生成1000个三元正态分布的随机数:1000行乘以3列的 ...
  • 多元正态分布初识

    2021-03-31 22:35:27
    在本科阶段的教材中,往往会有多元正态分布的公式出现,但课堂上都不会重点讲解,而在研究生入学考试中也基本不会考。但在实际应用中,多元的情况却非常常见。 本文通过对多元正态分布的公式进行拆解,来看看它到底...
  • 在前面的章节中,我们介绍了多元随机变量的有关概念,重点围绕着多元随机变量的联合概率、条件与边缘概率分布以及独立...1.再谈相关性:基于多元正态分布很简单,我们举一个例子,之前我们介绍过随机变量的正态分布...
  • 本文讨论了多元正态分布的定义,重点讨论多元正态分布的独立性、回归与最佳预测等问题。
  • 多元正态分布

    2018-12-27 00:06:00
    随即变量概率分布  我们将p个随机变量X1,X2,X3...Xp整体称为p维随机向量,记为X=(X1,X2,X3....Xp)' 。  我们可以将X理解为一个p维欧式空间中的一个向量。  其概率分布参照一维随机变量即可  离散型随机...
  • 多元正态分布 1.1多元分布的基本概念 随机变量 假定所讨论的是多个变量的总体,所研究的数据是同时观测p 个指标(即变量),进行了n 次观测得到的,我们把这p 个指标表示为X1,X2,…,Xp,常用向量X =(X1,X2,...
  • R语言:多元正态分布的检验

    千次阅读 2020-04-24 21:46:25
    多元正态分布的检验多元正态分布mshapiro.test {mvnormtest}mvn {MVN} 多元正态分布 转自个人微信公众号【Memo_Cleon】的统计学习笔记:多元正态分布检验的R实现方法。 多元正态分布也称多元高斯分布。如同正态分布...
  • 本节目录正态分布和相关定义一元正态分布的性质多元正态分布的性质正态分布和相关定义首先是一个重要的积分, 即泊松积分, 它在求有关正态分布的一些量时往往有强大的作用. 引理4.1.1 设 , , 则 注记 (1). 特别地, 令...
  • 二,设为p维随机向量 ,则X服从p元正态分布的充要条件是:存在一个p元标准正态分布,向量以及一个m*n矩阵A,满足 (这是根据定义给出的性质,X由相互独立的标准随机向量的线性组合所构成) 三,由特.
  • 正态分布(Normal distribution)又成为高斯分布(Gaussian distribution)若随机变量X服从一个数学期望为...我们通常所说的标准正态分布是的正态分布:概率密度函数代码实现:# Python实现正态分布# 绘制正态分布概...
  • 均匀分布生成标准正态分布 python

    万次阅读 2016-01-20 15:01:38
    三种由(0,1)均匀分布构造标准正态分布随机变量的方法: Box–Muller算法 ,中心极限定理和Kinderman and Monahan method。
  • 第二章、多元正态分布及参数估计这一讲主要是给出概率论中若干概念向高维的推广2.1随机向量一、随机向量的联合分布、边缘分布和条件分布1、多元数据 维随机向量: ,其中每个 都是随机变量随机矩阵: ,其中每个 都...
  • 多元正态分布最大似然估计

    千次阅读 2020-09-15 12:48:15
    ( 它的每个元素服从独立标准正态分布),向量 及 矩阵A满足 存在 和一个对称半正定阵 满足X的特征函数 如果 是非奇异的,那么该分布 可以由以下的PDF来描述: 注意这里的 表示协方差矩阵的行列式。 多元正态分布...
  • 本片博文介绍多元正态分布,我们以nn维随机变量为主,但给出n=2n=2时二元情况的一些实例。与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号。考虑随机向量Z=(Z1,…,Zn)′\...
  • Matlab正态分布性检验

    2021-04-18 05:25:10
    进行参数估计和假设检验时,通常总是假定总体服从正态分布,虽然在许多情况下这个假定是合理的,但是当要以此为前提进行重要的参数估计或假设检验,或者人们对它有较大怀疑的时候,就确有必要对这个假设进行检验,...
  • 多元正态分布的性质和定理

    千次阅读 2018-04-11 22:38:56
    多元高斯分布 向量随机变量X=[X1...Xn]TX=[X1...Xn]TX= [X_1 ... X_n]^T服从多元高斯分布,均值为μ∈Rnμ∈Rn\mu \in R^n(这里μμ\mu是一个n维向量),协方差矩阵为Σ∈S++nΣ∈S++n\Sigma \in {S_{++}}^n ,(S++...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,363
精华内容 2,545
关键字:

多元标准正态分布