精华内容
下载资源
问答
  • 向量高斯分布
    2021-09-26 16:34:27

    高斯随机向量的分布函数

    x 1 ∼ N ( μ 1 , σ 1 2 ) , x 2 ∼ N ( μ 2 , σ 2 2 ) , x 1 , x 2 独 立 x_1\sim N(\mu_1,\sigma_1^2),x_2\sim N(\mu_2,\sigma_2^2),x_1,x_2 \color{red} 独立 x1N(μ1,σ12),x2N(μ2,σ22),x1,x2
    p ( x 1 , x 2 ) = 1 2 π σ 1 2 σ 2 2 e x p ( − 1 2 ( ( x 1 − μ 1 ) 2 σ 1 2 + ( x 2 − μ 2 ) 2 σ 2 2 ) ) p(x_1,x_2)=\frac{1}{2\pi \sqrt{\sigma_1^2\sigma_2^2}}exp(-\frac{1}{2}{(\frac{(x_1-\mu_1)^2}{\sigma_1^2}+\frac{(x_2-\mu_2)^2}{\sigma_2^2})}) p(x1,x2)=2πσ12σ22 1exp(21(σ12(x1μ1)2+σ22(x2μ2)2))

    令 x = [ x 1 x 2 ] , μ = [ μ 1 μ 2 ] , ∑ = [ σ 1 2 0 0 σ 2 2 ] 令x=\begin{bmatrix}x_1\\x_2\end{bmatrix},\mu=\begin{bmatrix}\mu_1\\\mu_2\end{bmatrix},\sum =\begin{bmatrix}\sigma_1^2&0\\0&\sigma_2^2\end{bmatrix} x=[x1x2],μ=[μ1μ2],=[σ1200σ22]

    p ( x 1 , x 2 ) = 1 2 π ∣ ∑ ∣ e x p ( − 1 2 ( x − μ ) T ∑ − 1 ( x − μ ) ) p(x_1,x_2)=\frac{1}{2\pi \sqrt{|\sum|}}exp(-\frac{1}{2}{(x-\mu)^T\sum^{-1}(x-\mu)}) p(x1,x2)=2π 1exp(21(xμ)T1(xμ))

    x 1 ∼ N ( μ 1 , σ 1 2 ) , x 2 ∼ N ( μ 2 , σ 2 2 ) , x 1 , x 2 相 关 x_1\sim N(\mu_1,\sigma_1^2),x_2\sim N(\mu_2,\sigma_2^2),x_1,x_2 \color{red} 相关 x1N(μ1,σ12),x2N(μ2,σ22),x1,x2
    p ( x 1 , x 2 ) = 1 2 π σ 1 σ 2 1 − ρ 2 e x p ( − 1 2 ( 1 − ρ 2 ) ( ( x 1 − μ 1 ) 2 σ 1 2 − 2 ρ ( x − μ 1 ) ( x − μ 2 ) σ 1 σ 2 + ( x 2 − μ 2 ) 2 σ 2 2 ) ) p(x_1,x_2)=\frac{1}{2\pi \sigma_1\sigma_2\sqrt{1-\rho^2}}exp(-\frac{1}{2(1-\rho^2)}{(\frac{(x_1-\mu_1)^2}{\sigma_1^2}-2\frac{\rho(x-\mu_1)(x-\mu_2)}{\sigma_1\sigma_2}+\frac{(x_2-\mu_2)^2}{\sigma_2^2})}) p(x1,x2)=2πσ1σ21ρ2 1exp(2(1ρ2)1(σ12(x1μ1)22σ1σ2ρ(xμ1)(xμ2)+σ22(x2μ2)2))

    令 x = [ x 1 x 2 ] , μ = [ μ 1 μ 2 ] , C = [ σ 1 2 c o v ( x 1 , x 2 ) c o v ( x 2 , x 1 ) σ 2 2 ] 令x=\begin{bmatrix}x_1\\x_2\end{bmatrix},\mu=\begin{bmatrix}\mu_1\\\mu_2\end{bmatrix},C=\begin{bmatrix}\sigma_1^2&cov(x_1,x_2 )\\cov(x_2,x_1 )&\sigma_2^2\end{bmatrix} x=[x1x2],μ=[μ1μ2],C=[σ12cov(x2,x1)cov(x1,x2)σ22]

    p ( x 1 , x 2 ) = 1 2 π ∣ C ∣ e x p ( − 1 2 ( x − μ ) T C − 1 ( x − μ ) ) p(x_1,x_2)=\frac{1}{2\pi \sqrt{|C|}}exp(-\frac{1}{2}{(x-\mu)^TC^{-1}(x-\mu)}) p(x1,x2)=2πC 1exp(21(xμ)TC1(xμ))
    C 为 协 方 差 矩 阵 , ρ 为 相 关 系 数 C为协方差矩阵,\rho 为相关系数 Cρ

    更多相关内容
  • 生成一个大小为 n 的伪随机向量 X,X 是从 RANGE 中截断的高斯分布中抽取的; 并且满足 std(X)=sigma。 RANGE 的形式为 [left,right],定义 X 所属的刹车。 对于标量输入范围,刹车是 [-RANGE,RANGE]。 如果输入 ...
  • 数学基础--高斯分布

    千次阅读 2019-02-25 16:28:19
    关于协方差矩阵在机器学习中的理解 高斯分布 参考资料 参考资料

    一、简介

     高斯分布是一种重要的模型,也被称作正态分布,其广泛应用与连续型随机变量的分布中。在数据分析领域中高斯分布占有重要地位。掌握高斯分布是学习数据分析的重要基础,下面就结合理论公式和其几何图形来阐述。
     高斯分布会在许多问题中产生。例如,对于一个一元实值向量,使熵取得最大值的是高斯分布;中心极限定理告诉我们:一组随机变量之和的概率分布随着和式中项的数量的增加而逐渐趋向于高斯分布。如果有N个均匀分布在区间 [ 0 , 1 ] [0,1] [0,1]的变量 x 1 , x 2 , . . . , x N x_1,x_2,...,x_N x1,x2,...,xN,其均值 1 N ∑ i = 1 i = N x i \frac{1}{N}\sum_{i=1}^{i=N}x_i N1i=1i=Nxi的分布,对于N很大时,这个分布趋向于高斯分布,当N增大时,其均值的分布如下图(图片来源于:《模式识别与机器学习》)所示。
    在这里插入图片描述

    二 、一元高斯分布

     若随机变量 X X X服从均值为 μ \mu μ,方差为 σ 2 \sigma^2 σ2的高斯分布,那么:
    f ( x ; μ , σ ) = 1 σ ( 2 π ) 1 2 e x p ( − ( x − μ ) 2 2 σ 2 ) f(x;\mu,\sigma)= \dfrac{1}{\sigma(2\pi)^{\frac{1}{2}}}exp(-\dfrac{(x-\mu)^2}{2\sigma^2}) f(x;μ,σ)=σ(2π)211exp(2σ2(xμ)2)
     高斯分布的图形像钟一样,下图展示了一般正态分布的图形。其中 μ = 0 , σ = 1 \mu=0,\sigma=1 μ=0,σ=1

    在这里插入图片描述

     对于一个非标准的正态分布,可以由标准正态分布经过以下3步变换得到:

    1. 将x向右移动u个单位
    2. 将密度函数x轴延展sigma倍
    3. 将函数密度图像y轴压缩 σ \sigma σ

     如果 X X X服从分布, X ∼ N ( μ , σ 2 ) X\thicksim N(\mu,\sigma^2) XN(μ,σ2),那么具有以下的性质:

    1. 如果 a , b a,b a,b是实数,那么 a X + b ∼ N ( a μ + b , ( a σ ) 2 ) aX+b\thicksim N(a\mu+b,(a\sigma)^2) aX+bN(aμ+b,(aσ)2)
    2. 如果 Y ∼ N ( μ y , σ y 2 ) Y\thicksim N(\mu_y,\sigma_y^2) YN(μy,σy2), X ∼ N ( μ x , σ x 2 ) X\thicksim N(\mu_x,\sigma_x^2) XN(μx,σx2),且 X , Y X,Y X,Y相互独立,那么 X + Y ∼ N ( μ x + μ y , σ x 2 + σ y 2 ) X+Y\thicksim N(\mu_x+\mu_y,\sigma_x^2+\sigma_y^2) X+YN(μx+μy,σx2+σy2), X − Y ∼ N ( μ x − μ y , σ x 2 + σ y 2 ) X-Y\thicksim N(\mu_x-\mu_y,\sigma_x^2+\sigma_y^2) XYN(μxμy,σx2+σy2)
    3. 如果 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn为独立标准正态分布,那么 X 1 2 + X 2 2 + . . . + X n 2 X_1^2+X_2^2+...+X_n^2 X12+X22+...+Xn2服从自由度为n的卡方分布。

    三、多元高斯分布

    1、独立多元高斯分布

      假设 n n n个变量 x = [ x 1 , x 2 , . . . , x n ] T \boldsymbol{x}=[x_1,x_2,...,x_n]^T x=[x1,x2,...,xn]T相互独立,且服从高斯分布,各个维度的均值 E ( x ) = [ u 1 , u 2 , . . . , u n ] T E(\boldsymbol{x})=[u_1,u_2,...,u_n]^T E(x)=[u1,u2,...,un]T ,方差 σ ( x ) = [ σ 1 , σ 2 , . . . , σ n ] T \sigma(\boldsymbol{x})=[\sigma_1,\sigma_2,...,\sigma_n]^T σ(x)=[σ1,σ2,...,σn]T,根据联合概率密度公式有:
    f ( x ) = p ( x 1 , x 2 , . . . , x n ) = p ( x 1 ) p ( x 2 ) . . . p ( x n ) = 1 ( 2 π ) n σ 1 σ 2 . . . σ n e − ( x 1 − u 1 ) 2 2 σ 1 2 − ( x 2 − u 2 ) 2 2 σ 2 2 . . . − ( x n − u n ) 2 2 σ n 2 f(\boldsymbol{x})=p(x_1,x_2,...,x_n)=p(x_1)p(x_2)...p(x_n)=\dfrac{1}{(\sqrt{2\pi})^n\sigma_1\sigma_2...\sigma_n} e^{-\frac{(x_1-u_1)^2}{2\sigma_1^2}-\frac{(x_2-u_2)^2}{2\sigma_2^2}...-\frac{(x_n-u_n)^2}{2\sigma_n^2}} f(x)=p(x1,x2,...,xn)=p(x1)p(x2)...p(xn)=(2π )nσ1σ2...σn1e2σ12(x1u1)22σ22(x2u2)2...2σn2(xnun)2
      如果我们令:
    z 2 = ( x 1 − u 1 ) 2 2 σ 1 2 + ( x 2 − u 2 ) 2 2 σ 2 2 . . . + ( x n − u n ) 2 2 σ n 2 ,         σ z = σ 1 σ 2 . . . σ n z^2=\frac{(x_1-u_1)^2}{2\sigma_1^2}+\frac{(x_2-u_2)^2}{2\sigma_2^2}...+\frac{(x_n-u_n)^2}{2\sigma_n^2} , \space\space\space\space\space\space\space\sigma_z=\sigma_1\sigma_2...\sigma_n z2=2σ12(x1u1)2+2σ22(x2u2)2...+2σn2(xnun)2,       σz=σ1σ2...σn
      我们有:
    f ( z ) = 1 ( 2 π ) n 2 σ z e − z 2 f(z)= \dfrac{1}{(2\pi)^{\frac{n}{2}}\sigma_z}e^{-z^2} f(z)=(2π)2nσz1ez2
      使用矩阵的形式来表示的话,则有:
    z 2 = [ x 1 − u 1 , x 2 − u 2 , . . . , x n − u n ] [ σ 1 − 2 0 0 . . . 0 0 σ 2 − 2 0 . . . 0 . . . . . . . . . . . . . . . . . . . . . 0 0 0 . . . σ n − 2 ] [ x 1 − u 1 , x 2 − u 2 , . . . , x n − u n ] T z^2=[x_1-u_1,x_2-u_2,...,x_n-u_n] \begin{bmatrix}\sigma_1^{-2} & 0 &0 &...& 0 \\ 0 & \sigma_2^{-2} & 0 & ...&0 \\ .&.&.&...&.\\.&.&.&...&.\\.&.&.&...&.\\0&0&0&...&\sigma_n^{-2} \end{bmatrix} [x_1-u_1,x_2-u_2,...,x_n-u_n]^T z2=[x1u1,x2u2,...,xnun]σ120...00σ22...000...0..................00...σn2[x1u1,x2u2,...,xnun]T
      定义符号:
    x − u x = [ x 1 − u 1 , x 2 − u 2 , . . . , x n − u n ] T \boldsymbol{x-u_x} = [x_1-u_1,x_2-u_2,...,x_n-u_n]^T xux=[x1u1,x2u2,...,xnun]T

    Σ = [ σ 1 2 0 0 . . . 0 0 σ 2 2 0 . . . 0 . . . . . . . . . . . . . . . . . . . . . 0 0 0 . . . σ n 2 ] \boldsymbol\Sigma= \begin{bmatrix}\sigma_1^{2} & 0 &0 &...& 0 \\ 0 & \sigma_2^{2} & 0 & ...&0 \\ .&.&.&...&.\\.&.&.&...&.\\.&.&.&...&.\\0&0&0&...&\sigma_n^{2} \end{bmatrix} Σ=σ120...00σ22...000...0..................00...σn2
    σ z = ∣ Σ ∣ 1 2 \sigma_z=| \boldsymbol\Sigma|^{\frac{1}{2}} σz=Σ21

      变量代换可得:
    f ( z ) = 1 ( 2 π ) n 2 σ z e − z 2 = 1 ( 2 π ) n 2 ∣ Σ ∣ 1 2 e ( x − u x ) T ( Σ ) − 1 ( x − u x ) f(z)= \dfrac{1}{(2\pi)^{\frac{n}{2}}\sigma_z}e^{-z^2}= \dfrac{1}{(2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}}e^{\boldsymbol{(x-u_x)^T} (\boldsymbol\Sigma)^{-1} \boldsymbol{(x-u_x)}} f(z)=(2π)2nσz1ez2=(2π)2nΣ211e(xux)T(Σ)1(xux)
    下面以 x = [ x 1 , x 2 ] \boldsymbol x=[x_1,x_2] x=[x1,x2] 为例,画出二元高斯分布在变量之间相互独立的图像:

    1.  当 u = [ 0 , 0 ] Σ = [ 5 0 0 5 ] \boldsymbol u=[0,0] \boldsymbol\Sigma=\begin{bmatrix}5&0 \\ 0 &5\end{bmatrix} u=[0,0]Σ=[5005]时:

      在这里插入图片描述

    2.  当 u = [ 0 , 0 ] Σ = [ 1 0 0 1 ] \boldsymbol u=[0,0] \boldsymbol\Sigma=\begin{bmatrix}1&0 \\ 0 &1\end{bmatrix} u=[0,0]Σ=[1001]时:


      在这里插入图片描述

    3.  当 u = [ 0 , 0 ] Σ = [ 5 0 0 1 ] \boldsymbol u=[0,0] \boldsymbol\Sigma=\begin{bmatrix}5&0 \\ 0 &1\end{bmatrix} u=[0,0]Σ=[5001]时:

      在这里插入图片描述

      1.  当 u = [ 0 , 0 ] Σ = [ 1 0 0 5 ] \boldsymbol u=[0,0] \boldsymbol\Sigma=\begin{bmatrix}1&0 \\ 0 &5\end{bmatrix} u=[0,0]Σ=[1005]时:
        在这里插入图片描述

     由上图可以看出,当变量之间相互独立的时候:

    1. 当协方差矩阵的特征值越小时,分布函数图像越高越尖。
    2. 当协方差矩阵的特征值相等时,分布函数图像在X1,X2面上的投影是圆形的。当特征值不相等时,分布函数图像在X1,X2面上的投影是椭圆形的,X1,X2相互独立时,椭圆的长轴和短轴平行与坐标轴。且变量对应的特征值越大,该变量分布的范围越分散,在二元高斯分布中,对应特征值大的变量在函数投影图像中对应的是椭圆的长轴。高维的高斯分布情况可以按照这个规律进行推广。

    2、多元相关变量高斯分布

     当变量之间存在相关关系的时候,协方差矩阵不再是对角阵,而是一个对称的矩阵,矩阵的每个元素 σ i j 2 \sigma_{ij}^2 σij2表示变量 i , j i,j i,j的协方差。

    1.  当 u = [ 0 , 0 ] Σ = [ 5 1 1 1 ] \boldsymbol u=[0,0] \boldsymbol\Sigma=\begin{bmatrix}5&1 \\ 1&1\end{bmatrix} u=[0,0]Σ=[5111]时:
      在这里插入图片描述
    2.  当 u = [ 0 , 0 ] Σ = [ 1 2 2 5 ] \boldsymbol u=[0,0] \boldsymbol\Sigma=\begin{bmatrix}1&2 \\ 2 &5\end{bmatrix} u=[0,0]Σ=[1225]时:
      在这里插入图片描述

     从上面2个图像中可以看出,变量之间具有相关关系时,与变量之间相互独立最大的区别是,投影面的椭圆长短轴不再平行与坐标轴。
     如果我们将坐标轴X1,X2旋转一下,与椭圆的长短轴平行,如下图所示:

    在这里插入图片描述

     由独立变量的二元高斯分布知,那么在新的坐标系下, x 1 ′ , x 2 ′ x_1',x_2' x1,x2是相互独立的。上述过程称作为去相关性,这也是经典的降维方法主成分分析PCA的基础。以下是新坐标系的求解和原坐标系上的点在新坐标系下的坐标数学表达。
     根据协方差矩阵的特征方程求解协方差矩阵的单位正交特征向量(先求出特征向量,再进行正交化与单位化),
    Σ u i = λ i μ i \boldsymbol\Sigma u_i = \lambda_i\mu_i Σui=λiμi
      假设上式中 μ i = [ u i 1 , u i 2 ] T \mu_i=[u_{i1},u_{i2}]^T μi=[ui1,ui2]T已经被单位正交化,以二维高斯分布为例
    U = [ u 11 u 21 u 12 u 22 ] \boldsymbol U=\begin{bmatrix}u_{11}&u_{21} \\ u_{12} &u_{22}\end{bmatrix} U=[u11u12u21u22]
     新坐标系的坐标轴为 μ 1 = [ u 11 , u 12 ] T \mu_1=[u_{11},u_{12}]^T μ1=[u11,u12]T μ 2 = [ u 21 , u 22 ] T \mu_2=[u_{21},u_{22}]^T μ2=[u21,u22]T
     新坐标系下,原坐标下下点的坐标为:
    [ x 1 ′ x 2 ′ ] = U [ x 1 x 2 ] = [ u 11 u 21 u 12 u 22 ] [ x 1 x 2 ] \begin{bmatrix}x_1'\\x_2'\end{bmatrix} = \boldsymbol U\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}u_{11}&u_{21} \\ u_{12} &u_{22}\end{bmatrix} \begin{bmatrix}x_1\\x_2\end{bmatrix} [x1x2]=U[x1x2]=[u11u12u21u22][x1x2]
    此时 x 1 ′ , x 2 ′ x_1',x_2' x1,x2之间没有相关关系。

    展开全文
  • 正态分布 高斯分布(数学)

    千次阅读 2020-04-26 20:57:49
    正态分布(Normal distribution),也称高斯分布(Gaussian distribution) 目录 [隐藏] 1什么是正态分布 2正态分布的发展 3正态分布的主要特征 4正态分布的应用 5数据正态分布检验 Q-Q...

    正态分布(Normal distribution),也称高斯分布(Gaussian distribution)

    目录

    [隐藏]

    [编辑]

    什么是正态分布

      正态分布是一种概率分布。正态分布是具有两个参数μ和σ2的连续型随机变量的分布,第一参数μ是遵从正态分布的随机变量的均值,第二个参数σ2是此随机变量的方差,所以正态分布记作N(μ,σ2 )。遵从正态分布的随机变量的概率规律为取 μ邻近的值的概率大 ,而取离μ越远的值的概率越小;σ越小,分布越集中在μ附近,σ越大,分布越分散。正态分布的密度函数的特点是:关于μ对称,在μ处达到最大值,在正(负)无穷远处取值为0,在μ±σ处有拐点。它的形状是中间高两边低 ,图像是一条位于x 轴上方的钟形曲线。当μ=0,σ2 =1时,称为标准正态分布,记为N(0,1)。μ维随机向量具有类似的概率规律时,称此随机向量遵从多维正态分布。多元正态分布有很好的性质,例如,多元正态分布的边缘分布仍为正态分布,它经任何线性变换得到的随机向量仍为多维正态分布,特别它的线性组合为一元正态分布。

    [编辑]

    正态分布的发展

      正态分布是最重要的一种概率分布。正态分布概念是由德国的数学家和天文学家Moivre于1733年首次提出的,但由于德国数学家Gauss率先将其应用于天文学家研究,故正态分布又叫高斯分布。高斯这项工作对后世的影响极大,他使正态分布同时有了“高斯分布”的名称,后世之所以多将最小二乘法发明权归之于他,也是出于这一工作。高斯是一个伟大的数学家,重要的贡献不胜枚举。但现今德国10马克的印有高斯头像的钞票,其上还印有正态分布的密度曲线。这传达了一种想法:在高斯的一切科学贡献中,其对人类文明影响最大者,就是这一项。在高斯刚作出这个发现之初,也许人们还只能从其理论的简化上来评价其优越性,其全部影响还不能充分看出来。这要到20世纪正态小样本理论充分发展起来以后。皮埃尔-西蒙·拉普拉斯很快得知高斯的工作,并马上将其与他发现的中心极限定理联系起来,为此,他在即将发表的一篇文章(发表于1810年)上加上了一点补充,指出如若误差可看成许多量的叠加,根据他的中心极限定理,误差理应有高斯分布。这是历史上第一次提到所谓“元误差学说”——误差是由大量的、由种种原因产生的元误差叠加而成。后来到1837年,海根(G.Hagen)在一篇论文中正式提出了这个学说。

      其实,他提出的形式有相当大的局限性:海根把误差设想成个数很多的、独立同分布的“元误差” 之和,每只取两值,其概率都是1/2,由此出发,按狄莫佛的中心极限定理,立即就得出误差(近似地)服从正态分布。皮埃尔-西蒙·拉普拉斯所指出的这一点有重大的意义,在于他给误差的正态理论一个更自然合理、更令人信服的解释。因为,高斯的说法有一点循环论证的气味:由于算术平均是优良的,推出误差必须服从正态分布;反过来,由后一结论又推出算术平均及最小二乘估计的优良性,故必须认定这二者之一(算术平均的优良性,误差的正态性) 为出发点。但算术平均到底并没有自行成立的理由,以它作为理论中一个预设的出发点,终觉有其不足之处。拉普拉斯的理把这断裂的一环连接起来,使之成为一个和谐的整体,实有着极重大的意义。

    [编辑]

    正态分布的主要特征

      1、集中性:正态曲线的高峰位于正中央,即均数所在的位置。

      2、对称性:正态曲线以均数为中心,左右对称,曲线两端永远不与横轴相交。

      3、均匀变动性:正态曲线由均数所在处开始,分别向左右两侧逐渐均匀下降。

      4、正态分布有两个参数,即均数μ和标准差σ,可记作N(μ,σ):均数μ决定正态曲线的中心位置;标准差σ决定正态曲线的陡峭或扁平程度。σ越小,曲线越陡峭;σ越大,曲线越扁平。

      5、u变换:为了便于描述和应用,常将正态变量作数据转换。

    [编辑]

    正态分布的应用

      1.估计正态分布资料的频数分布

      例1.某地1993年抽样调查了100名18岁男大学生身高(cm),其均数=172.70cm,标准差s=4.01cm,

      ①估计该地18岁男大学生身高在168cm以下者占该地18岁男大学生总数的百分数;

      ②分别求\bar{X}\pm 1s\bar{X}\pm 1.96s\bar{X}\pm 2.58s范围内18岁男大学生占该地18岁男大学生总数的实际百分数,并与理论百分数比较。

      本例,μ、σ未知但样本含量n较大,按式u=\frac{X-\mu}{\sigma}用样本均数\bar{X}和标准差S分别代替μ和σ,求得u值,u=(168-172.70)/4.01=-1.17。查附表标准正态曲线下的面积,在表的左侧找到-1.1,表的上方找到0.07,两者相交处为0.1210=12.10%。该地18岁男大学生身高在168cm以下者,约占总数12.10%。其它计算结果见表-1。

      表-1:1100名18岁男大学生身高的实际分布与理论分布

      Image:正态分布13.jpg

      2.制定医学参考值范围:亦称医学正常值范围。它是指所谓“正常人”的解剖、生理、生化等指标的波动范围。制定正常值范围时,首先要确定一批样本含量足够大的 “正常人”,所谓“正常人”不是指“健康人”,而是指排除了影响所研究指标的疾病和有关因素的同质人群;其次需根据研究目的和使用要求选定适当的百分界值,如80%,90%,95%和99%,常用95%;根据指标的实际用途确定单侧或双侧界值,如白细胞计数过高过低皆属不正常须确定双侧界值,又如肝功中转氨酶过高属不正常须确定单侧上界,肺活量过低属不正常须确定单侧下界。另外,还要根据资料的分布特点,选用恰当的计算方法。常用方法有:

      (1)正态分布法:适用于正态或近似正态分布的资料。

      双侧界值:\bar{X}\pm u_aS单侧上界:\bar{X}+u_aS,或单侧下界:\bar{X}-u_aS

      (2)对数正态分布法:适用于对数正态分布资料。

      双侧界值:lg^{-1}(\bar{X}_{lgx}\pm u_{a}S_{lgx});单侧上界:lg^{-1}(\bar{X}_{lgx}+u_{a}S_{lgx}),或单侧下界:lg^{-1}(\bar{X}_{lgx}-u_{a}S_{lgx})

      常用u值可根据要求由表-2查出。

      (3)百分位数法:常用于偏态分布资料以及资料中一端或两端无确切数值的资料。

      双侧界值:P2.5和P97.5;单侧上界:P95,或单侧下界:P5。

      表-2:常用u值表

    参考值范围(%)单侧双侧
    800.8421.282
    901.2821.645
    951.6451.960
    992.3262.576

      3.正态分布是许多统计方法的理论基础:如t分布、F分布、x2分布都是在正态分布的基础上推导出来的,u检验也是以正态分布为基础的。此外,t分布、二项分布Poisson分布的极限为正态分布,在一定条件下,可以按正态分布原理来处理。

    [编辑]

    数据正态分布检验 Q-Q图[1]

      要观察某一属性的一组数据是否符合正态分布,可以有两种方法(目前我知道这两种,并且这两种方法只是直观观察,不是定量的正态分布检验):

      1:在spss(Statistical Package for the Social Sciences,即“社会科学统计软件包”)里的基本统计分析功能里的频数统计功能里有对某个变量各个观测值的频数直方图中可以选择绘制正态曲线。具体如下:Analyze-----Descriptive Statistics-----Frequencies,打开频数统计对话框,在Statistics里可以选择获得各种描述性的统计量,如:均值、方差、分位数、峰度、标准差等各种描述性统计量。在Charts里可以选择显示的图形类型,其中Histograms选项为柱状图也就是我们说的直方图,同时可以选择是否绘制该组数据的正态曲线(With norma curve),这样我们可以直观观察该组数据是否大致符合正态分布。如下图:

      数据正态分布柱状图

      从上图中可以看出,该组数据基本符合正态分布。

      2:正态分布的Q-Q图:在spss里的基本统计分析功能里的探索性分析里面可以通过观察数据的q-q图来判断数据是否服从正态分布。

      具体步骤如下:Analyze-----Descriptive Statistics-----Explore打开对话框,选择Plots选项,选择Normality plots with tests选项,可以绘制该组数据的q-q图。图的横坐标为改变量的观测值,纵坐标为分位数。若该组数据服从正态分布,则图中的点应该靠近图中直线。

      纵坐标为分位数,是根据分布函数公式F(x)=i/n+1得出的.i为把一组数从小到大排序后第i个数据的位置,n为样本容量。若该数组服从正态分布则其q-q图应该与理论的q-q图(也就是图中的直线)基本符合。对于理论的标准正态分布,其q-q图为y=x直线。非标准正态分布的斜率为样本标准差,截距为样本均值。

      如下图:

      spss正态分布Q-Q图

    展开全文
  • 摘要高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理 我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这...

    9ba14cfc6b88873f39ae89e88d01f05a.png

    摘要

    高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理

    我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这使得高斯分布具有普适性的建模能力. 数学上, 当使用高斯分布对贝叶斯推断的似然和先验进行建模时, 得到的后验同样为高斯分布, 即其具有共轭先验性质. 在随机过程理论中, 多元高斯分布则是高斯过程的理论基础. 这种种场景使得高斯分布颇受重视, 并发展出一套成熟完整的理论体系. 本文主要介绍多元高斯分布的由来与其背后的几何原理, 分为如下章节:
    1. 阐述多元标准高斯分布;
    2. 由多元标准高斯分布导出多元高斯分布;
    3. 阐述多元高斯分布的几何意义;
    4. 总结.

    关键词: 多元高斯分布, 高斯过程, 概率论与数理统计, 机器学习

    校对: @叶定南, @Towser, @Syous

    编者按: 评论区中, @Towser 和 @Syous 两位大神对多元高斯分布有非常深刻的见解和讨论.


    多元标准高斯分布

    熟悉一元高斯分布的同学都知道, 若随机变量

    , 则有如下的概率密度函数

    而如果我们对随机变量

    进行标准化, 用
    对(1)进行换元, 继而有

    此时我们说随机变量

    服从一元标准高斯分布, 其均值
    , 方差
    , 其概率密度函数为

    需要注意的是, 为了保证概率密度函数在

    上的积分为1, 换元时需要求
    , 从而得到(3).

    随机变量

    标准化的过程, 实际上的消除量纲影响和分布差异的过程. 通过将随机变量的值减去其均值再除以标准差, 使得随机变量与其均值的差距可以用若干个标准差来衡量, 从而实现了不同随机变量与其对应均值的差距, 可以以一种相对的距离来进行比较.

    一元标准高斯分布与我们讨论多元标准高斯分布有什么关系呢? 事实上, 多元标准高斯分布的概率密度函数正是从(4)导出的. 假设我们有随机向量

    , 其中
    彼此独立, 即随机向量中的每个随机变量
    都服从标准高斯分布且两两彼此独立. 则由(4)与独立随机变量概率密度函数之间的关系, 我们可得随机向量
    的联合概率密度函数为

    我们称随机向量

    , 即随机向量服从均值为零向量, 协方差矩阵为单位矩阵的高斯分布. 在这里, 随机向量
    的协方差矩阵是
    组成的矩阵, 即

    由于随机向量

    , 所以其协方差矩阵的对角线元素为1, 其余元素为0. 如果我们取常数
    , 则可得函数
    的等高线为
    , 当随机向量
    为二维向量时, 我们有

    由(7)我们可知, 其等高线为以(0, 0)为圆心的同心圆.

    1ad1dcaea5173fd2ae3eedb1967b98e4.png
    二元标准高斯分布概率密度函数图

    多元高斯分布

    由上一节我们知道, 当随机向量

    时, 其每个随机变量
    彼此独立, 我们可通过(4)与独立随机变量概率密度函数之间的关系得出其联合概率密度函数(5). 那对于普通的随机向量
    , 即其每个随机变量
    彼此不独立的情况下, 我们该如何求随机向量
    的联合概率密度函数呢? 一个很自然的想法是,
    如果我们能通过线性变换, 使得随机向量
    中的每个随机变量彼此独立, 则我们也可以通过独立随机变量概率密度函数之间的关系求出其联合概率密度函数. 事实上, 我们有如下定理可完成这个工作
    定理1: 若存在随机向量
    , 其中
    为均值向量,
    半正定实对称矩阵为
    的协方差矩阵, 则存在满秩矩阵
    , 使得
    , 而
    .

    有了定理1, 我们就可以对随机向量

    做相应的线性变换, 使其随机变量在线性变换后彼此独立, 从而求出其联合概率密度函数, 具体地

    由多元函数换元变换公式, 我们还需要求出雅可比行列式

    , 由(8)可得

    由(9)(10), 我们可进一步得

    我们得到随机向量

    的联合概率密度函数为

    在(12)中, 随机向量

    的协方差矩阵还未得到体现, 我们可通过线性变换(8)做进一步处理

    我们发现, (12)中

    就是线性变换前的随机向量
    的协方差矩阵
    , 所以由(12)(13), 我们可以得到联合概率密度函数的最终形式

    原本由定理1, 我们还需要求线性变换矩阵

    , 才能确定随机向量
    的联合概率密度函数的表达式, 现在由(13)我们即可得最终形式(14), 随机向量
    的联合概率密度函数由其均值向量
    和其协方差矩阵
    唯一确定, 但我们需要明白的是, 这是通过定理1的线性变换
    得到的, 即此线性变换隐含其中.

    如果我们取常数

    , 则可得函数
    的等高线为
    , 当随机向量
    为二维向量时, 我们对协方差矩阵
    进行分解, 因为其为实对称矩阵, 可正交对角化

    由于矩阵

    是酉矩阵, 所以
    可以理解为将随机向量
    , 均值向量
    在矩阵
    的列向量所组成的单位正交基上进行投影并在该单位正交基上进行相减. 我们不妨记投影后的向量分别为
    , 同时记矩阵
    , 则(15)的二次型可表示为

    由(16)我们可知, 此时函数

    的等高线是在矩阵
    的列向量所组成的单位正交基上的一个椭圆, 椭圆的中心是
    , 长半轴为
    , 短半轴为
    .

    如果协方差矩阵

    不是对角矩阵, 则正交对角化得到的酉矩阵
    不是标准正交基, 其代表一个旋转, 此时的椭圆应该是一个倾斜的椭圆, 随机向量
    中的随机变量不是彼此独立的;

    e63ee1112c3606bc9b968f687b0a5c0a.png
    倾斜椭圆-二元高斯分布概率密度函数图

    如果协方差矩阵

    是对角矩阵, 则正交对角化得到的酉矩阵
    就是标准正交基, 则前述的投影是在标准正交基上完成的, 此时的椭圆应该是一个水平的椭圆, 随机向量
    中的随机变量就是彼此独立的.

    466686462ebca079551c6792f68e1a9a.png
    水平椭圆-二元高斯分布概率密度函数图

    多元高斯分布的几何意义

    现在我们知道, 随机向量

    的联合概率密度函数是通过线性变换
    的帮助, 将随机向量
    的各个随机变量去相关性, 然后利用独立随机变量概率密度函数之间的关系得出的, 亦既是定理1所表述的内容. 那具体地, 线性变化
    是怎么去相关性使随机向量
    的各个随机变量彼此独立的呢? 我们不妨在二维平面上, 再次由定理1和(15)出发来看看这个去相关性的过程.

    由定理1我们有

    再由(15)(17)可得

    由(18)我们已经可以非常明显地看出线性变换

    的具体操作了

    我们先对标准正交基进行拉伸, 横轴和纵轴分别拉伸

    倍, 再使用酉矩阵
    对拉伸后的正交基进行旋转, 最后将去均值的随机向量
    在新的正交基上进行投影, 从而使完成线性变换
    后的随机变量在新的正交基上彼此独立. 值得注意的是, 如果随机向量
    本来就是独立随机变量组成的, 此时其协方差矩阵是一个对角矩阵, 则酉矩阵
    是一个单位矩阵
    , 此线性变换中只有拉伸而没有旋转.

    ec74c8ed24e5aed7e1e5ec40492f9a9c.png
    多元高斯分布随机变量去相关性图

    而如果我们只保留

    这个投影后坐标轴长度较长的对应的坐标, 我们就可以达到将随机向量
    进行降维的效果, 而这, 就是所谓的PCA(principal component analysis, 主成分分析).

    总结

    本文从多元标准高斯分布出发, 阐述了如何通过线性变换, 将任意的服从多元高斯分布的随机向量去相关性, 并求出其联合概率密度函数的过程, 最后给出了线性变换的具体过程阐述. 多元高斯分布是许多其他理论工具的基础, 掌握它是进行其他相关理论研究的关键.


    引用

    [1] Wikipedia contributors. "中心极限定理."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 9 May 2018. Web. 9 May 2018.‹https://zh.wikipedia.org/w/index.php?title=%E4%B8%AD%E5%BF%83%E6%9E%81%E9%99%90%E5%AE%9A%E7%90%86&oldid=49494817›.

    [2] Do, C. (2008).The Multivariate Gaussian Distribution. [online] Cs229.stanford.edu. Available at: http://cs229.stanford.edu/section/gaussians.pdf [Accessed 13 Mar. 2019].

    [3] 张, 伟. (2019). 多元正态分布. [online] Staff.ustc.edu.cn. Available at: http://staff.ustc.edu.cn/~zwp/teach/MVA/Lec4_slides.pdf [Accessed 13 Mar. 2019].

    [4] Wikipedia contributors. "多元正态分布."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 16 Sep. 2018. Web. 16 Sep. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83&oldid=51304757›.

    [5] Wikipedia contributors. "雅可比矩阵."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 7 Dec. 2018. Web. 7 Dec. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E9%9B%85%E5%8F%AF%E6%AF%94%E7%9F%A9%E9%98%B5&oldid=52294204›.

    展开全文
  • 此函数计算具有指定参数(均值和协方差矩阵)的两个多元高斯分布之间的Kullback-Leibler(KL)散度。 协方差矩阵必须是正定的。 该代码高效且数值稳定。 例子: 1)计算两个单变量高斯之间的KL散度:KL(N(-1,1)|...
  •  首先数据特征最好符合高斯分布,如果数据的分布不是高斯分布,异常检测算法也能够工作,但是最好还是 将数据转换成高斯分布 ,例如使用对数函数: x=log(x+c) ,其中 c为非负常数 ;或者 x=xc , c为0-1之间的一个...
  • 从指定数量的维度创建多个样本,并将它们集中... 命令行: x=mgd(1000,3,m,sigma) 或 x=mgd(1000,3,m',sigma) 均值是作为行向量还是列向量给出并不重要 x 是其中的 (1000x3) 矩阵其中每一行是该点在 3 个空间中的坐标。
  • 首先对预处理后的虹膜图像进行Wrapping算法的快速离散曲波变换,提取不同尺度和不同方向的曲波子带系数矩阵的均值、方差和能量,然后利用广义高斯分布估算各子带的权值,为分类能力较强的特征向量赋予较大权值,构成...
  • 高斯分布,又称正态分布,应用于连续型随机变量分布的模型中,对于多元高斯分布存在和一元高斯相似的,对于多元实值向量,使熵取得最大值的是高斯分布。当多个随机变量之和相加时,根据拉普拉斯提出的中心极限定理...
  • 高斯分布是一类非常重要的概率分布,在概率统计,机器学习中经常用到。 一维高斯分布 一维高斯分布的概率密度函数(pdf)形式为: 红色的曲线是标准的正态分布,即均值为0,方差为1的正态分布。 我们可以...
  • 多维高斯分布

    千次阅读 2019-09-24 10:07:10
      高斯分布是比较常见的概率分布,一维高斯分布如下: f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{2\pi\sigma}e^{-{\frac{(x-\mu)^2} {2\sigma^2}}}f(x)=2πσ1​e−2σ2(x−μ)2​ 其中,σ\sigmaσ是方差,μ\mu...
  • 1 高斯分布

    千次阅读 2020-07-12 14:34:42
    1 高斯分布 高斯分布也称为正态分布,大家都很熟悉,但有些性质这里有必要提下。一元高斯分布的密度函数为: p(x)=12πσexp(−(x−μ)22σ2) p(x) = \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(x-\mu)^2}{2\sigma^2}...
  • 摘要高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这...
  • 看极化SAR影像时看到矩阵服从复高斯分布,不明白是什么于是查了查。 正态分布又叫高斯分布 X~(μ,σ2) , μ为期望(均值),σ2为方差 遥感影像常认为服从正态分布,横坐标是影像灰度级变化,纵坐标为各灰度级像元...
  • 该问题源于工作中的某项需求,需要在日常数据中捕获异常状态,高斯分布派上用场喽~ 一、标准高斯分布(标准正态分布) 概率密度函数为: f(x) ~ N(0, 1),表示该分布均值为 0,方差为 1。注意:概率密度和为...
  • 高斯分布的数乘,相加,相乘还是高斯分布吗?  首先当随机变量Y=g(X)Y=g(X)Y=g(X)时,两者的PDF具有这样的关系fY(y)=fX(x)∣dxdy∣f_{Y}(y)=f_{X}(x)\lvert\frac{dx}{dy}\rvertfY​(y)=fX​(x)∣dydx​∣ 具体来说FY...
  • 函数 ret = drawBayesGauss2D(mu,c,prProb,ax) % 绘制二维高斯分布的贝叶斯分类结果。 % mu:2×N,N 个类别的平均向量。 % c:2×2×N,cov 矩阵。 % prProb:1×N,先验概率。 % ax: [xmin xmax ymin ymax],绘制...
  • 高斯分布

    万次阅读 2021-01-12 22:30:26
    目录前言高斯分布及其相关分布瑞利分布 前言 本文主要介绍与高斯分布相关的一些通信中用的比较多的分布以及具体含义。 高斯分布及其相关分布 一个均值为 μ\muμ,方差为 σ\sigmaσ 高斯随机变量 www 取实数值,并...
  • x = cggd_rand(c,s,N) 用圆形生成复杂样本的向量 1xN 具有形状参数 c 和方差 2*s 的高斯分布。 [x,xa] = cggd_rand(c,s,N) 生成一个额外的增广矩阵 2xN, xa = [x;conj(x)]。 样本是根据以下结果生成的: Mike ...
  • 均匀分布产生高斯分布

    千次阅读 2020-04-14 18:59:42
    均匀分布产生高斯分布 文章目录均匀分布产生高斯分布简介方法和证明代码效果引用 简介 方法和证明 代码 效果 引用
  • 多元高斯分布

    2018-07-27 21:40:20
    多元高斯分布函数的python程序,供大家学习整理和使用
  • 高斯分布和卡方分布

    千次阅读 2019-08-25 12:49:38
    高斯分布和卡方分布高斯分布和卡方分布高斯分布1 单元高斯分布1.1 一维随机变量1.2 标准正太分布1.3 numpy中使用正太分布2 多元高斯分布2.1 独立多元/维高斯分布2.2 举例-画2维独立不相关高斯图2.3 相关系数2.3 举例...
  • “你的输入变量/特征必须是高斯分布的”是一些机器学习模型(特别是线性模型)的要求。但我怎么知道变量的分布是高斯分布呢。本文重点介绍了保证变量分布为高斯分布的几种方法。 本文假定读者对高斯/正态分布有一定的...
  • 高斯随机向量与复高斯随机向量

    千次阅读 2019-04-22 11:20:08
    本文内容主要来自David Tse etc., Fundamentals of Wireless Communication,Cambridge University Press, 2004中的附录A。 文章目录1、实高斯随机向量2、复高斯随机向量 ...标准高斯分布随机变量,则标准...
  • 高斯分布相乘推导

    千次阅读 2019-12-04 11:56:54
  • 超高斯分布及亚高斯分布

    千次阅读 2021-04-16 18:08:38
    相对于高斯分布,超高斯分布的随机过程分布区域较宽,呈现较宽的拖尾。工程中对于超高斯过程常常只指明其偏斜度为0,峭度大于0,即: 亚高斯分布: 亚高斯分布是指随机过程的四阶几类恒小于0,并且关于其均值...
  • 本博客为(系列二)的笔记,对应的视频是:【(系列二) 数学基础-概率-高斯分布1-极大似然估计】、【(系列二) 数学基础-概率-高斯分布2-极大似然估计-无偏VS有偏】、【(系列二) 数学基础-概率-高斯分布3-从概率密度...
  • C语言实现 产生正态分布(高斯分布)随机数

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 42,581
精华内容 17,032
关键字:

向量高斯分布