精华内容
下载资源
问答
  •   3、正态分布概率密度函数及其图象     1)正态分布概率密度函数及其图象     2)python绘制正态分布概率密度函数图象   4、卡方分布的概率密度函数及其图象     1)卡方分布的概率密度函数...
  • 多维正态分布与图形识别

    千次阅读 2018-01-08 19:06:49
    版权声明:本文为博主原创文章,未经博主允许不得转载。 ...多维正态分布与图形识别目录 ...什么是正态分布一维正态分布下的识别与匹配二维正态分布下的识别与匹配...对一维,二维,多维正态分布的理解从图形识别角度
     
    

    多维正态分布与图形识别

    • 对一维,二维,多维正态分布的理解
    • 从图形识别角度理解和应用正态分布

    目录


    写在前面

    • 学无止境,最初只是想要写一个对视频流进行运动识别匹配的程序,然而匹配识别的算法精度不够,于是开始学习线性代数,统计学里的一些知识。这两天又重新把正态分布理解了一下。下文里主要是对于正态分布的直观的想象和个人理解,请多指教。另外,因为对于csdn博客插入数学公式还不太熟悉,用了LaTeX以后会在公式或者变量右边出现一个“|”,还请不要在意。

    从图形识别的角度对正态分布的理解

    什么是正态分布?

    一个弹珠从弹珠游戏机(日本很流行的パチンコ)的顶端落下,并与设置好的障碍发生碰撞。那么这个弹珠落下来的位置就是一个典型的一维正态分布。 
    正态分布,也叫高斯分布,是用来表示一个服从正态分布的随机变量的概率分布。而服从正态分布的条件就是,该变量周围存在大量作用因素,但作用因素的影响都很小,那么视这个变量服从正态分布。具体数学上的定义和限制条件先放过不提。

    一维正态分布下的识别与匹配

    这里写图片描述

    若有一组符合正态分布的数据D₁,其平均值是μ,其标准差是σ,那么对这组数据就可以用一维正态分布的公式进行拟合,计算的结果就是这组数据的概率分布函数。此时再有一个数据x₁,想要知道x₁在D₁的分布下的概率,那么就直接将x₁带入D₁的正态分布函数中计算出相应的分布概率即可。

    这里写图片描述

    二维正态分布下的识别与匹配

    这里写图片描述

    类似的,若有两组二维数据D₁{(x₁,y₁),(x₂,y₂),……(x n  , y n )},D₂{(x’₁,y’₁),(x’₂,y’₂),……(x’ₐ,y’ₐ)}符合正态分布,则通过计算每一维的平均值μx,μy,以及每一维的标准差σx,σy,可以计算得到D₁,D₂各自的正态分布。

    这里写图片描述

    如果对一个二维正态分布的图像,将Z轴去掉,以等高线的形式表示其分布的概率值的大小,那么对于D₁,D₂的图像,就变为了一系列包含着的椭圆。

    这里写图片描述

    当一个新的二维向量T(x,y)需要识别匹配T属于D₁还是D₂时,将T带入 
    D₁,D₂的正态分布公式后,得到的概率值大的即选定匹配结果。在图中可以看到,T与D₂的欧式距离近(虽然不明显,但是可以姑且想象),但是D₁在T的方向上概率变化缓慢(注意,椭圆表示的是密度的等高线),因此最终计算的结果应该是T匹配到D₁。

    多维正态分布

    由此引申到多维正态分布。 
    这里写图片描述

    一组数据 X 在正态分布 wl 中对应的概率可由上式计算。 
    wl 是一个M维样本,每一维样本又有N个属性的正态分布,也就是一个M*N的矩阵, Σl wl 的协方差矩阵。 X 同样是一个M*N的数据矩阵。 
    X 中的数据元素为 xmn

    这里写图片描述 
    且 
    这里写图片描述

    μli wl 中各维度的第i个属性相加求的平均值。

    这里写图片描述

    这样通过 P(X|wl) 就计算出了 X 分布在 wl 时候的概率值。有多个样本 wl1 wl2 …… wln 时只要求出 X 在各个样本中分布的概率即可完成匹配。

    一个图形匹配实际问题

    我学习多维正态分布主要是因为我遇到了下边的问题。

    现有三个样本,每一个样本是一个120*30的矩阵。矩阵的行表示存储120帧连续的图像特征点信息,列表示每一帧图像信息是一个10*3的向量(十个关节点的三维坐标)。

    现在又获得了一个120*30的新的图像流信息矩阵,要求将这个矩阵与三个样本进行比较匹配。

    假设这些关节点各自独立不相互影响。

    先求出与样本矩阵的协方差矩阵,和样本自身的平均值μ。然后计算 P(X|wl) ,并比较得出概率最大的样本。

    写在后面

    目前还没有把这个算法实现代码,所以精度还不能从实验得知。但是首先,人的上半身10个关节点不能算完全独立不影响,比如腕关节和肘关节在运动时常常有相同的位移趋势等。这一点是否将会影响匹配结果还要等接下来的研究。 
    另外周二时候学习的奇异值分解与正态分布也有很大联系。在数据矩阵X中,每一列表示一个数据点,每一行表示一维特征。分解得到的S,U,V可以用正态分布的观点来看。U表示数据形成的正态分布的轴的方向,是一组单位正交基;S代表这些轴的长度,利用奇异值可以将数据矩阵降维并且可以研究数据之间的相关性。 
    比如,利用奇异值分解之后的结果,可以确定出我上面问题中,120帧图像流中,哪几帧相关性强,并且这些相关性强的帧中,哪几个关节点与这些帧的相关性强。也就是可以通过分类算法,将帧与动作联系在一起,从这样的相关性的方面对动作进行初步分类识别。而降维后再计算正态分布的概率想必肯定会提高识别的准确性。

    在学习的路上希望能够坚持下去,共勉。

    展开全文
  • 首先,已知有一个满足一维正态分布概率密度函数为: p(x) = exp{} 在多元正态分布下,其数据为x =,对应的均值方差分别为 =,=, 则其概率密度可由一下展开表示: p(x) = =exp{} *exp{} *exp{}...exp{} ...

    首先,已知有一个满足\mathcal N(x; \mu ,{_{\sigma}}^{2})一维正态分布的概率密度函数为:

              p(x)={(2\pi {_{ \sigma}}^{2})}^{-\frac{1}{2}}exp^{-\frac{1}{2}\frac{​{_{(x-\mu)}}^{2}}{​{_{\sigma }}^{2}}}

     

    在多元正态分布下:

    其数据为:\boldsymbol{x}=[x_{0},x_{1},x_{2},...x_{n}]^{T}

    均值为:\boldsymbol{\mu}= [\mu_{0},\mu_{1},\mu_{2},...\mu_{n}]

    方差为:\boldsymbol{\sigma}=[\sigma_{0}^2,\sigma_{1}^2,\sigma_{2}^2,...\sigma_{n}^2]

     

    则其概率密度可由一下展开表示:

    p(x)=p(x_{0})p(x_{1})p(x_{2})...p(x_{n})

             ={(2\pi {_{ \sigma_{0}}}^{2})}^{-\frac{1}{2}}exp^{-\frac{1}{2}\frac{​{_{(x_{0}-\mu_{0})}}^{2}}{​{_{\sigma_{0}}}^{2}}}*{(2\pi {_{ \sigma_{1}}}^{2})}^{-\frac{1}{2}}exp^{-\frac{1}{2}\frac{​{_{(x_{1}-\mu_{1})}}^{2}}{​{_{\sigma_{1}}}^{2}}}*{(2\pi {_{ \sigma_{2}}}^{2})}^{-\frac{1}{2}}exp^{-\frac{1}{2}\frac{​{_{(x_{2}-\mu_{2})}}^{2}}{​{_{\sigma_{2}}}^{2}}}...{(2\pi {_{ \sigma_{n}}}^{2})}^{-\frac{1}{2}}exp^{-\frac{1}{2}\frac{​{_{(x_{n}-\mu_{n})}}^{2}}{​{_{\sigma_{n}}}^{2}}}

             ={(2\pi {_{ \sigma_{0}}}^{2})}^{-\frac{1}{2}}{(2\pi {_{ \sigma_{1}}}^{2})}^{-\frac{1}{2}}{(2\pi {_{ \sigma_{2}}}^{2})}^{-\frac{1}{2}}...{(2\pi {_{ \sigma_{n}}}^{2})}^{-\frac{1}{2}}*exp^{-\frac{1}{2}\frac{​{_{(x_{0}-\mu_{0})}}^{2}}{​{_{\sigma_{0}}}^{2}}}exp^{-\frac{1}{2}\frac{​{_{(x_{1}-\mu_{1})}}^{2}}{​{_{\sigma_{1}}}^{2}}}exp^{-\frac{1}{2}\frac{​{_{(x_{2}-\mu_{2})}}^{2}}{​{_{\sigma_{2}}}^{2}}}...exp^{-\frac{1}{2}\frac{​{_{(x_{n}-\mu_{n})}}^{2}}{​{_{\sigma_{n}}}^{2}}}

             ={(2\pi {_{ \sigma_{0}}}^{2})}^{-\frac{1}{2}}{(2\pi {_{ \sigma_{1}}}^{2})}^{-\frac{1}{2}}{(2\pi {_{ \sigma_{2}}}^{2})}^{-\frac{1}{2}}...{(2\pi {_{ \sigma_{n}}}^{2})}^{-\frac{1}{2}}*exp^{-\frac{1}{2}(\frac{​{_{(x_{0}-\mu_{0})}}^{2}}{​{_{\sigma_{0}}}^{2}} + \frac{​{_{(x_{1}-\mu_{1})}}^{2}}{​{_{\sigma_{1}}}^{2}} + \frac{​{_{(x_{2}-\mu_{2})}}^{2}}{​{_{\sigma_{2}}}^{2}}+...\frac{​{_{(x_{n}-\mu_{n})}}^{2}}{​{_{\sigma_{n}}}^{2}})}

     

    令,

           {\sum}=\left [ \begin{matrix} \sigma_{0}^{2} & & &\\ & \sigma_{1}^{2} & &\\ & & \sigma_{2}^{2} &\\ & & & ...\\ & & & & \sigma_{n}^{2}\\ \end{matrix} \right ]{\sum}^{-1} =\left [ \begin{matrix} \frac{1}{\sigma_{0}^{2}} & & &\\ & \frac{1}{\sigma_{1}^{2}} & &\\ & & \frac{1}{\sigma_{2}^{2}} &\\ & & & ...\\ & & & & \frac{1}{\sigma_{n}^{2}}\\ \end{matrix} \right ]

     

    则有,

             {(2\pi {_{ \sigma_{0}}}^{2})}^{-\frac{1}{2}}{(2\pi {_{ \sigma_{1}}}^{2})}^{-\frac{1}{2}}{(2\pi {_{ \sigma_{2}}}^{2})}^{-\frac{1}{2}}...{(2\pi {_{ \sigma_{n}}}^{2})}^{-\frac{1}{2}}

        =det(\left [ \begin{matrix} (2\pi\sigma_{0}^{2})^{-\frac{1}{2}} & & &\\ & (2\pi\sigma_{1}^{2})^{-\frac{1}{2}} & &\\ & & (2\pi\sigma_{2}^{2})^{-\frac{1}{2}} &\\ & & & ...\\ & & & & (2\pi\sigma_{n}^{2})^{-\frac{1}{2}}\\ \end{matrix} \right ])

        =det(2\pi\sum)^{-\frac{1}{2}}

     

              exp^{-\frac{1}{2}(\frac{​{_{(x_{0}-\mu_{0})}}^{2}}{​{_{\sigma_{0}}}^{2}} + \frac{​{_{(x_{1}-\mu_{1})}}^{2}}{​{_{\sigma_{1}}}^{2}} + \frac{​{_{(x_{2}-\mu_{2})}}^{2}}{​{_{\sigma_{2}}}^{2}}+...\frac{​{_{(x_{n}-\mu_{n})}}^{2}}{​{_{\sigma_{n}}}^{2}})}

        =exp^{-\frac{1}{2}\left [ \begin{matrix} x_{0}-\mu_{0} \\ x_{1}-\mu_{1} \\ x_{2}-\mu_{2} \\ ... \\ x_{n}-\mu_{n} \\ \end{matrix} \right ]\left [ \begin{matrix} \frac{1}{\sigma_{0}^{2}} & & &\\ & \frac{1}{\sigma_{1}^{2}} & &\\ & & \frac{1}{\sigma_{2}^{2}} &\\ & & & ...\\ & & & & \frac{1}{\sigma_{n}^{2}}\\ \end{matrix} \right ] \left [ \begin{matrix} x_{0}-\mu_{0} & x_{1}-\mu_{1} & x_{2}-\mu_{2} & ... & x_{n}-\mu_{n} \end{matrix} \right ]}

        =exp^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{T}\sum^{-1}(\boldsymbol{x}-\boldsymbol{\mu})} 

     

    因此求得多元正态分布的概率密度函数为:

              p(x)=det(2\pi\sum)^{-\frac{1}{2}}exp^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{T}\sum^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}

    特别地,当x是一维的时候,\sum = \sigma^2 ,{\sum}^{-1} = \frac{1}{\sigma^2}

    则有,

              p(x)={(2\pi {_{ \sigma}}^{2})}^{-\frac{1}{2}}exp^{-\frac{1}{2}\frac{​{_{(x-\mu)}}^{2}}{​{_{\sigma }}^{2}}}

     

     

    展开全文
  • 设XXX为服从多维正态分布的随机变量,即X∼N(μ,Σ)X\sim N(\mu,\Sigma)X∼N(μ,Σ) 将XXX分成两个部分:Xa,XbX_a,X_bXa​,Xb​,μ\muμ分成两个部分:μa,μb\mu_a, \mu_bμa​,μb​,Σ\SigmaΣ分成四个部分:Σ...

    X X X为服从多维正态分布的随机变量,即 X ∼ N ( μ , Σ ) X\sim N(\mu,\Sigma) XN(μ,Σ)
    X X X分成两个部分: X a , X b X_a,X_b Xa,Xb μ \mu μ分成两个部分: μ a , μ b \mu_a, \mu_b μa,μb Σ \Sigma Σ分成四个部分: Σ a a , Σ a b , Σ b a , Σ b b \Sigma_{aa},\Sigma_{ab},\Sigma_{ba},\Sigma_{bb} Σaa,Σab,Σba,Σbb
    目标:求解 P ( X a ) P(X_a) P(Xa) P ( X b ∣ X a ) P(X_b|X_a) P(XbXa)
    定理:
    已知 X ∼ N ( μ , Σ ) X\sim N(\mu, \Sigma) XN(μ,Σ) Y = A X + B Y=AX+B Y=AX+B
    Y ∼ N ( A μ + B , A Σ A T ) Y\sim N(A\mu +B, A\Sigma A^T) YN(Aμ+B,AΣAT)

    结论:
    X a ∼ N ( μ a , Σ a a ) X_a\sim N(\mu_a,\Sigma_{aa}) XaN(μa,Σaa)
    令:
    X b ⋅ a = X b − Σ b a Σ a a − 1 X a X_{b\cdot a}=X_b-\Sigma_{ba}\Sigma_{aa}^{-1}X_a Xba=XbΣbaΣaa1Xa
    μ b ⋅ a = μ b − Σ b a Σ a a − 1 μ a \mu_{b\cdot a}=\mu_b-\Sigma_{ba}\Sigma_{aa}^{-1}\mu_a μba=μbΣbaΣaa1μa
    Σ b b ⋅ a = Σ b b − Σ b a Σ a a − 1 Σ a b \Sigma_{bb\cdot a}=\Sigma_{bb}-\Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab} Σbba=ΣbbΣbaΣaa1Σab
    结论:
    X b ∣ X a ∼ N ( μ b ⋅ a + Σ b a Σ a a − 1 X a , Σ b b ⋅ a ) X_b|X_a\sim N(\mu_{b\cdot a}+\Sigma_{ba}\Sigma_{aa}^{-1}X_a,\Sigma_{bb\cdot a}) XbXaN(μba+ΣbaΣaa1Xa,Σbba)

    展开全文
  • 文章目录一:一维正态分布二:二维正态分布/多维正态分布三:各向同性正态分布 一:一维正态分布 二:二维正态分布/多维正态分布 三:各向同性正态分布 各向同性的高斯分布(球形高斯分布)指的是各个方向方差...


    一:一维正态分布

    在这里插入图片描述


    二:二维正态分布/多维正态分布


    三:各向同性正态分布

    各向同性的高斯分布(球形高斯分布)指的是各个方向方差都一样的多维高斯分布,协方差为正实数与identity matrix(单位矩阵)相乘。
    在这里插入图片描述
    注:即方差都是一样的,均值不一样,方差的值可以单独用标量表示。


    参考链接:
    https://www.cnblogs.com/jiangkejie/p/12939776.html
    https://blog.csdn.net/robert_chen1988/article/details/92842869#comments_13760339

    展开全文
  • 概率笔记12——多维正态分布的最大似然估计

    万次阅读 多人点赞 2019-08-19 19:33:18
    我们在前面的章节中见识过二维正态分布,(X,Y)服从参数为μ1, μ2, σ1, σ2, ρ的二维正态分布,记作(X, Y)~N(μ1, μ2, σ1, σ2, ρ),它的密度函数:  其中μ1是第1维度的均值,σ12是第1维度的方差,ρ是将...
  • clear all; close all; clc; randn('seed',0); %%一维高斯函数 mu=0; sigma=1; x=-6:0.1:6; y=normpdf(x,mu,sigma);...%%二维或多维高斯函数 mu=[0 0]; sigma=[0.3 0;0 0.35]; [x y]=meshgrid(linspace(-8,8,80)
  • 事实上,如果某个多维随机变量的密度函数可以写成该形式,那么它就服从正态分布。其中bbb是均值,正定矩阵AAA是协方差矩阵的逆,它们共同决定了正态分布的形式。而另外一个字母kkk,仅仅是归一化系数,它是使得整个...
  • 关于多元正态分布的条件概率密度

    万次阅读 2017-01-10 21:16:23
    原文来自师兄的博客:...多元正态分布多元正态分布密度函数如下 : fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{
  • 多元正态分布多元正态分布

    热门讨论 2012-11-20 23:01:10
    多元正态分布一些性质的证明,比较详细。有兴趣的可以下去看看 多元正态分布一些性质的证明,比较详细。有兴趣的可以下去看看 多元正态分布一些性质的证明,比较详细。有兴趣的可以下去看看
  • 原文:http://cs229.stanford.edu/notes/cs229-notes2.pdfn维的多元正态分布,也称为多元高斯分布,是用均值向量和协方差矩阵参数化的,其中Σ≥0是对称的和正半定的。也被写作,它的密度函数为在上面的方程中,“|...
  • 机器学习5 多维正态分布(高斯分布)

    千次阅读 2016-07-30 23:45:14
    概率密度p(x)=1(2π)n2|β|12exp(−12(x−α)Tβ−1(x−α))p(x) = {1 \over {{{\left( {2\pi } \right)}^{{n \over 2}}}{{\left| \beta \right|}^{{1 \over 2}}}}}\exp \left( { - {1 \over 2}{{\left( {x - \alpha...
  • mvnfast :快速多元正态分布和学生t... dmvn() :评估多元正态分布概率密度函数。 dmvt() :评估多元学生t分布的概率密度函数。 maha() :计算马哈拉诺比斯距离。 有关mvnfast的介绍和一些性能基准测试,请参见。
  • 有关 多维正态随机变量的条件概率密度函数推导过程以及 条件期望和条件方差的表达式。
  • matlab:画二维正态分布密度函数图

    万次阅读 2013-07-11 11:20:32
    首先,把二维正态分布密度函数的...但是上面的那个是多维正态分布密度函数的通式,那个n阶是对称正定方阵叫做协方差矩阵,其中的x,pi,u都是向量形式。虽然这个式子很酷,但是用在matlab里画图不太方面,下面换一个
  • Matlab二维正态分布可视化

    千次阅读 多人点赞 2019-04-22 13:11:44
     高维分布一直都是一个很抽象的概念,本人在学... 图中x,y为两个变量的取值,z为出现的概率密度。 图1 三维图1 图2 俯视图1  变量x的均值为0,方差为2,变量y的均值为0,方差为2,相关系数为0。 ...
  •  在一般的高斯分布模型中,我们计算高斯分布概率密度函数p(x),回顾高斯分布的基本知识。通常如果我们认为变量 x 符合高斯分布 x~N(μ,σ2)则其概率密度函数为:,其中,μ,σ2分别表示如下:。 ...
  • 本文总结多元正态分布的条件分布与边缘分布,证明不难,但都比较繁琐,故不做详细证明,有兴趣可以参考Pattern Recognition and Machine Learningy一书。 1 正态分布的条件分布 对于联合正态分布变量x∼N(μ,Σ)x\...
  • 我就废话不多说了,直接上代码吧! import numpy as np import matplotlib.pyplot as plt def gen_clusters(): mean1 = [0,0] cov1 = [[1,0],[0,10]] data = np.random.multivariate_normal(mean1,cov1,100) ...
  • 多元正态分布的四种定义

    千次阅读 2020-10-21 16:12:49
    提示:文章写完后,目录可以自动生成,如何生成可参考...若ppp维随机向量X=(X1,X2,…,Xp)′X=(X_1,X_2,…,X_p)'X=(X1​,X2​,…,Xp​)′的概率密度函数为KaTeX parse error: Invalid delimiter: '\Sigma' after '\lef
  • 概率论:高斯/正态分布

    万次阅读 多人点赞 2015-10-30 20:31:21
    正态分布(高斯分布) 若随机变量X服从一个数学期望为μ、方差为σ...其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度。 正态随机变量概率密度函数 [正态分布- 维基百科] 皮皮blog
  • 正态分布模式下的贝叶斯分类

    热门讨论 2012-12-20 18:54:53
    用MatLab编写的正态分布模式下的贝叶斯分类器。很多模式识别的课设就有相关题目。不仅有样本分类而且会在二维坐标系下画出,正确分类与错误分类的点都会有不同的标志。
  • 转载https://www.cnblogs.com/ccienfall/archive/2016/11/09/6049021.html
  • 最近在看计算机视觉:模型学习与推理,第四章将了使用最大后验概率来学习正态分布的参数。 1维正态分布的先验概率是正态逆伽马分布,N维正态分布的先验概率是正态逆维系特分布。这里生成的数据是满足1维正态分布。 1...
  • 文章目录协方差矩阵协方差协方差矩阵多元正态分布协方差矩阵的特征值分解 协方差矩阵 协方差 在统计学中,方差用来度量单个随机变量的离散程度,而协方差用来刻画两个随机变量的相似程度,方差的计算公式 σx2=1n−1...
  • 高维正态随机变量的概率密度 协方差矩阵为学习高维连续变量模型的处理打开了一扇大门 1维正态随机变量的概率密度 n维正态随机变量的概率密度 马尔科夫不等式 如果X为非负的随机变量,那么 大数定理 大数定律...
  • 多元正态分布的条件概率分布(一)

    万次阅读 多人点赞 2014-06-04 12:25:20
    多元正态分布的条件概率分布 假设分别有两个多维向量和 其中 那么的协方差矩阵为: 那么的协方差矩阵为: 那么的协方差矩阵为: 那么的协方差矩阵为...
  • 多元正态分布最大似然估计

    千次阅读 2020-09-15 12:48:15
    多元正态分布概率密度函数 N维随机向量 如果服从多变量正态分布,必须满足下面的三个等价条件: 任何线性组合 服 从正态分布。 存在随机向量 ( 它的每个元素服从独立标准正态分布),向量 及 矩阵A满足 存在 和一...
  • 正态分布3σ原则

    千次阅读 2021-06-23 09:14:26
    正态分布 也称高斯分布(Gaussian distribution)正态分布是一种概率分布。正态分布是具有两个参数μ(数学期望)...正态分布密度函数的特点是:关于μ对称,在μ处达到最大值,在正(负)无穷远处取值为0,在μ±σ

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,439
精华内容 975
关键字:

多维正态分布概率密度