-
概率笔记12——多维正态分布的最大似然估计
2019-08-19 19:33:18我们在前面的章节中见识过二维正态分布,(X,Y)服从参数为μ1, μ2, σ1, σ2, ρ的二维正态分布,记作(X, Y)~N(μ1, μ2, σ1, σ2, ρ),它的密度函数: 其中μ1是第1维度的均值,σ12是第1维度的方差,ρ是将...我们在前面的章节中见识过二维正态分布,(X,Y)服从参数为μ1, μ2, σ1, σ2, ρ的二维正态分布,记作(X, Y)~N(μ1, μ2, σ1, σ2, ρ),它的密度函数:
其中μ1是第1维度的均值,σ12是第1维度的方差,ρ是将两个维度的相关性规范到-1到+1之间的统计量,称为样本的相关系数,定义为:
对于二维正态随机变量(X,Y),X和Y相互独立的充要条件是二者的协方差为0,也就是参数ρ=0。由于一维随机变量没有是否独立一说,ρ一定是0,因此没有在一维随机变量的正态分布中体现ρ。
下图是一个标准二维正态分布和其在x-z,y-z平面的投影:
多维正态分布
现在推广到多维,为了便于表达,我们用向量的形式表示随机变量和参数,对于n维随机变量:
这里只考虑所有维度变量互相独立的情况,即ρ=0的情况,此时密度函数可表示为:
上面的结果告诉我们,在各维度相互独立的情况下,多维正态分布的概率密度其实就是各个维度的正态分布密度函数的乘积。
在①中:
σi2表示xi的方差,如此看来,中间那个矩阵实际上是协方差矩阵的逆矩阵:
根据行列式的性质,上三角矩阵的行列式等于主对角线所有元素的乘积,斜对角矩阵当然也是一个上三角矩阵,因此协方差矩阵的行列式是:
将②、③代入①中,得到最终结果:
最大似然估计量
n维相互独立的随机变量x服从正态分布:
在求最大似然估计量时和一维随机变量有所区别,根据上一节的最终结果:
假设有m个可观察样本,那么最大似然函数是:
其对数似然函数是:
其中m和n是已知的,C 是一个常数。
求极值需要对μ和∑求偏导:
μ和∑是矩阵,涉及到矩阵的求导法则。先看对μ的求导,lnL由3个因子组成,只有一个因子含有μ,因此:
其中:
上式中:
因此:
将该结论代入∂lnL/∂μ中:
μ和∑是矩阵,根据矩阵的求导法则:
因为∑-1是一个对称矩阵,因此:
根据矩阵的求导法则:
将a1,a2代入∂lnL/∂μ 中:
再看对∑求偏导:
∑和∑-1都是实对称矩阵,根据矩阵的求导法则,当A是实对称矩阵时:
再看b2。设ωpq是∑第p行第q列的元素,Epq是一个第p行第q列元素为1,其它元素全为0的矩阵,E与∑-1同阶。根据矩阵的求导公式:
已经知道了∑-1是一个对称矩阵,矩阵乘法满足结合律,在不改变矩阵顺序的条件下可以任意加括号:
其中(∑-1(x(i)-μ))T是一个1*n的矩阵,(∑-1(x(i)-μ))Tp表示矩阵中的第p个元素;∑-1(x(i)-μ)是一个n*1的矩阵,(∑-1(x(i)-μ))q表示矩阵中的第q个元素。将该结论推广到矩阵对矩阵的的求导,根据矩阵对矩阵的求导公式:
其中:
在A1中,(∑-1(x(i)-μ))T是一个1*n的矩阵,(∑-1(x(i)-μ))Ti表示矩阵中的第i个元素,是一个标量;∑-1(x(i)-μ)是一个n*1的矩阵,(∑-1(x(i)-μ))i表示矩阵中的第i个元素,也是一个标量,因此:
终于可以求得b2了:
现在可以看看最终的似然函数:
I是单位矩阵,∑-1I=∑-1:
等号两侧同时左乘∑:
两侧同时右乘∑:
最终解得:
最终结论,多维正态分布的最大似然估计量是:
作者:我是8位的
出处:http://www.cnblogs.com/bigmonkey
本文以学习、研究和分享为主,如需转载,请联系本人,标明作者和出处,非商业用途!
扫描二维码关注公作者众号“我是8位的”
-
机器学习5 多维正态分布(高斯分布)
2016-07-30 23:45:14概率密度p(x)=1(2π)n2|β|12exp(−12(x−α)Tβ−1(x−α))p(x) = {1 \over {{{\left( {2\pi } \right)}^{{n \over 2}}}{{\left| \beta \right|}^{{1 \over 2}}}}}\exp \left( { - {1 \over 2}{{\left( {x - \alpha...概率密度
p(x)=1(2π)n2|β|12exp(−12(x−α)Tβ−1(x−α)) ~N(α,β)
其中β=E[(x−α)(x−α)T]
当n=1时
令β=σ2,α=μ
则p(x)=12π√σexp(−(x−μ)22σ2)
当n=1时
令
β=(σ12σ1σ2rσ1σ2rσ22)
α=(a,b)
则
β−1=1σ12σ22(1−r2)(σ22−σ1σ2r−σ1σ2rσ12)
p(x,y)=12πσ1σ21−r2√exp(−12(1−r2)[(x−a)2σ12−2r(x−a)(y−b)σ1σ2+(y−b)2σ22]) 二维边缘分布率
∫∞−∞p(x,y)dy=
∫∞−∞12πσ1σ21−r2√exp(−12(1−r2)[(x−a)2σ12−2r(x−a)(y−b)σ1σ2+(y−b)2σ22])dy
=∫∞−∞12π√σ112π√σ21−r2√exp⎛⎝⎜−12(1−r2)⎡⎣⎢(y−b−σ2r(x−a)σ1)2σ22+(1−r2)(x−a)2σ12⎤⎦⎥⎞⎠⎟dy
=12π√σ1exp(−(x−a)22σ12) -
1、多维高斯概率密度函数对协方差矩阵求导 2、相关多元正态分布(不独立)
2019-06-24 19:52:371、http://m.bubuko.com/infodetail-1827895.html 2、https://www.cnblogs.com/bingjianing/p/9117330.html展开全文 -
python scipy.stats 正态分布_scipy.stats.multivariate_normal的使用
2020-12-17 10:37:05|Σ| 代表协方差矩阵的行列式二维正态分布概率密度函数为钟形曲面,等高线是椭圆线族,并且二维正态分布的两个边缘分布都是一维正态分布,如图np.random.multivariate_normal生成一个服从多元正态分布的数组 【适用...多元正态分布
正态分布大家都非常熟悉了,多元正态分布就是多维数据的正态分布,其概率密度函数为
上式为 x 服从 k 元正态分布,x 为 k 维向量;|Σ| 代表协方差矩阵的行列式
二维正态分布概率密度函数为钟形曲面,等高线是椭圆线族,并且二维正态分布的两个边缘分布都是一维正态分布,如图
np.random.multivariate_normal
生成一个服从多元正态分布的数组 【适用于 python3,但在 python2 中也能用】
multivariate_normal(mean, cov, size=None, check_valid=None, tol=None)
mean:均值,维度为1,必选参数;
cov:协方差矩阵,必选参数;
size: 指定生成矩阵的维度,若size=(1, 1, 2),则输出的矩阵的 shape 即形状为 1X1X2XN(N为mean的长度);
check_valid:可取值 warn,raise以及ignore;
tol:检查协方差矩阵奇异值时的公差,float类型;
示例
mean = (1, 2)
cov = [[1, 0], [0, 1]]
x = np.random.multivariate_normal(mean, cov, (2, 2), 'raise') # 2x2x2
print(x)
直接生成数组
scipy.stats.multivariate_normal
生成一个多元正态分布
def __call__(self, mean=None, cov=1, allow_singular=False, seed=None)
示例-生成多元正态分布
import numpy as np
import scipy.stats as st
import matplotlib.pylab as plt
x, y = np.mgrid[-1:1:.01, -1:1:.01]
pos = np.empty(x.shape + (2,))
pos[:, :, 0] = x; pos[:, :, 1] = y
rv = st.multivariate_normal([0, 0], [[1, 0], [0, 1]]) # 生成多元正态分布
print(rv) # 只是生成了一个对象,并没有生成数组
plt.contourf(x, y, rv.pdf(pos))
plt.show()
示例-概率密度函数
x = np.linspace(0, 5, 10, endpoint=False) # 样本
y = st.multivariate_normal.pdf(x, mean=2.5, cov=.5) # 样本的概率密度函数
plt.plot(x, y)
plt.show()
生成了概率密度曲线
可用方法
pdf(x, mean=None, cov=1) :概率密度函数
logpdf(x, mean=None, cov=1) :概率密度函数日志
rvs(mean=None, cov=1) :从多元正态分布中随机抽取样本
entropy() :计算多元法线的微分熵
参考资料:
https://www.cnblogs.com/21207-iHome/p/8039741.html 多元正态分布
https://blog.csdn.net/zch1990s/article/details/80005940 np.random.multivariate_normal方法浅析
https://www.cnblogs.com/wanghui-garcia/p/10763418.html scipy.stats.multivariate_normal的使用
-
自动驾驶(十)---------正态分布变换(NDT)
2019-07-31 10:40:43先将参考点云(目标点云)转换为多维变量的正态分布,匹配的点云如果采用某组变换参数后,使得新的点云和目标点云的正态分布参数匹配很好,那么变换点在参考系中的概率密度将会很大。因此,可以考虑用优化... -
一维高斯分布与多维高斯分布及 matlab 实现
2020-10-03 20:03:23其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。 正态分布使用下列参数: 参数 说明 范围 mu (μ) 均值 −∞<μ<∞ ... -
高斯分布、多维高斯分布、各向同性的高斯分布及多元高斯分布之间的KL散度
2020-12-30 14:30:02一维高斯分布的概率密度函数(pdf)形式为: 红色的曲线是标准的正态分布,即均值为0,方差为1的正态分布。 我们可以采用以下方程从均值为μ 标准差为σ的高斯分布中采样(再参数化技巧): 其中,ϵ从一个... -
Parzen window概率密度估计
2020-04-24 21:42:31在数学上一个连续概率密度函数p(x)的需满足以下的条件: 1、x在a和b之间的概率为: 2、对所有的x,p(x)非负 ...最经常使用的概率密度函数就是高斯函数(正态分布) 将一维的情况扩展到多维,现在的... -
标准柯西分布_常用连续型概率分布
2021-01-05 10:22:29正态分布已经详细整理过了, 见 正态分布 . 均匀分布定义 均匀分布应该是最简单的连续型概率分布了. 考虑一个闭区间 , 由密度函数 定义的随机变量 就称作服从均匀分布 . 自然推广到多维的情况, 考虑一个 中有限测度... -
多维随机变量及其分布2
2020-05-31 10:13:35一、条件分布 1、分布律 2、分布函数 概率密度函数: 3、条件概率密度 二、相互独立的随机变量 1、定义 ① ② X、Y独立的充要条件 ...注:有限个相互独立的正态随机变量的线性组合仍然服从正态分布 (2)、M=max -
泊松分布的期望和方差_常用连续型概率分布
2020-11-30 14:19:31正态分布已经详细整理过了, 见 正态分布 . 均匀分布定义 均匀分布应该是最简单的连续型概率分布了. 考虑一个闭区间 , 由密度函数 定义的随机变量 就称作服从均匀分布 . 自然推广到多维的情况, 考虑一个 中有限测度... -
【考研高数-概率论与数理统计-基础】第三章 多维随机变量及其分布
2021-02-03 17:44:55基本知识结构 一:二维(n维)随机变量 1.概念 2.联合分布函数 ...1.联合概率密度 ...2.边缘概率密度 ...5.二维正态分布 四:独立性 1.概念 2.相互独立的充要条件 3.性质 五:函数的... -
ML—高斯判别分析
2015-12-11 16:59:44华电北风吹 ...确定一个多维正态分布只需要知道分布的均值向量μ∈Rn×1\mu\in R^{n\times 1}和一个协方差矩阵Σ∈Rn×n\Sigma\in R^{n\times n}. 其概率密度函数如下: p(x;μ,Σ)=1(2π)n/2|Σ -
概率论的基础知识
2019-04-16 16:36:43本文参考的是《概率机器人》中内容 令X表示一个随机变量,x表示X的某一特定值。...正态分布的概率密度函数为: 但当x为多维矢量时,矢量的正态分布被称为多元正态分布,多元正态分布的密度函数形... -
【数学基础:概率论】3.随机变量与多维随机变量
2020-09-19 14:47:48离散随机变量 0-1分布 二项分布 ...概率密度 均匀分布 指数分布 正态分布 随机变量函数的分布 多维随机变量 边缘分布和条件分布 独立性 ... -
概率统计2
2019-10-19 10:03:063.2.1边缘概率密度: 3.2.2二维正态分布 3.3条件分布 3.4相互独立的随机变量 3.5 两个随机变量的函数的分布 3.5.1 Z=X+Y的分布 4 随机变量的数学特征 4.1数学期望(均值) 4.2方差 4.3协方差及相关系数 4.4... -
各种高斯分布
2019-04-23 21:25:31文章目录一维高斯分布冯·米塞斯分布(von Mises distribution)多维高斯分布混合高斯分(GMM 多个高斯...指一种圆上连续概率分布模型,它也被称作循环正态分布(circular normal distribution)。 多维高斯分布... -
概率论与数理统计基础知识整理
2021-02-01 21:14:33概率论与数理统计基础知识整理基本概率公式一维随机变量的分布分布函数的应用离散型分布伯努利分布二项分布泊松分布几何分布超几何分布连续型分布均匀分布指数分布正态分布标准正态分布多维随机变量的分布联合分布... -
【机器学习】基础知识
2019-10-21 15:38:52文章目录基础知识概率函数期望和方差Distribution 分布1.Gaussian2.Poisson3.Exponential二项分布、泊松分布、正态分布关系理解记忆多维高斯分布样本估计矩阵的迹矩阵特征值之和等于矩阵的迹补充参考 基础知识 概率... -
高斯混合模型学习笔记
2013-08-03 17:36:530 预备知识 l 设离散型随机变量X的分布律为 则称为X的数学期望或均值 l 设连续型随机变量X的概率密度函数(PDF)为 其数学期望定义为 ...l 多维高斯(正态)分布概率密度函数PDF定义如下: 其中 -
大二下:概率论与数理统计复习 3.二维随机变量及其分布之基础概念
2019-09-20 10:25:37文章目录1. 多维随机变量及其分布2. 二维离散型随机变量的分布及独立性3.... 二维标准正态分布联合概率密度5. 两个随机变量的函数分布6. 考点分布 1. 多维随机变量及其分布 2. 二维离散型随机变量的分布及独... -
多元高斯分布(The Multivariate normal distribution)
2018-10-23 10:42:18刚刚写了一波专栏直观数学漫谈,今天来强答一发这个问题,前面的...先从均值为0,方差为1的一元正态分布开始,概率密度函数为: 在均值为 ,方差为 的情况下,需要标准化一下: ,标准化之后方差变为1,标准化的意... -
GMM 模型与EM算法求解详细推导
2019-06-29 16:42:49高斯模型也就是正态分布模型,该模型最早可见于我们的高中数学教材中。闻其名知其意,正态分布是自然界中普遍存在的一种分布。比如,考试成绩,人的智力水平等等。都是大致呈现为正态分布。其概率密度函数为 ... -
混合高斯模型
2020-07-02 22:47:23当样本数据X是一维数据时,高斯分布(正态分布)服从下方概率密度函数,可以用于描述一种数据分布情况。 当样本是多维时,概率密度函数如下: 应用原因 对于一个分布由K个簇组成,使用单独的高斯分布很难描述... -
PCL NDT算法的学习实现(3D点云匹配)
2020-02-29 21:24:33NDT算法的基本思想是先跟据参考数据来构建多维变量的正态分布,如果变换点和目标点云(参考数据)能够匹配很好,概率密度会很大。所以采用优化的方法求取使得概率密度最大的变换参数。 算法基本步骤 1.将参考点云所... -
概率论基础
2019-02-23 16:08:57期望和协方差2.1期望2.2协方差贝叶斯定理Bayes形式似然函数高斯分布标准正态分布多维高斯分布Gamma函数定义性质Gamma分布Bata函数定义性质 1. 概率密度 p(x∈(a,b))=∫abp(x)dx p(x\in(a,b))=\int_{a}^{b}p(x)dx p... -
概率论与数理统计学习
2017-10-13 16:07:01三种重要的离散随机变量 0-1分布 ...随机变量的分布函数F(x) = P{X称为X的分布函数,F(x)的导数f(x),是F(x)的概率密度函数三种随机变量分布 均匀分布 指数分布 正态分布(高斯分布) 多维随机变量 -
第三章: 二维随机变量
2020-03-23 10:26:36这一章是上一章的深化,一个是一维空间,一个是多维空间。 联合分布函数 联合分布率 二维连续型随机变量 ...(X,Y)概率密度性质 (X,Y)在G上符合均匀分布 二维正态分布 在这里插入图片描述 ...