我们在前面的章节中见识过二维正态分布，(X,Y)服从参数为μ1, μ2, σ1, σ2, ρ的二维正态分布，记作(X, Y)~N(μ1, μ2, σ1, σ2, ρ)，它的密度函数：



　　其中μ1是第1维度的均值，σ12是第1维度的方差，ρ是将两个维度的相关性规范到-1到+1之间的统计量，称为样本的相关系数，定义为：



　　对于二维正态随机变量(X,Y)，X和Y相互独立的充要条件是二者的协方差为0，也就是参数ρ=0。由于一维随机变量没有是否独立一说，ρ一定是0，因此没有在一维随机变量的正态分布中体现ρ。

　　下图是一个标准二维正态分布和其在x-z，y-z平面的投影：





多维正态分布

　　现在推广到多维，为了便于表达，我们用向量的形式表示随机变量和参数，对于n维随机变量：



　　这里只考虑所有维度变量互相独立的情况，即ρ=0的情况，此时密度函数可表示为：



　　上面的结果告诉我们，在各维度相互独立的情况下，多维正态分布的概率密度其实就是各个维度的正态分布密度函数的乘积。

　　在①中：



　　σi2表示xi的方差，如此看来，中间那个矩阵实际上是协方差矩阵的逆矩阵：



　　根据行列式的性质，上三角矩阵的行列式等于主对角线所有元素的乘积，斜对角矩阵当然也是一个上三角矩阵，因此协方差矩阵的行列式是：



　　将②、③代入①中，得到最终结果：



最大似然估计量

　　n维相互独立的随机变量x服从正态分布：



　　在求最大似然估计量时和一维随机变量有所区别，根据上一节的最终结果：



　　假设有m个可观察样本，那么最大似然函数是：



　　其对数似然函数是：



　　其中m和n是已知的，C 是一个常数。

　　求极值需要对μ和∑求偏导：



　　μ和∑是矩阵，涉及到矩阵的求导法则。先看对μ的求导，lnL由3个因子组成，只有一个因子含有μ，因此：



　　其中：



　　上式中：



　　因此：



　　将该结论代入∂lnL/∂μ中：



　　μ和∑是矩阵，根据矩阵的求导法则：



　　因为∑-1是一个对称矩阵，因此：



　　根据矩阵的求导法则：



　　将a1，a2代入∂lnL/∂μ 中：



　　

　　

　　再看对∑求偏导：



　　∑和∑-1都是实对称矩阵，根据矩阵的求导法则，当A是实对称矩阵时：



　　再看b2。设ωpq是∑第p行第q列的元素，Epq是一个第p行第q列元素为1，其它元素全为0的矩阵，E与∑-1同阶。根据矩阵的求导公式：



　　已经知道了∑-1是一个对称矩阵，矩阵乘法满足结合律，在不改变矩阵顺序的条件下可以任意加括号：



　　其中(∑-1(x(i)-μ))T是一个1*n的矩阵，(∑-1(x(i)-μ))Tp表示矩阵中的第p个元素；∑-1(x(i)-μ)是一个n*1的矩阵，(∑-1(x(i)-μ))q表示矩阵中的第q个元素。将该结论推广到矩阵对矩阵的的求导，根据矩阵对矩阵的求导公式：



　　其中：



　　在A1中，(∑-1(x(i)-μ))T是一个1*n的矩阵，(∑-1(x(i)-μ))Ti表示矩阵中的第i个元素，是一个标量；∑-1(x(i)-μ)是一个n*1的矩阵，(∑-1(x(i)-μ))i表示矩阵中的第i个元素，也是一个标量，因此：



　　终于可以求得b2了：



　　现在可以看看最终的似然函数：



　　I是单位矩阵，∑-1I=∑-1：



　　等号两侧同时左乘∑：



　　两侧同时右乘∑：



　　最终解得：



　　最终结论，多维正态分布的最大似然估计量是：



　　

　　作者：我是8位的

　　出处：http://www.cnblogs.com/bigmonkey

　　本文以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，非商业用途！ 

　　扫描二维码关注公作者众号“我是8位的”

概率密度

$p(x) = {1 \over {{{\left( {2\pi } \right)}^{{n \over 2}}}{{\left| \beta  \right|}^{{1 \over 2}}}}}\exp \left( { - {1 \over 2}{{\left( {x - \alpha } \right)}^T}{\beta ^{ - 1}}(x - \alpha )} \right)$~$N\left( {\alpha ,\beta } \right)$ 

其中 $\beta  = E\left[ {\left( {x - \alpha } \right){{\left( {x - \alpha } \right)}^T}} \right]$ 

当n=1时 

令 $\beta  = {\sigma ^2},\alpha  = \mu$ 

则 $p(x) = {1 \over {\sqrt {2\pi } \sigma }}\exp \left( { - {{{{\left( {x - \mu } \right)}^2}} \over {2{\sigma ^2}}}} \right)$ 

当n=1时 

令 

 $$\beta  = \left( {\matrix{
   {{\sigma _1}^2} & {{\sigma _1}{\sigma _2}r}  \cr 
   {{\sigma _1}{\sigma _2}r} & {{\sigma _2}^2}  \cr 
 } } \right)$$  

  $$\alpha  = \left( {a,b} \right)$$  

 则 

 ${\beta ^{ - 1}} = {1 \over {{\sigma _1}^2{\sigma _2}^2\left( {1 - {r^2}} \right)}}\left( {\matrix{  
   {{\sigma _2}^2} & { - {\sigma _1}{\sigma _2}r}  \cr   
   { - {\sigma _1}{\sigma _2}r} & {{\sigma _1}^2}  \cr   
 } } \right)$ 

 $p(x,y) = {1 \over {2\pi {\sigma _1}{\sigma _2}\sqrt {1 - {r^2}} }}\exp \left( { - {1 \over {2\left( {1 - {r^2}} \right)}}\left[ {{{{{\left( {x - a} \right)}^2}} \over {{\sigma _1}^2}} - {{2r\left( {x - a} \right)\left( {y - b} \right)} \over {{\sigma _1}{\sigma _2}}} + {{{{\left( {y - b} \right)}^2}} \over {{\sigma _2}^2}}} \right]} \right)$


二维边缘分布率

$\int_{ - \infty }^\infty  {p(x,y)} dy =$ 

$\int_{ - \infty }^\infty  {{1 \over {2\pi {\sigma _1}{\sigma _2}\sqrt {1 - {r^2}} }}\exp \left( { - {1 \over {2\left( {1 - {r^2}} \right)}}\left[ {{{{{\left( {x - a} \right)}^2}} \over {{\sigma _1}^2}} - {{2r\left( {x - a} \right)\left( {y - b} \right)} \over {{\sigma _1}{\sigma _2}}} + {{{{\left( {y - b} \right)}^2}} \over {{\sigma _2}^2}}} \right]} \right)} dy$ 

$= \int_{ - \infty }^\infty  {{1 \over {\sqrt {2\pi } {\sigma _1}}}{1 \over {\sqrt {2\pi } {\sigma _2}\sqrt {1 - {r^2}} }}\exp \left( { - {1 \over {2\left( {1 - {r^2}} \right)}}\left[ {{{{{\left( {y - b - {{{\sigma _2}r\left( {x - a} \right)} \over {{\sigma _1}}}} \right)}^2}} \over {{\sigma _2}^2}} + \left( {1 - {r^2}} \right){{{{\left( {x - a} \right)}^2}} \over {{\sigma _1}^2}}} \right]} \right)} dy$ 

$= {1 \over {\sqrt {2\pi } {\sigma _1}}}\exp \left( { - {{{{\left( {x - a} \right)}^2}} \over {2{\sigma _1}^2}}} \right)$

1、http://m.bubuko.com/infodetail-1827895.html

2、https://www.cnblogs.com/bingjianing/p/9117330.html

多元正态分布
正态分布大家都非常熟悉了，多元正态分布就是多维数据的正态分布，其概率密度函数为
上式为 x 服从 k 元正态分布，x 为 k 维向量；|Σ| 代表协方差矩阵的行列式
二维正态分布概率密度函数为钟形曲面，等高线是椭圆线族，并且二维正态分布的两个边缘分布都是一维正态分布，如图
np.random.multivariate_normal
生成一个服从多元正态分布的数组　　　　　　【适用于 python3，但在 python2 中也能用】
multivariate_normal(mean, cov, size=None, check_valid=None, tol=None)
mean：均值，维度为1，必选参数；
cov：协方差矩阵，必选参数；
size： 指定生成矩阵的维度，若size=(1, 1, 2)，则输出的矩阵的 shape 即形状为 1X1X2XN(N为mean的长度)；
check_valid：可取值 warn，raise以及ignore；
tol：检查协方差矩阵奇异值时的公差，float类型；
示例
mean = (1, 2)
cov = [[1, 0], [0, 1]]
x = np.random.multivariate_normal(mean, cov, (2, 2), 'raise')   # 2x2x2
print(x)
直接生成数组
scipy.stats.multivariate_normal
生成一个多元正态分布
def __call__(self, mean=None, cov=1, allow_singular=False, seed=None)
示例-生成多元正态分布
import numpy as np
import scipy.stats as st
import matplotlib.pylab as plt
x, y = np.mgrid[-1:1:.01, -1:1:.01]
pos = np.empty(x.shape + (2,))
pos[:, :, 0] = x; pos[:, :, 1] = y
rv = st.multivariate_normal([0, 0], [[1, 0], [0, 1]])   # 生成多元正态分布
print(rv)       #  只是生成了一个对象，并没有生成数组
plt.contourf(x, y, rv.pdf(pos))
plt.show()
示例-概率密度函数
x = np.linspace(0, 5, 10, endpoint=False)       # 样本
y = st.multivariate_normal.pdf(x, mean=2.5, cov=.5)        # 样本的概率密度函数
plt.plot(x, y)
plt.show()
生成了概率密度曲线
可用方法
pdf(x, mean=None, cov=1) ：概率密度函数
logpdf(x, mean=None, cov=1) ：概率密度函数日志
rvs(mean=None, cov=1) ：从多元正态分布中随机抽取样本
entropy() ：计算多元法线的微分熵
参考资料：
https://www.cnblogs.com/21207-iHome/p/8039741.html　　多元正态分布
https://blog.csdn.net/zch1990s/article/details/80005940　　np.random.multivariate_normal方法浅析
https://www.cnblogs.com/wanghui-garcia/p/10763418.html 　　scipy.stats.multivariate_normal的使用