精华内容
下载资源
问答
  • 矩、协方差矩阵、多元正态分布的性质矩一元矩二元矩n元随机变量 X的数学期望(向量)n元随机变量 X~\widetilde{X}X的协方差矩阵n元正态随机变量的联合概率密度的矩阵表示n元正态随机变量的四条重要性质例1例2 ...

    一元随机变量的矩,混合矩

    在这里插入图片描述

    在这里插入图片描述

    二元矩

    在这里插入图片描述

    n元随机变量 X的数学期望(向量)

    在这里插入图片描述

    n元随机变量 X~\widetilde{X}的协方差矩阵

    在这里插入图片描述

    在这里插入图片描述

    协方差的矩阵展开说明

    在这里插入图片描述

    在这里插入图片描述

    协方差矩阵的性质

    在这里插入图片描述

    例 正态分布的协方差

    在这里插入图片描述

    n元正态随机变量的联合概率密度的矩阵表示

    在这里插入图片描述

    n元正态随机变量的四条重要性质

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述
    前三条说,正态分布在线性意义下,分块,分块重组,它的正态性是保持不变的。
    在这里插入图片描述

    例1

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

    例2

    在这里插入图片描述

    展开全文
  • 1. k阶(原点)矩和k阶中心矩的定义 ...4. n元随机变量的协方差矩阵的定义 5. n元正态随机变量的联合概率密度的矩阵表示 6. n元正态随机变量的四条重要性质 7. 示例 ...

     

    1. k阶(原点)矩和k阶中心矩的定义

     

    2. k+l阶混合(原点)矩和k+l阶混合中心矩的定义

     

    3. n元随机变量的数学期望(向量)的定义

     

    4. n元随机变量的协方差矩阵的定义

     

    5. n元正态随机变量的联合概率密度的矩阵表示

     

    6. n元正态随机变量的四条重要性质

     

    7. 示例

    展开全文
  • 一元正态分布回顾如果随机变量 服从均值为 方差为 正态分布 (Univariate normal distribution), ,则其概率密度函数为:整个分布可以仅用均值及...若 维随机变量 服从均值向量为 和协方差矩阵的多元正态分布 ...

    equation?tex=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83%5C%5C

    一元正态分布回顾

    如果随机变量

    equation?tex=Y 服从均值为

    equation?tex=u 方差为

    equation?tex=%5Csigma%5E2 的正态分布 (Univariate normal distribution),

    equation?tex=Y%5Csim+N%28%5Cmu%2C%5Csigma%5E2%29 ,则其概率密度函数为:

    equation?tex=f%28y%29%3D%5Cfrac%7B1%7D%7B%5Csqrt%7B2+%5Cpi%7D+%5Csigma%7D+e%5E%7B-%5Cfrac%7B%28y-%5Cmu%29%5E%7B2%7D%7D%7B2+%5Csigma%5E%7B2%7D%7D%7D%2C+%5Cquad-%5Cinfty%3Cy%3C%5Cinfty%5C%5C整个分布可以仅用均值及方差来刻画

    如果变量之间不相关,则它们相互独立

    经典统计检验通常基于正态分布假设

    正态分布可以模拟大量自然现象

    多元正态分布

    多元正态分布密度函数

    类比于一元情况,若

    equation?tex=p 维随机变量

    equation?tex=%5Cmathrm%7By%7D%3D%5Cleft%28Y_%7B1%7D%2C+%5Cldots%2C+Y_%7Bp%7D%5Cright%29%5E%7B%5Cprime%7D 服从均值向量为

    equation?tex=%5Cmu 和协方差矩阵为

    equation?tex=%5Csum_%7B%7D%5E%7B%7D%7B%7D 的多元正态分布 (Multivariate normal distribution), 记为

    equation?tex=Y%5Csim+N_p%28%5Cmu%2C%5CSigma%29 ,则密度函数为

    equation?tex=f%28y%29%3D%5Cfrac%7B1%7D%7B%7B%282+%5Cpi%29%7D%5E%7Bp%2F2%7D%7C%5CSigma%7C%5E%7B1%2F2%7D+%7D++e%5E%7B-%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%2F2%7D%5C%5C

    equation?tex=p%3D2 时,

    equation?tex=%5Cboldsymbol%7B%5Cmu%7D%3D%5Cleft%28%5Cbegin%7Barray%7D%7Bc%7D+%5Cmu_%7B1%7D+%5C%5C+%5Cmu_%7B2%7D+%5Cend%7Barray%7D%5Cright%29%2C+%5Cmathbf%7B%5CSigma%7D%3D%5Cleft%28%5Cbegin%7Barray%7D%7Bcc%7D+%5Csigma_%7B1%7D%5E%7B2%7D+%26+%5Crho_%7B12%7D+%5Csigma_%7B1%7D+%5Csigma_%7B2%7D+%5C%5C+%5Crho_%7B12%7D+%5Csigma_%7B1%7D+%5Csigma_%7B2%7D+%26+%5Csigma_%7B2%7D%5E%7B2%7D+%5Cend%7Barray%7D%5Cright%29%5C%5C

    equation?tex=+

    所以随机向量

    equation?tex=y%3D%5Cleft%28Y_%7B1%7D%2C+Y_%7B2%7D%5Cright%29%5E%7B%5Cprime%7D 服从二元正态分布 (Bivariate normal distribution):

    equation?tex=+%5Cmathbf%7By%7D+%5Csim+B+N%5Cleft%28%5Cmu_%7B1%7D%2C+%5Cmu_%7B2%7D%2C+%5Csigma_%7B1%7D%5E%7B2%7D%2C+%5Csigma_%7B2%7D%5E%7B2%7D%2C+%5Crho_%7B12%7D%5Cright%29 ,其密度函数为:

    equation?tex=%5Cbegin%7Baligned%7D+f%5Cleft%28y_%7B1%7D%2C+y_%7B2%7D%5Cright%29%3D%26+%5Cfrac%7B1%7D%7B2+%5Cpi+%5Csigma_%7B1%7D+%5Csigma_%7B2%7D+%5Csqrt%7B%5Cleft%281-%5Crho_%7B12%7D%5E%7B2%7D%5Cright%29%7D%7D+%5Ctimes+%5C%5C+%26+%5Cexp+%5Cleft%5C%7B-%5Cfrac%7B%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5E%7B2%7D%2B%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%5E%7B2%7D-2+%5Crho_%7B12%7D%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%7D%7B2%5Cleft%281-%5Crho_%7B12%7D%5E%7B2%7D%5Cright%29%7D%5Cright%5C%7D+%5Cend%7Baligned%7D

    概率密度等高线

    由于多元正态分布的密度函数为

    equation?tex=f%28y%29%3D%5Cfrac%7B1%7D%7B%7B%282+%5Cpi%29%7D%5E%7Bp%2F2%7D%7C%5CSigma%7C%5E%7B1%2F2%7D+%7D++e%5E%7B-%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%2F2%7D%5C%5C

    其概率密度等高线可表示为:

    equation?tex=%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%3Dc%5E2

    equation?tex=c 为一常数。

    根据矩阵谱分解(Spectral decomposition):

    equation?tex=%5Cboldsymbol%7B%5CSigma%7D%3D%5Csum_%7Bj%3D1%7D%5E%7Bp%7D+%5Clambda_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D%5E%7B%5Cprime%7D%5C%5C

    这里的

    equation?tex=%28%5Clambda_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D+%29%2Cj+%3D+1%2C...%2C+p 是协方差矩阵

    equation?tex=%5CSigma 的(正交)特征值-特征向量对。从而

    equation?tex=%5Cboldsymbol%7B%5CSigma%7D%5E%7B-1%7D%3D%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%5Cfrac%7B1%7D%7B+%5Clambda_%7Bj%7D%7D++%5Cmathbf%7Be%7D_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D%5E%7B%5Cprime%7D%5C%5C

    概率密度等高线:

    equation?tex=%7B%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%7D%28y-%5Cmu%29%3Dc%5E2 ,可写为:

    equation?tex=%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%5Cfrac%7B%5Cleft%5C%7B+e_j%27%28y-%5Cmu%29+%5Cright%5C%7D%5E2%7D%7B+c%5E2%5Clambda_%7Bj%7D%7D+%3D1%5C%5C

    每条等高线都是以

    equation?tex=%5Cmu+ 为中心、以

    equation?tex=%5Cpm+c+%5Csqrt%7B%5Clambda_j%7De_j 为轴长的椭球。 这里的

    equation?tex=%28%5Clambda_j%2Ce_j%29%2Cj%3D1%2C...%2Cp , 是协方差矩阵

    equation?tex=%5CSigma 的特征值-特征向量。

    二元正态分布概率密度等高线

    同理,二元正态分布的概率密度等高线可以简化为 :

    equation?tex=%7B%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5E%7B2%7D%2B%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%5E%7B2%7D-2+%5Crho_%7B12%7D%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7B%5Csigma_%7B1%7D%7D%5Cright%29%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7B%5Csigma_%7B2%7D%7D%5Cright%29%7D%3Dc_1%5E2%5C%5C

    考虑

    equation?tex=%5Crho_%7B12%7D%3D0 时的情况:

    equation?tex=%5Cleft%28%5Cfrac%7By_%7B1%7D-%5Cmu_%7B1%7D%7D%7Bc_1%5Csigma_%7B1%7D%7D%5Cright%29%5E%7B2%7D%2B%5Cleft%28%5Cfrac%7By_%7B2%7D-%5Cmu_%7B2%7D%7D%7Bc_1%5Csigma_%7B2%7D%7D%5Cright%29%5E%7B2%7D%3D1

    equation?tex=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83%E7%9A%84%E6%80%A7%E8%B4%A8%5C%5C

    线性组合

    向量

    equation?tex=y 的线性组合的正态性:

    • 假设

    equation?tex=a%3D%28a_1%2C...%2Ca_p%29%27 是一个常数向量,

    equation?tex=%E5%A6%82%E6%9E%9C+%5Cmathbf%7By%7D+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7B%5CSigma%7D%29%2C+%E5%88%99+%5Cmathbf%7Ba%7D%5E%7B%5Cprime%7D+%5Cmathbf%7By%7D+%5Csim+N%5Cleft%28%5Cmathbf%7Ba%7D%5E%7B%5Cprime%7D+%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7Ba%7D%5E%7B%5Cprime%7D+%5Cboldsymbol%7B%5CSigma%7D+%5Cmathbf%7Ba%7D%5Cright%29%5C%5C

    相反地,如果所有的

    equation?tex=y 的线性组合都服从一元正态分布,则

    equation?tex=y 一定 是多元正态分布。即:

    如果对于所有的

    equation?tex=a ,有

    equation?tex=%5Cmathbf%7Ba%7D%5E%7B%5Cprime%7D+%5Cmathbf%7By%7D+%5Csim+N%5Cleft%28%5Cmathbf%7Ba%7D%5E%7B%5Cprime%7D+%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7Ba%7D%5E%7B%5Cprime%7D+%5Cboldsymbol%7B%5CSigma%7D+%5Cmathbf%7Ba%7D%5Cright%29 ,则

    equation?tex=%5Cmathbf%7By%7D+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7B%5CSigma%7D%29

    • 假设

    equation?tex=A 是一个

    equation?tex=q%5Ctimes+p 且秩为

    equation?tex=q%28%5Cleq+p%29 的常数矩阵,

    equation?tex=d

    equation?tex=q 维常数向 量,如果

    equation?tex=%5Cmathbf%7By%7D+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7B%5CSigma%7D%29

    equation?tex=+%5Cmathbf%7BA%7D+%5Cmathbf%7By%7D%2B%5Cmathbf%7Bd%7D+%5Csim+N%5Cleft%28%5Cmathbf%7BA%7D+%5Cboldsymbol%7B%5Cmu%7D%2B%5Cmathbf%7Bd%7D%2C+%5Cmathbf%7BA%7D+%5CSigma+%5Cmathbf%7BA%7D%5E%7B%5Cprime%7D%5Cright%29.%5C%5C

    equation?tex=+ 分割

    变量

    equation?tex=y的分割的正态性:

    假设

    equation?tex=y%E3%80%81%5Cmu%E3%80%81%5CSigma 以第

    equation?tex=r 个元素为界进行分割如下:

    equation?tex=%5Cmathbf%7By%7D%3D%5Cleft%28%5Cbegin%7Barray%7D%7Bc%7D+%5Cmathbf%7By%7D_%7B1%7D+%5C%5C+%5Cmathbf%7By%7D_%7B2%7D+%5Cend%7Barray%7D%5Cright%29%2C+%5Cquad+%5Cboldsymbol%7B%5Cmu%7D%3D%5Cleft%28%5Cbegin%7Barray%7D%7Bc%7D+%5Cboldsymbol%7B%5Cmu%7D_%7B1%7D+%5C%5C+%5Cboldsymbol%7B%5Cmu%7D_%7B2%7D+%5Cend%7Barray%7D%5Cright%29%2C+%5Cquad+%5Cboldsymbol%7B%5CSigma%7D%3D%5Cleft%28%5Cbegin%7Barray%7D%7Bcc%7D+%5Cboldsymbol%7B%5CSigma%7D_%7B11%7D+%26+%5Cboldsymbol%7B%5CSigma%7D_%7B12%7D+%5C%5C+%5Cboldsymbol%7B%5CSigma%7D_%7B21%7D+%26+%5Cboldsymbol%7B%5CSigma%7D_%7B22%7D+%5Cend%7Barray%7D%5Cright%29%5C%5C

    这里

    equation?tex=%5Cmu_1

    equation?tex=y_1

    equation?tex=r%5Ctimes1 的,

    equation?tex=%5CSigma_%7B11%7D

    equation?tex=r%5Ctimes+r 的如果

    equation?tex=%5Cmathbf%7By%7D+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cboldsymbol%7B%5CSigma%7D%29 , 则

    equation?tex=%5Cquad+%5Cmathbf%7By%7D_%7B1%7D+%5Csim+N_%7Br%7D%5Cleft%28%5Cboldsymbol%7B%5Cmu%7D_%7B1%7D%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B11%7D%5Cright%29%2C+%5Cquad+%5Cmathbf%7By%7D_%7B2%7D+%5Csim+N_%7Bp-r%7D%5Cleft%28%5Cboldsymbol%7B%5Cmu%7D_%7B2%7D%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B22%7D%5Cright%29

    特别地,

    equation?tex=%5Cmathrm%7By%7D%3D%5Cleft%28Y_%7B1%7D%2C+%5Cldots%2C+Y_%7Bp%7D%5Cright%29%5E%7B%5Cprime%7D 的第

    equation?tex=j 个元素 服从一元正态分布:

    equation?tex=Y_%7Bj%7D+%5Csim+N%5Cleft%28%5Cmu_%7Bj%7D%2C+%5Csigma_%7Bj+j%7D%5Cright%29%2C+j%3D1%2C+%5Cldots%2C+p%5C%5C

    正态向量 y的子向量的分布

    假设

    equation?tex=y+%5Csim+N_p%28%CE%BC%2C+%5CSigma%29 并且

    equation?tex=%7C%5CSigma_%7B22%7D%7C%3E0 。则对于其子向量y1和y2,

    equation?tex=%5Cmathbf%7By%7D_%7B1%7D+%7C+%5Cmathbf%7By%7D_%7B2%7D+%5Csim+N_%7Br%7D%5Cleft%28%5Cboldsymbol%7B%5Cmu%7D_%7B1%7D%2B%5Cmathbf%7B%5CSigma%7D_%7B12%7D+%5Cmathbf%7B%5CSigma%7D_%7B22%7D%5E%7B-1%7D%5Cleft%28%5Cmathbf%7By%7D_%7B2%7D-%5Cboldsymbol%7B%5Cmu%7D_%7B2%7D%5Cright%29%2C+%5Cmathbf%7B%5CSigma%7D_%7B11%7D-%5Cmathbf%7B%5CSigma%7D_%7B12%7D+%5Cmathbf%7B%5CSigma%7D_%7B22%7D%5E%7B-1%7D+%5Cmathbf%7B%5CSigma%7D_%7B21%7D%5Cright%29%5C%5C

    equation?tex=%5Cmathbf%7B%5CSigma%7D_%7B12%7D+%5Cmathbf%7B%5CSigma%7D_%7B22%7D%5E%7B-1%7D :回归系数矩阵

    equation?tex=E%5Cleft%28%5Cmathbf%7By%7D_%7B1%7D+%7C+%5Cmathbf%7By%7D_%7B2%7D%5Cright%29 是关于

    equation?tex=y_2 的线性方程,同时

    equation?tex=COV%28y_1%7Cy_2%29 不依赖

    equation?tex=y_2

    独立性

    equation?tex=y 的子向量的独立性:

    现考虑先前对

    equation?tex=y%E3%80%81%5Cmu%E3%80%81%5CSigma 的分割,

    1、假设

    equation?tex=%5Cmathbf%7By%7D+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cboldsymbol%7B%5CSigma%7D%29 ,则

    equation?tex=y_1

    equation?tex=y_2独立,当且仅当

    equation?tex=%5Cboldsymbol%7B%5CSigma%7D_%7B12%7D%3DO

    2、假设

    equation?tex=%5Cmathbf%7By%7D+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cboldsymbol%7B%5CSigma%7D%29, 则

    equation?tex=Y_j

    equation?tex=Y_k 独立,当且仅当

    equation?tex=%5Csigma_%7Bjk%7D%3D0

    3、如果

    equation?tex=%5Cmathbf%7By%7D_1+%5Csim+N_%7Br%7D%28%5Cboldsymbol%7B%5Cmu%7D_1%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B11%7D%29%2C%5Cmathbf%7By%7D_2+%5Csim+N_%7Bq%7D%28%5Cboldsymbol%7B%5Cmu%7D_2%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B22%7D%29, 且

    equation?tex=y_1

    equation?tex=y_2 相互独立,

    equation?tex=%5Cleft%28%5Cbegin%7Barray%7D%7Bl%7D+%5Cmathbf%7By%7D_%7B1%7D+%5C%5C+%5Cmathbf%7By%7D_%7B2%7D+%5Cend%7Barray%7D%5Cright%29+%5Csim+N_%7Bp%2Bq%7D%5Cleft%5B%5Cleft%28%5Cbegin%7Barray%7D%7Bc%7D+%5Cboldsymbol%7B%5Cmu%7D_%7B1%7D+%5C%5C+%5Cboldsymbol%7B%5Cmu%7D_%7B2%7D+%5Cend%7Barray%7D%5Cright%29%2C%5Cleft%28%5Cbegin%7Barray%7D%7Bcc%7D+%5Cboldsymbol%7B%5CSigma%7D_%7B11%7D+%26+%5Cmathbf%7BO%7D+%5C%5C+%5Cmathbf%7BO%7D+%26+%5Cboldsymbol%7B%5CSigma%7D_%7B22%7D+%5Cend%7Barray%7D%5Cright%29%5Cright%5D%5C%5C

    求和与差

    两个多元正态向量的和与差:

    现考虑两个

    equation?tex=p 维多元向量

    equation?tex=y

    equation?tex=x

    如果

    equation?tex=%5Cmathbf%7By%7D_1+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D_1%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B11%7D%29%2C%5Cmathbf%7By%7D_2+%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D_2%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B22%7D%29 并且

    equation?tex=y_1

    equation?tex=y_2 相互独立,

    则:

    equation?tex=y_1%5Cpm+y_2%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D_1%2B%5Cmu_2%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B11%7D%2B%5Cboldsymbol%7B%5CSigma%7D_%7B22%7D%29%2C

    标准化向量

    标准化多元正态向量:

    对于任意以

    equation?tex=%5Cmu 为均值、

    equation?tex=%5CSigma 为协方差矩阵的向量

    equation?tex=y ,我们可得到其标准化的向量

    equation?tex=z,以

    equation?tex=0 为均值向量,以

    equation?tex=I 为协方差矩阵.

    对于任意以

    equation?tex=%5Cmu 为均值、

    equation?tex=%5CSigma 为协方差矩阵的向量

    equation?tex=y ,其标准化的向量

    equation?tex=z,可以通过以下两个途径获得:

    1、

    equation?tex=z%3D%28T%27%29%5E%7B-1%7D%28y-%5Cmu%29

    这里

    equation?tex=T

    equation?tex=%5CSigma 矩阵的 Cholesky 分解中的非奇异上三角阵,即:

    equation?tex=%5CSigma%3DT%27T .

    equation?tex=%5Cboldsymbol%7B%5CSigma%5E%7B1%2F2%7D%7D%3DT%27

    2、

    equation?tex=z%3D%28%5CSigma%5E%7B1%2F2%7D%29%5E%7B-1%7D%28y-%5Cmu%29

    这里的

    equation?tex=%5CSigma%5E%7B1%2F2%7D

    equation?tex=%5CSigma%5E%7B%7D 的 谱分解 (Spectral decomposition) 中的对称平方根矩阵,即:

    equation?tex=%5CSigma%5E%7B%7D%3D%5CSigma%5E%7B1%2F2%7D%5CSigma%5E%7B1%2F2%7D

    根据矩阵谱分解:

    equation?tex=%5Cboldsymbol%7B%5CSigma%7D%3D%5Csum_%7Bj%3D1%7D%5E%7Bp%7D+%5Clambda_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D%5E%7B%5Cprime%7D%5CRightarrow%5Cboldsymbol%7B%5CSigma%5E%7B1%2F2%7D%7D%3D+%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%5Csqrt%7B%5Clambda_%7Bj%7D%7D+++%5Cmathbf%7Be%7D_%7Bj%7D+%5Cmathbf%7Be%7D_%7Bj%7D%5E%7B%5Cprime%7D

    经过标准化之后,

    equation?tex=z

    equation?tex=0 为均值向量,以

    equation?tex=I 为协方差矩阵; 如果

    equation?tex=%5Cmathbf%7By%7D%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B%7D%29 ,则

    equation?tex=%5Cmathbf%7Bz%7D%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B0%7D%2C+%5Cboldsymbol%7BI%7D_%7B%7D%29 .

    二次型

    多元正态向量的二次型:

    考虑前文所说的标准正态向量

    equation?tex=z

    equation?tex=%2C%5Cmathbf%7Bz%7D%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B0%7D%2C+%5Cboldsymbol%7BI%7D_%7B%7D%29 。根据卡方分布的定义,

    equation?tex=z%27z%3D%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%7BZ_j%5E2%7D就构成了一个

    equation?tex=%5Cchi%5E2%28p%29 随机变量。

    由于

    equation?tex=z%3D%28%5CSigma%5E%7B1%2F2%7D%29%5E%7B-1%7D%28y-%5Cmu%29 因此:

    equation?tex=z%27z%3D%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%28y-%5Cmu%29

    如果

    equation?tex=%5Cmathbf%7By%7D%5Csim+N_%7Bp%7D%28%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cboldsymbol%7B%5CSigma%7D_%7B%7D%29

    equation?tex=%28y-%5Cmu%29%27%5CSigma%5E%7B-1%7D%28y-%5Cmu%29%5Csim%5Cchi%5E2%28p%29

    equation?tex=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E7%9A%84%E4%BC%B0%E8%AE%A1%5C%5C

    多元正态极大似然函数

    当总体服从多元正态分布时,对

    equation?tex=%5Cmu

    equation?tex=%5CSigma 的估计通常基于已观测向量

    equation?tex=y_1%2C...y_n 来最大化似然函数的方法:

    给定独立同分布的n个样本

    equation?tex=y_1....%2Cy_n%5Csim+N_p%28%5Cmu%2C%5CSigma%29 ,其似然函数为:

    equation?tex=%5Cbegin%7Baligned%7D+L%5Cleft%28%5Cmathbf%7By%7D_%7B1%7D%2C+%5Cmathbf%7By%7D_%7B2%7D%2C+%5Cldots%2C+%5Cmathbf%7By%7D_%7Bn%7D%2C+%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7B%5CSigma%7D%5Cright%29+%26%3D%5Cprod_%7Bi%3D1%7D%5E%7Bn%7D+f%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D%2C+%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7B%5CSigma%7D%5Cright%29+%5C%5C+%26%3D%5Cprod_%7Bi%3D1%7D%5E%7Bn%7D+%5Cfrac%7B1%7D%7B%28%5Csqrt%7B2+%5Cpi%7D%29%5E%7Bp%7D%7C%5Cmathbf%7B%5CSigma%7D%7C%5E%7B1+%2F+2%7D%7D+e%5E%7B-%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29%5E%7B%5Cprime%7D+%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29+%2F+2%7D+%5C%5C+%26%3D%5Cfrac%7B1%7D%7B%28%5Csqrt%7B2+%5Cpi%7D%29%5E%7Bn+p%7D%7C%5Cmathbf%7B%5CSigma%7D%7C%5E%7Bn+%2F+2%7D%7D+e%5E%7B-%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29%5E%7B%5Cprime%7D+%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29+%2F+2%7D+%5Cend%7Baligned%7D

    最大化似然函数L来得到

    equation?tex=%5Cmu

    equation?tex=%5Csum_%7B%7D%5E%7B%7D%7B%7D的极大似然估计

    首先考虑μ的极大似然估计。对数似然函数为:

    equation?tex=+logL%5Cleft%28%5Cmathbf%7By%7D_%7B1%7D%2C+%5Cmathbf%7By%7D_%7B2%7D%2C+%5Cldots%2C+%5Cmathbf%7By%7D_%7Bn%7D%2C+%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7B%5CSigma%7D%5Cright%29+%3D-%5Cfrac%7Bn%7D%7B2%7Dlog%7C%5CSigma%7C-++%5Cfrac%7B1%7D%7B2%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29%5E%7B%5Cprime%7D+%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29

    equation?tex=%5Cbegin%7Barray%7D%7Bc%7D+%5Cfrac%7B%5Cpartial+%5Clog+L%7D%7B%5Cpartial+%5Cboldsymbol%7B%5Cmu%7D%7D%3D%5Cmathbf%7B0%7D+%5CRightarrow+%5Csum_%7Bi%3D1%7D%5E%7Bn%7D+%5Cboldsymbol%7B%5CSigma%7D%5E%7B-1%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29%3D%5Cmathbf%7B0%7D+%5C%5C++%5Cend%7Barray%7D

    得到:

    equation?tex=%5Chat%7B%5Cboldsymbol%7B%5Cmu%7D%7D%3D%5Cfrac%7B1%7D%7Bn%7D+%5Csum_%7Bi%3D1%7D%5E%7Bn%7D+%5Cmathbf%7By%7D_%7Bi%7D%3D%5Coverline%7B%5Cmathbf%7By%7D%7D

    考虑

    equation?tex=%5Csum_%7B%7D%5E%7B%7D%7B%7D的极大似然估计。代入

    equation?tex=%5Chat%7B%5Cboldsymbol%7B%5Cmu%7D%7D%3D%5Coverline%7B%5Cmathbf%7By%7D%7D对数似然函数为:

    equation?tex=%5Cbegin%7Barray%7D+++llogL%5Cleft%28%5Cmathbf%7By%7D_%7B1%7D%2C+%5Cmathbf%7By%7D_%7B2%7D%2C+%5Cldots%2C+%5Cmathbf%7By%7D_%7Bn%7D%2C+%5Cboldsymbol%7B%5Cmu%7D%2C+%5Cmathbf%7B%5CSigma%7D%5Cright%29%26+%3D-%5Cfrac%7Bn%7D%7B2%7Dlog%7C%5CSigma%7C-++%5Cfrac%7B1%7D%7B2%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29%5E%7B%5Cprime%7D+%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Cboldsymbol%7B%5Cmu%7D%5Cright%29%5C%5C++tr%28AB%29%3Dtr%28BA%29%5Crightarrow+%26%3D-%5Cfrac%7Bn%7D%7B2%7D+%5Clog+%7C%5Cmathbf%7B%5CSigma%7D%7C-%5Cfrac%7B1%7D%7B2%7D+%5Csum_%7Bi%3D1%7D%5E%7Bn%7D+%5Coperatorname%7Btr%7D%5Cleft%5C%7B%7B%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5E%7B%5Cprime%7D%7D%7B%7D%5Cright%5C%7D%5C%5C++%26%3D-%5Cfrac%7Bn%7D%7B2%7D+%5Clog+%7C%5Cmathbf%7B%5CSigma%7D%7C-%5Cfrac%7B1%7D%7B2%7D+%5Coperatorname%7Btr%7D%5Cleft%5C%7B%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D+%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5E%7B%5Cprime%7D%5Cright%5C%7D%5C%5C++%5Cmathbf%7BS%7D_%7B0%7D%5Cequiv%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5E%7B%5Cprime%7D+%5Crightarrow+%26%3D-%5Cfrac%7Bn%7D%7B2%7D+%5Clog+%7C%5Cmathbf%7B%5CSigma%7D%7C-%5Cfrac%7B1%7D%7B2%7D+%5Coperatorname%7Btr%7D%5Cleft%28%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D+%5Cmathbf%7BS%7D_%7B0%7D%5Cright%29%5C%5C+++%5Cmathbf%7B%5COmega%7D+%5Cequiv+%5Cmathbf%7B%5CSigma%7D%5E%7B-1%7D+%5Crightarrow+%26%3D%5Cfrac%7Bn%7D%7B2%7D+%5Clog+%7C%5Cmathbf%7B%5COmega%7D%7C-%5Cfrac%7B1%7D%7B2%7D+%5Coperatorname%7Btr%7D%5Cleft%28%5COmega+%5Cmathbf%7BS%7D_%7B0%7D%5Cright%29+%5Cend%7Barray%7D

    对多元正态分布

    equation?tex=%5Cmu

    equation?tex=%5Csum_%7B%7D%5E%7B%7D%7B%7D 的极大似然估计为:

    equation?tex=%5Chat%7B%5Cboldsymbol%7B%5Cmu%7D%7D%3D%5Coverline%7B%5Cmathbf%7By%7D%7D%2C+%5Cquad+%5Chat%7B%5Cmathbf%7B%5CSigma%7D%7D%3D%5Cfrac%7B1%7D%7Bn%7D+%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5Cleft%28%5Cmathbf%7By%7D_%7Bi%7D-%5Coverline%7B%5Cmathbf%7By%7D%7D%5Cright%29%5E%7B%5Cprime%7D%3D%5Cfrac%7Bn-1%7D%7Bn%7D+%5Cmathbf%7BS%7D

    equation?tex=S 作为

    equation?tex=%5Csum_%7B%7D%5E%7B%7D%7B%7D 的估计量是无偏的,而

    equation?tex=%5Chat%5Csum_%7B%7D%5E%7B%7D%7B%7D是有偏的

    一元情形的回顾

    基于服从正态分布

    equation?tex=N%28%5Cmu%2C%5Csigma%5E2%29 的总体的独立同分布样本

    equation?tex=%5Cmathbf%7By%7D_%7B1%7D%2C+%5Cmathbf%7By%7D_%7B2%7D%2C+%5Cldots%2C+%5Cmathbf%7By%7D_%7Bn%7D

    样本均值

    equation?tex=%5Cbar%7By%7D%3D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D+y_%7Bi%7D+%2F+n 服从:

    equation?tex=%5Cbar%7By%7D+%5Csim+N%5Cleft%28%5Cmu%2C+%5Csigma%5E%7B2%7D+%2F+n%5Cright%29%5C%5C 样本方差

    equation?tex=%7BS%7D%5E%7B2%7D%3D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28y_%7Bi%7D-%5Cbar%7By%7D%5Cright%29%5E%7B2%7D+%2F%28n-1%29+ 服从:

    equation?tex=%5Cfrac%7B%28n-1%29+S%5E%7B2%7D%7D%7B%5Csigma%5E%7B2%7D%7D+%5Csim+%5Cchi%5E%7B2%7D%28n-1%29%5C%5C

    equation?tex=%5Cbar%7By%7D+

    equation?tex=S%5E2 相互独立

    非正态总体(多元中心极限定理)

    设x1,x2,⋯,xn是来自总体x的一个样本,μ和Σ存在,则当n很大且n相对于p也很大时,

    equation?tex=+ 多元情形

    类似于一元的情形,基于服从正态分布

    equation?tex=N_p%28%5Cmu%2C%5CSigma%29 总体的独立同分布样本

    equation?tex=%5Cmathbf%7By%7D_%7B1%7D%2C+%5Cmathbf%7By%7D_%7B2%7D%2C+%5Cldots%2C+%5Cmathbf%7By%7D_%7Bn%7D

    样本均值

    equation?tex=%5Cbar%7By%7D%3D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D+y_%7Bi%7D+%2F+n 服从:

    equation?tex=%5Cbar%7By%7D+%5Csim+N%5Cleft%28%5Cmu%2C+%5CSigma+%2F+n%5Cright%29%5C%5C

    样本方差

    equation?tex=%7BS%7D%5E%7B2%7D%3D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28y_%7Bi%7D-%5Cbar%7By%7D%5Cright%29%5Cleft%28y_%7Bi%7D-%5Cbar%7By%7D%5Cright%29%27+%2F%28n-1%29+ 服从:

    equation?tex=%7B%28n-1%29+S%5E%7B%7D%7D%7B%7D+%5Csim+W_p%7B%7D%28n-1%2C%5Csum%29%5C%5C

    这里的

    equation?tex=W_p%7B%7D%28n-1%2C%5Csum%29 表示

    equation?tex=n-1 个自由度的Wishart分布

    equation?tex=%5Cbar%7By%7D+

    equation?tex=S 相互独立

    Wishart分布

    Wishart 分布的定义:

    假设

    equation?tex=p 维向量

    equation?tex=z_i%2Ci%3D1%2C...%2Cq 独立同分布且服从

    equation?tex=N_p%280%2C%5CSigma%29 ,则:

    equation?tex=%5Csum_%7Bi%3D1%7D%5E%7Bq%7D+%5Cmathbf%7Bz%7D_%7Bi%7D+%5Cmathbf%7Bz%7D_%7Bi%7D%5E%7B%5Cprime%7D+%5Csim+W_%7Bp%7D%28q%2C+%5Cmathbf%7B%5CSigma%7D%29%2C%E8%87%AA%E7%94%B1%E5%BA%A6%E4%B8%BAq%EF%BC%88p%E9%98%B6%EF%BC%89%5C%5C

    服从自由度为n的p维非中心Wishart分布,记为

    equation?tex=W+%5Csim+W_p%28n%2C%5CSigma%2CZ%29 ,其中

    equation?tex=Z%3D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D+%5Cmathbf%7Bu%7D_%7Bi%7D+%5Cmathbf%7Bu%7D_%7Bi%7D%5E%7B%5Cprime%7D

    equation?tex=%CE%BC_i%3D0%2Ci%3D+1%2C2%2C..%2Cn%2C 则称W为中心化的Wishart分布,记

    equation?tex=W+%5Csim+W_p%28n%2C%5CSigma%29

    假设两个

    equation?tex=p%5Ctimes+p 的随机矩阵

    equation?tex=W_1

    equation?tex=W_2 分别服从分布

    equation?tex=W_%7Bp%7D%28q_1%2C+%5Cmathbf%7B%5CSigma%7D%29%2CW_%7Bp%7D%28q_2%2C+%5Cmathbf%7B%5CSigma%7D%29

    且彼此独立,则:

    equation?tex=%5Cmathbf%7BW%7D_%7B1%7D%2B%5Cmathbf%7BW%7D_%7B2%7D+%5Csim+W_%7Bp%7D%5Cleft%28q_%7B1%7D%2Bq_%7B2%7D%2C+%5Cmathbf%7B%5CSigma%7D%5Cright%29%5C%5C

    如果

    equation?tex=%5Cmathbf%7BW%7D+%5Csim+W_%7Bp%7D%28q%2C+%5Cmathbf%7B%5CSigma%7D%29

    equation?tex=C%E4%B8%BAk%5Ctimes+p 的常数矩阵,则有:

    equation?tex=%5Ctext+%7B+CWC%27+%7D+%5Csim+W_%7Bk%7D%5Cleft%28q%2C+%5Cmathbf%7BC+%5CSigma+C%7D%5E%7B%5Cprime%7D%5Cright%29%5C%5C

    equation?tex=+

    equation?tex=%E8%AF%84%E4%BC%B0%E6%AD%A3%E6%80%81%E6%80%A7%5C%5C

    评估一元正态性

    图像方法:直方图、QQ图

    偏度和峰度

    统计检验:

    • Shapiro-Wilks 检验

    • Kolmogorov-Smirnov 检验

    • Cramer-von Mises 检验

    • Anderson-Darling 检验

    • ……

    直方图

    QQ图

    根据QQ图的形状来判断正态性:

    equation?tex=%E7%9B%B4%E7%BA%BF%EF%BC%88%E5%85%AC%E5%BC%8F%E7%AE%AD%E5%A4%B4%EF%BC%89+%5CRightarrow+%E6%AD%A3%E6%80%81+%5C%5C+%E5%8F%8D%E2%80%9CS%E2%80%9D%E5%BD%A2+%5CRightarrow%E6%AF%94%E6%AD%A3%E6%80%81%E5%8E%9A%E5%B0%BE+%5C%5C+%E2%80%9CS%E2%80%9D%E5%BD%A2++%5CRightarrow%E6%AF%94%E6%AD%A3%E6%80%81%E8%96%84%E5%B0%BE+%5C%5C+%E5%87%B8%E5%BC%AF%E6%9B%B2+%5CRightarrow+%E5%8F%B3%E5%81%8F+%5C%5C+%E5%87%B9%E5%BC%AF%E6%9B%B2+%5CRightarrow+%E5%B7%A6%E5%81%8F%5C%5C

    偏度和峰度

    我们可以用偏度和峰度对正态性进行粗略的判断,它们应该在(0,3)左右

    统计检验

    图像方法的缺点:

    • 图像方法对于小样本并不适用

    • 图像方法以及偏度峰度法只提供了一个粗糙而不正式的检验方法,没 有一个明确的决定准则。

    因此我们需要正式的统计检验,他们基于以下假设:

    equation?tex=H_0 :数据来自正态分布

    equation?tex=H_1 :数据不来自正态分布

    Shapiro-Wilks 检验

    Shapiro-Wilks 检验统计量为:

    equation?tex=W%3D%5Cfrac%7B%5Cleft%28%5Csum_%7Bi%3D1%7D%5E%7Bn%7D+a_%7B%28i%29%7D+y_%7B%28i%29%7D%5Cright%29%5E%7B2%7D%7D%7B%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%28y_%7Bi%7D-%5Cbar%7By%7D%5Cright%29%5E%7B2%7D%7D%5C%5C

    这里

    equation?tex=+y_%7B%28i%29%7D 是第

    equation?tex=i 个样本次序统计量

    equation?tex=a_%7B%28i%29%7D 是标准正态分布中第

    equation?tex=i 个次序统计量标准化的期望值

    equation?tex=%5Csqrt%7BW%7D%5Capprox 实际数据与正态得分之间的相关系数

    equation?tex=W%3D1 时,数据恰好完全是正态分布

    equation?tex=W 显著小于1”则表明数据非正态

    Kolmogorov-Smirnov 检验

    Kolmogorov-Smirnov 检验的统计量为:

    equation?tex=D%3D%5Csqrt%7Bn%7D+%5Csup+_%7By%7D%5Cleft%7CF_%7Bn%7D%28y%29-F_%7B0%7D%28y%29%5Cright%7C%5C%5C

    这里的

    equation?tex=F_%7Bn%7D%28y%29 是数据的经验累积分布函数(cdf)

    equation?tex=F_%7B0%7D%28y%29 是与数据同均值、同方差的正态分布的累积分布函数

    equation?tex=D 值很大,则拒绝原假设

    equation?tex=H_0 .

    Cramer-von Mises 检验的统计量为:

    equation?tex=C%3D%5Cint_%7B%7D%5E%7B%7D%5Cleft%5BF_%7Bn%7D%28y%29-F_%7B0%7D%28y%29%5Cright%5D%5E2dF_0%28y%29%5C%5C

    Anderson-Darling 检验的统计量为:

    equation?tex=A%3D%5Cint_%7B%7D%5E%7B%7D%5Cfrac%7B%5Cleft%5BF_%7Bn%7D%28y%29-F_%7B0%7D%28y%29%5Cright%5D%7D%7BF_0%28y%29%281-F_0%28y%29%29%7D%5E2dF_0%28y%29%5C%5C

    评估多元正态性

    有三种方法来检验一个

    equation?tex=p 维总体

    equation?tex=y 的随机样本

    equation?tex=%5Cmathbf%7By%7D_%7B1%7D%2C+%5Cmathbf%7By%7D_%7B2%7D%2C+%5Cldots%2C+%5Cmathbf%7By%7D_%7Bn%7D 是否来自于

    多元正态分布:

    1、检验向量的每一维是否都是一元正态分布

    2、检验是否每一组二维散点图都没有线性趋势

    3、根据QQ图,检验统计距离

    equation?tex=%5C%7B%5Cmathbf%7Bd%7D_%7B1%7D%2C+%5Cmathbf%7Bd%7D_%7B2%7D%2C+%5Cldots%2C+%5Cmathbf%7Bd%7D_%7Bn%7D%5C%7D 是否距离

    equation?tex=%5Cchi%5E2%28p%29 很远,其中统计距离定义为:

    equation?tex=d_i%3D%28y_i-%5Cbar%7By%7D%29%27S%5E%7B-1%7D%28y_i-%5Cbar%7By%7D%29%5C%5C 注意,这只是一种近似的方法。

    例:在美国城市空气污染研究中,获取了关于美国41个城市的以下变量:

    • SO2:空气中的二氧化硫含量(微克/立方米)

    • temp:全年均温(华氏度)

    • manu:拥有20名以上工人的制造企业数

    • popul:1970年的人口规模(千人)

    • wind:年度平均风速(英里/小时)

    • precip:年均降水(英寸)

    • predays:年平均降水天数

    首先我们检查每一个变量的QQ图:

    二氧化硫分布比较集中,降水以及降水天数背离了正态性;制造企业数和人口数存在很多异常值.绘制两两散点图矩阵

    非线性部分显示了数据与多元 正态分布的偏离

    进一步地,我们绘制整体QQ图

    该图除了检验正态性这一用处外, 也可以用来发现可能的异常值

    如果正态性不成立,可以采用一 些变量变换方法来获取正态性, 如Box-Cox 变换

    思考

    什么是多元正态分布?

    怎样用几何的方式描绘密度函数?

    多元正态向量有哪些性质?

    equation?tex=%5Cmu

    equation?tex=%5Csum_%7B%7D%5E%7B%7D%7B%7D 的极大似然估计是什么?

    样本均值向量和样本协方差矩阵的分布是什么?

    怎样检验多元正态性?

    展开全文
  • 标准正态分布的概率密度公式正态分布概率密度公式多元正态分布的概率密度公式上式为 x 服从 k 元正态分布,x 为 k 维向量;|Σ| 代表协方差矩阵的行列式。二维正态分布概率密度函数为钟形曲面,等高线是椭圆线族,...

    标准正态分布的概率密度公式

    正态分布概率密度公式

    多元正态分布的概率密度公式

    上式为 x 服从 k 元正态分布,x 为 k 维向量;|Σ| 代表协方差矩阵的行列式。

    二维正态分布概率密度函数为钟形曲面,等高线是椭圆线族,并且二维正态分布的两个边缘分布都是一维正态分布,如图

    numpy生成一个服从多元正态分布的数组

    multivariate_normal(mean, cov, size=None, check_valid=None, tol=None)

    各参数含义:

    mean:均值,维度为1,必选参数;

    cov:协方差矩阵,必选参数;

    size: 指定生成矩阵的维度,若size=(1, 1, 2),则输出的矩阵的 shape 即形状为 1X1X2XN(N为mean的长度);

    check_valid:可取值 warn,raise以及ignore;

    tol:检查协方差矩阵奇异值时的公差,float类型。

    示例:

    import numpy as np

    import matplotlib.pyplot as plt

    mean = (1, 1)

    cov = np.array([[0.1, 0], [0, 1]])

    x = np.random.multivariate_normal(mean, cov, (500,), 'raise') # nx2

    plt.scatter(x[:, 0], x[:, 1])

    plt.xlim(-3, 5)

    plt.ylim(-3, 5)

    plt.show()

    运行结果:

    参考资料

    展开全文
  • 一元正态分布回顾如果随机变量 服从均值为 方差为 正态分布 (Univariate normal ...正态分布可以模拟大量自然现象多元正态分布多元正态分布密度函数类比于一元情况,若 维随机变量 服从均值向量为 和协方差矩阵为 ...
  • 对于 维的多元正态分布 ,其密度函数公式为: 当年学时候只是强行记住了这个公式。但是协方差矩阵 怎么理解,归一化系数中 又是怎么来,以及 指数项为什么是 则一概不知。今天偶然遇到,发现可以从矩阵对角化...
  • 多元正态分布的条件概率分布(一)

    万次阅读 2014-06-04 12:25:20
    多元正态分布的条件概率分布 假设分别有两个多维向量和 其中 那么的协方差矩阵为: 那么的协方差矩阵为: 那么的协方差矩阵为: 那么的协方差矩阵为...
  • 多元正态分布的概率密度函数 N维随机向量 如果服从多变量正态分布,必须满足下面的三个等价条件: 任何线性组合 服 从正态分布。 存在随机向量 ( 它的每个元素服从独立标准正态分布),向量 及 矩阵A满足 存在 和一...
  • 多元正态分布

    万次阅读 多人点赞 2014-06-03 09:32:15
    多元正态分布 先定义一个d元随机向量,这里用列向量来表示,每一个元素都是一个一元随机变量,如  ,其转置为  其中表示这个多元随机变量第i个分量,它是一个一维随机变量。 高斯分布主要是用均值和方差来...
  • 对于 维的多元正态分布 ,其密度函数公式为: 当年学时候只是强行记住了这个公式。但是协方差矩阵 怎么理解,归一化系数中 又是怎么来,以及 指数项为什么是 则一概不知。今天偶然遇到,发现可以从矩阵对角化...
  • 在编写多元正太分布函数和多元t分布函数时,常遇到要求解,协方差矩阵对应行列式值。 math3求解行列式值 在math3中提供了求解行列式值方法,下面将以一个具体案例,介绍其使用。 如下为Java代码: ...
  • 这就是多元正态分布的定义,均值好理解,就是高斯分布的概率分布值最大的位置,进行采样时也就是采样的中心点。而协方差矩阵在多维上形式较多。 协方差矩阵 一般来说,协方差矩阵有三种形式,分别称为球形、对角和全...
  • 多元正态分布公式如下:这就是多元正态分布的定义,均值好理解,就是高斯分布的概率分布值最大的位置,进行采样时也就是采样的中心点。而协方差矩阵在多维上形式较多。协方差矩阵一般来说,协方差矩阵有三种形式,...
  • 多元正态分布公式如下:这就是多元正态分布的定义,均值好理解,就是高斯分布的概率分布值最大的位置,进行采样时也就是采样的中心点。而协方差矩阵在多维上形式较多。协方差矩阵一般来说,协方差矩阵有三种形式,...
  • 多元正态分布的性质和定理

    千次阅读 2018-04-11 22:38:56
    X_n]^T服从多元高斯分布,均值为μ∈Rnμ∈Rn\mu \in R^n(这里μμ\mu是一个n维向量),协方差矩阵为Σ∈S++nΣ∈S++n\Sigma \in {S_{++}}^n ,(S++nS++n{S_{++}}^n 是对称正定矩阵),概率密度函数: p(x;μ,Σ)...
  • 多元正态分布公式如下:这就是多元正态分布的定义,均值好理解,就是高斯分布的概率分布值最大的位置,进行采样时也就是采样的中心点。而协方差矩阵在多维上形式较多。协方差矩阵一般来说,协方差矩阵有三种形式,...
  • 正态分布、正态分布采样及Python实现多元正态分布(多元高斯分布)协方差矩阵协方差分解变量线性变换(正态分布采样原理)python实现参考文献 多元正态分布(多元高斯分布) 直接从多元正态分布讲起。多元正态分布公式...
  • 即其分布可以由均值向量和对称的协方差矩阵 唯一确定。如果认为样本的特征向量在类内服从多元正态分布: 即对于每个类i,具有各自的类内的均值向量和协方差矩阵。如之前所学,最小错误率贝叶斯的判别函数的...
  • 该分布由D×1维均值向量μ和D×D维协方差矩阵Σ定义,μ决定分布的均值,协方差矩阵Σ决定分布的形状。分布的等值线图是椭圆,椭圆的中心由μ决定,形状由Σ决定。该图描述了一个二元分布,其中协方差通过绘制其中一...
  • 原文:http://cs229.stanford.edu/notes/cs229-notes2.pdfn维的多元正态分布,也称为多元高斯分布,是用均值向量和协方差矩阵参数化,其中Σ≥0是对称和正半定。也被写作,它密度函数为在上面方程中,“|...
  • 1.多元正态分布的概率密度函数  多元是指样本以多个变量来描述,或具有多个属性,在此一般用d维特征向量表示,X=[x1,…,xd]T。d维特征向量的正态分布用下式表示  (2-32)  其中μ是X的均值向量,也是d维, ...
  • 是一个来自均值向量为μ和协方差矩阵为∑的多元正态总体随机样本。由于X1,X2,…,X。是相互独立,且每个为N。(μ,∑)分布,所有观测结果联合密度函数是边缘正态密度之积: 似然函数 当可得到观测结果...
  • 多元正态分布的密度函数 每一个分量都服从正态分布 分量的线性组合仍然是正态分布 如果协方差矩阵是对角阵,则分量是相互独立的、服从正态分布的随机变量(对于正态分布而言,不线性相关等价于独立)。 正态性的...
  • |Σ| 代表协方差矩阵的行列式二维正态分布概率密度函数为钟形曲面,等高线是椭圆线族,并且二维正态分布的两个边缘分布都是一维正态分布,如图np.random.multivariate_normal生成一个服从多元正态分布的数组 【适用...
  • 文章结构方差和协方差定义从方差/协方差到协方差矩阵多元正态分布与线性变换协方差矩阵的特征值分解1. 方差和协方差定义在统计学中,方差是用来度量单个随机变量离散程度,而协方差则一般用来刻画两个随机变量...
  • 所提算法改进了多元正态分布评估算法中的协方差矩阵生成方式,保留了之前采样点的记忆,加入动态迭代步长加快了新协方差矩阵的更新速度.实验结果表明,所提算法的性能远超原算法,与4种经典优化算法相比,在收敛精度、...
  • 如何直观地理解「协方差矩阵」?Xinyu ChenUrban Traffic Data Analytics372 人赞同了该文章协方差矩阵在统计学和机器...文章结构方差和协方差定义从方差/协方差到协方差矩阵多元正态分布与线性变换协方差矩阵的特...
  • 在多元统计和概率论中,散点矩阵是一种统计量,用来估计协方差矩阵,例如多元正态分布。 In multivariate statistics and probability theory, the scatter matrix is a statistic that is used to make estimates ...
  • 正态分布和椭圆、椭球

    万次阅读 2007-11-19 20:24:00
    正态分布和椭圆、椭球2007.12.17修正了程序中一个错误,椭圆恢复时旋转矩阵应该是inv(V)。二元正态分布(高斯分布)等概率曲线是一个...多元正态分布(multivariate normal distribution )概率密度:很显然,
  • 方差与协方差 ...假设一个向量X服从均值向量为μ,协方差向量为,的多元正态分布,则概率密度函数表示为: 大数定律 辛钦大数定律:样本均值依概率收敛于期望值。 另一种切比雪夫定理情况: ...

空空如也

空空如也

1 2 3 4 5
收藏数 90
精华内容 36
关键字:

多元正态分布的协方差矩阵