1、什么是指数分布族
1.1 基本描述
指数型分布是一类重要的分布族,在统计推断中,指数型分布族占有重要的地位,在各领域应用广泛。许多的统计分布都是指数型分布,彼此之间具有一定的共性,在研究其统计性质与分布特征时,利用指数型分布族的特征,可以将这一族分布的特征分别表示出。在广义线性模型的统计推断中,常假设样本服从指数型分布。
1.2 定义
1.3 数学特征
- 指数型分布随机变量的期望
- 指数型分布随机变量的方差
《数理统计》课本上对二项分布、泊松分布以及正态分布的特征函数的推导过程没有详细描述,我在利用现有公式对上述三种分布推导一遍,并对相关性质知识进行回顾,以此记录。
特征函数
特征函数
是实变量的复值函数,它在一切实数
都有定义,在不引起混淆的情况下,将
简记为
。
若
是离散型随机变量,其概率分布列为
,则它的特征函数为
若
是连续型随机变量,其概率密度为
,则它的特征函数为
二项分布特征函数推导
二项分布:离散型概率分布,
,
期望:
方差:
特征方程的推导:
泊松分布特征函数推导
泊松分布:离散型概率分布,
期望:
方差:
特征方程的推导:
正态分布特征函数推导
正态分布:连续型概率分布,
,
期望:
方差:
特征方程的推导:
方法一:
由于
,
,
由于
,所以
,
方法二:
同理由于
,所以
,
由于
,
以上就是全部推导过程!
其他函数就不一一展示了,公式在最上方,通过计算可以得到每一种分布的特征函数!
1、什么是指数分布族
1.1 基本描述
指数型分布是一类重要的分布族,在统计推断中,指数型分布族占有重要的地位,在各领域应用广泛。许多的统计分布都是指数型分布,彼此之间具有一定的共性,在研究其统计性质与分布特征时,利用指数型分布族的特征,可以将这一族分布的特征分别表示出。在广义线性模型的统计推断中,常假设样本服从指数型分布。
1.2 定义
指数分布族可以写成如下的形式:在这里,η叫做分布的自然参数,a(η)叫做累积量母函数(又称log partition function)。exp(-α(η))这个量是分布p(y;η)的归一化常数,用来确保分布p(y;η)对y的积分为1。T(y)称为充分统计量(sufficient statistic),对于我们考虑的分布,一般认为T(y)=y。一组确定的T,a和b定义了这样一个以η为参数的分布族。对于不同的η,我们可以得到指数分布族中不同的分布。1.3 数学特征
对于单参数指数型分布的随机变量,记,分别表示关于η的函数a对η求一二阶导数,则有以下结论:
- 指数型分布随机变量的期望
- 指数型分布随机变量的方差
2、高斯分布属于指数分布族的证明
对于高斯分布,当方差已知时,(方差对模型的参数没有影响,所以我们可以任意地选一个方差),在这里我们令,则其分布可以表示为:
为了将其向指数分布族靠拢,我们进行如下表示:这显示了高斯分布可以被写成是指数分布族的形式,所以高斯分布属于指数分布族。进一步地,我们用指数分布族的性质去验证一下,有:刚好是高斯分布的期望和方差,所以验证成功。3、二项分布属于指数分布族的证明
对于二项分布(伯努利分布),每一个取不同均值的参数Φ,就会唯一确定一个y属于{0,1}之间的分布。所以可以表示为故二项分布的分布函数只以Φ作为参数,统一这样表示二项分布:这样,自然参数为:,翻转一下,有:
为了进一步将二项分布向指数分布族靠拢,我们可以进行如下表示:这显示了二项分布可以被写成是指数分布族的形式,所以二项分布属于指数分布族。进一步地,我们用指数分布族的性质去验证一下,有:刚好是二项分布的期望与方差,故满足性质。转载于:https://www.cnblogs.com/linyuanzhou/p/4947931.html
一、定义
方差:
标准差:
方差公式:
二、重要分布的方差
1、两点分布
2、二项分布
3、泊松分布
4、均匀分布
注:公式中那个(b-a)/2应为(a+b)/2
5、指数分布
6、正态分布
D(X)=σ2三、方差的性质
注:X1、X2···、Xn相互独立时
四、契比雪夫不等式
注:只需要知道期望和方差,不需要知道分布五、小结
概率论(三)随机变量的数字特征
基本概念
数学期望
离散型随机变量的数学期望
离散型随机变量的分布律为 如果级数绝对收敛,称此级数的和为的数学期望,记
连续型随机变量的数学期望
连续型随机变量的概率密度为若广义积分绝对收敛,称的值为的数学期望, 记
数学期望的性质
- 设为常数,则有
- 设为常数为随机变量, 则有
- 设为任意两个随机变量,则有
- 若为相互独立的随机变量, 则有
随机变量函数的数学期望
设随机变量是连续函数,当为离散型随机变量时,其分布律为则
当为连续型随机变量时,其密度函数为则
设随机变量是连续函数,当离散型二维随机变量的分布律为时,
当连续型二维随机变量的概率密度为时,
数学期望是反映平均取值的一个指标.
方差
方差的定义
设是一个随机变量,若存在,则称为的方差,记为$D( X) Var(X),D(X) = Var( X) = E{[X-E(X)]^2}.$
在应用上还引人量,记为,称为标准差或均方差.
方差计算公式
方差的性质
设为常数,则
设 X 为随机变量, C 为常数, 则有
设随机变量 X 与 Y 相互独立, 则有
的充要条件是X依概率1取常数EX, 即
重要分布的数学期望与方差
(0-1)分布
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &P\{X=1\}=p,P\…
二项分布
泊松分布
均匀分布
指数分布
几何分布
正态分布
特例:标准正态分布
协方差及相关系数
协方差
对于二维随机变量是其协方差,或用表示.
其中
协方差的性质
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &(1) Cov(X,X) …
相关系数
时,X与Y是不相关的.
相关系数反映了两个随机变量的线性相关程度, 当其绝对值越接近 1 时与的线性相关程度就越强,反之,越接近0时与线性相关程度就越弱相关系数的性质
(1)
(2)的充分必要条件是存在不全为零的常数α和b,使得随机变量的独立性与相关性
(1) 若随机变量X与Y 独立, 则X与Y—定不相关;但是若 X 与 Y 不相关, 则 X 与 Y 可能独立, 也可能不独立.
(2 ) 若随机变量 X 与 Y 的联合分布是二维正态分布, 则 X 与 Y 独立的充分必要条件是 X 与 Y 不相关.矩 、 协方差矩阵(了解)
随机变量的矩
称为的阶原点矩.
称为的阶中心矩
称为的阶混合原点矩
称为的阶混合中心矩
数学期望E是X的一阶原点矩,方差DX是X的二阶中心矩,协方差 Cov(X,Y) 是 X 与 Y的混合二阶中心矩.
协方差矩阵
其中
维正态随机变量具有以下四条重要性质:
(1) 维正态随机变量的每个分量都是正态随机变量; 反之,若都是正态随机变量, 且相互独立, 则是维正态随机变量.
(2) 维正态随机变量服从维正态分布的充要条件的任意线性组合服从1维正态分布(其中不全为零)
(3) 若服从维正态分布,设是的线性函数,则也服从多维正态分布.这一性质称为正态变量的线性变换不变性.
(4)设服从维正态分布,则"相互独立"与"两两不相关"是等价的.