《数理统计》课本上对二项分布、泊松分布以及正态分布的特征函数的推导过程没有详细描述，我在利用现有公式对上述三种分布推导一遍，并对相关性质知识进行回顾，以此记录。

特征函数

特征函数是实变量的复值函数，它在一切实数都有定义，在不引起混淆的情况下，将简记为。

若是离散型随机变量，其概率分布列为，则它的特征函数为

                                                                            

若是连续型随机变量，其概率密度为，则它的特征函数为

                                                                      

二项分布特征函数推导

二项分布：离散型概率分布，，

期望：

方差：

特征方程的推导：



         

         

         

泊松分布特征函数推导

泊松分布：离散型概率分布，

期望：

方差：

特征方程的推导：



         

         

         

         

正态分布特征函数推导

正态分布：连续型概率分布，，

期望：

方差：

特征方程的推导：

方法一：



         

         

由于，，

由于，所以，

         

方法二：



         

         

         

         

同理由于，所以，

         

由于，

         

以上就是全部推导过程！

其他函数就不一一展示了，公式在最上方，通过计算可以得到每一种分布的特征函数！

 

1、什么是指数分布族
1.1 基本描述
        指数型分布是一类重要的分布族，在统计推断中，指数型分布族占有重要的地位，在各领域应用广泛。许多的统计分布都是指数型分布，彼此之间具有一定的共性，在研究其统计性质与分布特征时，利用指数型分布族的特征，可以将这一族分布的特征分别表示出。在广义线性模型的统计推断中，常假设样本服从指数型分布。
1.2 定义
       指数分布族可以写成如下的形式：
                                                     
        在这里，η叫做分布的自然参数，a(η)叫做累积量母函数（又称log partition function）。exp(-α(η))这个量是分布p(y;η)的归一化常数，用来确保分布p(y;η)对y的积分为1。T(y)称为充分统计量（sufficient statistic）,对于我们考虑的分布，一般认为T(y)=y。
一组确定的T，a和b定义了这样一个以η为参数的分布族。对于不同的η，我们可以得到指数分布族中不同的分布。
1.3 数学特征
        对于单参数指数型分布的随机变量，记，分别表示关于η的函数a对η求一二阶导数，则有以下结论：
指数型分布随机变量的期望
指数型分布随机变量的方差

2、高斯分布属于指数分布族的证明
        对于高斯分布，当方差已知时，（方差对模型的参数没有影响，所以我们可以任意地选一个方差），在这里我们令，则其分布可以表示为：
                                        
        为了将其向指数分布族靠拢，我们进行如下表示：
                                         
        这显示了高斯分布可以被写成是指数分布族的形式，所以高斯分布属于指数分布族。
        进一步地，我们用指数分布族的性质去验证一下，有：
                                        
                                          
        刚好是高斯分布的期望和方差，所以验证成功。
 
 
3、二项分布属于指数分布族的证明
        对于二项分布（伯努利分布），每一个取不同均值的参数Φ，就会唯一确定一个y属于{0,1}之间的分布。所以可以表示为
                                   
        故二项分布的分布函数只以Φ作为参数，统一这样表示二项分布：
                                               
        这样，自然参数为：，翻转一下，有：
        为了进一步将二项分布向指数分布族靠拢，我们可以进行如下表示：
                                                 
        这显示了二项分布可以被写成是指数分布族的形式，所以二项分布属于指数分布族。
 
        进一步地，我们用指数分布族的性质去验证一下，有：
                                       
                                       
        刚好是二项分布的期望与方差，故满足性质。
转载于:https://www.cnblogs.com/linyuanzhou/p/4947931.html

一、定义

方差：



标准差：



方差公式：


二、重要分布的方差

1、两点分布



2、二项分布



3、泊松分布



4、均匀分布



注：公式中那个(b-a)/2应为(a+b)/2

5、指数分布



6、正态分布

D(X)=σ2
三、方差的性质



注：X1、X2···、Xn相互独立时


四、契比雪夫不等式



注：只需要知道期望和方差，不需要知道分布
五、小结

概率论（三）随机变量的数字特征
基本概念
数学期望
离散型随机变量的数学期望
连续型随机变量的数学期望
数学期望的性质
随机变量函数的数学期望
方差
方差的定义
方差计算公式
方差的性质
重要分布的数学期望与方差
(0-1)分布
二项分布$X\sim B( n,p)$
泊松分布$X\sim P(\lambda)$
均匀分布$X\sim U( a,b )$
指数分布$X\sim E(\lambda)$
几何分布$X\sim G(p)$
正态分布$X\sim N(\mu,\sigma^2)$
协方差及相关系数
协方差
协方差的性质
相关系数
相关系数的性质
随机变量的独立性与相关性
矩 、 协方差矩阵（了解）
随机变量的矩
协方差矩阵
$n$维正态随机变量具有以下四条重要性质：

基本概念
数学期望
离散型随机变量的数学期望
离散型随机变量$X$的分布律为$P=\{X=x_k\}=p_k(k = 1,2,\cdots),$  如果级数$\sum_{k=1}^{\infty}x_kp_k$绝对收敛,称此级数的和为$X$的数学期望,记 $EX=\sum_{k=1}^{\infty}x_kp_k.$
连续型随机变量的数学期望
连续型随机变量$X$的概率密度为$f(x),$若广义积分$\int_{-\infty}^{+\infty}{xf(x)dx}$绝对收敛,称$\int_{-\infty}^{+\infty}{xf(x)dx}$的值为$X$的数学期望， 记 $EX=\int_{-\infty}^{+\infty}{xf(x)dx}.$
数学期望的性质

设$C$为常数,则有 $E(C) = C.$
设$C$为常数$,X$为随机变量， 则有$E(CX ) = CE(X).$
设$X,Y$为任意两个随机变量,则有$E(X+Y) = E(X)+E(Y).$
若$X,Y$为相互独立的随机变量， 则有$E(XY) = E(X)E(Y).$

随机变量函数的数学期望
设随机变量$Y=g(X)$是连续函数,当$X$为离散型随机变量时,其分布律为$P\{ X = x_k\}=p_k,k = 1,2,\cdots,$则

$E(Y)=E(g(X))=\sum_{k=1}^{\infty}g(x_k)p_k.$

当$X$为连续型随机变量时,其密度函数为$f(x),$则

$E(Y)=E(g(X))=\int_{-\infty}^{+\infty}{g(x)f(x)dx}.$
设随机变量$Z=g(x,y)$是连续函数,当离散型二维随机变量$(X,Y)$的分布律为$P=\{X=x_i,Y=y_j\}=p_{ij}$时,

$EZ=\sum_{i}\sum_{j}g(x_i,y_j)p_{ij};$
当连续型二维随机变量$(X,Y)$的概率密度为$f(x,y)$时,

$E(Y)=E(g(X))=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}{g(x,y)f(x,y)dxdy}.$

数学期望是反映平均取值的一个指标.

方差
方差的定义
设$X$是一个随机变量,若$E\{[X —E( X )]^2 \}$存在,则称$E\{[X —E( X )]^2 \}$为$X$的方差,记为$D( X) $或$Var(X),$即$D(X) = Var( X) = E{[X-E(X)]^2}.$
在应用上还引人量$\sqrt{D(X)}$,记为$\sigma(X)$,称为标准差或均方差.
方差计算公式
$D X = E( X^ 2 ) - ( E X )^2$
方差的性质


设$C$为常数，则$D(C) = 0.$


设 X 为随机变量， C 为常数， 则有$D( C X ) = C^2 D( X ).$


设随机变量 X 与 Y 相互独立， 则有$D( X\pm Y)=D(X)+ D(Y);$


$D(X) = 0$的充要条件是X依概率1取常数EX， 即$P\{ X = E X\} = 1.$


重要分布的数学期望与方差
(0-1)分布
KaTeX parse error: No such environment: align* at position 8: 
\begin{̲a̲l̲i̲g̲n̲*̲}̲
&P\{X=1\}=p,P\…
二项分布$X\sim B( n,p)$
$E(X)=np,D(X)=np(1—p).$
泊松分布$X\sim P(\lambda)$
$E( X ) =\lambda,D( X)=\lambda.$
均匀分布$X\sim U( a,b )$
$E(X)={1\over2}(a+b),D(X)=\frac{(b-a)^2}{12}.$
指数分布$X\sim E(\lambda)$
$E(X)={1\over \lambda},D(X)={1\over \lambda^2}$
几何分布$X\sim G(p)$
$E(X)={1\over p},D(X)={1-p\over p^2}$
正态分布$X\sim N(\mu,\sigma^2)$
$E(X)=\mu,D(X)=\sigma^2$
特例:标准正态分布$X\sim N(0,1)$

$E( X ) = 0， D(X) = 1.$
协方差及相关系数
协方差
对于二维随机变量$(X,Y),Cov(X,Y)=E[X-E(X)][Y-E(Y)]$是其协方差,或用$Cov(X,Y)=E(XY)-EXEY$表示.
其中

$EXY=
\begin{cases}
\sum_{i}\sum_{j}g(x_i,y_j)P\{X=x_i,Y=y_j\}(离散型);\\
\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}{xyf(x,y)dxdy}(连续型).
\end{cases}$
协方差的性质
KaTeX parse error: No such environment: align* at position 8: 
\begin{̲a̲l̲i̲g̲n̲*̲}̲
&(1) Cov(X,X) …
相关系数
$\rho_{XY}={Cov( X.Y)\over\sqrt{D(X)}\sqrt{D(Y)}}(D(X)>0,D(Y)>0).$
$\rho_{XY}= 0$时,X与Y是不相关的.

相关系数反映了两个随机变量的线性相关程度， 当其绝对值越接近 1 时$,X$与$Y$的线性相关程度就越强,反之,越接近0时$,X$与$Y$线性相关程度就越弱
相关系数的性质
(1)$0\leq\rho_{XY}\leq 1$

(2)$\mid\rho_{XY}\mid=1$的充分必要条件是存在不全为零的常数α和b，使得$P(Y=ax+b)=1.$
随机变量的独立性与相关性
(1) 若随机变量X与Y 独立， 则X与Y—定不相关;但是若 X 与 Y 不相关， 则 X 与 Y 可能独立， 也可能不独立.

(2 ) 若随机变量 X 与 Y 的联合分布是二维正态分布， 则 X 与 Y 独立的充分必要条件是 X 与 Y 不相关.
矩 、 协方差矩阵（了解）
随机变量的矩
称$E(X^k)$为$X$的$k$阶原点矩.
称$E\{[X-E(X)]^k\}$为$X,Y$的$k$阶中心矩
称$E(X^kY^l)$为$X,Y$的$(k+l)$阶混合原点矩
称$E\{[X-E(X)]^k[Y-E(Y)]^l\}$为$X,Y$的$(k+l)$阶混合中心矩
数学期望E是X的一阶原点矩,方差DX是X的二阶中心矩,协方差 Cov(X,Y) 是 X 与 Y的混合二阶中心矩.
协方差矩阵
$(X.Y)的协方差矩阵\frac{=}{^{\Delta}}
\begin{pmatrix} c_{11} & c_{12} \\ c_{21}& c_{22}\\ \end{pmatrix}$
其中

$C_{11}=E[(X- EX)^2],\\
C_{12}= E[(X-EX)(Y-EY)],\\
C_{21}= E[(Y-EY)(X-EX)],\\
C_{22}= E[(Y-EY)^2].$
$n$维正态随机变量具有以下四条重要性质：
(1) $n$维正态随机变量$(X_1,X_2,\cdots,X_n)$的每个分量$X_i,i=1,2,\cdots,n$都是正态随机变量； 反之，若$X_1,X_2,\cdots,X_n$都是正态随机变量， 且相互独立， 则$(X_1,X_2,\cdots,X_n)$是$n$维正态随机变量.
(2) $n$维正态随机变量$(X_1,X_2,\cdots,X_n)$服从$n$维正态分布的充要条件$X_1,X_2,\cdots,X_n$的任意线性组合$l_1X_1+l_2X_2+\cdots+l_nX_n$服从1维正态分布(其中$l_1,l_2,\cdots,l_n$不全为零)
(3) 若$(X_1,X_2,\cdots,X_n)$服从$n$维正态分布,设$Y_1,Y_2,\cdots,Y_n$是$X_j(j=1,2,\cdots,n)$的线性函数，则$(Y_1,Y_2,\cdots,Y_n)$也服从多维正态分布.这一性质称为正态变量的线性变换不变性.
(4)设$(X_1,X_2,\cdots,X_n)$服从$n$维正态分布,则"$X_1,X_2,\cdots,X_n$相互独立"与"$X_1,X_2,\cdots,X_n$两两不相关"是等价的.