精华内容
下载资源
问答
  • 概率论中的常用分布

    万次阅读 2018-09-29 17:54:38
    版权声明:本文为博主原创文章,欢迎转载,请标明出处。... 每天学习一点点: ...概率论中的常用分布,即(0-1)分布、二项分布、泊松分布、均匀分布、指数分布和正态分布。 ...
    版权声明:本文为博主原创文章,欢迎转载,请标明出处。 https://blog.csdn.net/cc1949/article/details/78906044

    每天学习一点点:


    概率论中的六种常用分布,即(0-1)分布、二项分布、泊松分布、均匀分布、指数分布和正态分布。




    展开全文
  • 常用分布的矩估计和最大似然估计推导过程

    千次阅读 多人点赞 2020-09-28 14:00:47
    数学期望常称为“均值”,即“随机变量取值的平均值”之意,这平均是以概率为权的平均,不是通常意义上的(总数)/(数),数学期望由随机变量的分布完全决定。 Xˉ=1n∑i=1nxi \bar{X}=\frac{1}{n}\sum_{i=1}^nx_i X...

    矩估计和极大似然估计

    矩估计基于辛钦大数定律:

    当样本的容量足够大时,样本k阶距(A_k)收敛域总体k阶距(a_k)

    样本的平均值去估计总体的均值(期望)

    期望和均值

    数学期望常称为“均值”,即“随机变量取值的平均值”之意,这个平均是以概率为权的平均,不是通常意义上的(总数)/(个数),数学期望由随机变量的分布完全决定。
    Xˉ=1ni=1nxi \bar{X}=\frac{1}{n}\sum_{i=1}^nx_i
    (1)式,其实是平均值(期望是均值),对其求期望其实就是一个加权的过程,所以无论是哪种分布,都是E(x)=μ,而非X平均值=μ

    方差:衡量一组数据离散程度的度量
    S2=1ni=1n(Xμ)2 S^2=\frac{1}{n}\sum_{i=1}^n(X-\mu)^2
    误差分析:

    • 因为X取得是样本,所以X的取值存在误差
    • 因为我们事先是不知道是什么分布的,所以μ是不知道的,使用均值替代的话,也会出现误差

    方差和修正方差的来源及其证明
    S2=1ni=1n(xiXˉ)2S2=1ni=1n[(xiμ)(Xˉμ)]2S2=1ni=1n[(xiμ)22(xiμ)(Xˉμ)+(Xˉμ)2]S2=1ni=1n(xiμ)22ni=1n(xiμ)(Xˉμ)+(Xˉμ)2S2=1ni=1n(xiμ)2(Xˉμ)2E(S2)=E(1ni=1n(xiμ)2(Xˉμ)2)=σ2E((Xˉμ)2)E((Xˉμ)2)=E(Xˉ22μXˉ+μ2)=E(Xˉ2)E(Xˉ)2=D(X)=σ2nE(S2)=σ2σ2n=n1nσ2 S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2\\ S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)-(\bar{X}-\mu)]^2\\ S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)^2-2(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2]\\ S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-\frac{2}{n}\sum_{i=1}^{n}(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2\\ S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2\\ E(S^2)=E(\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2)=\sigma^2-E((\bar{X}-\mu)^2)\\ E((\bar{X}-\mu)^2)=E(\bar{X}^2-2\mu\bar{X}+\mu^2)=E(\bar{X}^2)-E(\bar{X})^2=D(X)=\frac{\sigma^2}{n}\\ E(S^2)=\sigma^2-\frac{\sigma^2}{n}=\frac{n-1}{n}\sigma^2\\
    由上可知S^2σ^2是有微小差距的,所以对此做修正,得到的方差就是修正方差
    E(nn1S2)=nn1n1nσ2=σ2nn1S2=nn11ni=1n(xiXˉ)2=1n1i=1n(xiXˉ)2(S)2=1n1i=1n(xiXˉ)2 E(\frac{n}{n-1}S^2)=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2\\ \frac{n}{n-1}S^2=\frac{n}{n-1}\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2\\ (S^*)^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2
    本质:使用样本原点距去估计总体原点距的一种方法(用样本量估计总体量)


    估计均值
    E(Xˉ)=E(1ni=1nxi)=1ni=1nE(xi)=1nnμ=μ E(\bar X)=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}n\mu=\mu

    u^=Xˉ=1ni=1nxi \hat{u}=\bar{X}=\frac{1}{n}\sum_{i=1}^nx_i

    估计方差
    σ2=a2a12=1ni=1nxi2Xˉ2=1ni=1n(xiXˉ)2=S2 \sigma^2=a_2-a_1^2=\frac{1}{n}\sum_{i=1}^nx_i^2-\bar{X}^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{X})^2=S^2

    σ^2=S2 \hat{\sigma}^2=S^2


    0-1分布:只有一个未知参数,所以也只能估P的值

    X 0 1
    P 1-p p

    p(x=xi)=(1p)1xipxi p(x=x_i)=(1-p)^{1-x_i}p^{x_i}

    矩估计:
    E(Xˉ)=E(1ni=1nxi)=1ni=1nE(xi)=1nnp=p E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}np=p

    p^=Xˉ=1ni=1nxi \hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i

    最大似然估计
    L(p)=(1p)xi=1n(1xi)pxi=1nxi L(p)=(1-p)^{\sum_{x_i=1}^n(1-x_i)}p^{\sum_{x_i=1}^n{x_i}}

    lnL(p)=xi=1n(1xi)ln(1p)+xi=1nxilnp lnL(p)=\sum_{x_i=1}^n(1-x_i)ln(1-p)+\sum_{x_i=1}^n{x_i}lnp

    lnL(p)p=xi=1n(1xi)1p+xi=1nxip=0 令:\frac{\partial{lnL(p)}}{\partial{p}}=-\frac{\sum_{x_i=1}^n(1-x_i)}{1-p}+\frac{\sum_{x_i=1}^n{x_i}}{p}=0

    p^=Xˉ=1ni=1nxi \hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i

    注:估计的P,其实表示的就是在n次试验下,出现1的次数的概率


    泊松分布
    P(x=xi)=λxieλxi! P(x=x_i)=\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}
    矩估计
    E(Xˉ)=E(1ni=1nxi)=1ni=1nE(xi)=1nnλ=λ E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^{n}x_i)=\frac{1}{n}\sum_{i=1}^{n}E(x_i)=\frac{1}{n}n\lambda=\lambda

    λ^=Xˉ=1ni=1nxi \hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i

    注:E(x_i)=入的证明过程,其中使用到了泰勒公式进行变换
    E(X)=i=1xiP(x=xi)=i=1xiλxieλxi!=λeλi=1λxi1(xi1)!=λeλeλ=λ E(X)=\sum_{i=1}^\infty x_iP(x=x_i)=\sum_{i=1}^\infty x_i\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}=\lambda e^{-\lambda}\sum_{i=1}^\infty \frac{\lambda ^{x_i-1}}{(x_i-1)!}=\lambda e^{-\lambda}e^{\lambda}=\lambda
    最大似然估计
    L(λ)=λi=1nxienλi=1nxi! L(\lambda)=\frac{\lambda^{\sum_{i=1}^{n}x_i}e^{-n\lambda}}{\prod_{i=1}^{n}x_i!}

    lnL(λ)=i=1nxiln(λ)nλln(i=1nxi!) lnL(\lambda)=\sum_{i=1}^{n}x_iln(\lambda)-n\lambda-ln(\prod_{i=1}^nx_i!)

    lnL(λ)λ=i=1nxiλn=0 令: \frac{\partial{lnL(\lambda)}}{\partial\lambda}=\frac{\sum_{i=1}^{n}x_i}{\lambda}-n=0

    :λ^=Xˉ=1ni=1nxi 可得:\hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i


    均匀分布
    f(x)={1baa<x<b0 f(x)=\begin{cases}\frac{1}{b-a}\quad a<x<b\\0\quad\quad其他\end{cases}

    注:这里有两个参数,分别是a和b,故需要至少列两个参数才能得到解

    矩估计
    E(X)=abxf(x)dx=abxbadx=12(b+a)=Xˉσ2=1ni=1n(xiXˉ)2=S2()1baab(xXˉ)2dx=1baab(x12(b+a))2dx=112(ba)2=S2{b^=Xˉ+3Sa^=Xˉ3S E(X)=\int_{a}^{b}xf(x)dx=\int_{a}^{b}\frac{x}{b-a}dx=\frac{1}{2}(b+a)=\bar{X}\\ \sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{X})^2=S^2(下式原理)\\ \frac{1}{b-a}\int_{a}^{b}(x-\bar{X})^2dx=\frac{1}{b-a}\int_{a}^{b}(x-\frac{1}{2}(b+a))^2dx=\frac{1}{12}(b-a)^2=S^2\\ 解得:\begin{cases}^{\hat{a}=\bar{X}-\sqrt{3}S}_{\hat{b}=\bar{X}+\sqrt{3}S}\end{cases}
    最大似然估计

    常规的,列最大似然函数,然后求导令为零是求不出估计值。


    指数分布

    特点:无记忆性,可以用于描述机器寿命。
    f(x)={0λeλxx>0 f(x)=\begin{cases}^{\lambda e^{-\lambda x}\quad x>0}_{0\quad\quad 其他}\end{cases}
    矩估计:
    E(X)=0+λxeλxdx=1λ=Xˉλ^=1Xˉ E(X)=\int_0^{+\infty}\lambda xe^{-\lambda x}dx=\frac{1}{\lambda}=\bar{X}\\ \hat{\lambda}=\frac{1}{\bar{X}}
    极大似然估计
    L(λ)=λneλi=1nxilnL(λ)=nlnλλi=1nxi(lnL(λ))λ=nλi=1nxi=0λ^=ni=1n1xi=1Xˉ L(\lambda)=\lambda^ne^{-\lambda \sum_{i=1}^nx_i}\\ lnL(\lambda)=nln\lambda-\lambda\sum_{i=1}^nx_i\\ 令:\frac{\partial({lnL(\lambda)})}{\partial\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\\ \hat{\lambda}=n\sum_{i=1}^n\frac{1}{x_i}=\frac{1}{\bar{X}}


    正态分布
    f(x)=12πσe(xμ)22σ2 f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
    X~N(μ,σ^2)
    {σ^=Sμ^=Xˉ \begin{cases}^{\hat{\mu}=\bar{X}}_{\hat{\sigma}=S}\end{cases}


    写笔记难免有错误,烦请指正!如有疑问可加QQ:1372931501

    展开全文
  • 9.7 python模拟常用分布

    万次阅读 2017-09-16 22:45:58
    本章用Python统计模拟的方法,介绍四种常用的统计分布,包括离散分布:二项分布和泊松分布,以及连续分布:指数分布和正态分布,最后查看人群的身高和体重数据所符合的分布。 首先导入python相关模块:import ...

    本章用Python统计模拟的方法,介绍四种常用的统计分布,包括离散分布:二项分布和泊松分布,以及连续分布:指数分布和正态分布,最后查看人群的身高和体重数据所符合的分布。
    首先导入python相关模块:

    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    import seaborn as sns
    %matplotlib inline
    %config InlineBackend.figure_format = 'retina'

    随机数

    计算机发明后,便产生了一种全新的解决问题的方式:使用计算机对现实世界进行统计模拟。该方法又称为“蒙特卡洛方法(Monte Carlo method)”,起源于二战时美国研制原子弹的曼哈顿计划,它的发明人中就有大名鼎鼎的冯·诺依曼。蒙特卡洛方法的名字来源也颇为有趣,相传另一位发明者乌拉姆的叔叔经常在摩洛哥的蒙特卡洛赌场输钱,赌博是一场概率的游戏,故而以概率为基础的统计模拟方法就以这一赌城命名了。
    使用统计模拟,首先要产生随机数,在Python中,numpy.random 模块提供了丰富的随机数生成函数。比如生成0到1之间的任意随机数:

    np.random.random(size=5)  # size表示生成随机数的个数

    运行结果

    array([ 0.32392203,  0.3373342 ,  0.51677112,  0.28451491,  0.07627541])

    又比如生成一定范围内的随机整数:

    np.random.randint(1, 10, size=5)  # 生成5个1到9之间的随机整数

    运行结果

    array([5, 6, 9, 1, 7])

    计算机生成的随机数其实是伪随机数,是由一定的方法计算出来的,因此我们可以按下面方法指定随机数生成的种子,这样的好处是以后重复计算时,能保证得到相同的模拟结果。

    np.random.seed(123)

    在NumPy中,不仅可以生成上述简单的随机数,还可以按照一定的统计分布生成相应的随机数。这里列举了二项分布、泊松分布、指数分布和正态分布各自对应的随机数生成函数,接下来我们分别研究这四种类型的统计分布。

    • np.random.binomial()
    • np.random.poisson()
    • np.random.exponential()
    • np.random.normal()

    二项分布

    二项分布(伯努利分布)是n个独立的是/非试验中成功的次数的概率分布,其中每次试验的成功概率为p。这是一个离散分布,所以使用概率质量函数(PMF)来表示k次成功的概率:

    f(k;n,p)=(kn)pk(1p)nk

    最常见的二项分布就是投硬币问题了,投n次硬币,正面朝上次数就满足该分布。下面我们使用计算机模拟的方法,产生10000个符合(n,p)的二项分布随机数,相当于进行10000次实验,每次实验投掷了n枚硬币,正面朝上的硬币数就是所产生的随机数。同时使用直方图函数绘制出二项分布的PMF图。
    def plot_binomial(n,p):
        '''绘制二项分布的概率质量函数'''
        sample = np.random.binomial(n,p,size=10000)  # 产生10000个符合二项分布的随机数
        bins = np.arange(n+2) 
        plt.hist(sample, bins=bins, align='left', normed=True, rwidth=0.1)  # 绘制直方图
        #设置标题和坐标
        plt.title('Binomial PMF with n={}, p={}'.format(n,p))  
        plt.xlabel('number of successes')
        plt.ylabel('probability')
    
    plot_binomial(10, 0.5)

    投10枚硬币,如果正面或反面朝上的概率相同,即p=0.5, 那么出现正面次数的分布符合上图所示的二项分布。该分布左右对称,最有可能的情况是正面出现5次。
    但如果这是一枚作假的硬币呢?比如正面朝上的概率p=0.2,或者是p=0.8,又会怎样呢?我们依然可以做出该情况下的PMF图。

    fig = plt.figure(figsize=(12,4.5)) #设置画布大小
    p1 = fig.add_subplot(121)  # 添加第一个子图
    plot_binomial(10, 0.2)
    p2 = fig.add_subplot(122)  # 添加第二个子图
    plot_binomial(10, 0.8)


    这时的分布不再对称了,正如我们所料,当概率p=0.2时,正面最有可能出现2次;而当p=0.8时,正面最有可能出现8次。

    泊松分布

    泊松分布用于描述单位时间内随机事件发生次数的概率分布,它也是离散分布,其概率质量函数PMF为:

    f(k;λ)=eλλkk!

    比如你在等公交车,假设这些公交车的到来是独立且随机的(当然这不是现实),前后车之间没有关系,那么在1小时中到来的公交车数量就符合泊松分布。同样使用统计模拟的方法绘制该泊松分布,这里假设每小时平均来6辆车(即上述公式中lambda=6)。
    lamb = 6
    sample = np.random.poisson(lamb, size=10000)  # 生成10000个符合泊松分布的随机数
    bins = np.arange(20)
    plt.hist(sample, bins=bins, align='left', rwidth=0.1, normed=True) # 绘制直方图# 设置标题和坐标轴
    plt.title('Poisson PMF (lambda=6)')
    plt.xlabel('number of arrivals')
    plt.ylabel('probability')
    plt.show()

    指数分布

    指数分布用以描述独立随机事件发生的时间间隔,这是一个连续分布,所以用质量密度函数表示:

    f(x;λ)=λeλx(x0)

    比如上面等公交车的例子,两辆车到来的时间间隔,就符合指数分布。假设平均间隔为10分钟(即1/lambda=10),那么从上次发车开始,你等车的时间就满足下图所示的指数分布。
    tau = 10
    sample = np.random.exponential(tau, size=10000)  # 产生10000个满足指数分布的随机数
    plt.hist(sample, bins=80, alpha=0.7, normed=True) #绘制直方图
    plt.margins(0.02) 
    
    # 根据公式绘制指数分布的概率密度函数
    lam = 1 / tau
    x = np.arange(0,80,0.1)
    y = lam * np.exp(- lam * x)
    plt.plot(x,y,color='orange', lw=3)#设置标题和坐标轴
    plt.title('Exponential distribution, 1/lambda=10')
    plt.xlabel('time')
    plt.ylabel('PDF')
    plt.show()

    正态分布

    正态分布是一种很常用的统计分布,可以描述现实世界的诸多事物,具备非常漂亮的性质,其概率密度函数为

    f(x;μ,σ)=1σ2πe(xμ)22e2

    以下绘制了均值为0,标准差为1的正态分布的概率密度曲线,其形状好似一口倒扣的钟,因此也称钟形曲线
    def norm_pdf(x,mu,sigma):
        '''正态分布概率密度函数'''
        pdf = np.exp(-((x - mu)**2) / (2* sigma**2)) / (sigma * np.sqrt(2*np.pi))    return pdf
    
    mu = 0    # 均值为0
    sigma = 1 # 标准差为1
    # 用统计模拟绘制正态分布的直方图
    sample = np.random.normal(mu, sigma, size=10000)
    plt. hist(sample, bins=100, alpha=0.7, normed=True)# 根据正态分布的公式绘制PDF曲线
    x = np.arange(-5, 5, 0.01)
    y = norm_pdf(x, mu, sigma)
    plt.plot(x,y, color='orange', lw=3)
    plt.show()

    展开全文
  • 常用概率分布的矩母函数与特征函数的推导 一、离散型随机变量的分布 1、离散型均匀分布 二、连续型随机变量的分布

    一、定义与性质

    XI0()tIEetx设X为随机变量,I是一个包含0的(有限或无限的)开区间,对任意t∈I,期望Ee^{tx}存在
    MX(t)=E(etX)=+etxdF(x),tIX则称函数M_{X}(t)=E(e^{tX})=\int_{-\infin}^{+\infin}e^{tx}dF(x),t∈I为X的矩母函数
    XφX(t)=E(eitX)=+eitxdF(x)X设X为任意随机变量,称函数\varphi_{X}(t)=E(e^{itX})=\int_{-\infin}^{+\infin}e^{itx}dF(x)为X的特征函数
    一个随机变量的矩母函数不一定存在,但是特征函数一定存在。
    随机变量与特征函数存在一一对应的关系

    二、离散型随机变量的分布

    0、退化分布(Degenerate distribution)

    Xa退f(k;a)={1,k=a0,ka若X服从参数为a的退化分布,那么f(k;a)=\left\{\begin{matrix} 1,k=a \\ 0,k\neq a \end{matrix}\right.
    M(t)=etaM(t)=e^{ta}
    φ(t)=eita\varphi(t)=e^{ita}
    M(t)=aetaM'(t)=ae^{ta}
    EX=M(0)=aEX=M'(0)=a
    M(t)=a2etaM''(t)=a^2e^{ta}
    EX2=M(0)=a2EX^2=M''(0)=a^2
    DX=EX2(EX)2=0DX=EX^2-(EX)^2=0

    1、离散型均匀分布(Discrete uniform distribution)

    XDU(a,b),XF(k;a,b)=ka+1ba+1若X服从离散型均匀分布DU(a,b) ,则X分布函数为F(k;a,b)=\frac{\lfloor k\rfloor -a+1}{b-a+1}
    M(t)=k=abetkP(x=k)则矩母函数M(t)=\sum_{k=a}^{b} e^{tk}P(x=k)
    =(k=abetk)1ba+1=(\sum_{k=a}^{b} e^{tk})\frac{1}{b-a+1}
    =eate(b+1)t(1et)(ba+1)=\frac{e^{at}-e^{(b+1)t}}{(1-e^{t})(b-a+1)}
    φ(t)=k=abeitkP(x=k)特征函数\varphi(t)=\sum_{k=a}^{b} e^{itk}P(x=k)
    =(k=abeitk)1ba+1=(\sum_{k=a}^{b} e^{itk})\frac{1}{b-a+1}
    =eaite(b+1)it(1eit)(ba+1)=\frac{e^{ait}-e^{(b+1)it}}{(1-e^{it})(b-a+1)}
    M(t)=1ba+1(aeat(b+1)e(b+1)t)(1et)+(eate(b+1)t)et(et1)2M'(t)=\frac{1}{b-a+1}\frac{(ae^{at}-(b+1)e^{(b+1)t})(1-e^t)+(e^{at}-e^{(b+1)t})e^t}{(e^{t}-1)^{2}}
    t=0M(t)M(0)=limt0M(t)t=0为M'(t)的可去间断点,补充定义M'(0)=\lim_{t\rightarrow0}M'(t)
    EX=M(0)=limt01ba+1(a2eat(b+1)2e(b+1)t)(1et)+(eate(b+1)t)et2(et1)etEX=M'(0)=\lim_{t\rightarrow0}\frac{1}{b-a+1}\frac{(a^2e^{at}-(b+1)^2e^{(b+1)t})(1-e^t)+(e^{at}-e^{(b+1)t})e^t}{2(e^{t}-1)e^t}
    =limt01ba+1(a2eat(b+1)2e(b+1)t)(et1)+(eate(b+1)t)2(et1)=\lim_{t\rightarrow0}\frac{1}{b-a+1}\frac{(a^2e^{at}-(b+1)^2e^{(b+1)t})(e^{-t}-1)+(e^{at}-e^{(b+1)t})}{2(e^{t}-1)}
    =limt01ba+1(a3eat(b+1)3e(b+1)t)(et1)(a2eat(b+1)2e(b+1)t)et+(aeat(b+1)e(b+1)t)2et=\lim_{t\rightarrow0}\frac{1}{b-a+1}\frac{(a^3e^{at}-(b+1)^3e^{(b+1)t})(e^{-t}-1)-(a^2e^{at}-(b+1)^2e^{(b+1)t})e^{-t}+(ae^{at}-(b+1)e^{(b+1)t})}{2e^{t}}
    =a2+(b+1)2+a(b+1)2(ba+1)=\frac{-a^2+(b+1)^2+a-(b+1)}{2(b-a+1)}
    =a2+(b+1)22(ba+1)12=\frac{-a^2+(b+1)^2}{2(b-a+1)}-\frac{1}{2}
    =(b+1a)(b+1+a)2(ba+1)12=\frac{(b+1-a)(b+1+a)}{2(b-a+1)}-\frac{1}{2}
    =b+1+a212=\frac{b+1+a}{2}-\frac{1}{2}
    =b+a2=\frac{b+a}{2}
    M(t)M(t)M(0)t=0M由于对M'(t)求导得到M''(t),再求M''(0)的方法比较繁琐,而我们只需要t=0时M的二阶导数值,
    使TaylorM(0)因此可以考虑使用Taylor公式计算M''(0)
    1et=u,t=0,u=0令1-e^t=u,t=0时,u=0
    M(t)=eate(b+1)t(1et)(ba+1)M(t)=\frac{e^{at}-e^{(b+1)t}}{(1-e^{t})(b-a+1)}
    =1ba+1uaub+1u=\frac{1}{b-a+1}\frac{u^a-u^{b+1}}{u}
    =1ba+11+a1!(u)+a(a1)2!u2+a(a1)(a2)3!(u3)+o(u3)1b+11!(u)(b+1)b2!u2(b+1)b(b1)3!(u3)o(u3)u=\frac{1}{b-a+1}\frac{1+\frac{a}{1!}(-u)+\frac{a(a-1)}{2!}u^2+\frac{a(a-1)(a-2)}{3!}(-u^3)+o(u^3)-1-\frac{b+1}{1!}(-u)-\frac{(b+1)b}{2!}u^2-\frac{(b+1)b(b-1)}{3!}(-u^3)-o(u^3)}{u}
    =1ba+1a1!(u)+a(a1)2!u2+a(a1)(a2)3!(u3)+o(u3)b+11!(u)(b+1)b2!u2(b+1)b(b1)3!(u3)u=\frac{1}{b-a+1}\frac{\frac{a}{1!}(-u)+\frac{a(a-1)}{2!}u^2+\frac{a(a-1)(a-2)}{3!}(-u^3)+o(u^3)-\frac{b+1}{1!}(-u)-\frac{(b+1)b}{2!}u^2-\frac{(b+1)b(b-1)}{3!}(-u^3)}{u}
    =1ba+1((b+1a)+a(a1)2!u+a(a1)(a2)3!(u2)+o(u2)(b+1)b2!u(b+1)b(b1)3!(u2))=\frac{1}{b-a+1}((b+1-a)+\frac{a(a-1)}{2!}u+\frac{a(a-1)(a-2)}{3!}(-u^2)+o(u^2)-\frac{(b+1)b}{2!}u-\frac{(b+1)b(b-1)}{3!}(-u^2))
    =1+a(a1)(b+1)b2!(ba+1)u+(b+1)b(b1)a(a1)(a2)3!(ba+1)u2+o(u2)=1+\frac{a(a-1)-(b+1)b}{2!(b-a+1)}u+\frac{(b+1)b(b-1)-a(a-1)(a-2)}{3!(b-a+1)}u^2+o(u^2)
    u=1et=tt22!+o(t2)而u=1-e^t=-t-\frac{t^2}{2!}+o(t^2)
    M(t)=1a(a1)(b+1)b2!(ba+1)ta(a1)(b+1)b2!(ba+1)t22!+(b+1)b(b1)a(a1)(a2)3!(ba+1)t2+o(t2)因此M(t)=1-\frac{a(a-1)-(b+1)b}{2!(b-a+1)}t-\frac{a(a-1)-(b+1)b}{2!(b-a+1)}\frac{t^2}{2!}+\frac{(b+1)b(b-1)-a(a-1)(a-2)}{3!(b-a+1)}t^2+o(t^2)
    M(t)=M(0)+M(0)t+M(0)2!t2+o(t2)又因为M(t)=M(0)+M'(0)t+\frac{M''(0)}{2!}t^2+o(t^2)
    M(0)=a(a1)(b+1)b2!(ba+1)=a+b2因此M'(0)=-\frac{a(a-1)-(b+1)b}{2!(b-a+1)}=\frac{a+b}{2}
    EX=M(0)=a+b2EX=M'(0)=\frac{a+b}{2}
    M(0)=2!(a(a1)(b+1)b4(ba+1)+(b+1)b(b1)a(a1)(a2)3!(ba+1))而M''(0)=2!*(-\frac{a(a-1)-(b+1)b}{4(b-a+1)}+\frac{(b+1)b(b-1)-a(a-1)(a-2)}{3!(b-a+1)})
    =a+b2+(b+1a)(b2+abb+a22a)3(ba+1)=\frac{a+b}{2}+\frac{(b+1-a)(b^2+ab-b+a^2-2a)}{3(b-a+1)}
    =a+b2+b2+abb+a22a3=\frac{a+b}{2}+\frac{b^2+ab-b+a^2-2a}{3}
    =2a2+2b2+2ab+ba6=\frac{2a^2+2b^2+2ab+b-a}{6}
    DX=EX2(EX)2=M(0)(EX)2DX=EX^2-(EX)^2=M''(0)-(EX)^2
    =2a2+2b2+2ab+ba6a2+2ab+b24=\frac{2a^2+2b^2+2ab+b-a}{6}-\frac{a^2+2ab+b^2}{4}
    =(ba+1)2112=\frac{(b-a+1)^2-1}{12}

    2、伯努利分布/两点分布(Bernoulli distribution)

    XB(1,p),XP(x=1)=p,P(x=0)=1p=q若X服从伯努利分布B(1,p) ,则X满足P(x=1)=p, P(x=0)=1-p=q
    M(t)=pet+1pM(t)=pe^{t}+1-p
    φ(t)=peit+1p\varphi(t)=pe^{it}+1-p
    M(t)=petM'(t)=pe^{t}
    EX=M(0)=pEX=M'(0)=p
    M(t)=petM''(t)=pe^{t}
    EX2=M(0)=pEX^{2}=M''(0)=p
    DX=EX2(EX)2=p(1p)DX=EX^{2}-(EX)^{2}=p(1-p)

    3、二项分布(Binomial distribution)

    XB(n,p),Xf(k;n,p)=P(x=k)=Cnkpk(1p)nk(n)若X服从二项分布B(n,p) ,则X满足f(k;n,p)=P(x=k)=C_{n}^{k}p^k(1-p)^{n-k} (n为整数)
    n因为服从二项分布的变量可以看作n个独立相同的服从伯努利分布的变量之和
    M(t)=(pet+1p)n因此M(t)=(pe^{t}+1-p)^{n}
    φ(t)=(peit+1p)n\varphi(t)=(pe^{it}+1-p)^{n}
    M(t)=np(pet+1p)n1etM'(t)=np(pe^{t}+1-p)^{n-1}e^{t}
    EX=M(0)=npEX=M'(0)=np
    M(t)=n(n1)p2(pet+1p)n2e2t+np(pet+1p)n1etM''(t)=n(n-1)p^{2}(pe^{t}+1-p)^{n-2}e^{2t}+np(pe^{t}+1-p)^{n-1}e^{t}
    EX2=M(0)=n(n1)p2+npEX^{2}=M''(0)=n(n-1)p^{2}+np
    DX=EX2(EX)2=np(1p)DX=EX^{2}-(EX)^{2}=np(1-p)

    4、几何分布(Geometric distribution)

    XGe(p),Xf(k;p)=P(x=k)=(1p)k1p(k=1,2,3......)若X服从几何分布Ge(p), 则X满足f(k;p)=P(x=k)=(1-p)^{k-1}p (k=1,2,3......)
    M(t)=k=1(1p)k1petkM(t)=\sum_{k=1}^{\infin}(1-p)^{k-1}pe^{tk}
    =petk=1((1p)et)k1=pe^{t}\sum_{k=1}^{\infin}((1-p)e^t)^{k-1}
    =pet1(1p)et=\frac{pe^{t}}{1-(1-p)e^{t}}
    φ(t)=k=1(1p)k1peitk\varphi(t)=\sum_{k=1}^{\infin}(1-p)^{k-1}pe^{itk}
    =peitk=1((1p)eit)k1=pe^{it}\sum_{k=1}^{\infin}((1-p)e^{it})^{k-1}
    =peit1(1p)eit=\frac{pe^{it}}{1-(1-p)e^{it}}
    M(t)=pet(1(1p)et)2M'(t)=\frac{pe^t}{(1-(1-p)e^t)^2}
    EX=M(0)=1pEX=M'(0)=\frac{1}{p}
    M(t)=pet(etpet+1)(1(1p)et)3M''(t)=\frac{pe^t(e^t-pe^t+1)}{(1-(1-p)e^t)^3}
    EX2=M(0)=2pp2EX^{2}=M''(0)=\frac{2-p}{p^2}
    DX=EX2(EX)2=1pp2DX=EX^{2}-(EX)^{2}=\frac{1-p}{p^2}

    5、负二项分布(Negative binomial distribution)

    XNB(r,p),Xf(k;r,p)=(k+r1k)pk(1p)r,k=0,1,2,3......若X服从负二项分布NB(r,p), 则X满足f(k;r,p)=\binom{k+r-1}{k}p^{k}(1-p)^{r} , k=0,1,2,3......
    (r)(r可以为实数,此时的分布称为波利亚分布)
    M(t)=k=0(k+r1k)pk(1p)retkM(t)=\sum_{k=0}^{\infin}\binom{k+r-1}{k}p^k(1-p)^re^{tk}
    =k=0(1)k(rk)pk(1p)retk=\sum_{k=0}^{\infin}(-1)^k\binom{-r}{k}p^k(1-p)^re^{tk}
    =k=0(pet)k(rk)(1p)r=\sum_{k=0}^{\infin}(-pe^t)^k\binom{-r}{k}(1-p)^r
    =(1p)rk=0(pet)k(rk)1rk=(1-p)^r\sum_{k=0}^{\infin}(-pe^t)^k\binom{-r}{k}1^{-r-k}
    =(1p)r(1pet)r=(1-p)^r(1-pe^t)^{-r}
    φ(t)=k=0(k+r1k)pk(1p)reitk\varphi(t)=\sum_{k=0}^{\infin}\binom{k+r-1}{k}p^k(1-p)^re^{itk}
    =k=0(1)k(rk)pk(1p)reitk=\sum_{k=0}^{\infin}(-1)^k\binom{-r}{k}p^k(1-p)^re^{itk}
    =k=0(peit)k(rk)(1p)r=\sum_{k=0}^{\infin}(-pe^{it})^k\binom{-r}{k}(1-p)^r
    =(1p)rk=0(peit)k(rk)1rk=(1-p)^r\sum_{k=0}^{\infin}(-pe^{it})^k\binom{-r}{k}1^{-r-k}
    =(1p)r(1peit)r=(1-p)^r(1-pe^{it})^{-r}
    M(t)=(1p)r(r)(1pet)r1(pet)M'(t)=(1-p)^r(-r)(1-pe^{t})^{-r-1}(-pe^t)
    =rp(1p)ret(1pet)r1=rp(1-p)^re^t(1-pe^t)^{-r-1}
    EX=M(0)=rp1pEX=M'(0)=\frac{rp}{1-p}
    M(t)=rp(1p)ret(1pet)r1+rp(1p)ret(r1)(1pet)r2(pet)M''(t)=rp(1-p)^re^t(1-pe^t)^{-r-1}+rp(1-p)^re^t(-r-1)(1-pe^t)^{-r-2}(-pe^t)
    EX2=rp(1p)1+r(r+1)p2(1p)2EX^2=rp(1-p)^{-1}+r(r+1)p^2(1-p)^{-2}
    =rp(1p)+r(r+1)p2(1p)2=\frac{rp(1-p)+r(r+1)p^2}{(1-p)^2}
    =rp+r2p2(1p)2=\frac{rp+r^2p^2}{(1-p)^2}
    DX=EX2(EX)2=pr(1p)2DX=EX^2-(EX)^2=\frac{pr}{(1-p)^2}

    6、泊松分布(Poisson distribution)

    XP(λ),P(X=k)=eλλkk!,k=0,1,2......若X服从泊松分布P(\lambda),则P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!},k=0,1,2......
    M(t)=k=0eλλkk!etkM(t)=\sum_{k=0}^{\infin}\frac{e^{-\lambda}\lambda^k}{k!}e^{tk}
    =eλk=0(λet)kk!=e^{-\lambda}\sum_{k=0}^{\infin}\frac{(\lambda e^t)^k}{k!}
    =eλeλet=e^{-\lambda}e^{\lambda e^t}
    =eλ(et1)=e^{\lambda (e^t-1)}
    φ(t)=k=0eλλkk!eitk\varphi(t)=\sum_{k=0}^{\infin}\frac{e^{-\lambda}\lambda^k}{k!}e^{itk}
    =eλk=0(λeit)kk!=e^{-\lambda}\sum_{k=0}^{\infin}\frac{(\lambda e^{it})^k}{k!}
    =eλeλeit=e^{-\lambda}e^{\lambda e^{it}}
    =eλ(eit1)=e^{\lambda (e^{it}-1)}
    M(t)=eλ(et1)λetM'(t)=e^{\lambda (e^t-1)}\lambda e^t
    EX=M(0)=λEX=M'(0)=\lambda
    M(t)=eλ(et1)λet+eλ(et1)λetλetM''(t)=e^{\lambda (e^t-1)}\lambda e^t+e^{\lambda (e^t-1)}\lambda e^t\lambda e^t
    EX2=M(0)=λ+λ2EX^2=M''(0)=\lambda+\lambda^2
    DX=EX2(EX)2=λDX=EX^2-(EX)^2=\lambda

    三、连续型随机变量的分布

    1、连续型均匀分布(Uniform distribution (continuous))

    XU(a,b),f(x)=1baI[a,b](x)若X服从连续型均匀分布U(a,b),则f(x)=\frac{1}{b-a}I_{[a,b]}(x)
    M(t)=ab1baetxdxM(t)=\int_{a}^{b}\frac{1}{b-a}e^{tx}dx
    =1baabetxdx=\frac{1}{b-a}\int_{a}^{b}e^{tx}dx
    =1ba(1tetxab)=\frac{1}{b-a}(\frac{1}{t}e^{tx}\mid_{a}^{b})
    =etbetat(ba)=\frac{e^{tb}-e^{ta}}{t(b-a)}
    φ(t)=ab1baeitxdx\varphi(t)=\int_{a}^{b}\frac{1}{b-a}e^{itx}dx
    =1baabeitxdx=\frac{1}{b-a}\int_{a}^{b}e^{itx}dx
    =1ba(1iteitxab)=\frac{1}{b-a}(\frac{1}{it}e^{itx}\mid_{a}^{b})
    =eitbeitait(ba)=\frac{e^{itb}-e^{ita}}{it(b-a)}
    M(t)=1ba(betbaeta)t(etbeta)t2M'(t)=\frac{1}{b-a}\frac{(be^{tb}-ae^{ta})t-(e^{tb}-e^{ta})}{t^2}
    t=0M(t)M(0)=limt0M(t)t=0为M'(t)的可去间断点,补充定义M'(0)=\lim_{t\rightarrow0}M'(t)
    EX=M(0)=limt0(betbaeta)+(b2etba2eta)t(betbaeta)2t(ba)EX=M'(0)=\lim_{t\rightarrow0}\frac{(be^{tb}-ae^{ta})+(b^2e^{tb}-a^2e^{ta})t-(be^{tb}-ae^{ta})}{2t(b-a)}
    =limt0(b2etba2eta)2(ba)=\lim_{t\rightarrow0}\frac{(b^2e^{tb}-a^2e^{ta})}{2(b-a)}
    =b2a22(ba)=\frac{b^2-a^2}{2(b-a)}
    =a+b2=\frac{a+b}{2}
    M(t)=1ba((b2etba2eta)t+(betbaeta)(betbaeta))t2((betbaeta)t(etbeta))t3M''(t)=\frac{1}{b-a}\frac{((b^2e^{tb}-a^2e^{ta})t+(be^{tb}-ae^{ta})-(be^{tb}-ae^{ta}))t-2((be^{tb}-ae^{ta})t-(e^{tb}-e^{ta}))}{t^3}
    =1bat2(b2etba2eta)2t(betbaeta)+2(etbeta)t3=\frac{1}{b-a}\frac{t^2(b^2e^{tb}-a^2e^{ta})-2t(be^{tb}-ae^{ta})+2(e^{tb}-e^{ta})}{t^3}
    t=0M(t)M(0)=limt0M(t)t=0为M''(t)的可去间断点,补充定义M''(0)=\lim_{t\rightarrow0}M''(t)
    EX2=M(0)=limt01bat2(b3etba3eta)+2t(b2etba2eta)2t(b2etba2eta)2(betbaeta)+2(betbaeta)3t2EX^2=M''(0)=\lim_{t\rightarrow0}\frac{1}{b-a}\frac{t^2(b^3e^{tb}-a^3e^{ta})+2t(b^2e^{tb}-a^2e^{ta})-2t(b^2e^{tb}-a^2e^{ta})-2(be^{tb}-ae^{ta})+2(be^{tb}-ae^{ta})}{3t^2}
    =1balimt0t2(b3etba3eta)3t2=\frac{1}{b-a}\lim_{t\rightarrow0}\frac{t^2(b^3e^{tb}-a^3e^{ta})}{3t^2}
    =1balimt0(b3etba3eta)3=\frac{1}{b-a}\lim_{t\rightarrow0}\frac{(b^3e^{tb}-a^3e^{ta})}{3}
    =1ba(b3a3)3=\frac{1}{b-a}\frac{(b^3-a^3)}{3}
    =b2+ab+a23=\frac{b^2+ab+a^2}{3}
    DX=EX2(EX)2=(ba)212DX=EX^2-(EX)^2=\frac{(b-a)^2}{12}

    2、指数分布(Exponential distribution)

    XE(λ)f(x)=λeλxI[0,+)(x)若X服从指数分布E(\lambda),则f(x)=\lambda e^{-\lambda x}I_{[0,+\infin)}(x)
    M(t)=0+λeλxetxdxM(t)=\int_{0}^{+\infin} \lambda e^{-\lambda x}e^{tx}dx
    =λ0+e(tλ)xdx=\lambda \int_{0}^{+\infin} e^{(t-\lambda)x}dx
    =λtλ(e(tλ)x0+)=\frac{\lambda}{t-\lambda}(e^{(t-\lambda)x}\mid_{0}^{+\infin})
    t<λM(t)=λtλ(01)t<\lambda时,M(t)=\frac{\lambda}{t-\lambda}(0-1)
    =λλt=\frac{\lambda}{\lambda-t}
    φ(t)=λλit\varphi(t)=\frac{\lambda}{\lambda-it}
    M(t)=λ(λt)2M'(t)=\frac{\lambda}{(\lambda-t)^2}
    EX=M(0)=1λEX=M'(0)=\frac{1}{\lambda}
    M