精华内容
下载资源
问答
  • 关于参数估计(点估计和参数估计)的详细笔记。


    统计方法
    在这里插入图片描述
    参数估计概览
    在这里插入图片描述
    估计量与估计值
    估计量:用于估计总体参数的随机变量
    估计值:估计参数时计算出来的统计量的具体值

    参数点估计

    用样本的估计量的某个取值直接作为总体参数的估计值
    例如:用样本均值直接作为总体均值的估计;
    用两个样本均值之差直接作为总体均值之差的估计。
    无法给出估计值接近总体参数程度的信息
    虽然在重复抽样条件下,点估计的均值可望等于总体真值,但由于样本是随机的,抽出一个具体的样本得到的估计值很可能不同于总体真值。
    一个点估计量的可靠性是由它的抽样标准误差来衡量的,这表明一个具体的点估计值无法给出估计的可靠性的度量。

    矩估计法

    借助样本矩去估计总体的矩,得到总体相应的未知参数的估计值。
    1 .用样本的一阶原点矩来估计总体的均值μ
    2 .用样本的二阶中心矩来估计总体的方差σ2

    极大似然估计法

    在这里插入图片描述

    点估计的评价准则(无偏性一致性有效性)

    在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

    无偏性
    估计量抽样分布的数学期望等于被估计的总体参数
    在这里插入图片描述
    无偏估计指的是所有可能样本估计值的数学期望等于待估总体参数

    有效性
    对同一总体参数的两个无偏点估计量,有更小标准差的估计量更有效
    在这里插入图片描述
    一致性
    随着样本量的增大,估计量的值越来越接近被估计的总体参数
    在这里插入图片描述

    区间估计

    在点估计的基础上,给出总体参数估计的一个区间范围,该区间由样本统计量加减抽样误差而得到的。
    根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量。
    在这里插入图片描述

    主要公式

    在这里插入图片描述
    置信水平
    在这里插入图片描述

    置信区间

    由样本统计量所构造的总体参数的估计区间称为置信区间
    统计学家在某种程度上确信这个区间会包含真正的总体参数,所以给它取名为置信区间
    用一个具体的样本所构造的区间是一个特定的区间,我们无法知道这个样本所产生的区间是否包含总体参数的真值
    我们只能是希望这个区间是大量包含总体参数真值的区间中的一个,但它也可能是少数几个不包含参数真值的区间中的一个
    总体参数以一定的概率落在这一区间的表述是错误的

    例:重复构造出μ的20个置信区间
    在这里插入图片描述
    在这里插入图片描述
    影响区间宽度的因素
    在这里插入图片描述
    当样本量一定时,置信区间的宽度随着置信系数的增大而增大。
    当置信水平一定时,置信区间的宽度随着样本的增大而减小。

    区间估计的步骤
    以总体均值的区间估计为例:
    在这里插入图片描述

    区间估计的内容

    在这里插入图片描述

    总体均值的区间估计(大样本)

    在这里插入图片描述

    例子:
    为了估计目前北京市场二手房交易的平均价格,制定相应的营销策略,某房地产中介公司在2005年第四季度的二手房交易中,随机抽取40个交易作为样本,得到二手房交易价格如下表所示(单位:万元)。
    在这里插入图片描述
    假定房地产中介公司从上季度的二手房交易记录中得到以下信息:交易价格的标准差为15万元,于是我们假定总体标准差σ=15。试在95%的置信水平下估计二手房平均价格的置信区间。
    答案:
    在这里插入图片描述
    一家保险公司收集到由36个投保人组成的随机样本,得到每个投保人的年龄(单位:周岁)数据如下表。试建立投保人年龄90%的置信区间。
    在这里插入图片描述
    在这里插入图片描述

    总体均值的区间估计(小样本)

    在这里插入图片描述
    t 分布
    t 分布是类似正态分布的一种对称分布,它通常要比正态分布平坦和分散。一个特定的分布依赖于称之为自由度的参数。随着自由度的增大,分布也逐渐趋于正态分布。
    在这里插入图片描述
    自由度
    1.当样本统计量被计算出以后可以自由改变的观测值数目
    2.举例
    3个数之和是 6
    X1 = 1(或其他数)
    X2 = 2(或其他数)
    X3 = 3(不能改变)
    Sum=6
    自由度df=n-1=2

    例题
    沿用上例,假定该房地产公司在某日随机抽取16位二手房购买者,得到二手房交易价格如下表所示(万元)。
    在这里插入图片描述
    根据以往交易情况得知:二手房交易价格服从正态分布,但总体方差未知。
    试在95%的置信水平下估计二手房交易平均价格的置信区间。
    在这里插入图片描述
    已知某种灯泡的寿命服从正态分布,现从一批灯泡中随机抽取16只,测得其使用寿命(单位:h)如下。建立该批灯泡平均使用寿命95%的置信区间。
    在这里插入图片描述
    在这里插入图片描述

    单一总体均值的区间估计总结

    当正态总体的方差未知时,在大样本条件下,估计总体均值使用的分布是正态分布。
    当正态总体的方差未知时,在小样本条件下,估计总体均值使用的分布是t分布。
    当正态总体的方差已知时,在小样本条件下,估计总体均值使用的分布是正态分布。
    当正态总体的方差已知时,在大样本条件下,估计总体均值使用的分布是正态分布。
    对于非正态总体,在大样本条件下,估计总体均值使用的分布是正态分布。
    在这里插入图片描述
    在这里插入图片描述

    两个总体均值之差的区间估计(大样本)

    在这里插入图片描述
    在这里插入图片描述
    例题
    沿用上例。从2006年初开始,北京二手房交易价格急剧攀升。为对比2006年第一季度与2005年第四季度二手房平均价格的差异,该房地产中介公司从2006年第一季度的交易中随机抽取36个,得到二手房交易价格如下表所示(单位:万元) 。
    在这里插入图片描述
    将以上数据和引例中2005年第四季度二手房交易价格进行整理,得到:
    在这里插入图片描述
    根据以上数据,试以95%置信水平估计2006年第一季度与2005年第四季度的二手房交易平均价格差值的置信区间。
    在这里插入图片描述
    某地区教育管理部门想估计两所中学的学生高考时的英语平均分数之差,为此在两所中学独立抽取两个随机样本,有关数据如表。试建立两所中学高考英语平均分数之差95%的置信区间。
    在这里插入图片描述
    在这里插入图片描述

    总体比例的区间估计

    在这里插入图片描述
    在这里插入图片描述
    某城市想要估计下岗职工中女性所占的比例,随机地抽取了100名下岗职工,其中65人为女性职工。试以95%的置信水平估计该城市下岗职工中女性比例的置信区间。
    在这里插入图片描述

    总体方差的区间估计

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    沿用上例,假定二手房的交易价格服从正态分布。试在95%的置信水平下估计二手房交易价格方差的置信区间。
    在这里插入图片描述
    在这里插入图片描述
    样本容量的确定
    假定E (Error)是在一定置信水平下允许的误差范围,又称边际误差,于是有:
    在这里插入图片描述
    在这里插入图片描述
    沿用上例,假定房地产中介公司想要估计2005年第四季度二手房的平均交易价格。按照历史经验,总体标准差为15万元。试问:在95%的置信水平下,使二手房平均交易价格的误差范围小于5万元,样本容量应定为多少?
    在这里插入图片描述
    拥有工商管理学士学位的大学毕业生年薪的标准差大约为2000元,假定想要估计年薪95%的置信区间,希望估计误差为400元,应抽取多大的样本量?
    在这里插入图片描述
    根据以往的生产统计,某种产品的合格率约为90%,现要求估计误差为 5% , 在 求95%的置信区间,应抽取多少个产品作为样本?
    在这里插入图片描述

    展开全文
  • 参数估计 统计学有两大主要分支,分别是描述性统计学和推断统计学。描述性统计学用于描述和概括数据的特征以及绘制各类统计图表。总体数据,往往因为数据量太大而难以被获取,所以就有了通过较小的样本数据推测总体...

    作者:xxw9485
    时间:2018/3/20
    来源:https://www.jianshu.com/p/7e556f17021a


    参数估计

    统计学有两大主要分支,分别是描述性统计学和推断统计学。描述性统计学用于描述和概括数据的特征以及绘制各类统计图表。总体数据,往往因为数据量太大而难以被获取,所以就有了通过较小的样本数据推测总体特性的推断统计学。

    推断统计学的一个研究方向就是用样本数据估算总体的未知参数,称之为参数估计。如果是用一个数值进行估计,则称为点估计;如果估计时给出的是一个很高可信度的区间范围,则称为区间估计。

    本文先介绍了抽样分布和中心极限定理,并用蒙特卡洛方法进行模拟;然后引入置信区间的概念,并将之用于分析BRFSS数据中的BMI指数上。
    首先依旧是导入相关Python模块和数据,顺便看下数据量。

    # 输入
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    import seaborn as sns
    import brfss
    df = brfss.ReadBrfss()
    bmi = df.bmi.dropna() # 取数据中的bmi列,并去除缺失值
    print(len(bmi))
    # 输出
    405058

    中心极限定理

    如果我们将上述40万多份的BMI数据看成是总体,然后从中随机抽取n个数据组成一份样本,并计算该样本的均值。重复这一过程1000次,我们就得到了1000个样本的均值分布,即抽样分布
    抽样分布满足中心极限定理,即在样本量n越来越大时,均值的抽样分布将越来越接近正态分布,该分布的均值等于总体的均值;标准差,在这里也称为标准误差SE满足公式:
    image
    这里使用蒙特卡洛模拟的方法,在40万BMI数据中随机抽取n个数计算均值,并重复1000次,组成抽样分布。以下的sampling_distribution()函数用于实现这一模拟过程,并绘制抽样分布的直方图和ECDF图。

    def sampling_distribution(data, sample_size=20, bins=40):
        #抽样分布模拟,输出均值、标准差以及直方图、ECDF图
        # 随机抽样
        sampling = [np.mean(np.random.choice(data, size=sample_size, replace=False)) for _ in range(1000)]  
    
        # 输出总体和抽样分布的均值、标准差
        mu = np.mean(data)
        se = np.std(data) / np.sqrt(sample_size)
        print('mean of sample means: %.2f' % np.mean(sampling))
        print('population means: %.2f' % mu)
        print('Standard deviation of sample means: %.2f' % np.std(sampling))
        print('Standard Error: %.2f' % se)
    
        # 绘制抽样分布的直方图、ECDF图
        fig = plt.figure(figsize=(16,5))
        p1 = fig.add_subplot(121)
        plt.hist(sampling, bins=bins, rwidth=0.9)
        plt.xlabel('sampling means')
        plt.ylabel('counts')
        p2 = fig.add_subplot(122)
        plot_ecdf(sampling, xlabel='sampling means', label='sampling ')
        sample = np.random.normal(mu, se, size=10000)
        plot_ecdf(sample, xlabel='sampling means', label='normal distribution')
        plt.show()
    
    def ecdf(data):
        #计算ECDF
        x = np.sort(data)
        y = np.arange(1, len(x)+1) / len(x)
        return (x,y)
    
    def plot_ecdf(data, xlabel=None , ylabel='ECDF', label=None):
        #绘制ECDF图
        x, y = ecdf(data)
        _ = plt.plot(x, y, marker='.', markersize=3, linestyle='none', label=label)
        _ = plt.legend(markerscale=4)
        _ = plt.xlabel(xlabel)
        _ = plt.ylabel(ylabel)
        plt.margins(0.02)

    下面我们将样本量n分别取为10、20、100,进行三次模拟。

    # 输入
    sampling_distribution(bmi, sample_size=10)
    sampling_distribution(bmi, sample_size=20)
    sampling_distribution(bmi, sample_size=100)
    # 输出
    mean of sample means: 27.95
    population means: 28.04
    Standard deviation of sample means: 2.04
    Standard Error: 2.10
    mean of sample means: 28.11
    population means: 28.04
    Standard deviation of sample means: 1.50
    Standard Error: 1.49
    mean of sample means: 28.05
    population means: 28.04
    Standard deviation of sample means: 0.69
    Standard Error: 0.67

    image
    image
    image
    观察上面的输出结果和图形,我们发现随着样本量的递增,抽样分布越来越靠近正态分布,其均值和标准差也越来越符合中心极限定理中给出的关系。

    一般当n大于等于30时,样本均值的抽样分布近似为正态分布。此时我们可以用样本的均值来估计总体的均值,这就是点估计的一种最简单的方式。但从上述分布也可以看出,样本均值其实是以一定概率在总体均值附近浮动的,所以这就有了后面将要讲的置信区间。

    关于中心极限定理,还有一点需要强调的是,无论变量原来的分布是什么样的,其均值的抽样分布在n足够大时都会接近正态分布。比如我们研究BRFSS数据中人们每周运动的总时间(单位:分钟),大部分人每周运动的时间少于500分钟,而极少数人能达到3000分钟,其直方图反应数据大部分集中在左侧,而右侧有一条长长的尾巴。

    exemin = df[df.exemin != 0].exemin.dropna()   # 提取锻炼时间数据,丢弃0或者缺失值
    plt.hist(exemin,bins=40, range=(0,3000), rwidth=0.9)  # 绘制直方图
    plt.xlabel('exercise mins per week')
    plt.ylabel('counts')
    plt.show()

    image
    显然这一数据分布并不满足正态分布,但是我们采用上述相同的方法模拟其样本均值的抽样分布,在样本量n为1000时,抽样分布与正态分布符合的非常好。可见中心极限定理并不要求变量原来分布的样子,这也正是其魅力所在。

    # 输入
    sampling_distribution(exemin, sample_size=1000)
    # 输出
    mean of sample means: 499.54
    population means: 499.37
    Standard deviation of sample means: 23.60
    Standard Error: 23.75

    image

    正态分布的特性

    既然中心极限定理中涉及了正态分布,我们就来看看其均值和标准差的一些性质。这里导入scipy的统计模块,使用scipy.stats.norm()模拟标准正态分布,即均值为0,标准差为1。使用norm.pdf()计算概率密度,并绘制概率密度函数(PDF)图。

    import scipy.stats
    norm = scipy.stats.norm()  # 标准正态分布
    
    x = np.arange(-5, 5, 0.02)
    y = norm.pdf(x)  # 概率密度
    plt.plot(x,y)
    plt.axvline(x=0,ymax=0.95, linestyle='--', color='red', alpha=0.5)
    plt.axvline(x=1,ymax=0.59, linestyle='--', color='green')
    plt.axvline(x=-1,ymax=0.59, linestyle='--', color='green')
    plt.axvline(x=2,ymax=0.16, linestyle='--', color='blue')
    plt.axvline(x=-2,ymax=0.16, linestyle='--', color='blue')
    plt.margins(0.02)
    plt.show()

    image
    PDF图中曲线下的面积代表了概率, 使用norm.cdf()可计算这部分面积,即累积概率分布。于是我们就可以得到变量距离均值在1个标准差范围内的概率为0.68,2个标准差范围内的概率是0.95,3个标准差范围内的概率是0.997。可见在正态分布中,数据主要集中在3个标准差之内。

    # 输入
    print('1 sigma : %.3f' % (norm.cdf(1) - norm.cdf(-1)))
    print('2 sigma : %.3f' % (norm.cdf(2) - norm.cdf(-2)))
    print('3 sigma : %.3f' % (norm.cdf(3) - norm.cdf(-3)))
    # 输出
    1 sigma : 0.683
    2 sigma : 0.954
    3 sigma : 0.997

    反过来,我们也可以通过概率来求变量分布的区间,这里使用norm.interval(),比如95%的情况下变量分布在-1.96到1.96之间,99%的情况下分布在-2.58到2.58之间。

    # 输入
    norm.interval(0.95)
    norm.interval(0.99)
    # 输出
    (-1.959963984540054, 1.959963984540054)
    (-2.5758293035489004, 2.5758293035489004)

    置信区间

    在能够计算正态分布中一定概率下对应的变量区间后,我们再回到之前用样本均值估计总体均值时遗留的问题,即样本的均值围绕总体均值在一定范围内浮动的。我们需要估算总体均值在多大的概率下落在抽样的随机区间内,这就是置信区间。
    我们仍然将40多万的bmi数据当成是总体,然后从中随机抽取样本量为100的数据,根据中心极限定理绘制抽样分布图如下。

    sample_size = 100    
    
    # 计算总体的均值和标准差
    mu = np.mean(bmi)
    se = np.std(bmi) / np.sqrt(sample_size)
    # 绘制正态分布的PDF
    norm = scipy.stats.norm(mu, se)
    x = np.arange(26, 31, 0.01)
    y = norm.pdf(x)
    plt.plot(x,y)
    
    # 绘制抽样分布的直方图
    sample_size = 100    
    sampling = [np.mean(np.random.choice(bmi, size=sample_size, replace=False)) for _ in range(1000)]
    plt.hist(sampling, bins=40, rwidth=0.9, normed=True, alpha=0.7)
    
    plt.show()

    image
    根据正态分布的性质,在95%的概率下,均值分布区间是(26.74, 29.35)。也就是说,在样本量为100时,我们有95%的信心相信总体均值落在26.74和29.35之间,这就是95%的置信区间。同理,99%的置信区间是(26.33, 29.76)。注意这是在大样本量的情况下,我们才能使用正态分布,而如果样本量n小于30,则需要采用t分布。

    # 输入
    norm.interval(0.95)
    norm.interval(0.99)
    # 输出
    (26.738141245959351, 29.346706751112283)
    (26.328305902131977, 29.756542094939658)

    区间估计的应用

    回到本系列文章一直在探索的一个问题,即比较富人和普通人的BMI指数。此时,bmi数据不再当做总体看待,而是作为调查的样本,总体是BRFSS数据针对的全体美国人。首先将bmi数据按照收入等级分为两组,即富人bmi数据和普通人bmi数据。

    df2 = df[['bmi', 'income']].dropna()  # 提取数据中bmi和收入水平income这两列,并忽略缺失值
    bmi_rich = df2[df2.income == 8].bmi   # 收入水平为8级的,认为是富人
    bmi_ord = df2[df2.income != 8].bmi    # 收入水平为1-7级的,认为是普通人群

    以下定义了mean_ci()函数,根据置信区间的计算公式,计算95%置信度下均值所在的区间。

    def mean_ci(data):
        '''给定样本数据,计算均值95%的置信区间'''
    
        sample_size = len(data)
        std = np.std(data, ddof=1)  # 估算总体的标准差
        se = std / np.sqrt(sample_size)  # 计算标准误差   
        point_estimate = np.mean(data)  
        z_score = scipy.stats.norm.isf(0.025)  # 置信度95%
        confidence_interval = (point_estimate - z_score * se, point_estimate + z_score * se)
    
        return confidence_interval

    于是得到富人bmi95%的置信区间为(27.42, 27.49), 普通人bmi95%的置信区间为(28.51, 28.57)。这两个区间间隔的还比较远,数值上差不多有1这么多。所以我们可以比较有信心的得出富人更瘦的结论。

    # 输入
    mean_ci(bmi_rich)
    mean_ci(bmi_ord)
    # 输出
    (27.415906122294761, 27.485560606043915)
    (28.509003170593907, 28.565637279855423)

    但要注意了,以上之所以能得到这么肯定的结论,源于使用的样本数据量非常大,这大大缩小了置信区间的范围(这可以从中心极限定理中标准误差的公式看出)。现在让我们使用前500个数据,看看在样本较少时会发生什么情况。

    # 输入
    mean_ci(bmi_rich[:500])
    mean_ci(bmi_ord[:500])
    # 输出
    (27.849838839563304, 28.791561160436636)
    (28.200546441671069, 29.303493558328935)

    此时富人bmi95%的置信区间为(27.85, 28.79),而普通人bmi95%的置信区间为(28.20, 29.30),很明显这两个区间都变大了。尽管富人的bmi指数仍有相对较小的趋势,但是这两个区间有部分重合,这时我们就无法得出非常肯定的结论了。可见样本量在做判断时起着非常重要的作用,样本越大,判断越准确,这也是与我们常识相符的。

    展开全文
  • 《无未知参数先验信息的非线性自适应观测器设计》文献中的案例,使用matlab simulink实现,状态估计仿真结果基本一致,参数估计仿真结果不完全一致,仅供参考
  • 参数估计及假设检验案例.doc
  • 该资源是李竹渝、鲁万波和龚金国编著的《经济、计量中的非参数估计技术》一书的电子版,该书是学习非参数核估计非常经典的入门书籍,书中详细介绍了相关的方法和案例,其中附录中也有相应的程序。
  • 概率论 参数估计与假设检验 区分及例子动机区分概念假设检验基本思想小概率原理原理几种常见假设检验假设检验规则和两类错误检验规则两类错误明确步骤 动机 国内本科教材重计算技巧,轻内在逻辑,大家学完容易忘记。...

    动机

    国内本科教材重计算技巧,轻内在逻辑,大家学完容易忘记。最近在补概率论相关知识,作如下总结希望共勉,不足之处,多多指教。

    区分概念

    假设检验和参数估计解决的是不同的问题,参数估计是对用样本统计量去估计总体的参数的真值,而假设检验则是根据样本统计量来检验对总体参数的先验假设是否成立。二者都是根据样本信息对总体的数量特征进行推断,但目的不同。
    例如:我们对45钢的断裂韧性作了测定,取得了一批数据,然后要求45钢断裂韧性的平均值,或要求45钢断裂韧性的单侧下限值,或要求45钢断裂韧性的分散度(即离散系数),这就是参数估计的问题。又如,经过长期的积累,知道了某材料的断裂韧性的平均值和标准差,经改进热处理后,又测得一批数据,试问新工艺与老工艺相比是否有显著差异,这就是假设检验的问题。

    假设检验

    基本思想

    小概率原理

    如果对总体的某种假设是真实的,那么不利于或不能支持这一假设的事件A(小概率事件)在一次试验中几乎不可能发生的;要是在一次试验中A竟然发生了,就有理由怀疑该假设的真实性,拒绝这一假设。

    原理

    假设检验使用了一种类似于“反证法”的推理方法,它的特点是:
    (1)先假设总体某项假设成立,计算其会导致什么结果产生。若导致不合理现象产生,则拒绝原先的假设。若并不导致不合理的现象产生,则不能拒绝原先假设,从而接受原先假设。
    (2)它又不同于一般的反证法。所谓不合理现象产生,并非指形式逻辑上的绝对矛盾,而是基于小概率原理:概率很小的事件在一次试验中几乎是不可能发生的,若发生了,就是不合理的。至于怎样才算是“小概率”呢?通常可将概率不超过0.05的事件称为“小概率事件”,也可视具体情形而取0.1或0.01等。在假设检验中常记这个概率为α,称为显著性水平。而把原先设定的假设成为原假设,记作H0。把与H0相反的假设称为备择假设,它是原假设被拒绝时而应接受的假设,记作H1。

    几种常见假设检验

    在这里插入图片描述

    假设检验规则和两类错误

    检验规则

    检验过程是比较样本观察结果与总体假设的差异。差异显著,超过了临界点,拒绝H0;反之,差异不显著,接受H0。
    在这里插入图片描述

    两类错误

    I型错误:弃真,概率为α
    II型错误:取伪,概率为β
    具体的:
    在这里插入图片描述
    基本原则:力求在控制α前提下减少β
    α——显著性水平,取值:0.1, 0.05, 0.001, 等。如果犯I类错误损失更大,为减少损失,α值取小;如果犯II类错误损失更大,α值取大。确定α,就确定了临界点c。

    举个例子
    在这里插入图片描述

    明确步骤

    在这里插入图片描述

    展开全文
  • 参数估计和最大似然估计

    千次阅读 2018-05-12 19:37:52
    设总体XXX的分布函数的形式已知,但它的一个或多个参数未知,借助于总体XXX的一个样本来估计总体未知参数的值得问题称为参数的点估计问题。 举例: 某炸药厂,一天中发生着火现象的次数XXX是一个随机变量,...

    点估计

    设总体 X X X的分布函数的形式已知,但它的一个或多个参数未知,借助于总体 X X X一个样本来估计总体未知参数的值得问题称为参数的点估计问题。

    举例:
    某炸药厂,一天中发生着火现象的次数 X X X是一个随机变量,假设 X X X服从 λ > 0 \lambda>0 λ>0泊松分布,即 X ∼ π ( λ ) X \sim \pi(\lambda) Xπ(λ)。根据现有的样本量估计参数 λ \lambda λ

    着火次数k0 1 2 3 4 5 6 >=7
    发生k次着火的天数75 90 54 22 6 2 1 0

    根据 λ = E ( X ) \lambda=E(X) λ=E(X),以上的数据表示 X = 0 X=0 X=0出现了75次, X = 1 X=1 X=1出现了90次…,一共有250个样本
    E ( X ) = 0 × 75 + 1 × 90 + 2 × 54 + 3 × 22 + 4 × 6 + 5 × 2 + 6 × 1 250 = 1.22 E(X)=\frac{0 \times 75+1 \times 90 +2 \times 54+3 \times 22 +4 \times 6 + 5 \times 2+ 6 \times 1}{250}=1.22 E(X)=2500×75+1×90+2×54+3×22+4×6+5×2+6×1=1.22
    所以估计参数 λ = 1.22 \lambda=1.22 λ=1.22

    点估计:设总体 X X X的分布函数 F ( x ; θ ) F(x;\theta) F(x;θ)的形式为已知, θ \theta θ是待估参数, X 1 , X 2 , . . . , X n X_{1},X_{2},...,X_{n} X1,X2,...,Xn X X X的一个样本, x 1 , x 2 , . . . , x n x_{1},x_{2},...,x_{n} x1,x2,...,xn是对应的样本值。点估计问题是构造出一个适当的统计量 θ ^ ( X 1 , X 2 , . . . , X n ) \hat{\theta}(X_{1},X_{2},...,X_{n}) θ^(X1,X2,...,Xn),用它的观察值 θ ^ ( x 1 , x 2 , . . . , x n ) \hat{\theta}(x_{1},x_{2},...,x_{n}) θ^(x1,x2,...,xn)作为未知参数 θ \theta θ的近似值,称 θ ^ ( X 1 , X 2 , . . . , X n ) \hat{\theta}(X_{1},X_{2},...,X_{n}) θ^(X1,X2,...,Xn) θ \theta θ的估计量, θ ^ ( x 1 , x 2 , . . . , x n ) \hat{\theta}(x_{1},x_{2},...,x_{n}) θ^(x1,x2,...,xn) θ \theta θ的估计值。
    下面介绍两种常用的构造估计量的方法:矩估计和最大似然估计
    ##矩估计法
    X X X为连续型随机变量,其概率密度为 f ( x : θ 1 , θ 2 , . . . , θ k ) f(x:\theta_{1}, \theta_{2},...,\theta_{k}) f(x:θ1,θ2,...,θk);或 X X X为离散型随机变量,其概率密度为 P { X = x } = p ( x ; θ 1 , θ 2 , . . . , θ k ) P\{X=x\}=p(x;\theta_{1}, \theta_{2},...,\theta_{k}) P{X=x}=p(x;θ1,θ2,...,θk),其其中 θ 1 , θ 2 , . . . , θ k \theta_{1}, \theta_{2},...,\theta_{k} θ1,θ2,...,θk为待估参数。假设总体 X X X k k k阶矩为:
    μ l = E ( X l ) = ∫ − ∞ ∞ x l f ( x : θ 1 , θ 2 , . . . , θ k ) d x , ( X 是 连 续 型 ) \mu_{l}=E(X^{l})=\int_{-\infty}^{\infty}x^{l}f(x:\theta_{1}, \theta_{2},...,\theta_{k}) dx,(X是连续型) μl=E(Xl)=xlf(x:θ1,θ2,...,θk)dx,(X)
    μ l = E ( X l ) = ∑ x ∈ R x x l p ( x ; θ 1 , θ 2 , . . . , θ k ) , ( X 是 离 散 型 ) \mu_{l}=E(X^{l})=\sum_{x \in R_{x}}x^{l}p(x;\theta_{1}, \theta_{2},...,\theta_{k}),(X是离散型) μl=E(Xl)=xRxxlp(x;θ1,θ2,...,θk),(X)
    l = 1 , 2 , ⋯   , k l=1,2,\cdots,k l=1,2,,k
    其中, R x R_{x} Rx x x x可能取值的范围。
    X 1 , X 2 , . . . , X n X_{1},X_{2},...,X_{n} X1,X2,...,Xn是来自 X X X的样本,样本矩为 A l = 1 n ∑ i = 1 n X i l A_{l}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{l} Al=n1i=1nXil
    样本矩依概率收敛于相应的总体矩 u l u_{l} ul,样本矩的连续函数依概率收敛于相应的总体矩的连续函数。因此,可以使用样本矩作为相应的总体矩的估计量,样本矩的连续函数作为相应的总体矩的连续函数的估计量,此估计法被称为矩估计法。具体做法如下:
    { μ 1 = μ 1 ( θ 1 , θ 2 , ⋯   , θ k ) μ 2 = μ 2 ( θ 1 , θ 2 , ⋯   , θ k ) ⋯ μ k = μ k ( θ 1 , θ 2 , ⋯   , θ k ) \left\{\begin{matrix} \mu_{1}=\mu_{1}(\theta_{1},\theta_{2},\cdots ,\theta_{k})\\ \mu_{2}=\mu_{2}(\theta_{1},\theta_{2},\cdots ,\theta_{k})\\ \cdots\\ \mu_{k}=\mu_{k}(\theta_{1},\theta_{2},\cdots ,\theta_{k}) \end{matrix}\right. μ1=μ1(θ1,θ2,,θk)μ2=μ2(θ1,θ2,,θk)μk=μk(θ1,θ2,,θk)
    这是包含 k k k个未知数 θ 1 , θ 2 , ⋯   , θ k \theta_{1},\theta_{2},\cdots ,\theta_{k} θ1,θ2,,θk的联立方程组。一般来说,可以得到:
    { θ 1 = θ 1 ( μ 1 , μ 2 , ⋯   , μ k ) θ 2 = θ 2 ( μ 1 , μ 2 , ⋯   , μ k ) ⋯ θ k = θ k ( μ 1 , μ 2 , ⋯   , μ k ) \left\{\begin{matrix} \theta_{1}=\theta_{1}(\mu_{1},\mu_{2},\cdots ,\mu_{k})\\ \theta_{2}=\theta_{2}(\mu_{1},\mu_{2},\cdots ,\mu_{k})\\ \cdots\\ \theta_{k}=\theta_{k}(\mu_{1},\mu_{2},\cdots ,\mu_{k}) \end{matrix}\right. θ1=θ1(μ1,μ2,,μk)θ2=θ2(μ1,μ2,,μk)θk=θk(μ1,μ2,,μk)
    A i A_{i} Ai代替上述中的 μ i , i = 1 , 2 , ⋯   , k \mu_{i},i=1,2,\cdots,k μii=1,2,,k,可得:
    θ i ^ = θ i ( A 1 , A 2 , ⋯   , A k ) , i = 1 , 2 , ⋯   , k \hat{\theta_{i}}=\theta_{i}(A_{1},A_{2},\cdots, A_{k}),i=1,2,\cdots,k θi^=θi(A1,A2,,Ak),i=1,2,,k
    分别作为 θ i , i = 1 , 2 , ⋯   , k \theta_{i},i=1,2,\cdots,k θii=1,2,,k的估计量,称为矩估计量,观察值称为矩估计值。

    最大似然估计

    离散型

    设总体 X X X属于离散型,分布律 P { X = x } = p ( x ; θ ) , θ ∈ Θ P\{X=x\}=p(x;\theta),\theta \in \Theta P{X=x}=p(x;θ),θΘ的形式为已知, θ \theta θ为待估参数, Θ \Theta Θ θ \theta θ可能取值的范围。设 X 1 , X 2 , ⋯   , X n X_{1},X_{2},\cdots,X_{n} X1,X2,,Xn为来自 X X X的样本, x 1 , x 2 , ⋯   , x n x_{1},x_{2},\cdots,x_{n} x1,x2,,xn为对应的样本值,它们都是已知的常数。易知样本 X 1 , X 2 , ⋯   , X n X_{1},X_{2},\cdots,X_{n} X1,X2,,Xn取到 x 1 , x 2 , ⋯   , x n x_{1},x_{2},\cdots,x_{n} x1,x2,,xn的概率,即事件 { X 1 = x 1 , X 2 = x 2 , ⋯   , X n = x n } \{X_{1}=x_{1},X_{2}=x_{2},\cdots,X_{n}=x_{n}\} {X1=x1,X2=x2,,Xn=xn}发生的概率为:
    L ( θ ) = L ( x 1 , x 2 , ⋯   , x n ; θ ) = ∏ i = 1 n p ( x i ; θ ) , θ ∈ Θ L(\theta)=L(x_{1},x_{2},\cdots,x_{n};\theta)=\prod_{i=1}^{n}p(x_{i};\theta),\theta \in \Theta L(θ)=L(x1,x2,,xn;θ)=i=1np(xi;θ),θΘ
    概率值随 θ \theta θ的取值而变化,是 θ \theta θ的函数, L ( θ ) L(\theta) L(θ)称为样本的似然函数。
    现在我们已经取到了样本值 x 1 , x 2 , ⋯   , x n x_{1},x_{2},\cdots,x_{n} x1,x2,,xn,表明取到这一样本值的概率 L ( θ ) L(\theta) L(θ)比较大。当 θ = θ 0 ∈ Θ \theta=\theta_{0} \in \Theta θ=θ0Θ L ( θ ) L(\theta) L(θ)取得最大值,而 Θ \Theta Θ中的其他值使得 L ( θ ) L(\theta) L(θ)取得较小的值,所以认为取 θ 0 \theta_{0} θ0为未知参数 θ \theta θ的估计值最为合理,这就是最大似然估计,即:
    L ( x 1 , x 2 , ⋯   , x n ; θ ^ ) = max ⁡ θ ∈ Θ L ( x 1 , x 2 , ⋯   , x n ; θ ) L(x_{1},x_{2},\cdots,x_{n};\hat{\theta})=\max_{\theta \in \Theta} L(x_{1},x_{2},\cdots,x_{n};\theta) L(x1,x2,,xn;θ^)=θΘmaxL(x1,x2,,xn;θ)
    这样的得到的 θ ^ \hat{\theta} θ^与样本值 x 1 , x 2 , ⋯   , x n x_{1},x_{2},\cdots,x_{n} x1,x2,,xn有关,常被记为 θ ^ ( x 1 , x 2 , ⋯   , x n ) \hat{\theta}(x_{1},x_{2},\cdots,x_{n}) θ^(x1,x2,,xn),称为参数 θ \theta θ的最大似然估计值,统计量 θ ^ ( X 1 , X 2 , ⋯   , X n ) \hat{\theta}(X_{1},X_{2},\cdots,X_{n}) θ^(X1,X2,,Xn)称为参数 θ \theta θ的最大似然估计量。

    连续型

    设总体 X X X属于连续型,概率密度 f ( x ; θ ) , θ ∈ Θ f(x;\theta),\theta \in \Theta f(x;θ),θΘ的形式为已知, θ \theta θ为待估参数, Θ \Theta Θ θ \theta θ可能取值的范围。设 X 1 , X 2 , ⋯   , X n X_{1},X_{2},\cdots,X_{n} X1,X2,,Xn为来自 X X X的样本, x 1 , x 2 , ⋯   , x n x_{1},x_{2},\cdots,x_{n} x1,x2,,xn为对应的样本值,它们都是已知的常数。易知样本 X 1 , X 2 , ⋯   , X n X_{1},X_{2},\cdots,X_{n} X1,X2,,Xn取到 x 1 , x 2 , ⋯   , x n x_{1},x_{2},\cdots,x_{n} x1,x2,,xn的概率,即为随机点 ( X 1 , X 2 , ⋯   , X n ) (X_{1},X_{2},\cdots,X_{n}) (X1,X2,,Xn)落在点 ( x 1 , x 2 , ⋯   , x n ) (x_{1},x_{2},\cdots,x_{n}) (x1,x2,,xn)的邻域(边长分别为 d x 1 , d x 2 , ⋯   , d x n dx_{1},dx_{2},\cdots,dx_{n} dx1,dx2,,dxn n n n维立方体)内的概率近似为:
    ∏ i = 1 n f ( x i ; θ ) d x i \prod_{i=1}^{n}f(x_{i};\theta)dx_{i} i=1nf(xi;θ)dxi
    其值随 θ \theta θ的变化而变化,取 θ \theta θ的估计值 θ ^ \hat{\theta} θ^使得概率取得最大值,但因子 ∏ i = 1 n d x i \prod_{i=1}^{n}dx_{i} i=1ndxi θ \theta θ无关,故只需要考虑函数:
    L ( θ ) = L ( x 1 , x 2 , ⋯   , x n ; θ ) = ∏ i = 1 n f ( x i ; θ ) L(\theta)=L(x_{1},x_{2},\cdots,x_{n};\theta)=\prod_{i=1}^{n}f(x_{i};\theta) L(θ)=L(x1,x2,,xn;θ)=i=1nf(xi;θ)
    的最大值, L ( θ ) L(\theta) L(θ)称为样本的似然函数,若 L ( x 1 , x 2 , ⋯   , x n ; θ ^ ) = max ⁡ θ ∈ Θ L ( x 1 , x 2 , ⋯   , x n ; θ ) L(x_{1},x_{2},\cdots,x_{n};\hat{\theta})=\max_{\theta \in \Theta} L(x_{1},x_{2},\cdots,x_{n};\theta) L(x1,x2,,xn;θ^)=θΘmaxL(x1,x2,,xn;θ)
    θ ^ ( x 1 , x 2 , ⋯   , x n ) \hat{\theta}(x_{1},x_{2},\cdots,x_{n}) θ^(x1,x2,,xn),称为参数 θ \theta θ的最大似然估计值,统计量 θ ^ ( X 1 , X 2 , ⋯   , X n ) \hat{\theta}(X_{1},X_{2},\cdots,X_{n}) θ^(X1,X2,,Xn)称为参数 θ \theta θ的最大似然估计量。

    对数似然方程

    似然函数中的连乘操作容易造成下溢,取对数之后可以变为相加的形式: log ⁡ L ( θ ) = ∑ i = 1 n f ( x i ; θ ) \log L(\theta)=\sum_{i=1}^{n}f(x_{i};\theta) logL(θ)=i=1nf(xi;θ)
    确定最大似然估计量的问题归结为求 L ( θ ) L(\theta) L(θ)的最大值问题。很多情况下, p ( x ; θ ) p(x;\theta) p(x;θ) f ( x ; θ ) f(x;\theta) f(x;θ)关于 θ \theta θ可微,这时 θ ^ \hat{\theta} θ^可从方程: d L ( θ ) d θ = 0 \frac{\mathrm{d} L(\theta)}{\mathrm{d} \theta}=0 dθdL(θ)=0解得。又因为 L ( θ ) L(\theta) L(θ) ln ⁡ L ( θ ) \ln L(\theta) lnL(θ)在同一 θ \theta θ处取得极值,因此 θ \theta θ的最大似然估计 θ \theta θ也可以从方程 d ln ⁡ L ( θ ) d θ = 0 \frac{ \mathrm{d} \ln L(\theta)}{\mathrm{d} \theta}=0 dθdlnL(θ)=0求的,而使用对数方程求解比较方便,称为对数似然方程。

    #无偏估计量
    对于待估参数,不同的样本值就会得到不同的估计值。要确定一个估计量的好坏,就不能仅仅依据某次抽样的结果来衡量,而必须由大量抽样的结果来衡量。对此,一个自然而基本的衡量标准是要求估计量无系统偏差。也就是说,尽管在一次抽样中得到的估计值不一定恰好等于待估参数的真值,但在大量重复抽样时,所得到的估计值平均起来应与待估参数的真值相同,换句话说,估计量的均值(数学期望)应等于未知参数的真值。若估计量 θ ^ = θ ^ ( X 1 , X 2 , ⋯   , X n ) \hat{\theta}=\hat{\theta}(X_{1},X_{2},\cdots,X_{n}) θ^=θ^(X1,X2,,Xn)的数学期望 E ( θ ^ ) E(\hat{\theta}) E(θ^)存在,则有 E ( θ ^ ) = θ E(\hat{\theta})=\theta E(θ^)=θ
    无偏估计的实际意义为无系统偏差。

    展开全文
  • 推断统计:参数估计和假设检验

    千次阅读 多人点赞 2020-03-03 00:35:24
    目录 ...  3、参数估计(点估计和区间估计)    1)参数估计、点估计和区间统计的概念    2)点估计说明    3)区间估计说明   4、中心极限定理    1)中心极限定理的概念    2...
  • 自适应控制中,我们会得到一个类似于像辨识的参数的一项,即自适应参数估计项,注意:这并不能代表这项就能代表辨识的参数,因为多数时候该项并不能收敛到参数真值,甚至有时候系统状态稳定,但该值发散!...
  • 从零开始学习机器学习视频教程

    万人学习 2017-12-04 22:38:30
    本门课程将系统入门机器学习,课程内容不光是对算法的学习,还包括诸如算法的评价,方法的选择,模型的优化,参数的调整,数据的整理,等等一系列工作。让大家对机器学习算法有个全面的了解,并应用到你的实际项目中...
  • 最大似然:得到参数确定的值 贝叶斯估计:得到参数的概率分布 ...贝叶斯参数估计 例题: 参考资料: 中国科学院大学硕士课《模式识别》ppt
  • 参数估计-矩估计和极大似然估计概述

    万次阅读 多人点赞 2016-09-10 22:38:42
    参数估计 参数估计:是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分。 点估计:依据样本估计总体分布中所...
  • 统计学在业内的应用1:分布、参数估计与假设检验及工业界应用统计学的方法应用框架1、统计学的学科逻辑2、分布2.1 何为分布2.2 概率分布函数(通常直接简称为分布函数)一、离散情况二、连续情况2.3、总体分布、样本...
  • 如果文件存储位置和cmd打开位置不一样,请使用绝对路径 五:命令行参数示例hello_argv.py hello_argv.py文件在桌面 import sys print("Hello,",sys.argv[1]) #这样写也行: #print("Hello,"+sys.argv[1]) 在桌面打开...
  • 进行非参数估计 首先,让我们尝试使用传统的普通最小二乘回归。 reg perf2 income grant Source | SS df MS Number of obs = 10,000 -------------+---------------------------------- F(2, 9997) = 5734.77 Model...
  • python SVM 案例,sklearn.svm.SVC 参数说明

    万次阅读 多人点赞 2018-03-09 17:02:59
    sklearn.svm.SVC 参数说明 经常用到sklearn中的SVC函数,这里把文档中的参数翻译了一些,以备不时之需。 本身这个函数也是基于libsvm实现的,所以在参数设置上有很多相似的地方。(PS: libsvm中的二次规划问题的...
  • Simulink Design Optimization的参数估计

    千次阅读 2019-03-12 13:51:51
    还是因为最近工作需要用到参数估计一块的内容。。。记录一下学习心得和有用的资料 一、几个命令的更新 1、speload和spetool speload是旧命令,2018b版已经help不到这个命令了,但还能用。新命令改名为spetool。...
  • 搜索“createSimulator”向下拉有几个参数估计脚本实现的案例。以下以“Estimate Model Parameters and Initial States (Code)”为例。   9、有关creatSimulator的理解 Simulator = createSimulator(Exp...
  • 统计学 参数估计 单总体均值的估计 1.综述 总体均值的估计分为以下两种情况 总体方差已知的情况 总体方差未知的情况 首先对但总体均值的方差估计做一个简单的概括,各个情况已在下表中列出 后文将详细介绍各个情况...
  • 在尝试用脚本实现这一功能的过程中发现一些新的东西,记录一下。 搜索“EstimateModelParameters”发现了...给定一个初始值和评估范围,与参数的处理方法相似。选中后,在参数评估过程中,初始状态也会被评估。 ...
  • 极大似然估计1、统计量概念1.1 期望 从感情上来讲就是预期的值,数值意义上来讲可以认为是概率加权下的“平均值”。 特别地,若特征X和Y相互独立时,E(XY)=E(X)E(Y);反之不成立。如果已知E(XY)=E(X)E(Y),只能...
  • 注:本文以简单的案例,解释了最大似然估计、最大后验估计以及贝叶斯参数估计的联系和区别。假如你有一个硬币。你把它投掷 3 次,出现了 3 次正面。下一次投掷硬币正面朝上的概率是多少? 这是一个从数据中估计参数的...
  • MCMC案例学习

    千次阅读 2015-05-04 16:08:49
    本文是R中mcmc包的一篇帮助文档,作者为Charles J.Geyer。经过knitr编译后的pdf文档可见...这个案例,我们不关心题目的具体意义,重点放在利用贝叶斯的观点来解决问题时,MCMC在后续的计算中所发挥的巨大作用。我们知
  • 为了使用增强的振动粒子系统算法提取光伏参数,可以将该问题设置为一个优化问题,其目的是最小化测量电流和估计电流之间的差异。 这里已经实施了四个案例研究。 结果和与其他方法的比较显示了所提出的增强型振动...
  • 克拉美罗界用以研究参数估计问题的一套理论,本博文从理论、案例和实验为读者介绍估计非随机参数时,相应的克拉美罗界。
  • 论文研究-违约回收率密度函数模拟的非参数估计方法研究.pdf, 本文研究违约回收率密度函数的模拟估计问题. 本文的工作由两个方面组成. 首先,我们解决了在应用非参数方法...
  • 参数估计之点估计(矩估计,最大似然估计) 详解含推导 1.何为点估计 在了解点估计之前,我们先介绍一下估计量与估计值的概念 1.1估计量与估计值 参数估计 就是用样本统计量去估计总体的参数,如用样本均值 x⃗\vec xx ...
  • nls参数估计 利用nls进行非线性模型中的参数估计 R中的nls用于非线性回归建模,对非线性函数的参数进行最优化的过程,最优化后的参数会使得模型的RSS(残差平方和)达到最小。 1、非线性函数 本例中的函数(如下...
  • 从总体中抽取一个样本(batchsize=n),得到样本均值u’,样本标准差σ‘,(推荐系统中)样本点击率ctr等,这些样本参数都是对总体的一个点估计。 标注误差SE 抽取n个样本,分别计算其均值u’1,u’2,… 这些值的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 24,889
精华内容 9,955
关键字:

参数估计案例