精华内容
下载资源
问答
  • 参数估计之矩估计法

    2013-07-22 10:41:44
    参数估计是概率统计中的重要问题,该文档描述了参数估计中的矩估计法
  • 参数的点估计问题与矩估计法

    千次阅读 2018-03-27 15:13:06
    机器学习的许多公式推导都涉及了数理统计的内容,特别是参数...参数的估计问题 设有一个统计总体,以f(x;θ1,⋯,θk)f(x;θ1,⋯,θk)f(x;\theta_1,\cdots,\theta_k)记其概率密度函数(若总体分布为连续型的)或其...

    机器学习的许多公式推导都涉及了数理统计的内容,特别是参数估计对理解机器学习很重要。这里三篇文章就对三种参数估计方法进行简单介绍。

    对一些数理统计的基本概念的介绍,可参考之前的文章“数理统计学的基本概念”。

    参数的点估计问题

    设有一个统计总体,以f(x;θ1,,θk)记其概率密度函数(若总体分布为连续型的)或其概率函数(若其总体分布为离散型的)。避免重复交代这两种情况,我们约定称f(x;θ1,,θk)为“总体分布”,其具体含义视其为连续型或离散型而定。这个分布包含k个位置参数θ1,,θk。例如,对正态总体分布N(μ,δ2),有θ1=μθ2=δ2,而

    f(x;θ1,θ2)=(2πθ2)1exp(12θ2(xθ1)2)(<x<)

    若总体有二项分布B(n,p),则θ1=p,而
    f(x;θ1)=(nx)θ1x(1θ1)nk(x=0,1,,n)

    当k=1,即只有一个参数时,就用θ代替θ1

    参数估计问题的一般提法是:设有了从总体中抽出样本X1,,Xn(独立同分布),要依据这些样本去对参数θ1,,θk的未知值做出估计。当然我们也可以只要求估计θ1,,θk中的一部分,或估计他们的某个已知函数g(θ1,,θk)。例如,为要估计θ1,我们需要构造出适当的统计量θ1^=θ1^(X1,,Xn)。每当有了样本X1,,Xn,就代入函数θ1^(X1,,Xn)中计算出一个值,用来作为θ1的估计值。为着这样的特定目的而构造的统计量θ1^叫做θ1的估计量。由于未知参数θ1是数轴上的一个点,用θ1^去估计θ1,等于用一个点估计另一个点,所以这样的估计叫做点估计,以别与区间估计。

    矩估计法

    矩估计法的思想比较简单:设总体分布为f(x;θ1,,θk),则它的矩(原点矩和中心矩都可以,此处以原点矩为例)

    αm=xmf(x;θ1,,θk)dx(ixim)f(x;θ1,,θk)

    依赖于θ1,,θk。另一方面,至少在样本大小n较大时,样本原点矩am应该接近于αm。于是
    αm=αm(θ1,,θk)am=i=1nXim/n

    m=1,,k,并将上面的近似式改成等式,就得到一个方程组:
    αm(θ1,,θk)=am(m=1,,k)

    解此方程组,得起根θ1^(X1,,Xn)(i=1,,k),就以θ^i作为θi的估计(i=1,,k)。如果要估计的是θ1,,θk的某函数g(θ1,,θk),则用g^(X1,,Xn)=g(θ^1,,θ^k)去估计它。这样定出的估计量就叫做矩估计。

    例子

    X1,,Xn是从正态总体N(μ,δ2)中抽取的样本,要估计μδ2μ是总体的一阶原点矩,按矩估计,用样本的一阶原点矩,即样本均值X¯去估计。δ2是总体方差,即总体的二阶中心矩,可用样本的二阶中心矩m2去估计。一般地,在估计方差时,常用样本方差S2而不用m2,即对矩估计做了一定的修正。

    参考书目
    《概率论与数理统计》——陈希孺

    展开全文
  • 点估计(矩估计法和最大似然估计法)

    万次阅读 多人点赞 2018-07-05 23:23:31
    1、矩估计法 做题步骤: 1)、E(x),求总体均值(一般含有未知参数) 2)、命E(x) = 样本均值/样本均量 离散型: 例:设总体X有以下分布律 其实θ为未知参数,从中取样本(X1,X2,...

    估计即是近似地求某个参数的值,需要区别理解样本、总体、量、值
    大致的题型是已知某分布(其实包含未知参数),从中取样本并给出样本值
    我只是一个初学者,可能有的步骤比较繁琐,请见谅~


    1、矩估计法
    做题步骤:
    1)、E(x),求总体均值(一般含有未知参数)
    2)、命E(x) = 样本均值/样本均量
    离散型:
    例:设总体X有以下分布律
    这里写图片描述
    其实θ为未知参数,从中取样本(X1,X2,X3,X4),样本值为(-1,1,1,2),求θ的矩估计值

    解题过程:
    这里写图片描述
    注意这里求的是估计值,最后得出来的是一个数


    连续型:
    例:设总体X的概率密度为
    这里写图片描述
    (X1,X2…Xn)是来自总体的样本,(x1,x1…xn)为其样本值,求θ的矩估计量
    解题过程:
    这里写图片描述
    注意这里是估计量


    2、最大似然估计法

    离散型:
    1)、L(θ)=P{X1=x1}P{X2=x2}…P{Xn=xn}=P{x=x1}P{x=x2}…P{x=xn}
    2)、lnL(θ) = …
    3)、对lnL(θ)求导,令求导后的结果等于0,求出θ

    例:设总体X有以下分布律**(下表中的 -1 改为 0)**
    这里写图片描述
    其实θ为未知参数,从中取样本(X1,X2,X3,X4),样本值为(0,1,0,2),求θ的最大似然估计值

    解题过程:
    这里写图片描述


    连续型:
    1)、L(θ)=f(x1,θ)f(x2,θ)…f(xn,θ)
    2)、lnL(θ) = …
    3)、对lnL(θ)求导,令求导后的结果等于0,求出θ
    例:

    解题过程:
    这里写图片描述
    注意:估计量的话X必须是大写的,估计值的话x必须是小写。需要熟练掌握对数的运算


    关于概率论我推荐汤家风老师的视频,在B站可以搜到的~~


    因为我在上传的时候改了部分题干,这篇文章有些许错误,等我考完试再修改,请大家谅解

    展开全文
  • 参数估计之矩估计

    2021-01-15 09:12:07
    介绍参数估计中点估计常用方法:矩估计法。并通过例题加深理解

    1. 点估计定义

    • 点估计定义

      x1,x2,,xnx_1,x_2,\cdots,x_n 是来自总体的一个样本,用于估计位置参数θ\theta的统计量θ^=θ^(x1,x2,,xn)\hat{\theta}=\hat{\theta}(x_1,x_2,\cdots,x_n)称为θ\theta的估计量,或称为θ\theta点估计,简称估计

    • 构造估计量的方式有很多,常用的有矩估计法最大似然估计法

    2. 矩估计法

    • 矩估计法简单点的说,就是用样本的矩,替换(估计)总体的矩。

      记总体kk阶原点矩为 μk=E(Xk)\mu_k=E(X^k)

      样本kk阶原点矩为 Ak=1ni=1n(Xik)A_k=\frac{1}{n}\sum\limits_{i=1}^n (X_i^k)

      记总体kk阶中心矩为 vk=E[(XE(X))k]v_k=E[(X-E(X))^k]

      样本kk阶中心矩为 Bk=1ni=1n(XiX)kB_k=\frac{1}{n}\sum\limits_{i=1}^n (X_i-\overline{X})^k

    3. 通过例题理解矩估计法

    • 例1,设总体XX的均值μ\mu和方差σ2\sigma^2都存在,且有σ2>0\sigma^2>0,但μ,σ2\mu,\sigma^2均为未知,又设X1,X2,,XnX_1,X_2,\cdots,X_n 为来自XX的样本,试求μ,σ2\mu,\sigma^2的矩估计量。

      解:

      样本的一阶矩 为X\overline{X} ,总体的一阶矩为E(X)=μE(X)=\mu

      因此有μ^=X\hat{\mu} = \overline{X}

      样本的二阶矩为A2=1ni=1nXi2A_2=\frac{1}{n}\sum\limits_{i=1}^n X_i^2 ,总体的一阶矩为E(X2)E(X^2)

      则有 E(X2)=1ni=1nXi2E(X^2)=\frac{1}{n}\sum\limits_{i=1}^n X_i^2

      由于D(X)=E(X2)(EX)2D(X)=E(X^2)-(EX)^2

      因此有

      σ2^=1ni=1nXi2X2=1ni=1n(XiX)2\begin{aligned}\hat{\sigma^2} &= \frac{1}{n}\sum\limits_{i=1}^n X_i^2 - \overline{X}^2 \\&= \frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2 \end{aligned}

    • 例2,设离散型随机变量XX ,其分布律如下

      X123Pθ22θ(1θ)(1θ)2\begin{array}{c|lc} X & 1 & 2 &3 \\ \hline P & \theta^2 & 2\theta(1-\theta) & (1-\theta)^2 \end{array}

      XX中取得样本1,2,1{1,2,1} ,求θ\theta的矩估计量

      解:样本一阶矩A1=13(1+2+1)=34A_1 = \frac{1}{3}(1+2+1) = \frac{3}{4}

      总体一阶矩μ1=1θ2+22θ(1θ)+3(1θ)3\mu_1 = 1*\theta^2+2*2\theta(1-\theta)+3(1-\theta)^3

      μ1=A1\mu_1 =A_1 ,很容易解出 θ^=56\hat {\theta}= \frac{5}{6}

    4. 矩估计优缺点

    • 优点
      1. 矩估计法原理简单、使用方便,使用时可以不知总体的分布,而且具有一定的优良性质
      2. 样本数量足够大时,矩估计的优势也就越明显
    • 缺点
      1. 当总体类型已知时,没有充分利用分布提供的信息,因此矩估计不一定是理想估计
      2. 样本数较少时,矩估计的结果将非常糟糕
      3. 一般场合下,矩估计不具有唯一性(关于这一点,后面我们会介绍估计值的优良性准则)
      4. 矩估计应用的前提是总体的矩存在
    展开全文
  • 统计学:矩估计法

    千次阅读 2016-02-16 10:39:17
    矩估计法 百度百科:... 所谓矩估计法,就是利用样本矩来估计总体中相应的参数.最简单的矩估计法是用一阶样本原点矩来估计总体的期望而用二阶样本中心矩来估计总体

    矩估计法

    百度百科:http://baike.baidu.com/link?url=xHBhj9bfqU1AJHc9yj7O-6BHKFaiYsljabnCM73ycPuu5oe4pQkurGoACuB-TO8ewG6PTpIJO5ctveySK-KZ7_


    所谓矩估计法,就是利用样本矩来估计总体中相应的参数.最简单的矩估计法是用一阶样本原点矩来估计总体的期望而用二阶样本中心矩来估计总体的方差.

    矩估计法的基本思想是用样本矩代替总体矩.

    样本距:平均数;中心距:所有(x-平均数)^2加和; 原点矩:所有x^2加和.

    展开全文
  • 一阶矩+二阶矩估计求解一个参数

    万次阅读 2016-11-18 09:29:29
    所以在矩估计法中,用一阶矩就可以求解一元。但是有些情况下,只写一阶矩,原理上是可以求得解,但是,初等代数中很难剥离出来,可以考虑再求一次二阶矩,即,再利用样本提供一组值,二者相互作用,可以求解出p....
  • 1 点估计 2 基于截尾样本的最大似然估计 3 估计量的评选标准 4 区间估计 5 正态总体均值与方差的区间估计 6 (0-1)分布参数的区间估计 7 单侧置信区间
  • 再次思考矩估计与似然估计原理

    千次阅读 2016-11-17 11:37:58
    再次思考矩估计与似然估计原理@(概率论)首先需要特别强调,矩估计...矩估计法 似然估计法 矩估计法的核心是: 对于总体X, EXl=∫+∞−∞xlf(x;θ1,θ2,...,θk)或者离散型:EXl=∑ixliP(X=xi;θ1,θ2,...,θk) EX
  • 矩估计

    千次阅读 2015-06-28 10:42:56
    ::: 矩估计就是 用样本的矩(即期望)去估计随机变量的矩...2.则,样本矩与矩估计量(即:未知参数的估计量)同样也满足这样的关系式 3.代入样本矩和矩估计量 4.求出矩估计量 摘要如下: 在实际问题当中
  • 点估计 矩估计

    2020-02-06 15:29:41
     1.说明:        设总体 X 的分布函数形式已知, 但它的一个或多个参数为未知, 借助于总体 X 的一个样本来估计总体未知参数... 在统计问题中往往先使用最大似然估计法, 在最大似然估计法使...
  • 矩估计和最大似然估计关系

    万次阅读 2017-03-22 11:57:12
    矩估计法, 也称“矩法估计”,就是利用样本矩来估计总体中相应的参数。首先推导涉及感兴趣的参数的总体矩( 即所考虑的随机变量的幂的期望值)的方程。然后取出一个样本并从这个样本估计总体矩。接着使用样本矩...
  • 矩估计与最大似然估计

    千次阅读 2018-12-05 16:21:16
    矩估计法 一阶原点估计 :原理是针对矩阵每一个点 求每一个点都和原点相减和,然后在除以样本总量 本质是上求样本均值 二阶中心矩:(均值) 每个样本减去均值平方和除以n 求方差  最大似然估计法:...
  • 就是把求方程解Newton过渡到统计学里面,达到参数估计目的,其实也是对于方程求解。 直接上例题 R代码 #矩估计 #下面是之前Newtons代码 Newtons&lt;-function(fun,x,ep=1e-5,it_max=100){#...
  • MATLAB学习笔记:矩估计

    千次阅读 2018-01-27 15:49:58
    点估计主要方法有:矩估计法、极大似然估计法、最小二乘法、贝叶斯估计法等。 准则特点:无偏性、有效性、一致性。 矩估计: >> x=[1.2 3.5 4.2 0.8 1.4 3.1 4.8 0.9]; >> u=mean(x);
  • 参数估计 参数空间:参数的取值范围 点估计:估计到精确的数值 区间估计:估计到一个区间,即一个...矩估计法: 例1:都需要引入分布的期望和方差。参考分布的期望和方差 例2: 例3: 例4: ...
  • 概率论和数理统计是机器学习重要数学基础。概率论核心是已知分布求概率,数理统计则是已知样本估整体。概率论和数理统计是互逆过程。概率论可以看成是由因推果,数理统计...参数估计最主要方法包括矩估计法...
  • 概率论和数理统计是机器学习重要数学基础。概率论核心是已知分布求概率,数理统计则是已知样本估整体。概率论和数理统计是互逆过程。概率论可以看成是由因推果...参数估计最主要方法包括矩估计法,极大似然...
  • 前言  参数估计问题分:点估计、区间估计。  点估计是适当地选择一个统计量作为未知参数的估计(称为估计量),若已... 有很多求点估计的方法:最大似然估计法、矩估计法、最小二乘法、贝叶斯估计法。重点就是最大
  • 参数估计

    2019-12-22 21:24:08
    CONTENTS点估计矩估计区间估计样本量确定 点估计 点估计是用样本统计量来估计总体参数,因为样本统计量为数轴上某一点值,估计结果也以一个点数值表示,所以称为点...矩估计,即矩估计法,也称“矩法估计”...
  • 1. 基本概念:参数、点估计和区间估计 2. 常用点估计方法——矩估计法和极大似然估计法 ...3. 矩估计——用样本矩...4. 矩估计法的理论依据:辛钦大数定律和依概率收敛性质 ...
  • GGD形状参数的估计通常采用极大似然法和矩估计法。用极大似然法估计形状参数计算复杂、计算量大。用矩估计法的一阶和二阶绝对矩估计可减轻计算的复杂性,但反函数的解析形式很难得到,需要迭代计算,计算效率很低。文中...
  • 估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。要处理两个问题: (1)求出未知参数的估计量; (2)在一定信度(可靠程度)下指出所求的估计量...
  • 估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。要处理两个问题:(1)求出未知参数的估计量;(2)在一定信度(可靠程度)下指出所求的估计量的精度。...
  • 参数的估计问题

    千次阅读 2017-05-21 10:47:25
    矩估计法参数的点估计问题设有一个总体统计,以f(x;θ1,⋯,θn)f(x; \theta_1, \cdots, \theta_n)记其概率密度函数(若总体分布为连续型的)或其概率函数(如总体分布为离散型的)。我们约定称f(x;θ1,⋯,θn)f(x; \...
  • 统计学 参数估计 单总体均值估计 1.综述 总体均值估计分为以下两种...矩估计法 最大似然法 顺序统计量法 最小二乘法 2.1.2缺点 没有给出估计值接近总体参数程度信息 2.2区间估计 为了解决点估计缺点,我们得出

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 130
精华内容 52
关键字:

参数的矩估计法