-
参数估计之矩估计法
2013-07-22 10:41:44参数估计是概率统计中的重要问题,该文档描述了参数估计中的矩估计法。 -
参数的点估计问题与矩估计法
2018-03-27 15:13:06机器学习的许多公式推导都涉及了数理统计的内容,特别是参数...参数的点估计问题 设有一个统计总体,以f(x;θ1,⋯,θk)f(x;θ1,⋯,θk)f(x;\theta_1,\cdots,\theta_k)记其概率密度函数(若总体分布为连续型的)或其...机器学习的许多公式推导都涉及了数理统计的内容,特别是参数估计对理解机器学习很重要。这里三篇文章就对三种参数估计方法进行简单介绍。
对一些数理统计的基本概念的介绍,可参考之前的文章“数理统计学的基本概念”。
参数的点估计问题
设有一个统计总体,以记其概率密度函数(若总体分布为连续型的)或其概率函数(若其总体分布为离散型的)。避免重复交代这两种情况,我们约定称为“总体分布”,其具体含义视其为连续型或离散型而定。这个分布包含k个位置参数。例如,对正态总体分布,有,,而
若总体有二项分布,则,而
当k=1,即只有一个参数时,就用代替参数估计问题的一般提法是:设有了从总体中抽出样本(独立同分布),要依据这些样本去对参数的未知值做出估计。当然我们也可以只要求估计中的一部分,或估计他们的某个已知函数。例如,为要估计,我们需要构造出适当的统计量。每当有了样本,就代入函数中计算出一个值,用来作为的估计值。为着这样的特定目的而构造的统计量叫做的估计量。由于未知参数是数轴上的一个点,用去估计,等于用一个点估计另一个点,所以这样的估计叫做点估计,以别与区间估计。
矩估计法
矩估计法的思想比较简单:设总体分布为,则它的矩(原点矩和中心矩都可以,此处以原点矩为例)
依赖于。另一方面,至少在样本大小n较大时,样本原点矩应该接近于。于是
取,并将上面的近似式改成等式,就得到一个方程组:
解此方程组,得起根,就以作为的估计。如果要估计的是的某函数,则用去估计它。这样定出的估计量就叫做矩估计。例子
设是从正态总体中抽取的样本,要估计和。是总体的一阶原点矩,按矩估计,用样本的一阶原点矩,即样本均值去估计。是总体方差,即总体的二阶中心矩,可用样本的二阶中心矩去估计。一般地,在估计方差时,常用样本方差而不用,即对矩估计做了一定的修正。
参考书目
《概率论与数理统计》——陈希孺 -
点估计(矩估计法和最大似然估计法)
2018-07-05 23:23:311、矩估计法 做题步骤: 1)、E(x),求总体均值(一般含有未知参数) 2)、命E(x) = 样本均值/样本均量 离散型: 例:设总体X有以下分布律 其实θ为未知参数,从中取样本(X1,X2,...估计即是近似地求某个参数的值,需要区别理解样本、总体、量、值
大致的题型是已知某分布(其实包含未知参数),从中取样本并给出样本值
我只是一个初学者,可能有的步骤比较繁琐,请见谅~
1、矩估计法
做题步骤:
1)、E(x),求总体均值(一般含有未知参数)
2)、命E(x) = 样本均值/样本均量
离散型:
例:设总体X有以下分布律
其实θ为未知参数,从中取样本(X1,X2,X3,X4),样本值为(-1,1,1,2),求θ的矩估计值解题过程:
注意这里求的是估计值,最后得出来的是一个数
连续型:
例:设总体X的概率密度为
(X1,X2…Xn)是来自总体的样本,(x1,x1…xn)为其样本值,求θ的矩估计量
解题过程:
注意这里是估计量
2、最大似然估计法
离散型:
1)、L(θ)=P{X1=x1}P{X2=x2}…P{Xn=xn}=P{x=x1}P{x=x2}…P{x=xn}
2)、lnL(θ) = …
3)、对lnL(θ)求导,令求导后的结果等于0,求出θ例:设总体X有以下分布律**(下表中的 -1 改为 0)**
其实θ为未知参数,从中取样本(X1,X2,X3,X4),样本值为(0,1,0,2),求θ的最大似然估计值解题过程:
连续型:
1)、L(θ)=f(x1,θ)f(x2,θ)…f(xn,θ)
2)、lnL(θ) = …
3)、对lnL(θ)求导,令求导后的结果等于0,求出θ
例:
解题过程:
注意:估计量的话X必须是大写的,估计值的话x必须是小写。需要熟练掌握对数的运算
关于概率论我推荐汤家风老师的视频,在B站可以搜到的~~
因为我在上传的时候改了部分题干,这篇文章有些许错误,等我考完试再修改,请大家谅解
-
参数估计之矩估计
2021-01-15 09:12:07介绍参数估计中点估计的常用方法:矩估计法。并通过例题加深理解1. 点估计定义
-
点估计定义
设 是来自总体的一个样本,用于估计位置参数的统计量称为的估计量,或称为的点估计,简称估计
-
构造估计量的方式有很多,常用的有矩估计法和最大似然估计法
2. 矩估计法
-
矩估计法简单点的说,就是用样本的矩,替换(估计)总体的矩。
记总体阶原点矩为
样本阶原点矩为
记总体阶中心矩为
样本阶中心矩为
3. 通过例题理解矩估计法
-
例1,设总体的均值和方差都存在,且有,但均为未知,又设 为来自的样本,试求的矩估计量。
解:
样本的一阶矩 为 ,总体的一阶矩为
因此有
样本的二阶矩为 ,总体的一阶矩为
则有
由于
因此有
-
例2,设离散型随机变量 ,其分布律如下
从中取得样本 ,求的矩估计量
解:样本一阶矩
总体一阶矩
令 ,很容易解出
4. 矩估计优缺点
- 优点
- 矩估计法原理简单、使用方便,使用时可以不知总体的分布,而且具有一定的优良性质
- 样本数量足够大时,矩估计的优势也就越明显
- 缺点
- 当总体类型已知时,没有充分利用分布提供的信息,因此矩估计不一定是理想估计
- 样本数较少时,矩估计的结果将非常糟糕
- 一般场合下,矩估计不具有唯一性(关于这一点,后面我们会介绍估计值的优良性准则)
- 矩估计应用的前提是总体的矩存在
-
-
统计学:矩估计法
2016-02-16 10:39:17矩估计法 百度百科:... 所谓矩估计法,就是利用样本矩来估计总体中相应的参数.最简单的矩估计法是用一阶样本原点矩来估计总体的期望而用二阶样本中心矩来估计总体矩估计法
百度百科:http://baike.baidu.com/link?url=xHBhj9bfqU1AJHc9yj7O-6BHKFaiYsljabnCM73ycPuu5oe4pQkurGoACuB-TO8ewG6PTpIJO5ctveySK-KZ7_
所谓矩估计法,就是利用样本矩来估计总体中相应的参数.最简单的矩估计法是用一阶样本原点矩来估计总体的期望而用二阶样本中心矩来估计总体的方差.
矩估计法的基本思想是用样本矩代替总体矩.
样本距:平均数;中心距:所有(x-平均数)^2加和; 原点矩:所有x^2加和.
-
一阶矩+二阶矩估计求解一个参数
2016-11-18 09:29:29所以在矩估计法中,用一阶矩就可以求解一元。但是有些情况下,只写一阶矩,原理上是可以求得解的,但是,初等代数中很难剥离出来,可以考虑再求一次二阶矩,即,再利用样本提供一组值,二者相互作用,可以求解出p.... -
数理统计(二)-参数估计:点估计【矩估计法、最大似然估计法(似然函数、对数似然函数、牛顿-拉弗森迭代算法...
2020-11-12 23:36:001 点估计 2 基于截尾样本的最大似然估计 3 估计量的评选标准 4 区间估计 5 正态总体均值与方差的区间估计 6 (0-1)分布参数的区间估计 7 单侧置信区间 -
再次思考矩估计与似然估计的原理
2016-11-17 11:37:58再次思考矩估计与似然估计的原理@(概率论)首先需要特别强调,矩估计...矩估计法 似然估计法 矩估计法的核心是: 对于总体X, EXl=∫+∞−∞xlf(x;θ1,θ2,...,θk)或者离散型:EXl=∑ixliP(X=xi;θ1,θ2,...,θk) EX -
矩估计
2015-06-28 10:42:56::: 矩估计就是 用样本的矩(即期望)去估计随机变量的矩...2.则,样本矩与矩估计量(即:未知参数的估计量)同样也满足这样的关系式 3.代入样本矩和矩估计量 4.求出矩估计量 摘要如下: 在实际问题当中 -
点估计 矩估计
2020-02-06 15:29:411.说明: 设总体 X 的分布函数形式已知, 但它的一个或多个参数为未知, 借助于总体 X 的一个样本来估计总体未知参数... 在统计问题中往往先使用最大似然估计法, 在最大似然估计法使... -
矩估计和最大似然估计关系
2017-03-22 11:57:12矩估计法, 也称“矩法估计”,就是利用样本矩来估计总体中相应的参数。首先推导涉及感兴趣的参数的总体矩( 即所考虑的随机变量的幂的期望值)的方程。然后取出一个样本并从这个样本估计总体矩。接着使用样本矩... -
矩估计与最大似然估计
2018-12-05 16:21:16矩估计法 一阶原点估计 :原理是针对矩阵的每一个点 求每一个点都和原点相减的和,然后在除以样本的总量 本质是上求样本的均值 二阶中心矩:(均值) 每个样本减去均值的平方和除以n 求方差 最大似然估计法:... -
R学习之统计算法与R优化包(矩估计法也即Newton) --(R语言编程)-----数模
2018-08-06 10:25:11就是把求方程解的Newton法过渡到统计学里面,达到参数估计的目的,其实也是对于方程的求解。 直接上例题 R代码 #矩估计 #下面是之前的Newtons代码 Newtons<-function(fun,x,ep=1e-5,it_max=100){#... -
MATLAB学习笔记:矩估计
2018-01-27 15:49:58点估计的主要方法有:矩估计法、极大似然估计法、最小二乘法、贝叶斯估计法等。 准则特点:无偏性、有效性、一致性。 矩估计: >> x=[1.2 3.5 4.2 0.8 1.4 3.1 4.8 0.9]; >> u=mean(x); -
概率论与数理统计----------参数估计---点估计法、极大似然估计法
2020-08-28 23:02:29参数估计 参数空间:参数的取值范围 点估计:估计到精确的数值 区间估计:估计到一个区间,即一个...矩估计法: 例1:都需要引入分布的期望和方差。参考分布的期望和方差 例2: 例3: 例4: ... -
极大似然估计_一文读懂矩估计、极大似然估计和贝叶斯估计
2020-12-15 16:10:37概率论和数理统计是机器学习重要的数学基础。概率论的核心是已知分布求概率,数理统计则是已知样本估整体。概率论和数理统计是互逆的过程。概率论可以看成是由因推果,数理统计...参数估计最主要的方法包括矩估计法... -
极大似然估计_一文读懂矩估计,极大似然估计和贝叶斯估计
2020-12-15 16:10:34概率论和数理统计是机器学习重要的数学基础。概率论的核心是已知分布求概率,数理统计则是已知样本估整体。概率论和数理统计是互逆的过程。概率论可以看成是由因推果...参数估计最主要的方法包括矩估计法,极大似然... -
数学篇----参数估计之最大似然估计法[概率论]
2015-02-04 19:59:03前言 参数估计问题分:点估计、区间估计。 点估计是适当地选择一个统计量作为未知参数的估计(称为估计量),若已... 有很多求点估计的方法:最大似然估计法、矩估计法、最小二乘法、贝叶斯估计法。重点就是最大 -
参数估计
2019-12-22 21:24:08CONTENTS点估计矩估计区间估计样本量的确定 点估计 点估计是用样本统计量来估计总体参数,因为样本统计量为数轴上某一点值,估计的结果也以一个点的数值表示,所以称为点...矩估计,即矩估计法,也称“矩法估计”... -
概率论与数理统计学习笔记——第四十四讲——矩估计
2019-11-21 16:50:091. 基本概念:参数、点估计和区间估计 2. 常用的点估计方法——矩估计法和极大似然估计法 ...3. 矩估计——用样本矩...4. 矩估计法的理论依据:辛钦大数定律和依概率收敛的性质 ... -
一种广义高斯分布形状参数的快速估计算法
2020-07-12 20:23:56GGD形状参数的估计通常采用极大似然法和矩估计法。用极大似然法估计形状参数计算复杂、计算量大。用矩估计法的一阶和二阶绝对矩估计可减轻计算的复杂性,但反函数的解析形式很难得到,需要迭代计算,计算效率很低。文中... -
参数估计_参数估计的python代码实现
2021-01-12 06:37:29从估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。要处理两个问题: (1)求出未知参数的估计量; (2)在一定信度(可靠程度)下指出所求的估计量... -
python参数估计_参数估计的python代码实现
2020-12-03 22:12:44从估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。要处理两个问题:(1)求出未知参数的估计量;(2)在一定信度(可靠程度)下指出所求的估计量的精度。... -
参数的点估计问题
2017-05-21 10:47:25矩估计法参数的点估计问题设有一个总体统计,以f(x;θ1,⋯,θn)f(x; \theta_1, \cdots, \theta_n)记其概率密度函数(若总体分布为连续型的)或其概率函数(如总体分布为离散型的)。我们约定称f(x;θ1,⋯,θn)f(x; \... -
统计学 参数估计 之 总体均值的估计
2020-05-31 11:39:18统计学 参数估计 单总体均值的估计 1.综述 总体均值的估计分为以下两种...矩估计法 最大似然法 顺序统计量法 最小二乘法 2.1.2缺点 没有给出估计值接近总体参数程度的信息 2.2区间估计 为了解决点估计的缺点,我们得出