无偏估计_无偏估计量 - CSDN
精华内容
参与话题
  • 无偏估计

    2019-06-24 18:02:48
    无偏估计:估计量的均值等于真实值,即具体每一次估计值可能大于真实值,也可能小于真实值,而不能总是大于或小于真实值(这就产生了系统误差)。估计量评价的标准:(1)无偏性 如上述(2)有效性有效性是指估计量...
    无偏估计:估计量的均值等于真实值,即具体每一次估计值可能大于真实值,也可能小于真实值,而不能总是大于或小于真实值(这就产生了系统误差)。

    估计量评价的标准:
    (1)无偏性 如上述
    (2)有效性 有效性是指估计量与总体参数的离散程度。如果两个估计量都是无偏的,那么离散程度较小的估计量相对而言是较为有效的。即虽然每次估计都会大于或小于真实值,但是偏离的程度都更小的估计更优。
    (3)一致性 又称相合性,是指随着样本容量的增大,估计量愈来愈接近总体参数的真值。

    为什么方差的分母是n-1?
    结论: 这个问题本身概念混淆了。如果已知全部的数据,那么均值和方差可以直接求出。但是对一个随机变量X,需要估计它的均值和方差,此时才用分母为n-1的公式来估计他的方差,因此分母是n-1才能使对方差的估计(而不是方差)是无偏的。因此,这个问题应该改为,为什么随机变量的方差的估计的分母是n-1?
    如果我们已经知道了全部的数据,那就可以求出均值μ,sigma,此时就是常规的分母为n的公式直接求,这并不是估计!
    现在,对于一个随机变量X,我们要去估计它的期望和方差。
    期望的估计就是样本的均值1347548-20180310112112905-1253230304.png
    现在,在估计的X的方差的时候,如果我们预先知道真实的期望μ,那么根据方差的定义:
    1347548-20180310112113143-1019298042.png
    1347548-20180310112113324-1459549690.png
    这时分母为n的估计是正确的,就是无偏估计!
    但是,在实际估计随机变量X的方差的时候,我们是不知道它的真实期望的,而是用期望的估计值1347548-20180310112112905-1253230304.png去估计方差,那么:
    1347548-20180310112113554-500860391.png
    所以把分母从n换成n-1,就是把对方差的估计稍微放大一点点。至于为什么是n-1,而不是n-2,n-3,...,有严格的数学证明。

    无偏估计虽然在数学上更好,但是并不总是“最好”的估计,在实际中经常会使用具有其它重要性质的有偏估计。



    转载于:https://www.cnblogs.com/notwice/p/8538539.html

    展开全文
  • 如何理解无偏估计量?

    万次阅读 多人点赞 2018-09-15 16:49:04
    现实中常常有这样的问题,比如,想知道全体女性的身高均值 ,但是没有办法把每个女性都进行测量,只有抽样...因为它是无偏估计。 首先,真正的全体女性的身高均值 ,我们是不知道,只有上帝才知道,在图中就画...

    现实中常常有这样的问题,比如,想知道全体女性的身高均值\mu ,但是没有办法把每个女性都进行测量,只有抽样一些女性来估计全体女性的身高:

    那么根据抽样数据怎么进行推断?什么样的推断方法可以称为“好”?

    1 无偏性

    比如说我们采样到的女性身高分别为:

    \{x_1,x_2,\cdots,x_n\}

    那么:

    \overline{X}=\frac{x_1+x_2+\cdots+x_n}{n}

    是对\mu 不错的一个估计,为什么?因为它是无偏估计。

    首先,真正的全体女性的身高均值mu ,我们是不知道,只有上帝才知道,在图中就画为虚线:

    我们通过采样计算出\overline{X} :

    会发现,不同采样得到的\bar{X} 是围绕\mu 左右波动的:

    这有点像打靶,只要命中在靶心周围,还算不错的成绩:

    如果用以下式子去估计方差\sigma^2 :

    \displaystyle S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2

    根据“为什么样本方差的分母是 n-1?”的解释,就会产生偏差:

    这个偏差经过计算,就是:

    \frac{1}{n}\sigma^2

    这种偏差就好像瞄准镜歪了,是系统性的:

    就此而言,无偏估计要好于有偏估计。

    2 有效性

    打靶的时候,右边的成绩肯定更优秀:

    进行估计的时候也是,估计量越靠近目标,效果越“好”。这个“靠近”可以用方差来衡量。

    比如,仍然对\mu 进行估计,方差越小,估计量的分布越接近\mu :

    有效估计和无偏估计是不相关的:

    举个例子,从N(\mu,\sigma^2) 中抽出10个样本:

    \{x_1,x_2,\cdots,x_n\}

    下面两个都是无偏估计量:

    \displaystyle T_1=\frac{x_1+x_3+2x_{10}}{4}\quad T_2=\frac{1}{10}\sum^{10}_{i=1}x_i

    但是后者比前者方差小,后者更有效。

    并且在现实中不一定非要选无偏估计量,比如:

    如果能接受点误差,我倒觉得选择右边这个估计量更好。

    3 一致性

    之前说了,如果用以下式子去估计方差\sigma^2 :

    \displaystyle S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2

    会有一个偏差:

    \frac{1}{n}\sigma^2

    可以看到,随着采样个数n 的增加,这个偏差会越来越小。那么这个估计就是“一致”的。

    如果样本数够多,其实这种有偏但是一致的估计量也是可以选的。

    4 总结

    判断一个估计量“好坏”,至少可以从以下三个方面来考虑:

    • 无偏

    • 有效

    • 一致

    实际操作中,要找到满足三个方面的量有时候并不容易,可以根据情况进行取舍。

    文章的最新版本在(可能会有后续更新):如何理解无偏估计量?

    展开全文
  • 数学概念-无偏估计

    2019-10-01 17:36:34
    什么是无偏估计无偏估计 所谓总体参数估计量的无偏性指的是,基于不同的样本,使用该估计量可算出多个估计值,但它们的平均值等于被估参数的真值。 在某些场合下,无偏性的要求是有实际意义的。例如,假设在...

    什么是无偏估计?

    无偏估计

          所谓总体参数估计量的无偏性指的是基于不同的样本,使用该估计量可算出多个估计值,但它们的平均值等于被估参数的真值。

         在某些场合下,无偏性的要求是有实际意义的。例如,假设在某厂商与某销售商之间存在长期的供货关系,则在对产品出厂质量检验方法的选择上,采用随机抽样的方法来估计次品率就很公平。这是因为从长期来看,这种估计方法是无偏的。比如这一次所估计出来的次品率实际上偏高,厂商吃亏了;但下一次的估计很可能偏低,厂商的损失就可以补回来。由于双方的交往会长期多次发生这时采用无偏估计,总的来说可以达到互不吃亏的效果。

         不过,在某些场合中,无偏性的要求毫无实际意义。这里又有两种情况:一种情况是在某些场合中不可能发生多次抽样。例如,假设在某厂商和某销售商之间只会发生一次买卖交易,此后不可能再发生第二次商业往来。这时双方谁也吃亏不起,这里就没有什么“平均”可言。另一种情况则是估计误差不可能相互补偿,因此“平均”不得。例如,假设需要通过试验对一个批量的某种型号导弹的系统误差做出估计。这个时候,既使我们的估计的确做到了无偏,但如果这一批导弹的系统误差实际上要么偏左,要么偏右,结果只能是大部分导弹都不能命中目标,不可能存在“偏左”与“偏右”相互抵消,从而“平均命中”的概念。

         由此可见,具有无偏性的估计量不一定就是我们“最需要”的“恰当”估计量

     

    在概率论和数量统计中,学习过无偏估计,最近在学习论文时候,也经常论文中提到无偏估计。虽然对无偏估计有所了解,但是还是有些问题:

    1)总体期望的无偏估计量是样本均值x-,总体方差的无偏估计是样本方差S^2,为什么样本方差需要除以n-1,而不是除以n;

    2)样本在总体中是怎样的抽样过程,是放回抽样,是随机抽样,还是不放回抽样等等。

    为了解决这个问题,首先来回忆一下什么叫无偏估计:

    无偏估计是参数的样本估计值的期望值等于参数的真实值。估计量的数学期望等于被估计参数,则称此为无偏估计。     设A'=g(X1,X2,...,Xn)是未知参数A的一个点估计量,若A'满足     E(A')= A     则称A'为A的无偏估计量,否则为有偏估计量。     注:无偏估计就是系统误差为零的估计。

    由于公式A'=g(X1,X2,...,Xn)中的X1,X2,...,Xn一般为一次抽样的结果,没有明确是怎么抽样的一个过程,所以导致不好理解为什么A'就是A的无偏估计量,特别是很难举出实例来给与证明。经过自己的查阅资料和理解,实际上无偏估计量可以理解如下:

    简单的理解,无偏估计量就是:在样本中进行n次随机的抽样,每次抽样都可以计算出一个对某一个参数的点估计量,计算n次,得到n个点估计量,然后对n个点估计量计算期望,得到的值和需要估计的总体参数相等,则称n中的任何点估计量为总体参数的无偏估计量。

    能否举出一个例子呢?因为实际的应用中总体是不知道,只有样本,这能够举例子吗?是可以的,不妨设总体容量为3,样本容量为2,计算出总体方差的无偏估计为样本方差,而且样本方差是除以n-1,而不是除以n。

     

    举例:

    比如我要对某个学校一个年级的上千个学生估计他们的平均水平(真实值,上帝才知道的数字),那么我决定抽样来计算。

    我抽出一个10个人的样本,可以计算出一个均值。那么如果我下次重新抽样,抽到的10个人可能就不一样了,那么这个从样本里面计算出来的均值可能就变了,对不对?

    因为这个均值是随着我抽样变化的,而我抽出哪10个人来计算这个数字是随机的,那么这个均值也是随机的。但是这个均值也会服从一个规律(一个分布),那就是如果我抽很多次样本,计算出很多个这样的均值,这么多均值们的平均数应该接近上帝才知道的真实平均水平。

    如果你能理解“样本均值”其实也是一个随机变量,那么就可以理解为这个随机变量的期望是真实值,所以无偏(这是无偏的定义);而它又是一个随机变量,只是估计而不精确地等于,所以是无偏估计量。

    展开全文
  • 如何理解无偏估计 无偏估计:就是我认为所有样本出现的概率一样。假如有N个样本我们认为所有样本出现概率都是1/N。然后根据这个来计算数学期望。此时的数学期望就是我们平常讲的平均值。 数学期望本质就是平均值 ...

    如何理解无偏估计

    无偏估计:就是我认为所有样本出现的概率一样。假如有N种样本我们认为所有样本出现概率都是1/N。然后根据这个来计算数学期望。此时的数学期望就是我们平常讲的平均值。

    数学期望本质就是平均值

    无偏估计为何叫做“无偏”?它要“估计”什么?

    • 回答第二个问题,它要估计的是整体的数学期望(平均值)。

    那为何叫做无偏?有偏是什么?
    假设这个是一些样本的集合X=x1,x2,..,xi,xNX={x_1, x_2,..,x_i,x_N},我们根据样本估计整体的数学期望(平均值)。
    因为正常求期望是加权和,啥叫加权和E(X)=(pixi)E(X) = \sum(p_i*x_i)这个就叫加权和。每个样本出现概率不一样,概率大的乘起来就大这个就产生偏重了对吧(有偏估计)。但是,但是我们不知道某个样本出现的概率啊。

    比如你从别人口袋里面随机拿了3张钞票。两张是十块钱,一张100元,然后你想估计下他口袋里的剩下的钱平均下来每张多少钱(估计平均值)

    然后呢?

    • 无偏估计计算数学期望就是认为所有样本出现概率一样大,没有看不起哪个样本。回到求钱的平均值的问题。无偏估计我们认为每张钞票出现概率都是1/21/2(因为只出现了10和100这两种情况,所以是1/2.如果是出现1 10 100三种情况,每种情况概率则是1/31/3)。哪怕拿到了两张十块钱,我还是认为十块钱出现的概率和100元的概率一样。不偏心。所以无偏估计,所估计的别人口袋每张钱的数学期望(平均值)=101/2+1001/210 * 1/2 +100 * 1/2
    • 有偏估计 有偏估计那就是偏重哪些出现次数多的样本。认为样本的概率是不一样的。我出现了两次十块钱,那么我认为十块钱的概率是2/32/3,100块钱概率只有1/31/3. 有偏所估计的别人口袋每张钱的数学期望(平均值)=102/3+1001/310 * 2/3 + 100 * 1/3

    为何要用无偏估计?

    因为现实生活中我不知道某个样本出现的概率啊,就像骰子,我不知道他是不是加过水银。所以我暂时按照每种情况出现概率一样来算。

    展开全文
  • 无偏估计

    千次阅读 2019-08-14 15:27:49
    目录 ...5如何理解无偏估计量? 5.1 无偏性 5.2有效性 5.3一致性 5.4 总结 参考百度百科:https://baike.baidu.com/item/%E6%97%A0%E5%81%8F%E4%BC%B0%E8%AE%A1%E9%87%8F/303853?fr=aladdin ...
  • 无偏估计【统计学-通俗解释】

    千次阅读 2016-01-24 09:27:39
    先来给出一个公理:样本均值的期望等于总体均值。 举个例子吧: 现在甲市有一万名小学三年级学生,他们进行了一次统考,考试成绩服从1~100的均匀分布:00001号学生得1分,00002号学生得1.01分……10000号学生...
  • 无偏估计与自由度

    千次阅读 2016-01-24 10:13:33
    最近总是遇到一个小问题,想不通为什么样本方差的无偏估计量是要除以N-1的。 上Wiki找了一下, Estimating variance Suppose X1, ..., Xn are independent and identically distributed random ...
  • 卡方分布

    千次阅读 2019-02-16 18:27:10
    卡方分布是抽样分布的一种。抽样分布其实与概率论中的大数定律有密切的关系。当关注的对象的概率不可知,意味着只知道数据,不知道其内在规律;另一方面,关注的对象是可以分解成多种因素的组合时,就引入了抽样分布...
  • 定义式:$$E(\hat\theta)=\theta$$问题:(1)无偏估计有时并不一定存在。(2)可估参数的无偏估计往往不唯一。(3)无偏估计不一定是好估计。
  • 估计量的无偏性,有效性和一致性

    万次阅读 2018-06-28 20:55:52
    关键字:估计量,无偏性,有效性,一致性1.估计量 参数的点估计就是根据样本构造一个统计量,作为总体未知参数的估计。设总体的X未知参数为seta,样本根据样本构造一个统计量(只依赖于样本,不含总体分布的任何参数...
  • 在PCA算法中用到了方差,协方差矩阵,其中方差公式为,协方差矩阵公式为,当时不明白为什么除的不是m,而是m-1,那么想要知道为何,下面就是你想要的答案。  假设X为独立同分布的一组随机变量,总体为M,随机抽取N...
  • 有偏估计与无偏估计

    千次阅读 2019-01-13 23:34:40
    无偏估计: 估计量的数学期望等于被估计参数的真实值,则称此此估计量为被估计参数的无偏估计,即E(θ^\hat{\theta}θ^)=θ\thetaθ 样本均值的期望等于总体均值,所以样本均值为无偏估计 有偏估计: 若θ^\hat{\...
  • 无偏估计实例证明

    万次阅读 2014-04-01 11:07:19
    无偏估计 在概率论和数量统计中,学习过无偏估计,最近在学习论文时候,也经常论文中提到无偏估计。虽然对无偏估计有所了解,但是还是有些问题: 1)总体期望的无偏估计量是样本均值x-,总体方差的无偏估计是...
  • 总体样本方差的无偏估计样本方差为什么除以n-1

    万次阅读 多人点赞 2020-08-04 08:32:55
    1)基本概念 我们先从最基本的一些概念入手。 如下图,脑子里要浮现出总体样本,还有一系列随机选取的样本。只要是样本,脑子里就要浮现出它的集合属性,它不是单个个体,而是一堆随机个体集合。...
  • 是关于方差的无偏估计,那么为什么一个是/(n-1),为什么一个是/n呢 首先我们清楚几个公式, D(x)= E(x)= 有一个重要的假设,就是随机选取的样本与总体样本同分布,它的意思就是说他们的统计特性是完全一样的,...
  • 估计是参数估计的重要组成部分,点估计的常见方法有矩估计和极大似然估计,衡量一个点估计量的好坏的标准有很多,比较常见的有:无偏性(Unbiasedness)、有效性(Efficiency)和一致性(Consistency)。...
  • 彻底理解样本方差为何除以n-1

    万次阅读 多人点赞 2017-09-06 00:10:35
    设样本均值为,样本方差为,总体均值为,总体方差为,那么样本方差有如下公式: 很多人可能都会有疑问,为什么要除以n-1,而不是n,但是翻阅资料,发现很多都是交代到,如果除以n,对样本方差的估计不是无偏估计,...
  • 估计——最小方差无偏估计

    千次阅读 2019-08-30 14:54:18
    - 确定好的估计量 - 建立数据的数学模型:一般由于数据固有的随机性,则选择它们的PDF来描述它,...- 最佳估计量的选择:估计量性能的评估(无偏性、有效性以及一致性)。常用的方法:期望验证无偏;CRLB(Cramer-R...
  • 最小二乘法的无偏

    千次阅读 2018-08-03 09:19:53
    最小二乘法的介绍,可以参考 最小二乘法的多角度理解 这篇文章。 只有两个参数的情况下: 已知X=,Y=两个向量数据。我们假设Y中的元素与X中的元素满足线性关系 中间的步骤可以参考文章 最小二乘法的多角度理解...
  • 最佳线性无偏估计BLUE

    千次阅读 2018-06-29 20:29:06
    最佳线性无偏估计BLUE 1、定义:线性估计是参数估计最重要的一类,应用 广泛。如果对参数x 的估计可以表示成为量测信 息的线性函数就是线性估计。而线性无偏最小方差估计称为BLUE ( Best Linear Unbiased ...
1 2 3 4 5 ... 20
收藏数 26,703
精华内容 10,681
关键字:

无偏估计