精华内容
下载资源
问答
  • 无偏估计

    千次阅读 2019-07-04 00:43:00
    0. 无偏估计简介 估计是用样本统计量(可以理解为随机抽样)来估计总体参数时的一种无偏推断。 无偏估计的要求就是:估计出来的参数的数学期望等于被估计参数的真实值。(如:是总体参数的估计量,而是被估计参数...

    0. 无偏估计简介

    估计是用样本统计量(可以理解为随机抽样)来估计总体参数时的一种无偏推断。

    无偏估计的要求就是:估计出来的参数的数学期望等于被估计参数的真实值。(如:\bar{X}是总体参数\mu的估计量,而\mu是被估计参数)(无偏性是一种评价估计量优良性的准则)

    无偏估计的意义:在多次重复下,估计量的平均值 ≈ 被估计参数真值

    所以呢,可以看出:估计值也是一个变量,因为是随机的嘛。  真实值谁也不知道啊(因为你不可能把列出无限的实验结果来,除了可能通过数学计算得到的常见的分布)。

    1. 无偏估计的用途

    问题引入:

    现实中想要知道全体女性的身高均值\mu, 但是无法对所有女性测量身高,只有通过抽样一些女性,然后来估计全体女性身高的均值

     

    2. 无偏估计的计算公式推导

    给定一组服从一定分布的随机变量,它真实的均值和方差分别用\mu\sigma^2表示,即E(X)=\mu, \,D(X) = \sigma^2=E((X-\mu)^2)

    以女性的身高为例:

    假设我们采样到的n个女性身高数据为x_i(i= 1,2,...,n)

    则样本统计的均值为 

    \bar{X}=\frac{\sum_{i=1}^n x_i}{n}

    方差

    S^2=\frac{1}{n}\sum_{i=1}^n(x_i - \bar{X})^2

    此时\barX\bar{X}是总体参数\mu的无偏估计。

    样本均值是否是无偏估计?

    即判断E(\bar{X})=\mu是否成立

    推导:

    E(\bar{X})=E(\frac{\sum x_i}{n})=\frac{\sum E(x_i)}{n}=\frac{\sum \mu}{n}=\mu

    所以,是

    样本方差是否是无偏估计?

    即判断E(S^2)=\sigma ^2是否成立

    推导:(为什么样本方差的分母是n-1?)

    所以S^2不是\sigma^2的无偏估计。

    S^2=\frac{n-1}{n}\sigma^{2},也就是低估了\sigma^2

    所以,可以通过对S^2做个调整,让它变为\sigma^2的无偏估计,即

    \frac{n}{n-1}S^2=\frac{n}{n-1} \cdot \frac{1}{n}\sum(x_i - \bar{X})^2=\frac{1}{n-1}\sum(x_i - \bar{X})^2

    所以\sigma^2的无偏估计为:

    \sigma^2=\frac{1}{n-1}\sum(x_i - \bar{X})^2

    3. 无偏估计的直观理解

    以打靶为例:

    左图都是无偏的,因为都在靶心周围,那么期望就是靶心

     

    4. 判断估计量好坏的三种标准

    判断一个估计量“好坏”,至少可以从以下三个方面来考虑:

    • 无偏

    • 有效

    • 一致

    有效性

    有效性越高就说明,估计量的方差更小,估计量更靠近目标值

    就像上两张图所示,可能满足无偏性,但是右边的更符合有效性

    一致性

    实际操作中,要找到满足三个方面的量有时候并不容易,可以根据情况进行取舍。

     

    展开全文
  • 如何理解无偏估计 无偏估计:就是我认为所有样本出现的概率一样。假如有N个样本我们认为所有样本出现概率都是1/N。然后根据这个来计算数学期望。此时的数学期望就是我们平常讲的平均值。 数学期望本质就是平均值 ...

    如何理解无偏估计

    无偏估计:就是我认为所有样本出现的概率一样。假如有N种样本我们认为所有样本出现概率都是1/N。然后根据这个来计算数学期望。此时的数学期望就是我们平常讲的平均值。

    数学期望本质就是平均值

    无偏估计为何叫做“无偏”?它要“估计”什么?

    • 回答第二个问题,它要估计的是整体的数学期望(平均值)。

    那为何叫做无偏?有偏是什么?
    假设这个是一些样本的集合X=x1,x2,..,xi,xNX={x_1, x_2,..,x_i,x_N},我们根据样本估计整体的数学期望(平均值)。
    因为正常求期望是加权和,啥叫加权和E(X)=(pixi)E(X) = \sum(p_i*x_i)这个就叫加权和。每个样本出现概率不一样,概率大的乘起来就大这个就产生偏重了对吧(有偏估计)。但是,但是我们不知道某个样本出现的概率啊。

    比如你从别人口袋里面随机拿了3张钞票。两张是十块钱,一张100元,然后你想估计下他口袋里的剩下的钱平均下来每张多少钱(估计平均值)

    然后呢?

    • 无偏估计计算数学期望就是认为所有样本出现概率一样大,没有看不起哪个样本。回到求钱的平均值的问题。无偏估计我们认为每张钞票出现概率都是1/21/2(因为只出现了10和100这两种情况,所以是1/2.如果是出现1 10 100三种情况,每种情况概率则是1/31/3)。哪怕拿到了两张十块钱,我还是认为十块钱出现的概率和100元的概率一样。不偏心。所以无偏估计,所估计的别人口袋每张钱的数学期望(平均值)=101/2+1001/210 * 1/2 +100 * 1/2
    • 有偏估计 有偏估计那就是偏重哪些出现次数多的样本。认为样本的概率是不一样的。我出现了两次十块钱,那么我认为十块钱的概率是2/32/3,100块钱概率只有1/31/3. 有偏所估计的别人口袋每张钱的数学期望(平均值)=102/3+1001/310 * 2/3 + 100 * 1/3

    为何要用无偏估计?

    因为现实生活中我不知道某个样本出现的概率啊,就像骰子,我不知道他是不是加过水银。所以我暂时按照每种情况出现概率一样来算。

    展开全文
  • 有偏估计与无偏估计

    万次阅读 2019-01-13 23:34:40
    无偏估计: 估计量的数学期望等于被估计参数的真实值,则称此此估计量为被估计参数的无偏估计,即E(θ^\hat{\theta}θ^)=θ\thetaθ 样本均值的期望等于总体均值,所以样本均值为无偏估计 有偏估计: 若θ^\hat{\...

    无偏估计: 估计量的数学期望等于被估计参数的真实值,则称此此估计量为被估计参数的无偏估计,即E(θ^\hat{\theta})=θ\theta
    样本均值的期望等于总体均值,所以样本均值为无偏估计

    有偏估计:θ^\hat{\theta}的数学期望不为θ\theta,即E(θ^\hat{\theta})≠θ\theta,则称为θ\theta的有偏估计。
    样本方差的期望是有偏估计
    S2=1ni=1n(XiXˉ)2S^2=\frac{1}{n}\sum_{i=1}^n{(X_i-\bar{X})^2}
    E(S2)=n1nσ2E(S^2)=\frac{n-1}{n}\sigma^2
    σ2=nn1S2=1n1i=1n(XiXˉ)2\sigma^2=\frac{n}{n-1}S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2
    其中S2S^2为样本方差,σ2\sigma^2为总体方差。共抽取n个样本。
    疑问:D(Xi)=D(X)D(X_i)=D(X)E(Xi)=E(X)E(X_i)=E(X)吗,其意义是什么

    展开全文
  • 参考自苏神博客:《简述无偏估计和有偏估计 》[Blog post]. Retrieved from https://kexue.fm/archives/6747 作者从熟悉的方差介绍,引入无偏和有偏估计的概念

    参考自苏神博客:《简述无偏估计和有偏估计 》[Blog post]. Retrieved from https://kexue.fm/archives/6747

    作者从熟悉的方差介绍,引入无偏和有偏估计的概念
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 无偏估计:对于总体,样本均值是总体均值的无偏估计,如果k阶原点距期望存在,则样本的k阶原点矩也是无偏估计, 但中心距不是。 有偏方差和无偏方差 有偏估计方差 无偏估计方差 当样本数趋于无穷时,有偏估计和...
  • 【机器学习】有偏估计与无偏估计

    千次阅读 2019-04-03 19:56:57
    有偏估计 有偏估计(biased estimate)是指由样本值求得的估计值与待估参数的真值之间有系统误差,其期望值不是待估参数的真值。...无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量...
  •   无偏估计: 估计量的数学期望等于被估参数的真实值,则称此估计量为被估参数的无偏估计。(例:样本均值的期望等于总体均值,所以样本均值为无偏估计)   有偏估计:估计量的数学期望不等于被估参数的真实值,...
  • 是关于方差的无偏估计,那么为什么一个是/(n-1),为什么一个是/n呢 首先我们清楚几个公式, D(x)= E(x)= 有一个重要的假设,就是随机选取的样本与总体样本同分布,它的意思就是说他们的统计特性是完全一样的,...
  • 有偏估计 and 无偏估计 方差分母 n-1 - 详细证明 均值 - 无偏估计 方差 - 有偏估计 方差 - 转换成无偏估计
  • 无偏估计

    千次阅读 2017-10-22 23:09:01
     无偏估计量是样本平均数这一随机变量,其数学期望等于总体的被估计参数,即等于总体平均数,所以称其为无偏估计量。例如,虽然各个可能样本的样本平均数具有随机性,可能等于总体平均数,也可能不等于总体平均数,但是...
  • -LMS算法提出了一种改进的无偏估计方法。根据自适应滤波器的最佳逼近原理和各信号矢量的几何关系,利用传统LMS算法获得的信息来估计输入噪声的功率,再通过γ-LMS算法在迭代过程中逐步修正维纳解,去除输入噪声的...
  • 分布时滞马尔可夫跳跃系统的无偏估计
  • 首先来看下有偏估计跟无偏估计的定义 定义 有偏估计(biased estimate)是指由样本值求得的估计值与待估参数的真值之间有系统误差,其期望值不是待估参数的真值。 注意看,它的期望不等于待估参数的真实值就是有偏,...
  • 最小方差无偏估计和有效估计

    千次阅读 2020-06-26 16:03:40
    最小方差无偏估计[MVUE]
  • 方差的无偏估计

    千次阅读 2020-05-21 21:52:30
    方差的无偏估计如何计算? 我们常常被问到"方差的无偏估计如何计算?和有偏估计的区别是什么?",心想"哎呀,又忘了"。本篇回归问题本质,带你理解这些名词背后解决的实际问题(通过总结回顾,无意中解决了一年...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,087
精华内容 434
关键字:

无偏估计