精华内容
下载资源
问答
  • 充分统计量

    千次阅读 2018-08-20 23:18:53
    充分统计量直观来理解就是,对于未知参数的估计问题,若知道了充分统计量,那么就不再需要其它的单个或多个观测样本,就能完成对未知参数的估计,即充分统计量已经包含了估计未知参数所需要的信息,换句话说,充分...

    概念理解:

    充分统计量直观来理解就是,对于未知参数的估计问题,若知道了充分统计量,那么就不再需要其它的单个或多个观测样本,就能完成对未知参数的估计,即充分统计量已经包含了估计未知参数所需要的信息,换句话说,充分统计量从大量的观测样本中“抽取”或“浓缩”了估计未知参数需要的所有必要信息。

    我们注意到,教科书里证明充分统计量的思路通常都是把待证明的统计量带入到概率密度函数表达式中,使之变为条件概率密度函数,然后再推导条件概率密度函数与待估计参数无关,从而证明此估计量为充分估计量。

    这是为什么呢?强调一个概念:什么是概率密度函数(PDF)?从参数估计的角度来看,PDF描述了待估计参数与观测样本之间的概率关系,换句话说就是,PDF描述了待估计参数如何影响当前观测样本的发生概率(反过来想,为什么能从观测样本来估计参数就比较容易理解了)。若带入统计量后的条件PDF与待估计参数无关,那么就说明了若已知了该估计量,其它的观测样本与待估计参数已无概率关系了,也就说明这些观测样本对估计该未知参数无任何作用(不包含更多信息)。这与充分统计量的直观理解概念是一致的。

    展开全文
  • 次序统计量 所谓次序统计量,针对的是从...而直观来说,推理需要证据,需要信息,这也就是充分统计量诞生的来源:统计量可不可以尽量少,并且包含样本提供的我们感兴趣的所有信息?你想,如果可以包含一个样本的所..
    1. 次序统计量
      所谓次序统计量,针对的是从总体中挑选n个样本的概念。
      比如,X可取0,1,2。则当n=3时,可以知道共有27种可能性。
      将其从大到小排序,结果可能只有9种情况。
      所谓X(2)表示排序后第2个数取值的可能性。X(2)=0,1,2
      相加肯定为一
      在这里插入图片描述
      在这里插入图片描述

    2. 充分统计量
      数理统计的本质是通过样本来做推断,也就是说统计推断是这个学科的主要负责功能。而直观来说,推理需要证据,需要信息,这也就是充分统计量诞生的来源:统计量可不可以尽量少,并且包含样本提供的我们感兴趣的所有信息?你想,如果可以包含一个样本的所有信息,那么这个统计量,直白的来说就可以代替这个样本中的所有数据,从某种意义上来说也是一种降维。这也是为什么充分统计量具有非常大的统计学上的意义。
      若给定统计量的值,样本联合密度的条件分布与未知参数无关,则这个统计量为充分统计量。

    伽马函数:详见
    https://blog.csdn.net/weixin_43077261/article/details/96167713

    展开全文
  • 完全充分统计量

    2020-05-16 19:48:57
    充分统计量 统计量是对样本的加工和压缩,在这个过程之中有可能损失一部分参数的信息。 如果压缩了样本而且没有损失样本的信息,这样的统计量称为充分统计量 充分统计量定义 给定条件T(X)=tT(X)=tT(X)=t的条件下,X的...

    充分统计量

    统计量是对样本的加工和压缩,在这个过程之中有可能损失一部分参数的信息。

    如果压缩了样本而且没有损失样本的信息,这样的统计量称为充分统计量

    充分统计量定义

    给定条件T(X)=tT(X)=t的条件下,X的条件分布和参数θ\theta无关,称统计量T(x)T(x)是参数θ\theta的充分统计量

    因子分解定理

    设统计模型为{Pθ,θΘ}\{P_\theta,\theta\in \Theta\},统计量T(X)T(X)是充分的,当且仅当p(x,θ)=g(T(x),θ)h(x)p(x,\theta)=g(T(x),\theta)h(x),p(x,θ)p(x,\theta)是样本的概率密度函数

    也就是p(x,θ)p(x,\theta)

    例: XX~B(1,p)B(1,p),证明样本均值是参数pp的充分统计量

    L=pΣxi(1p)nΣxi=pnxˉ(1p)nnxˉ=g(xˉ,p)L=p^{\Sigma x_i}(1-p)^{n-\Sigma x_i}=p^{n\bar x}(1-p)^{n-n\bar x}=g(\bar x,p)

    所以xˉ\bar x是充分统计量

    定理

    设统计模型为{Pθ,θΘ}\{P_\theta,\theta\in \Theta\},统计量S(X)S(X)是充分统计量,φ(x)\varphi(x)q(θ)q(\theta)的无偏估计量,令

    T(x)=E(φ(x)S(x))T(x)=E(\varphi(x)|S(x))

    T(x)T(x)也是q(θ)q(\theta)的无偏估计量,且有Dθ(T(x))Dθ(φ(x))D_\theta(T(x))\leq D_\theta(\varphi(x))

    条件数学期望

    XX是一个r.v.r.v.,且EXEX存在,记 E(XY=y)=Σxxp(xy)E (X|Y = y ) = \Sigma_x xp(x|y),则称E(XY=y)E(X|Y=y)为给出Y=yY=yXX的条件期望

    证明:
    E(T(x))=E(E(φ(x)S(x)))=E(φ(x))=q(θ)E(T(x))=E(E(\varphi(x)|S(x)))=E(\varphi(x))=q(\theta) 所以是一个无偏估计

    Dθ(φ(x))=Eθ(φ(x)q(θ))2D_\theta(\varphi(x))=E_\theta(\varphi(x)-q(\theta))^2 (无偏估计方差定义)
    Dθ(φ(x))=Eθ(φ(x)T(x)+T(x)q(θ))2=Eθ(φ(x)T(x))2+Eθ(T(x)q(θ))2+2Eθ((φ(x)T(x)))(T(x)q(θ)) \begin{aligned} D_\theta(\varphi(x))&=E_\theta(\varphi(x)-T(x)+T(x)-q(\theta))^2\\ &=E_\theta(\varphi(x)-T(x))^2+E_\theta(T(x)-q(\theta))^2+2E_\theta((\varphi(x)-T(x)))(T(x)-q(\theta)) \end{aligned}
    Eθ((φ(x)T(x)))(T(x)q(θ))=Eθ{Eθ((φ(x)T(x)))(T(x)q(θ)S(x))}=Eθ{(T(x)q(θ))Eθ[(φ(x)T(x))S(x)]}(S(x),T(x))=Eθ{(T(x)q(θ))(Eθ[(φ(x)S(x)]E[T(x)S(x)])}=Eθ{(T(x)q(θ))(T(x)T(x))}=0 \begin{aligned} E_\theta((\varphi(x)-T(x)))(T(x)-q(\theta))&=E_\theta\{E_\theta((\varphi(x)-T(x)))(T(x)-q(\theta)|S(x))\}\\ &=E_\theta\{(T(x)-q(\theta))E_\theta[(\varphi(x)-T(x))|S(x)]\}(S(x)已知,T(x)也为已知)\\ &=E_\theta\{(T(x)-q(\theta))(E_\theta[(\varphi(x)|S(x)]-E[T(x)|S(x)])\}\\ &=E_\theta\{(T(x)-q(\theta))(T(x)-T(x))\}\\ &=0 \end{aligned}

    所以有Dθ(φ(x))Eθ(T(x)q(θ))2=Dθ(T(x))D_\theta(\varphi(x))\geq E_\theta(T(x)-q(\theta))^2=D_\theta(T(x))

    结论
    1. 如果XX和Y,独立,且EX,存在,则E(X|Y)=EX$
    2. E(h(Y)Y)=h(Y)E(h(Y)|Y)=h(Y)
    3. E(q(X,Y)Y=y)=E(q(X,y)Y=y)E(q(X,Y)|Y=y)=E(q(X,y)|Y=y)
    4. E(E(XY))=E(X)E(E(X|Y))=E(X) 双期望定理

    完全统计量定义

    g(t)g(t)是定义在统计量T(x)T(x)的值域上的任一实值函数,如果对于所有的θΘ,Eθ(g(T))=0\theta\in \Theta,E_\theta(g(T))=0成立,必几乎处处成立g(T)=0g(T)=0,称T(x)T(x)是完全的.

    定理

    XX是来自总体{Pθ,θΘ}\{P_\theta,\theta\in \Theta\}的一个样本,其密度函数可以表示为

    p(x,θ)=c(w)h(x)exp({Σ1mwkTk(x)})p(x,\theta)=c(w)h(x)exp(\{\Sigma_1^m w_kT_k(x)\})

    如果分布族具有形式f(x;θ)=a(θ)exp{ΣQi(θ)Ti(x)}h(x)f(x;\theta)=a(\theta)exp\{\Sigma Q_i(\theta)T_i(x)\}h(x),称之为指数分布族

    其中w=w(θ)Ωw=w(\theta)\in \Omega,如果Ω\Omega有内点,则统计量T(x)T(x)是完全充分统计量

    L-S定理

    S(x)S(x)是完全充分统计量,φ(x)\varphi(x)q(θ)q(\theta)的无偏估计,则T(x)=Eθ(φ(x)S(x))T(x)=E_\theta(\varphi(x)|S(x))q(θ)q(\theta)的UMVUE,如果对于所有的θΘ,Dθ(T(x))<\theta\in \Theta,D_\theta(T(x))<\infty,则T(x)T(x)q(θ)q(\theta)唯一的UMVUE

    给出了两种寻找UMVUE的方法

    T(x)T(x)是完全充分统计量
    (1)若h(T(x))h(T(x))q(θ)q(\theta)无偏估计量,则h(T(x))h(T(x))q(θ)q(\theta)的UMVUE

    (2)如果q(θ)q(\theta)有一个无偏估计φ(x)\varphi(x),则E(φ(x)T(x))E(\varphi(x)|T(x))q(θ)q(\theta)的UMVUE

    展开全文
  • 文章目录前言五、充分统计量1.定义 前言 本章讲解统计量及其分布的最后一部分:充分统计量 五、充分统计量 1.定义 设x1,x2,⋯ ,xnx_1,x_2,\cdots,x_nx1​,x2​,⋯,xn​是来自某个总体的样本,总体分布函数为F(x;...


    前言

    本章讲解统计量及其分布的最后一部分:充分统计量


    五、充分统计量

    1.定义

    x1,x2,,xnx_1,x_2,\cdots,x_n是来自某个总体的样本,总体分布函数为F(x;θ),F(x;\theta),统计量T=T(x1,x2,,xn)T=T(x_1,x_2,\cdots,x_n)称为 θ\theta充分统计量,如果在给定 TT 的取值后, x1,x2,,xnx_1,x_2,\cdots,x_n 的条件分布与 θ\theta 无关。
    例子
    x1,x2,,xnx_1,x_2,\cdots,x_n是来自N(μ,1)N(\mu,1)的样本,T=xˉT=\bar x,则TN(μ,1/n)T\sim N(\mu,1/n),做变换
    x1=x1,x2=x2,,t=xˉ.x_1=x_1,\quad x_2=x_2,\quad\cdots,\quad t=\bar x.
    x1,x2,,xn,tx_1,x_2,\cdots,x_n,t的联合密度分布函数为
    p(x1,x2,,xn,t;μ)=n(2π)n/2exp{12[i=1n1(xiμ)+(nti=1n1xiμ)2]}=n(2π)n/2exp{12[i=1n1xi2+(i=1n1xint)2nt2]}\begin{aligned} p(x_1,x_2,\cdots,x_n,t;\mu) &=n(2\pi)^{-n/2}exp\{-\frac12[\sum_{i=1}^{n-1}(x_i-\mu)+(nt-\sum_{i=1}^{n-1}x_i-\mu)^2]\}\\ &=n(2\pi)^{-n/2}exp\{-\frac12[\sum_{i=1}^{n-1}x_i^2+(\sum_{i=1}^{n-1}x_i-nt)^2-nt^2]\} \end{aligned}
    条件密度函数pμ(x1,x2,,xn1T=t)=pμ(x1,x2,,xn1,t)pμ(t)=n(2π)n/2exp{12[i=1n1xi2+(i=1n1xint)2nt2]}(2π/n)1/2exp{n2(tμ)2}=n(2π)(n1)/2exp{12[i=1n1xi2+(i=1n1xint)2nt2]}\begin{aligned} p_{\mu}(x_1,x_2,\cdots,x_{n-1}|T=t)&=\frac{p_{\mu}(x_1,x_2,\cdots,x_{n-1},t)}{p_\mu(t)} \\ &=\frac{n(2\pi)^{-n/2}exp\{-\frac12[\sum_{i=1}^{n-1}x_i^2+(\sum_{i=1}^{n-1}x_i-nt)^2-nt^2]\}}{(2\pi/n)^{-1/2}exp\{-\frac n2(t-\mu)^2\}}\\ &=\sqrt n(2\pi)^{-(n-1)/2}exp\{-\frac12[\sum_{i=1}^{n-1}x_i^2+(\sum_{i=1}^{n-1}x_i-nt)^2-nt^2]\} \end{aligned}
    该分布与μ\mu无关,这说明xˉ\bar xμ\mu的充分统计量。

    2.因子分解定理

    设总体概率密度函数为f(x;θ),x1,x2,,xnf(x;\theta),x_1,x_2,\cdots,x_n为样本,则T=T(x1,x2,,xn)T=T(x_1,x_2,\cdots,x_n)TT可以是一维的,也可以是多维的)为充分统计量的充分必要条件是:存在两个函数g(t,θ)g(t,\theta)h(x1,x2,,xn)h(x_1,x_2,\cdots,x_n)使得对任意的θ\theta和任意一组观测值x1,x2,,xnx_1,x_2,\cdots,x_n,有
    f(x1,x2,,xn;θ)=g(T(x1,x2,,xn),θ)h(x1,x2,,xn)f(x_1,x_2,\cdots,x_n;\theta)=g(T(x_1,x_2,\cdots,x_n),\theta)h(x_1,x_2,\cdots,x_n)其中g(t,θ)g(t,\theta)是通过统计量 TT 的取值而依赖于样本的。

    扩展
    若统计量 TT 是充分统计量,存在某个函数 h()h( \cdot ) ,使得 TT可以表示为t=h(s)t=h(s) ,则统计量 SS 也是充分统计量

    总结

    以上就是 数理统计的第五章:统计量及其分布 的全部内容。

    展开全文
  • UA MATH566 统计理论1 充分统计量指数族自然形式带多余参数的指数族充分统计量Neyman-Fisher因子分解定理最小充分统计量完备性分布族的完备性统计量的完备性Basu定理信息函数Fisher信息Kullback-Leibler信息 ...
  • sufficient statistic 充分统计量 对于一个未知分布而言,充分统计量sufficient statistic,顾名思义,就是当知道这些量的时候,这个分布就可以确定了,所以这些量才有sufficient的意思,足够的意思。有了这些量,...
  • 充分统计量是对样本X1,⋯ ,XnX_1, \cdots, X_nX1​,⋯,Xn​的加工,反原来众多且杂乱无章的数据化为一个或几个统计量,达到简化数据(降低维数),这是加工数据的要求之一;另一个要求是不损失(重要)信息,满足这两项...
  • UA MATH566 统计理论1 充分统计量例题答案1 例1-3是直接法判断是否是充分统计量。 例1.1 X1,⋯ ,Xn∼iidBer(θ)X_1,\cdots,X_n \sim_{iid} Ber(\theta)X1​,⋯,Xn​∼iid​Ber(θ),验证T(X)=∑i=1nXiT(X)=\sum_{i=...
  • 指数分布的样本和是充分统计量

    千次阅读 2018-10-15 16:29:53
    指数分布的样本和是充分统计量
  • 在上一节中,我们主要介绍了次序统计量与抽样分布,在这一节中,我们会继续介绍一个有趣的概念——充分统计量。虽然它在本科数理统计中是相对简单的部分,但是它实际的统计学意义,和与它有关的习题都非常的有意思。...
  • 第二章 充分统计量、完备性、样本信息2.1 统计量统计量是样本的函数,从本质上说,统计量也是一个随机变量,因此有统计量的分布。但是当样本 的值取定后,统计量便不再是随机变量了。通俗地讲,统计量 是对样本 的一...
  • UA MATH566 统计理论1 充分统计量例题答案2 例1.12 找N(θ,1)N(\theta,1)N(θ,1)的最小充分统计量 计算样本的联合密度 f(x∣θ)=∏i=1n12πexp⁡(−(xi−θ)22)=(2π)−n/2exp⁡(−12∑i=1n(xi−θ)2)=(2π)−n/2exp...
  • 关于机器学习的充分统计量           【Reference】 1、https://blog.csdn.net/lancelot_vim/article/details/51371651 
  • UA MATH566 统计理论1 充分统计量例题答案3 例1.18 X1,⋯ ,Xn∼iidN(μ,σ2)X_1,\cdots,X_n \sim_{iid} N(\mu,\sigma^2)X1​,⋯,Xn​∼iid​N(μ,σ2),验证T(X)=(Xˉ,SST)T(X)=(\bar{X},SST)T(X)=(Xˉ,SST)是完备...
  • 总体方差的充分统计量The way that R-squared shouldn’t be utilized for choosing if you have a satisfactory model is illogical and is once in a while clarified unmistakably. This exhibit diagrams how R-...
  • 一、对数配分函数与充分统计量 二、最大似然估计与充分统计量
  • 充分统计量(Sufficient Statistics)

    千次阅读 2013-11-11 23:33:53
    一个随机变量的分布,可以取决于一些参数的值。...也就是说,如果知道充分统计量的值,那么这个随机变量关于它的条件分布,不再取决于原来参数的值。网上找到的定义如下: In statistics, a stat
  • 关于充分统计量

    千次阅读 2014-10-29 20:14:28
    关于充分统计量的概念,我老是糊涂搞不清楚,之前有清楚过,但是之后忘了,遇到这个概念的时候又得重新看一下之前看过的一些资料,晕!还是写下来好了,这只是我的浅薄的理解,有啥问题欢迎提出~ 省略那些数学...
  • 前序文章: 机器学习笔记—模式分类(一)绪论&贝叶斯决策论 机器学习笔记—模式分类(二)参数判别估计法(最大似然估计和贝叶斯参数估计)1 ...一个充分统计量就是一个关于样本集D的函数s.
  • 来源:《Pattern Classification》Richard O.Duda 转载于:https://www.cnblogs.com/simayuhe/p/5385829.html
  • 文章目录 1、CRLB 【定理3.1:标量参数的CRLB】 2、线性模型 【定理4.1:线性模型的最小方差无偏估计】 3、一般最小方差无偏估计 【定理5.2:Rao-Blackwell-Lehmann-Scheffe,RBLS】 3.1 什么是充分统计量?...
  • https://en.wikipedia.org/wiki/Sufficient_statistic
  • (2) 找到 T(x)T({\bf x})T(x)的函数,得到无偏估计   上面我们找到完备的充分统计量为 T(x)=max⁡x[n]T({\bf x})=\max x[n]T(x)=maxx[n]。我们首先来确定它的均值。显然, TTT为顺序统计量(order statistics)。...
  • 本博客为(系列八)的笔记,对应的视频是:【(系列八) 指数族分布1-背景】、【(系列八) 指数族分布2-背景续】、【(系列八) 指数族分布3-高斯分布的指数族形式】、【(系列八) 指数族分布4-对数配分函数与充分统计量】...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 535
精华内容 214
关键字:

充分统计量