精华内容
下载资源
问答
  • 数理统计|参数估计

    千次阅读 2018-10-10 23:31:28
    一、参数估计内容 1.参数估计的requisites   我默认大家已经掌握了基本的概率论知识,例如了解概率空间、随机变量、概率的含义,会求随机变量的分布函数、数字特征,对基本的大数定理和中心极限定理有一些了解,...

    前言

      学了很久数理统计,总觉得知识在脑海中没有清晰的轮廓,虽然也可以自己通过纸和笔整理,但也想要通过新的方式:用文字的方式输出,这一想法已经在我脑海里盘旋了好久,终于在今天落实。

    一、参数估计内容

    1.参数估计的requisites

      我默认大家已经掌握了基本的概率论知识,例如了解概率空间、随机变量、概率的含义,会求随机变量的分布函数、数字特征,对基本的大数定理和中心极限定理有一些了解,最好还要知道三大抽样分布的性质。

    但是还是简单提一下统计量的概念吧:统计量是从样本中得到的,是样本的函数,统计量不含有任何未知参数。

    2.参数估计的目的

      我们在统计中,总是想要通过样本去推断总体的性质,而引进统计量,就是对样本进行描述的过程。实际中,我们感兴趣的问题总是与总体分布中的未知参数有关系,所以,我们要对参数进行估计和检验。
    这里的参数是指:

    • 分布中的未知参数和未知参数的函数
    • 分布的各种特征函数

    3.参数估计的类型和使用

    在此之间,我们必须要明确一点,估计是一个方法,不是一个具体算出来的值;只是,在给定样本以后,用这种估计的方法,可以算出数值。

    3.1 点估计

      点估计,顾名思义是对某个未知参数的值的估计,就像是数轴上的一个点。因此我们的目的也就是找到一个未知参数的好的估计量。
      知道点估计的含义以后,我们先来看看常用的找估计量的方法:

    • 矩估计
    • 最大似然估计
    • 最小方差无偏估计
    • 贝叶斯估计

    3.1.1 矩估计

      矩估计的基本原理就是:替换原理通过样本的矩替换总体的矩,用样本矩的函数替换总体矩的函数。
      这么做的好处是:在总体分布函数未知的情况下,通过样本的特征数可以对各种参数进行估计。
      矩估计的实质是:用样本的经验分布函数去替换总体的分布,理论基础是格里纹科定理。
      具体的操作就是:

    1. 假设已知总体的概率密度函数,但其中的参数未知,通过这个带有未知参数的密度函数去求总体的各阶矩;
    2. 利用样本的数据,求各阶矩;
    3. 通过总体各阶矩和样本各阶矩相等,构造方程组,解出参数。

    3.1.2 最大似然估计(MLE)

      最大似然估计,也可以叫做极大似然估计,从字面理解非常到位就是,找到一个未知参数的估计,使得在这个估计的条件下,由总体概率密度函数推算的分布下,样本发生的可能性最大。即是,最大的像这样的估计。
    具体操作就是:

    1. 将未知参数的估计设为x,带入总体密度函数。
    2. 建立在样本的独立性的条件下,根据样本求出样本取得当下值的概率。
    3. 通过分析计算出使得概率达到最大的x,就是未知参数的极大似然估计。
      最大似然估计具有不变性。

    3.1.3 最小方差无偏估计

      首先引进均方误差(MSE)的概念,均方误差是用于衡量点估计好坏的一种标准,关于衡量点估计好坏的标准在后文还会详细介绍,这里为了需要,先简单提一下。首先明确一点,均方误差是对点估计进行的计算。具体的计算公式是,参数估计值与真实值之差的平方的期望,通过分解,也等于估计值的方差加估计值的期望与真实值之差的平方。
      一致最小均方误差估计,是需要在一个确定的估计类里,找到均方误差相对最小的那个。但由于是在估计类里找,如果不对估计加任何限制,则一致最小均方误差估计是不存在的,所以没有意义。
      最小方差无偏估计,这里是指一致最小方差无偏估计,就是对于一个参数的无偏估计而言,最小的均方误差就意味着最小的方差。对于参数空间中的任何无偏估计,具有最小方差的那个估计就称作是一致最小方差无偏估计(UMVUE)
    实际上,用于判断是否是UMVUE,可以通过一个定理方便地得到:未知参数的UMVUE必然与任一零的无偏估计不相关。也就是说,现在还有一个其他的随机变量X,均值是零,那么这个未知参数的UMVUE与这个随机变量X的相关系数(Cov)为零。

    3.1.4 贝叶斯估计

      前面介绍的三种办法是频率学派的理论,而贝叶斯估计是贝叶斯学派的观点。
      贝叶斯估计是建立在已经有关于参数的分布的信息的基础上,叫做先验信息,然后进行样本观测,推算后验分布。也可以理解为,用总体和样本对先验分布做出调整。
      具体做法是:

    1. 在参数未知的条件下,确定总体的分布
    2. 根据参数的先验信息确定先验分布 π(θ)
    3. 求出在通过先验分布得到的未知参数后,样本的联合分布 p(X|θ)
    4. 确定样本和未知参数的联合分布,也就是2.与3.得到的分布函数之积 h(X,θ)=p(X|θ)π(θ)。
    5. 对参数θ的贝叶斯推断,π(θ|X)= h(X,θ)/m(X),其中m(X) 是从h(X,θ)中对θ整个参数空间积分得到的,X的边际概率函数。

    3.2 点估计好坏的评价标准

      前面已经提到点估计的目的是找到未知参数的好的估计量,那么到底怎么定义“好”,也是我们需要关心的。在点估计中,有如下标准衡量:

    • 无偏性
    • 有效性
    • 相合性
    • 均方误差
    • 充分性原则
    • 有效估计

      我刚学参数估计的时候,脑子里总是记不住这些性质到底在描述什么QAQ
      好吧,其实现在也记不住,我也必须翻一下笔记了…

    • 无偏性
        无偏性是描述经过重复抽样以后,所有对这个未知参数的估计值的平均等于真实的参数值。具体判断也就是计算这个估计的均值,看它是否等于真实值。关于无偏性还有一些性质,最好能够记住:
      1. 样本的k阶中心距通常不是总体k阶中心矩的无偏估计
      2. 无偏性不具有不变性,也就是无偏估计的函数不一定是无偏估计
          无偏估计还有渐近无偏估计,就是当样本量趋近于无穷时,均值的极限趋近于真实值。也是用于衡量一个估计是一个好的估计的准则。
    • 有效性
        有效性是建立在两个无偏估计的基础上,比较两个无偏估计的方差,方差小的更有效。
    • 相合性
        与渐近无偏性从期望的极限角度理解不同,相合性是从概率的角度,即未知参数的估计,在样本量趋近于无穷大的时候,估计量依概率收敛到未知参数。也即是说,当样本量增大的时候,被估计的参数能够被估计到任意指定的精度。判断相合性,我们采用验证它的充分条件:
      1. 渐进无偏性
      2. 方差收敛到0
          由大数定理知道,矩估计一般都是相合的
    • 均方误差
        MSE,是通过计算参数估计值与真实值之差的平方的期望,其大小能够反映估计的好坏,在同一估计类里越小越好。
    • 充分性原则
        首先,要注意充分性原则和充分性是两个不同的东西!充分性是描述统计量不丢失关于样本的任何信息,则称这个统计量为充分统计量。那么,充分性原则和充分性一点关系都没有吗?也不是的。在比较两个无偏估计的好坏的时候,较好的那个无偏估计总是样本的充分统计量;并且,将不是样本充分统计量的统计量,关于充分统计量求期望,得到的估计,一定是充分统计量,并且新的估计的方差也得到了降低。
        换句话说,对于所有的统计推断问题,考虑未知参数的估计问题,只需要在基于充分统计量的函数中进行即可,这就是充分性原则。
        你可能还在想,怎么将不是样本充分统计量的统计量关于一个充分统计量求期望?利用随机过程讲义的第一章的内容,利用条件概率公式,连续函数求积分,离散函数求∑。
    • 有效估计
        有效估计是一个估计,它的方差达到了Cramer-Rao方程的下界,有效估计一定是UMVUE哈。具体计算来判断是否是有效估计的话:
      1. 根据总体密度函数(含参数)检验满足C-R方程的条件;
      2. 求费希尔信息量,找到C-R下界;
      3. 对无偏估计求方差,检验是否等于C-R下界。

    3.3 区间估计

      之前我们讨论的都是点估计,但是关于统计量的精度我们无法定量的回答,必须通过它们的分布来反映。在实际中,度量点估计精度直观方法就是给出未知参数的一个区间,这就是区间估计。
      区间估计是想要找到两个统计量,构成一个区间,这个区间盖住未知参数真值的可能性不确定,但是人们总是希望在尽可能小的区间下,区间盖住真值的可能性越大越好,由此得到置信区间的定义:
      置信区间,是一个有样本值得到的随机区间,未知参数真值落在这个随机区间中的概率大于等于1-a,或者理解为,未知参数真值不落在这个随机区间中的概率小于置信度,满足这个条件的随机区间称作置信区间。首先,置信水平是随机区间盖住真值的概率,置信水平等于置信度,然后,我自己理解置信度是这样的:当大量重复实验,用置信区间的计算方法,得到很多个N个随机区间的时候,有(N* 置信水平)的那么多个区间,包括了均值。
      那具体怎么做区间估计呢?我们通过构造区间估计的方法,使用最基本的枢轴量法:

    1. 什么是枢轴量?
        枢轴量是样本和未知参数的函数,它具有的性质是其分布不依赖与未知参数,或者说,它的概率密度函数与参数无关。
    2. 枢轴量有什么用?
        在参数未知的时候,没有办法直接凭空从置信水平找到随机区间的上下限,所以采用枢轴量的分布函数,以此为媒介,根据置信水平,先算出枢轴量的置信区间,再反解出上下限。
    3. 枢轴量怎么用?
        其实2.已经解答过了,从未知参数的好的点估计(MLE)出发,用它的性质和密度函数构造。根据置信水平,通常采用等尾置信区间保证区间长度最短,先算出枢轴量的置信区间,再反解出上下限。
    4. 有什么特别的检验的构造套路吗?
      • 单个正态总体参数:分为均值、方差是否已知,对均值和方差分别都有不同的枢轴量
      • 大样本置信区间:原理是中心极限定理,在样本方差已知的时候,很 ok;在样本方差未知的时候,中心极限定理的分布可以将方差换成它的相合估计。注意哦,大样本运用中心极限定理,最多只有样本的方差的相合估计代替方差,不可以用均值的无偏估计代替总体均值位置上的 μ 的!
      • 两独立正态总体下均值之差和方差之比的置信区间:类似于单个正态总体,在估计均值的时候,要看方差是否已知,或者方差成比例;在估计方差之比的时候,直接就有枢轴量,不需要讨论均值是否已知。

      除了这些,均匀分布的总体还有一些特别的构造方法,课后题和期中考试卷子也有涉及,供自己参考~
      注:区间估计构造枢轴量的时候,大量用到前面一章节的统计量及其分布、以及三大抽样分布的基础。

    二、整体学习思路

      参数的点估计—>穿插如何评价点估计的好坏—>参数的区间估计
      建议的学习思路:点估计—>评价点估计的好坏—>参数估计,感觉独立开会更清晰一些~

    三、声明

      全文是我的学习笔记,如有出现错误欢迎指正。小哥哥小姐姐看到这里给我点个赞叭~

    展开全文
  • 东北大学应用数理统计第二章知识点总结——参数估计,知识点总结PDF版本 内容详见https://blog.csdn.net/qq_36770651/article/details/109829564
  • 参数估计 在该项目中考虑了对正则化参数估计的下采样。 此项目中使用的文件名约定包括以下信息。 文件包含内容的描述符(例如:Data1D,NoisePlot) 测试功能编号,由“ F”后的数字表示 SNR,由“ S”后的数字...
  • 参数估计的MATLAB实现

    千次阅读 2021-04-22 06:25:43
    1、1,参数估计MATLAB实现,点估计,区间估计,2,点估计,区间估计,矩估计,最大似然估计,参数估计,点估计,参数估计主要内容,3,点估计,Matlab统计工具箱给出了常用概率分布中参数的点估计(采用最大似然估计法)与区间估计,...

    《参数估计的MATLAB实现》由会员分享,可在线阅读,更多相关《参数估计的MATLAB实现(17页珍藏版)》请在人人文库网上搜索。

    1、1,参数估计MATLAB实现,点估计,区间估计,2,点估计,区间估计,矩估计,最大似然估计,参数估计,点估计,参数估计主要内容,3,点估计,Matlab统计工具箱给出了常用概率分布中参数的点估计(采用最大似然估计法)与区间估计,另外还提供了部分分布的对数似然函数的计算功能.由于点估计中的矩估计法的实质是求与未知参数相应的样本的各阶矩,可根据需要选择合适的矩函数进行点估计.,4,矩估计的MATLAB实现,B2,所以总体X均值及方差的矩估计可由下MATLAB命令实现:,mu_ju=mean(X)sigma2_ju=moment(X,2),为总体样本,求未知参数的矩估计.,5,x=232.50,23。

    2、2.48,232.15,232.52,232.53,232.30,.232.48,232.05,232.45,232.60,232.47,232.30;,mu_ju=mean(X)sigma2_ju=moment(X,2),例:来自某总体X的样本值如下:232.50,232.48,232.15,232.52,232.53,232.30,232.48,232.05,232.45,232.60,232.47,232.30求X的均值与方差的矩估计,矩估计的MATLAB实现,6,MLE,通用命令mle()格式:输出参数项=mle(分布函数名,X,alpha,N),说明:分布函数名有:bino(二项)、。

    3、geo(几何)、hyge(超几何)、poiss(泊松),uinf(均匀)、unid(离散均匀)、exp(指数)、norm(正态),t(T分布)、f(F分布)、beta(贝塔)、gam(伽吗);N当为二项分布时需要,其他没有。,7,MLE,例设从一大批产品中抽取100个产品,经检验知有60个一级品,求这批产品的一级品率的极大似然估计.,clear;alpha=0.05;N=100;X=60;mle(bino,X,alpha,N),8,MLE,例设从一大批产品中抽取100个产品,经检验知有60个一级品,求这批产品的一级品率(置信度95%)。,clear;alpha=0.05;N=100;X=60;。

    4、Ph,Pc=mle(bino,X,alpha,N),Ph=0.6000Pc=0.4972,0.6967,95%置信区间,9,用matlab产生随机数,通用函数,y=random(分布的英文名,A1,A2,A3,m,n),表示生成m行n列的mn个参数为(A1,A2,A3)的该分布的随机数,例:R=random(Normal,0,1,2,4),例R=random(Poiss,3,100,1),生成参数为3,100个服从Poisson分布的随机数,生成参数为2行4列服从标准正态分布的随机数,10,用matlab产生随机数,专用函数,1、R=normrnd(mu,sigma,m,n),生成参数为N,P。

    5、的m行n列的二项分布随机数,例R=normrnd(0,1,3,2),2、R=unifrnd(a,b,m,n),生成a,b上的m行n列的泊松分布随机数,例unifrnd(0,1,1,6),11,生成随机数专用函数表,12,区间估计的MATLAB实现,如果已经知道了一组数据来自正态分布总体,但是不知道正态分布总体的参数。我们可以利用normfit()命令来完成对总体参数的点估计和区间估计,格式为mu,sig,muci,sigci=normfit(x,alpha),13,mu,sig,muci,sigci=normfit(x,alpha),Muci、sigci分别为分布参数、的区间估计。,x为向量或。

    6、者矩阵,为矩阵时是针对矩阵的每一个列向量进行运算的。,alpha为给出的显著水平(即置信度,缺省时默认,置信度为95),mu、sig分别为分布参数、的点估计值。,区间估计的MATLAB实现,14,例从某超市的货架上随机抽取9包0.5千克装的食糖,实测其重量分别为(单位:千克):0.497,0.506,0.518,0.524,0.488,0.510,0.510,0.515,0.512,从长期的实践中知道,该品牌的食糖重量服从正态分布。根据数据对总体的均值及标准差进行点估计和区间估计。,x=0.497,0.506,0.518,0.524,0.488,0.510,0.510,0.515,0.512;。

    7、alpha=0.05;mu,sig,muci,sigci=normfit(x,alpha),区间估计的MATLAB实现,15,a、b、aci、bci分别是均匀分布中参数a,b的点估计及区间估计值。,其它常用分布参数区间估计的命令,lam,lamci=poissfit(x,alpha)泊松分布的估计函数,lam、lamci分别是泊松分布中参数的点估计及区间估计值。,a,b,aci,bci=unifit(x,alpha)均匀分布的估计函数,16,p、pci分别是二项分布中参数的点估计及区间估计值。,lam,lamci=expfit(x,alpha)指数分布的估计函数,lam、lamci分别是指数分布中参数的点估计及区间估计值,p,pci=binofit(x,alpha)二项分布的估计函数,其它常用分布参数估计的命令还有:,17,例调查某电话呼叫台的服务情况发现:在随机抽取的200个呼叫中,有40%需要附加服务(如转换分机等),以p表示需附加服务的比例,求出p的置信度为0.95的置信区间。,R=200*0.4;n=200;alpha=0.05;phat,pci=binofit(R,n,alpha),phat=0.4000,pci=0.33150.4715。

    展开全文
  • 参数估计

    2018-09-06 09:38:05
    《现代非参数统计》是“All of Nonparametric Statistics”的中译本,源于作者为研究生开设的课程讲义,包括了几乎所有的现代非参数统计的内容.这种包罗万象的书不但国内没有,在国外也很难找到。《现代非参数统计...
  • 参数估计

    千次阅读 2018-06-15 15:26:17
    最近一直在看一些参数估计方面的内容,有了自己的一些小小心得体会,特意记录下来,以免日后忘记了又找不到相关文档。 1.为什么要有参数估计(parameter estimation) 研究一个课题的时候,博主的第一反应一般都是”...

    大学期间学习数理统计这门课程的时候,没有特别用心。说实话统计学还是挺枯燥的,而且当时也没有太多的学习意识,不知道为什么要学这些貌似八竿子打不着的东西。现在想想,当时真是too simple,sometimes naive啊。。等到越往后面深入,发现需要用的数学知识尤其是统计学知识越来越多,因为现在机器学习里发展最成熟应用最广泛的一部分就是统计机器学习,自然离不开统计学的方方面面。而且随着研究的逐步深入,发现统计学其实还是挺有意思的一门学科,能将一些平时常见的问题或者不太好表达的问题能用特别简洁与清楚的数学语言来描述。因此,现在遇到统计方面有什么疑问或者不太理解的地方,本博主就自觉将之前没学好欠下的历史旧债给补上。

    最近一直在看一些参数估计方面的内容,有了自己的一些小小心得体会,特意记录下来,以免日后忘记了又找不到相关文档。

    1.为什么要有参数估计(parameter estimation)

    研究一个课题的时候,博主的第一反应一般都是”why”。为什么会有这个东东?这个东东到底能解决什么实际问题? 
    OK,那我们为什么要采用参数估计的方法呢?举个很简单的实际例子,我们国家每隔一段时间需要进行人口普查,但是因为我国国土面积太大,人口太多,不太可能真正挨个人口进行统计,所以可以统计部分人口样本,然后根据这部分样本的参数去描述人口的总体分布情况。那为什么我们可以这么干?因为我们对整体分布的形式是知晓的,比如我们知道全国人民的身高体重服从正态分布,这样我们只需要取得部分样本的数据,然后估计正态分布的均值与方差即可。否则,我们就需要借助非参数的方法了。 
    再用一句简单的话来总结参数估计:模型已定,参数未知!

    2.最大似然估计(Maximum Likehood Estimation MLE)

    最大似然估计的核心思想是:找到参数θθ的一个估计值,使得当前样本出现的可能性最大。用当年博主老板的一句话来说就是:谁大像谁!

    假设有一组独立同分布(i.i.d)的随机变量XX,给定一个概率分布DD,假设其概率密度函数为ff,以及一个分布的参数θθ,从这组样本中抽出x1,x2,,xnx1,x2,⋯,xn,那么通过参数θθ的模型ff产生上面样本的概率为: 

    f(x1,x2,,xn|θ)=f(x1|θ)×f(x2|θ)×f(xn|θ)f(x1,x2,⋯,xn|θ)=f(x1|θ)×f(x2|θ)×⋯f(xn|θ)

    最大似然估计会寻找关于 θθ  的最可能的值,即在所有可能的  θθ  取值中,寻找一个值使这个采样的“可能性”最大化! 
    因为是”模型已定,参数未知”,此时我们是根据样本采样 x1,x2,,xnx1,x2,⋯,xn 取估计参数 θθ ,定义似然函数为: 
    L(θ|x1,x2,,xn)=f(x1,x2,,xn|θ)=f(xi|θ)L(θ|x1,x2,⋯,xn)=f(x1,x2,⋯,xn|θ)=∏f(xi|θ)

    实际使用中,因为f(xi|θ)f(xi|θ)一般比较小,而且nn往往会比较大,连乘容易造成浮点运算下溢。所以一般我们用对数似然函数: 

    lnL(θ|x1,x2,,xn)=i=1nf(xi|θ)ln⁡L(θ|x1,x2,⋯,xn)=∑i=1nf(xi|θ)

    lˆ=1nlnLl^=1nln⁡L

    那最终 θθ 的估计值为: 
    θˆMLE=argmaxθlˆ(θ|x1,x2,,xn)θ^MLE=arg⁡maxθ⁡l^(θ|x1,x2,⋯,xn)

    根据前面的描述,总结一下求最大释然估计值的步骤: 
    1.写似然函数 
    2.一般对似然函数取对数,并将对数似然函数整理 
    3.对数似然函数求导,令导数为0,求得似然方程 
    4.根据似然方程求解,得到的参数即为所求估计值

    3.对数似然求解实例

    下面给大家举个别人文章中简单的小例子,看看对数似然的具体求解过程。 
    假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球 再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请问罐中白球所占的比例最有可能是多少? 
    估计大家很快能反应出来答案是70%。但是如果让推导一下具体过程呢? 
    我们假设罐中白球的比例是pp,那么黑球的比例就是1p1−p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜 色服从同一独立分布。这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中,七十次是白球的概率是p(x|θ)p(x|θ),这里xx是所有的抽样,θθ是所给出的模型参数,表示每次抽出来的球是白色的概率为pp。 
    按照第二部分提到的似然估计求解过程,先写出似然函数: 

    p(x|θ)=p(x1,x2,,xn|θ)=p(x1|θ)p(x2|θ)p(xn|θ)=p70(1p)30p(x|θ)=p(x1,x2,⋯,xn|θ)=p(x1|θ)⋅p(x2|θ)⋯p(xn|θ)=p70(1−p)30

    接下来对似然函数对数化: 
    lnp(x|θ)=ln(p70(1p)30)=70lnp+30ln(1p)ln⁡p(x|θ)=ln⁡(p70(1−p)30)=70ln⁡p+30ln⁡(1−p)

    然后求似然方程:

    lnp(x|θ)=70p301pln′⁡p(x|θ)=70p−301−p

    最后求解似然方程,得: p=0.7p=0.7

    以上就是最大似然估计的详细完整过程!

    4.贝叶斯估计

    统计学里有两个大的流派,一个是频率派,一个是贝叶斯派。时至今日,这两派还未就各自的观点达成统一。我们前面提到的最大似然估计就是频率派的典型思路,接下来再看看贝叶斯派的思路,到底跟频率派估计有何不同。 
    先来看几个相关的小公式: 
    两个随机变量x,yx,y的联合概率p(x,y)p(x,y)的乘法公式: 

    p(x,y)=p(x|y)p(y)=p(y|x)p(x)p(x,y)=p(x|y)p(y)=p(y|x)p(x)

    如果 x,yx,y 是独立随机变量,上面的式子可以表示为: 
    p(x,y)=p(x)p(y)=p(y)p(x)p(x,y)=p(x)p(y)=p(y)p(x)

    那么条件概率就可以表示为: 
    p(x|y)=p(x,y)p(y),p(y|x)=p(x,y)p(x)p(x|y)=p(x,y)p(y),p(y|x)=p(x,y)p(x)

    对于一个完备事件组 y1,y2,,yny1,y2,⋯,yn ,可以使用全概率公式: 
    p(x)=i=1np(yi)p(x|yi),i=1np(yi)=1p(x)=∑i=1np(yi)p(x|yi),其中∑i=1np(yi)=1

    由以上这些,可以得出贝叶斯公式: 

    p(yi|x)=p(x,yi)p(x)=p(yi)p(x|yi)p(x)p(yi|x)=p(x,yi)p(x)=p(yi)p(x|yi)p(x)

    其中,p(yi|x)p(yi|x)是后验概率。p(x|yi)p(x|yi)是条件概率,或者说似然概率,这个概率一般都可以通过历史数据统计得出。而p(yi)p(yi)是先验概率,一般也是根据历史数据统计得出或者认为给定的,贝叶斯里的先验概率,就是指p(yi)p(yi)。对于p(x)p(x),我们前面提到可以用全概率公式计算得出,但是在贝叶斯公式里面我们一般不care这个概率,因为我们往往只需要求出最大后验概率而不需要求出最大后验的具体值。

    5.MLE与Bayes的区别

    细心的同学通过观察MLE与Bayes的公式,发现Bayes公式比MLE公式里就多了一项p(yi)p(yi)(咱们先抛开p(x)p(x)不考虑),而条件概率或者说似然概率的表达式是一致的。从数学表达式的角度来说,两者最大的区别就在这里:贝叶斯估计引入了先验概率,通过先验概率与似然概率来求解后验概率。而最大似然估计是直接通过最大化似然概率来求解得出的。

    换句话说,最大似然估计没有考虑模型本身的概率,或者说认为模型出现的概率都相等。而贝叶斯估计将模型出现的概率用先验概率的方式在计算过程中有所体现。

    举个大家上学时候就遇到的例子: 
    假如人们会感染一种病毒,有一种测试方法,在被测试者已感染这个病毒时,测试结果 为阳性的概率为95%。在被测试者没有感染这个病毒时,测试结果为阳性的概率为2%。现在,有一个人的测试结果为阳性,问这个人感染了病毒吗? 
    如果用最大似然估计的方法,既然感染了病毒出现阳性的概率为95%,没感染出现阳性的概率为2%,本着谁大像谁的原则,那我就认为这个人已经感染了病毒。 
    但是如果用贝叶斯方法进行估计,如果我们得知有一个先验概率,比如整体人群中只有1%的人会感染此种病毒,那么由贝叶斯公式: 

    p(|)=p()p(|)p()p(|)+p()p(|)=0.01×0.950.01×0.95+0.99×0.02=0.324p(真阳性|检测为阳性)=p(真阳性)p(检测为阳性|真阳性)p(真阳性)p(检测为阳性|真阳性)+p(真阴性)p(检测为阳性|真阴性)=0.01×0.950.01×0.95+0.99×0.02=0.324

    其中, p(|)p(真阳性|检测为阳性) 为后验概率,即我们通过检测出为阳性可以判断为真阳性的概率; p()p(真阳性) 为先验概率, p(|)p(检测为阳性|真阳性) 为条件概率, p()p(|)+p()p(|)p(真阳性)p(检测为阳性|真阳性)+p(真阴性)p(检测为阳性|真阴性) 为全概率,检测出为阳性是由一个完备事件组构成的:这个人要么是真阳性,要么是真阴性。 
    由此可见,在贝叶斯估计中,先验概率对结果的影响很大。在这种场景下,采用贝叶斯估计似乎更为合理一些。

    最后来个总结:从本质上来说,最大似然是对点估计,贝叶斯推断是对分布估计。即,假设求解参数θθ,最大似然是求出最有可能的θθ值,而贝叶斯推断则是求解θθ的分布。

    6.一些tips

    MLE简单又客观,但是过分的客观有时会导致过拟合(Over fitting)。在样本点很少的情况下,MLE的效果并不好。比如我们前面举的病毒的例子。在这种情况下,我们可以通过加入先验,用贝叶斯估计进行计算。 
    贝叶斯估计最要命的问题是,实际应用场景中的先验概率不是那么好求,很多都是拍脑袋决定的。一旦是拍脑袋决定的,这玩意自然就不准;更有甚者,很多时候是为了方便求解生造出来一个先验。那既然这样,要这个先验还有什么卵用呢?所以频率派的支持者就揪住这点不放攻击贝叶斯派。 

    在现在看来,Frequentist与Bayesian这两派还将长期并存,在各自适合的领域发挥自己的作用。


    参考文献:https://blog.csdn.net/bitcarmanlee/article/details/52201858

    展开全文
  • 基于条件参数估计和偏最大似然估计的筛选方法都比较可靠,尤以后者为佳。但基于Wald统计量的检验则不然,它实际上未考虑各因素的综合作用,当因素间存在共线性时,结果不可靠,故应当慎用。 5.模型效果的判断指标 ①...

    Logistic回归简介

    Logistic回归:主要用于因变量为分类变量(如疾病的缓解、不缓解,评比62616964757a686964616fe78988e69d8331333363383438中的好、中、差等)的回归分析,自变量可以为分类变量,也可以为连续变量。因变量为二分类的称为二项logistic回归,因变量为多分类的称为多元logistic回归。

    Odds:称为比值、比数,是指某事件发生的可能性(概率)与不发生的可能性(概率)之比。

    OR(Odds Ratio):比值比,优势比。

    2.SPSS中做Logistic回归的操作步骤

    分析>回归>二元Logistic回归

    选择因变量和自变量(协变量)

    3.结果怎么看

    一些指标和数据怎么看

    “EXP(B)”即为相应变量的OR值(又叫优势比,比值比),为在其他条件不变的情况下,自变量每改变1个单位,事件的发生比“Odds”的变化率。

    伪决定系数cox  Snell R2和Nagelkerke R2,这两个指标从不同角度反映了当前模型中自变量解释了因变量的变异占因变量总变异的比例。但对于Logistic回归而言,通常看到的伪决定系数的大小不像线性回归模型中的决定系数那么大。

    预测结果列联表解释,看”分类表“中的数据,提供了2类样本的预测正确率和总的正确率。

    建立Logistic回归方程

    logit(P)=β-0+β1*X1+β2*X2+……+βm*Xm

    4.自变量的筛选方法和逐步回归

    与线性回归类似,在Logistic回归中应尽量纳入对因变量有影响作用的变量,而将对因变量没有影响或影响较小的变量排除在模型之外。

    ①.Wald检验:Wals是一个统计量,用检验自变量对因变量是否有影响的。它越大,或者说它对应的sig越小,则影响越显著。

    ②.似然比检验(Likelihood Ratio

    Test):Logistic模型的估计一般是使用极大似然法,即使得模型的似然函数L达到最大值。-2lnL被称为Diviance,记为D。L越大,则D越大,模型预测效果越好。似然比检验是通过比较是否包含某个或几个参数β的多个模型的D值。

    ③.比分检验(Score Test)

    以上三种假设检验中,似然比检验是基于整个模型的拟合情况进行的,结果最为可靠;比分检验结果一般与似然比检验结果一致。最差的就是Wald检验,它考虑各因素的综合作用,当因素间存在共线性的时候,结果不可靠。故在筛选变量时,用Wald法应慎重。

    SPSS中提供了六种自变量的筛选方法,向前法(Forward)和向后法(Backward)分别有三种。基于条件参数估计和偏最大似然估计的筛选方法都比较可靠,尤以后者为佳。但基于Wald统计量的检验则不然,它实际上未考虑各因素的综合作用,当因素间存在共线性时,结果不可靠,故应当慎用。

    5.模型效果的判断指标

    ①.对数似然值与伪决定系数

    Logistic模型是通过极大似然法求解的,极大似然值实际上也是一个概率,取值在0~1之间。取值为1,代表模型达到完美,此时其对数值为0;似然值越小,则其对数值越负,因此-2倍的对数似然值就可以用来表示模型的拟合效果,其值越小,越接近于0,说明模型拟合效果越好。

    ②.模型预测正确率

    对因变量结局预测的准确程度也可以反映模型的效果,SPSS在Logistic回归过程中会输出包含预测分类结果与原始数据分类结果的列联表,默认是按照概率是否大于0.5进行分割。

    ③.ROC曲线

    ROC曲线即受试者工作特征曲线(Receiver

    Operating Characteristic Curve),或译作接受者操作特征曲线。它是一种广泛应用的数据统计方法,1950年应用于雷达信号检测的分析,用于区别“噪声”与“信号”。在对Logistic回归模型拟合效果进行判断时,通过ROC曲线可直接使用模型预测概率进行。应用ROC曲线可帮助研究者确定合理的预测概率分类点,即将预测概率大于(或小于)多少的研究对象判断为阳性结果(或阴性结果)。ROC曲线,预测效果最佳时,曲线应该是从左下角垂直上升至顶,然后水平方向向右延伸到右上角。如果ROC曲线沿着主对角线方向分布,表示分类是机遇造成的,正确分类和错分的概率各为50%,此时该诊断方法完全无效。

    展开全文
  • 贝叶斯参数估计模型 内容 models.py:多个模型的游乐场-Kruschke风格的BEST模型-Kruschke风格的BANOVA模型 fixdur.py:分段线性模型注视时间-尝试使用贝叶斯方法拟合扫视势头的影响- sdt_pymc2.py:信号检测理论...
  • 6 参数估计语言 实验R: 一实验目的; 1. 掌握矩法估计与极大似然估计的求法; R 软件完成一个和两个正态总体的区间估计2. 学会利用; 软件完成非正态总体的区间估计3. 学会利用R 软件进行单侧置信区间估计4. 学会利用R ...
  • 推断统计:参数估计和假设检验

    千次阅读 多人点赞 2020-03-03 00:35:24
    目录 ...  3、参数估计(点估计和区间估计)    1)参数估计、点估计和区间统计的概念    2)点估计说明    3)区间估计说明   4、中心极限定理    1)中心极限定理的概念    2...
  • 浅谈参数估计

    万次阅读 2019-09-03 09:38:34
    参数估计是推断统计的重要内容之一,它是在抽样及抽样分布的基础上,根据样本统计量来推断所关心的总体参数. 估计量 如果能够掌握总体的全部数据,那么只需要作一些简单的统计描述,就可以得到所关心的总体特征,比如,...
  • 参数估计的计算方法

    千次阅读 2020-05-27 19:21:58
    参数估计所有内容) 极大后验(MAP)及拉普拉斯逼近 极大后验估计: MAP是通过确定后验分布的极大值得到的,在点估计中的表达式为:MAP 估计可等效为能量函数的极小值: 其中,能量函数表达式为: 参数的极大似然...
  • 参数估计 已经知道观测数据符合某些模型的概率下,我们可以利用参数估计的方法来确定这些参数值,然后得出概率密度模型。这个过程中用到了一个条件,就是概率分布符合某些模型这个事实。在这个事实上进行加工。 ...
  • 《统计学》学习笔记之参数估计

    千次阅读 2020-03-16 15:05:29
    参数估计是推断统计的重要内容之一。它是在抽样及抽样分布的基础上,根据样本统计量来推断所关心的总体参数。 参数估计的基本原理 估计量与估计值 参数估计就是用样本统计量去估计总体的参数。 在参数估计中,用来...
  • 关于参数估计(点估计和参数估计)的详细笔记。
  • 很难说这些观测的数据符合什么模型,参数估计的方法就失效了,我们只有用非参数估计的办法去估计真实数据符合的概率密度模型了。 因此,本文主要讨论 参数估计和非参数估计问题   1. 参数估计 对我们已经知道观测...
  • 参数估计与假设检验的区别和联系

    万次阅读 2019-05-11 18:09:08
    参数估计与假设检验的区别和联系 统计学方法包括统计描述和统计推断两种方法,其中,推断统计又包括参数估计和假设检验。 参数估计 参数估计就是用样本统计量去估计总体的参数的真值,它的方法有点估计和区间估计...
  • 统计学——参数估计与假设检验

    万次阅读 2019-02-13 17:15:04
    第 7 章 参数估计 7.1 参数估计的基本原理 参数估计就是用样本统计量去估计总体的参数。比如,用样本均值估计总体均值,用样本比例估计总体比例。 在参数估计中,用来估计总体参数的统计量称为估计量。样本均值、...
  • AR模型的谱估计是现代谱估计的主要内容:1.AR模型的Yule—Walker方程和Levinson-Durbin递推算法;Burg算法:;3.改进的协方差法;AR模型阶数P的选择:MATLAB中AR模型的谱估计的函数说明: 1. Pyulear函数:2. ...
  • 这里面都需要解决通信信号制式的自动识别和参数估计。另外, 信噪比(SNR)是接收信号的一个关键参数,它对通信系统的性能有着重要影响, 对它的估计也十分必要。直接扩频序列信号(DSSS)由于具有极低的功率谱密 度...
  • 那些参数估计

    千次阅读 2018-05-10 14:33:09
    本文内容写在前面:参数估计是一种统计推断。在统计学的世界中,自古以来一直存在着两种分布:一种存在于现实世界中,比如我们可以把一枚硬币扔上一万次,然后算一下几次正面几次反面,这是样本的分布;另一种只存在...
  • 判决系数 :外样本 数据 分成 训练数据和验证数据 本讲我学会的内容 线性方程和线性回归的区别 线性方程:y=ax1+bx2+……+nxn 线性回归模型: Y=β1X1+β2X2+……+βnXn+ε 精髓在于不确定性 即不确定的指标ε 回归...
  • 本文来自读者投稿,作者:黄同学这是一篇关于推断统计、参数估计和假设检验等概念的全面讲解以及在python中的如何实现的文章,全文共5000字,建议收藏后阅读~1、总体、个体、样本和样本容量...
  • 状态空间模型中实际参数估计

    千次阅读 2020-05-27 19:23:05
    状态空间模型中实际参数估计状态扩增法线性...(参数估计所有内容) 状态扩增法 线性状态空间模型的参数估计 利用高斯滤波与平滑的参数估计(非线性模型) 基于粒子滤波与平滑的参数估计 参数的 Rao-Blackwell 化 ...
  • 内容: - arma2Ddemo:查看并运行演示“arma2Ddemo”,了解从模拟图像估计 2D AR 和 ARMA 参数的示例。 - sim_ar2d:生成模拟的 2D AR 过程。 - sim_arma2d:生成模拟2D ARMA 过程。 - ar2d: 解决 2D yule walker ...
  • Simulink Design Optimization的参数估计

    千次阅读 2019-03-12 13:51:51
    还是因为最近工作需要用到参数估计一块的内容。。。记录一下学习心得和有用的资料 一、几个命令的更新 1、speload和spetool speload是旧命令,2018b版已经help不到这个命令了,但还能用。新命令改名为spetool。...
  • R语言学习笔记(四)参数估计

    千次阅读 2020-07-04 22:42:27
    总结一下数理统计中的参数估计,即点估计(矩估计、极大似然估计)和区间估计(置信区间)部分的R语言实现
  • 系统辨识与参数估计PPT,较为实用,包含模型与模型转换等内容
  • 参数估计:对无偏性的理解

    千次阅读 2020-05-26 11:45:39
    在学习概率论的"参数估计"一章时有一些概念没能理解清楚,尤其是参数估计量的性质。在反复翻书的过程中总算搞清楚了一些,在这里记录一下我的理解 无偏性 一般书上讲到的第一个性质就是这个,初看很让人头大,如果不...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 142,930
精华内容 57,172
关键字:

参数估计的内容