精华内容
下载资源
问答
  • 贝叶斯参数估计

    2017-02-09 11:20:00
    (学习这部分内容约需要1.9小时) ... 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常可以完全跳过参数估计步骤. 我们把参数积分掉, 并直接进行预测. 预备内容 弄清楚这个概念需要一些预备知识...

    (学习这部分内容约需要1.9小时)

    摘要

    在贝叶斯框架中, 我们将统计模型的参数视为随机变量. 模型由变量值的先验分布以及决定参数如何影响观测数据的证据模型来指定. 当我们对观测数据进行条件化时, 我们得到参数的后验分布. 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常可以完全跳过参数估计步骤. 我们把参数积分掉, 并直接进行预测.

    预备内容

    弄清楚这个概念需要一些预备知识:

    学习目标

    • 知道"先验(prior)"和"似然函数(likelihood function)"是什么意思
    • 可以使用贝叶斯公式(Bayes' Rule)计算后验分布
    • 知道后验预测分布是什么, 对于简单的例子可以解析地计算后延预测分布(比如beta-Bernoulli模型)
    • 什么是共轭先验(conjugate prior)? 为什么共轭先验有用?
    • 为什么当使用共轭先验时, 后验分布可以根据pseudocounts给出?
    • 什么是最大后验(maximum a-posteriori, MAP)近似? 给出一个MAP参数和后延预测分布不同的例子.

    核心资源

    (阅读/观看以下资源之一)

    免费

    收费

    • 概率图模型:原理和技术(Probabilistic Graphical Models: Principles and Techniques)
      简介: 一本非常全面的关于概率AI的研究生课程的教科书
      位置: Section 17.3, pgs. 733-741.
      [网站]
      作者: Daphne Koller, Nir Friedman
    • Machine Learning: a Probabilistic Perspective(MLAPP)
      简介: 一本非常全面的研究生机器学习教材
      位置: Sections 3.1-3.3, pgs. 65-78
      [网站]
      作者: Kevin P. Murphy

    增补资源

    (以下为选修内容, 但你可能会发现它们很有用)

    免费

    • Coursera: Neural Networks for Machine Learning (2012)
      简介: Geoff Hinton的在线课程, 他发明了许多神经网络和深度学习背后的核心理念
      位置: "Introduction to the full Bayesian approach"
      [网站]
      作者: Geoffrey E. Hinton

    付费

    • 概率统计和数据分析(Mathematical Statistics and Data Analysis)
      简介: 本科生统计教材
      位置: Section 8.6, "The Bayesian approach to parameter estimation," up through 8.6.1, "Further remarks on priors," pages 285-296
      [网站]
      作者: John A. Rice
    • 贝叶斯数据分析(Bayesian Data Analysis)
      简介: 贝叶斯统计教科书, 着重于实际问题
      位置: Sections 2.1-2.3, pgs. 33-39
      [网站]
      作者: Andrew Gelman,John B. Carlin,Hal S. Stern,Donald B. Rubin
    • Pattern Recognition and Machine Learning(PRML)
      研究生机器学习课程的教科书, 聚焦于贝叶斯方法
      位置: Section 2.1, pgs. 68-74
      [网站]
      作者: Christopher M. BIshop

    返回贝叶斯学习路线图

    转载于:https://www.cnblogs.com/bayesianML/p/6381181.html

    展开全文
  • 参数估计

    2020-11-13 18:41:07
    一、参数估计的一般问题 1.1 估计量与估计值 估计量:用于估计总体参数的随机变量 估计值:估计参数时计算出来的统计量的具体值 1.2 点估计和区间估计 ∙ 点估计: 用样本的估计值的某个取值直接作为总体参数的估计...

    一、参数估计的一般问题

    1.1 估计量与估计值

    估计量:用于估计总体参数的随机变量
    估计值:估计参数时计算出来的统计量的具体值

    1.2 点估计和区间估计

    ∙ 点估计:

    用样本的估计值的某个取值直接作为总体参数的估计值
    无法给出估计值接近总体参数程度的信息

    ∙ 区间估计:

    在点估计的基础上,给出总体参数估计的一个区间范围,该区间由样本统计量加减估计误差得到
    根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量

    ∙ 置信水平:

    将构造置信区间的步骤重复多次,置信区间包含总体参数真值的次数所占比例为置信水平

    ∙ 置信区间:

    由样本统计量所构造的总体参数的估计区间为置信区间

    1.3 评价估计量的标准

    ∙ 无偏性:

    估计量抽样分布的期望等于被估计的总体参数

    ∙ 有效性:

    对同一总体参数的两个无偏点估计量,由更小标准差的估计量更有效

    ∙ 一致性:

    随着样本量增大,估计量的值愈来愈接近被估计的总体参数

    1.4 点估计

    设总体X的分布函数形式已知,但它的参数未知,借助于总体X的一个样本来估计总体未知参数的值的问题为点估计问题

    估计量的求法:

    ∙ 矩估计:

    用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,这种估计方法为矩估计

    ∙ 最大似然估计:(概率模型)

    最小二乘估计(描述损失)
    贝叶斯估计(因果)
    EM估计

    二、一个总体参数的区间估计

    2.1 总体均值的区间估计

    在这里插入图片描述
    t分布:
    在这里插入图片描述
    总体均值的区间分布(小样本):
    在这里插入图片描述
    t_scale:
    在这里插入图片描述

    2.2 总体比例的区间估计

    在这里插入图片描述

    2.3 总体方差的区间估计

    在这里插入图片描述

    2.4 小结

    在这里插入图片描述

    三、两个总体参数的区间估计

    在这里插入图片描述

    3.1 两个总体均值之差的区间估计

    两个总体均值之差的区间估计(独立大样本):
    在这里插入图片描述
    在这里插入图片描述
    z_scale:
    在这里插入图片描述
    两个总体均值之差的区间估计(独立小样本):

    小样本:方差不等

    在这里插入图片描述
    在这里插入图片描述
    小样本:方差相等
    在这里插入图片描述
    在这里插入图片描述
    两个总体均值之差的区间估计(匹配大样本):
    在这里插入图片描述

    3.2 两个总体比例之差的区间估计

    在这里插入图片描述

    3.3 两个总体方差比的区间估计

    在这里插入图片描述
    在这里插入图片描述

    3.4 小结

    在这里插入图片描述

    展开全文
  • 经过上一章,假设现在我们已经确定了ARIMA(p,d,q)中的阶数p,d,q 了,接下来我们要做的,就是参数估计。考虑ARIMA(p,d,q): 我们现在要估计的目标有这些: 。但是,R里边的截距项并不是这里的 ,重新转化计算起来可能...

    5939ce64daf1935237d9fd402a3aa432.png

    经过上一章,假设现在我们已经确定了ARIMA(p,d,q)中的阶数p,d,q 了,接下来我们要做的,就是参数估计。

    考虑ARIMA(p,d,q):

    我们现在要估计的目标有这些:

    。但是,R里边的截距项并不是这里的
    ,重新转化计算起来可能会比较麻烦,于是我们也可以将ARIMA(p,d,q)按照R中的形式来写成:
    ,R 中估计出来的截距项事实上是这里的

    接下来我们介绍一下估计参数的方法:矩估计(MME),极大似然估计(MLE),条件最小二乘(CLS),以及无条件最小二乘(ULS) 。我们仅仅针对特定的模型进行分析,因为手算的话,像MA, ARMA非常非常麻烦。以下模型中我们都有

    的假设,而且模型都是平稳可逆的。

    矩估计(MME)

    矩估计最基本的思想就是用样本矩去估计总体矩。我们在数统和贝叶斯中都接触过这样的方法。当然,矩估计的结果并不是唯一的。

    对于一个结束确定的ARIMA(p,d,q),我们根据样本观测值用矩估计来估计参数的步骤如下:

    • 计算样本一阶矩、二阶矩
    • AR(p)
    1. 我们对期望的估计为
    2. 为了估计参数
      ,根据
      Yule-Walker equation
      ,将
      估计,可以得到
      的估计值
    3. 根据
      ,得到
    • MA(q)的估计算起来有点复杂 。这里只介绍MA(1):
    1. 我们对期望的估计为
    2. ,于是我们根据
      反解出
      。注意到这是一个一元二次方程,必定有两个根。但是我们必须要保证模型是可逆的,此时要求
      的两个解为
      ,此时必须保证
      才有实数解,然后我们选择小于1的

    条件最小二乘(CLS)

    • AR(p):
    • 可以看出以上对AR(p)参数的估计中,我们只是考察了
      时刻之后的噪声项,这就是“条件”。
    • MA(1):
      我们的“条件”是
      。于是就有了

    极大似然估计(MME)

    MME也是老朋友了。

    我们这里只考虑AR(1):

    ,其中
    服从正态分布。由于似然函数是联合密度,我们知道的是
    , 可是
    的分布怎么确定呢?平稳假设下,我们可写出AR(1)的
    MA representation:
    ,所以

    于是我们的似然函数是:

    之后按照取对数,求导方法得到相应的参数估计就可以了。

    无条件最小二乘(ULS)

    同样是上边的AR(1):

    ,其中
    服从正态分布,我们也可以通过最小化下边的式子来求出
    的估计值。这个式子包含了从时刻
    的所有白噪声项。

    求解出

    之后,利用
    估计方差。
    展开全文
  • 1引言 参数估计分为点估计和区间估计,本讲主要进行点估计的分析以及求解思路。区间估计的考查形式会和之后的假设检验联系在一起,我们会在假设检验的那一章进行阐述。点估计顾名思义是对空间内一个点进行的估计,这...
    9ad39cfef56b6b328341226387879513.gif

    1

    引言

        参数估计分为点估计和区间估计,本讲主要进行点估计的分析以及求解思路。区间估计的考查形式会和之后的假设检验联系在一起,我们会在假设检验的那一章进行阐述。

        点估计顾名思义是对空间内一个点进行的估计,这个点是一个对于总体样本值的一个函数,我们所要做的就是通过样本的观察值,去合理地计算出参数的值。

    aadfd5718c38a08cbd45a1a66cc55829.gifdea9b2cfe8000e84ef4be29007a33355.png8d9d8133761ab9ce3c1505a5fa7f294c.gif

    2

    要点提炼

    2.1矩估计

        矩估计简单来讲就是之前我们提到辛钦大数定律的实践版本,辛钦大数定律中所提到的样本k阶矩依概率收敛到总体的k阶矩。

    433d9e2ccc36535c004d0432f8c0fe3f.png

        正是这个公式代表了矩估计的强大之处,通过不同的k可以列出不同的方程。(样本k阶矩存在),根据线性代数的相关知识,未知数的个数等于方程数个数的时候,系数行列式满秩。我们就可以将未知数一一求解出来。例如需要估计的参数个数为2时(一般不超过2),我们就可以列出关于样本1阶和2阶矩的方程进行求解。

        方程构建的方法:样本矩只需要对观察值进行不同幂次的乘方和求解均值即可,难点在于如何建立总体矩。这时候基本概念就派上用场了。

    c7b0fa965d9328659f45de6327e1076a.png

       一种相对朴素的矩估计方法:随机挑选若干个零件,已经量取出它们每个的尺寸,试问如何求解总体均值或者方差。

    596c035204ac6e74bc7a2e5e7ce80fbe.png

        我们利用求平均数的方法求解出零件平均尺寸,套用方差公式得到方差。类似于中学的统计题目,这其实就是一种矩估计的思想。

    2.2最大似然估计

        和矩估计一样最大似然估计也是点估计的一种,但是本质思路上还是有着很大区别的。它在处理数据方式上选择了构造函数求极值的方法。在多数情况下,它的估计效果是要强于矩估计的

        其中似然函数是对样本中所有取值概率的连乘积。

    e49524f1dbf2ff6880dabbbc37b33b85.png

        这个公式乍看上去有些突兀,让人不明所以。下面给大家举一个简单的例子阐述一下。

        例如我从一个不透明装有黑白球的盒子里面随机取出若干个球,得知黑球的数量为25个,白球为5个。显然利用矩估计我们可以直接口算出摸到白球和摸到黑球的概率。

    a47de1472e89c3bfa0f2123da40100d1.png

        但是换一种思路呢,显然这是离散性随机变量分布中的二项分布,我可以设摸到黑球的概率为p,那么自然白球被摸到的概率为1-p。根据二项分布的分布律,我可以写出摸到25黑球和5个白球的概率。

    e74f824cc382425d2984a18842182860.png

        发现只有后面两项才是关于p的函数,第一项跟待估计参数p并无直接联系,因此我们可以在构造新函数时不再考虑这一项。举出这个例子是为了让大家对最大似然估计有一个直观理解,形似条件分布的概率连乘积也是有其数学意义的。

    f41bf0e4b1c76d8e5fa75a7bb5f548af.gifdea9b2cfe8000e84ef4be29007a33355.pngf9966fc3911f71168c01d0c2b38cf724.gif

    3

    习题讲解

    例题

    8251555b2ff3dca8424c5aabcd5aaf51.png239d0c04661afff59ed5a3f6a144e79b.png

    答案:

    6a1fd82c20db8b77f6e12e37f5dac99c.pngf33fbd089790ece516ae9bf2828ab874.gifdea9b2cfe8000e84ef4be29007a33355.pngc7ca0147d14206415f67b2a805f088ff.gif

    4

    学长谈经验

        矩估计作为点估计的重要方法,是辛钦大数定律完美诠释。通过出构造等于待估计参数的方程(不超过2)。方程建立并不困难,把握住期望和方差,剩下的便是顺理成章。

        最大似然估计的方法核心是对构造出的样本似然函数求极值,构造方式是对离散性分布率和连续性概率密度连乘积。但不经过处理的样本似然函数形式过于复杂,这时候只需要对其取对数就可以简化运算。最后对需要估计的参数求偏导令其为零。

    0130fd64edf54c09e22de00c34538e59.png

    第八期内容到这里就结束了,如果错过了前面几期的同学可以自行在公众号内回顾哦,每周四概率统计与您不见不散。

    感谢大家阅读!下期期待与你再见!

    若有问题请在评论区评论,欢迎各位的批评与指正!

    e759de4f96fc94ea245d7e4b966dec1a.png1656f9c2e18197b57946bceca70830d0.png104338667290fbca31a555b14514958a.png

    责编|赵洪烨

    审核|牟育生 王子豪

    展开全文
  • 目录1、LS最小二乘法,可以用于线性回归模型、ARMA等模型2、TSLS两阶段最小二乘法3、GMM广义矩估计方法4、ARCH自回归条件异方差,还可以估计其他各种ARCH模型,如 GARCH、T- GARCH5、BINARY用于估计二元选择模型,...
  • 本文将以车辆三自由度模型为基础,利用扩展卡尔曼滤波...在这里,脚主把卡尔曼参数估计仿真分为四个步骤:1)车辆模型搭建;2)扩展卡尔曼滤波算法搭建;3)模型整合及仿真工况设置;4)仿真及结果分析。01 车辆模型...
  • 参数估计——点估计

    2020-06-05 10:39:42
    ①、最大似然估计也适用于多个未知参数的情况,对每个未知参数分别求偏导 ②、似然函数单调时,最大值在定义域端点取到 三、估计量的评选标准 1、无偏性 意义: ①、矩估计 ②、似然估计 注 2、有效性 注: ...
  • 目前较为常见的参数估计方法有极大似然估计、最大后验概率估计、贝叶斯估计。以下以抛硬币为例比较三种参数估计方法。极大似然估计:根据样本的概率分布,写出样本的联合概率似然函数,通过最大化似然函数,得到参数...
  • 我们观测世界,得到了一些数据,我们要从这些数据里面去找出规律来认识世界,一般来说,在概率上我们有一个一般性的操作步骤 1. 观测样本的存在2. 每个样本之间是独立的3. 所有样本符合一个概率模型 我们最终想要...
  • 新闻与传播学院2020级博士生王怡欢作为领学人,为在场的同学们介绍了抽样分布(卡方分布、t分布、F分布)、参数估计(点估计、区间估计)、假设检验等相关知识,带领在场同学们探索数理统计的世界。概率论 → 数理统计...
  • 通过观测世界得到了一些数据,我们要从这些数据里面去找出规律来认识世界,一般来说,在概率上我们有一个一般性的操作步骤: 1. 观测样本的存在 2. 每个样本之间是独立的 3. 所有样本符合一个概率模型 我们最终...
  • 一、本章知识结构 参数估计是统计推断的最基本问题之一,分为点估计和区间估计。其研究任务是:总体的分布已知,但含有未知参数;我们要通过对样本进行加工,提取有用信息,对未知参数作出估计。本章要熟悉如何对...
  • 2、步骤 注: 二、正态总体均值与方差的区间估计 1、单正态总体 (1)、均值μ 置信水平为1-α (2)、方差σ2 2、双正态总体 (1)、两个总体均值差μ1-μ2 ①、σ12、σ22已知 ②、σ12=σ22=σ2,但σ2未知 (3)...
  • 数理统计之参数估计

    2019-01-12 09:49:59
    数理统计之参数估计 数理统计中的参数估计主要分为两大部分: 点估计 区间估计 点估计 点估计的主要方法有: 矩估计法; 极大似然估计法; 其他统计量估计法:极差估计法等。 区间估计 区间估计的...
  • 参数估计介绍最大似然估计 Maximum-Likelihood前提(似然与概率)极大似然估计介绍模型推导例题特点补充贝叶斯估计前提MAP贝叶斯估计步骤 介绍 参数估计:是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法...
  • PCBN模型的参数估计及模拟算法,赵子然,王斌会,本文给出了建立Pair-Copula Bayesian Network(PCBN)模型时参数估计和模拟抽样的步骤,并以具体的算法表示. 参数估计和模拟抽样算法的关键在于
  • 一、参数估计的基本原理 估计量:在参数估计中,用来估计总体参数的统计量 估计值:根据一个具体的样本计算出来的估计量的数值 点估计:用样本统计量theta的某个取值直接作为总体参数的估计值 区间估计:在点...
  • R语言参数估计课后习题 实在不知道参数估计该看什么了,做一下习题叭,本书是薛毅版的统计建模与R语言。 第一题见这条博客https://blog.csdn.net/qq_47876527/article/details/111663535,里面有写。 2 首先,观察...
  • 贝叶斯决策与贝叶斯参数估计

    千次阅读 2017-01-12 13:12:44
    1/11/2017 11:02:08 PM 考试结束了重新看了...第二张PPT讲得很清楚了,关于贝叶斯参数估计的基本条件和步骤。 需要注意的的是p(x|θ)表示的是参数θ给定时,x(也就是数据)的一般分布;而p(D|θ)则表示实际上生成手上
  • 参数估计(二)

    2021-01-05 08:29:29
    1.距估计步骤 已知 α 1 = E ( X ) α 2 = D ( X ) + [ E ( X ) ] 2 { \alpha }_{ 1 }=E(X)\\ { \alpha }_{ 2 }=D(X)+{ [E(X)] }^{ 2 }α1​=E(X)α2​=D(X)+[E(X)]2 A 1 = X ‾ A 2 = 1 n ∑ i = 1 n X i 2 { A }...
  • 第七章 参数估计与假设检验一、参数估计的种类 点估计 区间估计 二、点估计(一)、方法一:矩估计总体 X∼f(,θ)X \sim f(, \theta),但参数 θ\theta 未知,需要对参数 θ\theta 进行估计。 步骤 1. 取样X1,X2,...
  • 极大似然估计四个步骤

    千次阅读 2020-04-20 12:46:05
    极大似然估计参数估计的四个步骤 (1) 写出似然函数; (2) 对似然函数取对数,并整理; (3) 求导数 ; (4) 解似然方程 。 极大似然估计的概念 极大似然估计,只是一种概率论在统计学的应用,它是参数...
  • 集中趋势和离散趋势的度量: 众数、中位数和平均数: 方差和标准差: 相对离散程度:离散系数的作用: 怎样理解置信区间 影响区间宽度的因素 解释95%的置信区间 ...参数估计和假设检验的区别和联系 假设检验的步骤
  • 关于指数分布的参数估计,可见下面网址: https://wenku.baidu.com/view/e88aa871168884868762d699.html 关键步骤截图如下: 这样,在假设神经元的脉冲是完全符合泊松分布下的推理。当然,神经元的spikes不是完全...
  • 概率论 参数估计与假设检验 区分及例子动机区分概念假设检验基本思想小概率原理原理几种常见假设检验假设检验规则和两类错误检验规则两类错误明确步骤 动机 国内本科教材重计算技巧,轻内在逻辑,大家学完容易忘记。...
  • 在低中频预失真器构架的基础上,提出了一种基于坐标变换的预失真参数估计方法,从而降低了传统数字基带预失真系统的硬件成本和数值计算量。算法将传统算法中的复数乘法转换为极坐标中的幅度乘法和相位加法,使同样的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 603
精华内容 241
关键字:

参数估计步骤