精华内容
下载资源
问答
  • LOGISTIC模型参数估计及预测实例.pdf

    千次阅读 2021-01-17 18:45:58
    LOGISTIC模型参数估计及预测实例维普资讯ELogistic模型参数估计及预测实例 13Logistic模型参数估计及预测实例’杨昭军 义民 o2l,/7、(湖南税务高专 411100) (西北工业大学)摘 ...

    LOGISTIC模型参数估计及预测实例

    维普资讯

    E

    Logistic模型参数估计及预测实例 13

    Logistic模型参数估计及预测实例’

    杨昭军 义民 o2l,/7

    (湖南税务高专 411100) (西北工业大学)

    摘 要

    檑昭军,师义昂Logistic模型参数估计夏预测实例.数理统计与f理,1997,16(3),13~15.

    本文提出了对Logistic模型中的参数进行迭代估计的新算法,通过比较分析,说明了本文

    算法的有效性。 ,

    关键词\————兰———;墨—型———J墨——型一_ 送‘LI·

    、 引言

    荷兰生物数学家Verhult为预测和控制人 口建立了Logistic模型,该模型在经济学中有着

    重要应用,可用于耐用消费品销售量预测等许多类似问题。模型缺点之一是参数增长极限Ⅳ

    的估计不易确定,为此,有时人们只好由经验预先取Ⅳ 为某个已知值,这显然有很大主观性,

    难以符合客观实际[1];有时我们可以采用最速下降法 高斯一牛顿法或阻尼最小二乘法求出

    参数的非线性最小二乘估计,但这种算法复杂,收敛性差。本文提出参数交替迭代估计的新算

    法,计算简单,收敛性好,通过比较分析,说明了它的有效实用性。

    二、Logistic模型

    很多新生事物的发展都遵循规律:在其发展初期,数量(规模)增长得越来越快,到了一定

    时候增长速度达到最大,随后便逐步慢下来,直到数量 (规模)不再增长,稳定在增长极限Nm。

    记 时刻数量为M ,则Ⅳl可通过如下微分方程描述:

    警一r(1一)M,初始条件 已知,其中r为比例常数。易得其解为

    Nr 、

    N 一 ——— —一 (1)

    1+ ( 一 1

    』 a

    即Logistic模型。下面给出由观测数据(,Ⅳ1), 0,1,2,…,求参数Ⅳ 及r估计值的算法。

    三、迭代算法

    算法基本思想是已知 ^ ,求得r的最优估计,然后把r作为已知,求出Ⅳ 的最优估计,

    收稿 日期:1996年 2月9日

    维普资讯

    14 数理统计与管理 l6卷 3期 1997年5月

    这样交替循环迭代直到收敛为止。

    记 (^,f)§N两‘m一1 N

    』v:一1),于是由(1)有

    n (^r_.f)+rg一 0 (2)

    因存在模型误差,应以下述带误差的方程代替

    n (Ⅳ.,f)+ 一

    展开全文
  • 关注新蜂数字金融,ID:gh_c5ca7eb11df4这是新蜂数字金融的第145篇原创首发文章信用评分卡模型,作为金融业一项重要的风险控制手段,在行业中有着广泛的应用。只有对模型进行科学认知,理解模型的原理及应用限制条件...

    4c98ea125f45ad1a88f678a13352fb72.png

    b371f9023c647bdf9a4bcaca11de64a9.png

    • 关注新蜂数字金融,ID:gh_c5ca7eb11df4

    • 这是新蜂数字金融的第145篇原创首发文章

    信用评分卡模型,作为金融业一项重要的风险控制手段,在行业中有着广泛的应用。只有对模型进行科学认知,理解模型的原理及应用限制条件,才能更好地应用模型。

    本文中,笔者将对模型发展、推导过程进行简单的梳理,期望对模型应用者、模型开发者能有所启发。

    01. 什么是评分卡模型

    4a5def62d7ccfd45ef924b63992975ab.png

    信用评分卡模型一种常用的风险控制模型,它是根据被评价主体的各种属性和行为数据,利用规则及评分模型,对被评价主体进行评判,从而对未来一段时间内的被评价主体进行预测的一种方法。

    利用这种方法可以降低或减少风险事件发生的各种可能性,规避风险事件发生时造成的损失。

    在实际业务中,我们有时会遇到对一类申请车贷的客户进行评分的场景。

    结合业务理解及往常的业务经验,我们通常会认为:是否有过购车行为(或车贷行为)、申请人年龄、性别、婚姻状况、学历、月收入等因素会对申请按期归还产生影响。

    其中,是否有过购车行为(或车贷行为)对是否违约的影响远大于其他指标。可以设置为基础分,其他变量根据变量属性,打分如下(见表1):

    表 1  简单评分卡示例

    2d4b4b10c4c877277d02cf3e89ddf379.png

    这样,我们就构建了一个简单的评分卡。该评分卡基础分223分,最高分275分,最低分208分。例如,客户年龄为27岁、性别为男、婚姻状况为已婚、学历为本科、月收入为10000,那么他的评分为264分。

    从上面的案例可以看出,其业务逻辑类似专家打分模型。但对于大批量的数据或需要统一管理的模型,该方式就不适用了。需要引入统一的统计预测模型,进行评分卡模型建模。

    02. 评分模型推导过程

    0c214af728c32dc809bfda7b3eee2b33.png

    按照笔者个人理解,评分卡模式是以线性回归为基础,采用tobit模型、logistic模型,通过logit变换得到的。模型构建过程如下:

    (一)线性回归模型

    线性回归是最常见的预测模型。例如,预测收入和支出间的关系、湿度和降雨量的关系等。线性回归模型可以描述因变量Y和自变量X之间的因果关系。

    简单的线性回归模型可以表示为:

    59762e36b430f839ef68f9b0ad30bf21.png

    其中,3aa54aa76e42502a97b3f862df416190.png为Y轴上的截距,86ec4988cc6f2e9f839320aa0614ff3c.png为斜率,a7426825f1635c19490016ff7b6efddb.png为误差项。

    采用线性回归模型,必须满足以下假设:

    d5b8088916f40c40c50ea900f79a2b90.png

    条件(1)为线性假设,即自变量X每增加一个单位对Y的影响都是一样的(86ec4988cc6f2e9f839320aa0614ff3c.png的值增加)。

    条件(2)-(5)均和误差项b348a1818465d64377de2c49bfb880b1.png有关。假设(2)表示对任意的取值,误差项b348a1818465d64377de2c49bfb880b1.png是一个期望为零的随机变量(即b348a1818465d64377de2c49bfb880b1.png和X不相关)。这就意味着,在式59762e36b430f839ef68f9b0ad30bf21.png中,由于3aa54aa76e42502a97b3f862df416190.png86ec4988cc6f2e9f839320aa0614ff3c.png都是常数,因此对于一个给定的的值b0d2503167b04d3e720a670db89f0c26.pngdee1ae0f1a1618f89b013931a53317db.png的期望值为:

    73d7ff59c0901a6a9a5671b80ac2388f.png

    假设(3)表示对任意的值b0d2503167b04d3e720a670db89f0c26.png,误差项b348a1818465d64377de2c49bfb880b1.png的方差都相同。

    假设(4)和(5)说明误差项b348a1818465d64377de2c49bfb880b1.png是一个服从正态分布的随机变量(074cb220e1b1b75ee952af234f033f41.png),且相互独立(即b348a1818465d64377de2c49bfb880b1.pngb0d2503167b04d3e720a670db89f0c26.png不相关)。

    下图展示了线性回归模型对约束条件的要求,如满足以上约束条件,我们就可以采用最小二乘法完成参数估计,并进行建模分析了。

    de1b05957923c92b31b805d74e3b2585.png

    图1 线性回归模型参数约束条件

    (二)Tobit模型

    对于评分卡模型,模型因变量多为分类问题,如是否违约、患病与否。显然,直接套用线性回归模型,是无法约束条件的,结果也会出现偏差。那么,对于这类问题能否进行建模尝试呢?

    表2 二分类变量取值情况

    478715a8db4478d60a279d83dfe676e6.png

    根据线性回归模型变换公式,在式59762e36b430f839ef68f9b0ad30bf21.png中,由于3aa54aa76e42502a97b3f862df416190.png86ec4988cc6f2e9f839320aa0614ff3c.png都是常数,因此对于一个给定的的值b0d2503167b04d3e720a670db89f0c26.pngdee1ae0f1a1618f89b013931a53317db.png的期望值为:

    73d7ff59c0901a6a9a5671b80ac2388f.png

    将上述二分类变量的代入上式,有:

    2c8bff77d956743481550d4c8ac47641.png

    即:

    b50fb3a01316642288e098ca80b7e786.png

    针对一般的线性回归模型,如:

    978545f453a42264f0618022ef1a44b8.png

    回归方程曲线为:

    3c3834120fd79830249b5eb94b45d443.png

    图2 一般线性回归模型

    显然对于pi来讲,pi为(0,1)之间的数值。对于在给定范围内的[4,24]范围内Xi,每增加1单位x,pi增加0.05,如果落出区间,即Xi<4或者Xi>25时,则Y<0或者Y>1,则模型出现问题。针对此问题,需要将进行变换:

    b50fb3a01316642288e098ca80b7e786.png

    即:

    1840e965fb5a933b1446c20c482c5e40.png

    此模型即能满足实际需求。此模型由James Tobin于1958年提出,因此被称作Tobit模型。

    711df9f53b95f42202743d549c458704.png

    图3 Tobit模型

    该模型的特点是模型包含两部分,一是表示约束条件的选择方程模型,二是满足约束条件下的某连续变量的方程模型。假设预测某个事件发生的概率等于1,但是实际该事件可能不会发生。

    反之,预测某个事件发生的概率等于0,但是是集中该事件却可能发生了。虽然过程是无偏的,但是实际中该事件却可能发生了。虽然估计过程是无偏的,但是由估计过程得出的预测结果却是有偏的。

    针对此类模型的缺陷,需要对Pi进行模型变换,变化后的Pi应满足以下需求:

    (1)自变量所对应的所有预测值(概率值)都落在(0,1)之间;

    (2)对于所有的Xi,当Xi增加时,因变量Yi也随之单调增加或减少。显然,累积概率分布函数能满足这样的需求。

    (三)累计分布函数

    累积分布函数,又叫分布函数,是概率密度函数的积分,能完整描述一个随机变量x的分布。

    918ec2fbd1cc689eb6d16687cb9ea182.png

    图4 累计分布函数

    对于所有的实数x,累积分布函数的定义如下:

    c86c5b16f89d8e0533f397981249f09f.png

    累积分布函数的基本特征为:对于离散变量,分布函数表示所有小于等于x的值出现的概率之和。具体涵盖以下特征:

    • 有界性:df72d9e10e7e08f75b417a0aa8629898.pngf93a701dae44ab43dec8030c52c949d9.png

    • 单调性:如果x178364ac1585948431dcbf0f1c361b367.png

    • 右连续性:fae0d46b247ff33482a4526a27c96a23.png

    • 区间性:有x且bdd362fc997b5b49f59f777ebe2a2c25.png,x落在该区间的概率:

    fdde27cd5fcde733c774e24145e34fe5.png

    常用的累积概率模型有正态分布模型和logistic模型。

    (四)logistic模型

    1. 没有约束的logistic模型

    logistic分析模型源于人口分析及病毒研究。在某种初始状态下,没有天敌的情况下,应该呈指数增长

    eecf8081b722b6b9d7619bbf4f358ea6.png

    图5 没有天敌状态下的细菌增长

    设N(t)这个函数表示t时刻的细菌总数,我们可以得到下面这个方程(其中:r为常数,表示N(t)的变化率):

    8bedcd464a14741257477ab5b21d0d14.png

    求解这这个常微分方程:

    40436961876d7ea3c1723c340cbb4552.png

    其中:N0是积分常数,也可以理解为系统的初始值。如果r>0,系统即会呈指数增长。在没有外界约束的条件下,生态系统将被塞满。

    f19f7835346f6c6bec2ed1cb4d0f467e.png

    图6 无约束logistic增长模型

    2. 有约束的logistic模型

    自然界的增长不会遵循无约束logistic模型,否则世界将被种群塞满。为了克服这一问题,对增长模型进行限制,即引入空间增长限制模型。

    为了克服数目无限增长的问题,模型必须做出修改才行,这个修改最早由 Pierre-François Verhulst 在1838年提出:

    ba2eef864c83971aa24cbc41f2563639.png

    其中:K给定的空间系统的总容量(capacity),给定系统空间总容量后,人口或者细菌的增长,将不能无限制的增长了。随着时间的增长并不断接近系统的容量,增长率是逐渐减小的。

    Logistic 方程描述的系统中人口的增长率除了和当时的人口数目成正比以外还要受到系统容量的限制。或者你可以理解为人口的增长速度除了和当时的人口数目成正比以外还和系统中的空位成正比。

    3. 有约束的logistic模型求解

    对上述方程进行方程变换,设:

    c7faa700d687e5be198fa8256f847a8b.png

    则:

    0d7ff5e99b0f2c34176f7c371e2a4d00.png

    此即为logistic方程的一般形式,f(t)即表示人口容量在确定系统的比例。

    为方便求解,对方程做一下变换:

    487f3ad19526901cd52f10b2c1e4f92e.png

    对上述方程积分求解,即可得:

    2336ea2260d26eaa4d268e80473eb998.png

    其中f(t)又称生命函数,其分布图如下:

    546da0994e2bfa9a0219dd0b3f2261f4.png

     图7 logistic累积函数

    (五)logit变换

    针对二分类变量模型,代入logistic累积函数,即得信用评分卡建模模型:

    b50fb3a01316642288e098ca80b7e786.png

    对上述公式的Y采用logistic函数进行替代:

    e97310b6a1e238e2a69da63c81d8fbc8.png

    由上式可知,回归方程的因变量是对数的某个具体选择的机会比。

    logit的一个优点是把[0,1]这个区间上预测概率的问题转化为在实数范围内预测一个事件发生的机会比问题。

    logit累积概率分布函数斜率在pi=0.5附近最大,在累积分布两个尾端的斜率逐渐变小。这说明相对与Pi=0.5附近的变量xi的变化对概率的变化影响比较大,而相对与pi接近于0和1的范围影响比较小。

    其中,d7dfcfa421ddc08dfad9fe13d522090e.png又称为ODDS, 指的是事件发生的概率与事件不发生的概率之比。

    03.模型应用

    e420e1afcbc5636f022a500bc6ce6f97.png

    若将4c4ac6a6cc79b295a3b1e429397e18b2.png看成是因变量,则logit线性回归模型多元线性回归模型的形式是一致的,且有很多共性,因此自变量需要遵循线性回归模型的变量要求。

    与线性回归模型不同的是:

    1、logistic回归模型中因变量是二分类的,而且非连续,其误差的分布不再是正态分布,而是二项分布,且所有的分析均建立在二项分布的基础上。

    2、由于上述原因,logit回归系数的估计不能再用最小二乘法,而要用极大似然估计法。回归模型和回归系数的检验也不是F检验和t检验,而要用Wald检验、似然比检验等。

    此外,评分卡模型是一种统计推断的方法,必须遵循其模型使用的约束要求。

    此外,该模型通常是采用历史或当前数据预测未来。但如果今年企业的经营环境较去年已发生很大的变化,应及时对模型进行重检。否则,预测就变成了预言,无法进行证伪。

    延伸阅读:

    原创:房地产自动评估之大数据与风险

    原创:动态行为数据从这里开始

    原创:万人如海一身藏

    原创:沉默的那些数

    原创:图何以嵌入

    8ddf6a4e7078172e20aa15a2c783998e.png

       微信扫一扫,关注我

      觉得好  

     点击“在看”

    展开全文
  • 18种Eviews方程参数估计方法汇总​

    千次阅读 2021-02-06 13:19:38
    原标题:18种Eviews方程参数估计方法汇总​目录1、LS最小二乘法,可以用于线性回归模型、ARMA等模型2、TSLS两阶段最小二乘法3、GMM 广义矩估计方法4、ARCH 自回归条件异方差,还可以估计其他各种ARCH模型,如 GARCH...

    原标题:18种Eviews方程参数估计方法汇总​

    目录

    1、LS最小二乘法,可以用于线性回归模型、ARMA等模型

    2、TSLS两阶段最小二乘法

    3、GMM 广义矩估计方法

    4、ARCH 自回归条件异方差,还可以估计其他各种ARCH模型,如 GARCH、T- GARCH

    5、BINARY 用于估计二元选择模型,包括 Logit、 Probit和 Extreme value模型

    6、ORDERED 用于估计有序选择模型

    7、CENSORED 用于估计删截模型

    8、C OUNT 用于估计计数模型

    9、OREG 分位数回归分析方法

    10、GLM 义线性模型分析方法

    11、STEPLS 分段最小二乘分析方法

    12、ROBUSTLS 稳健最小二乘分析方法

    13、HECKIT 赫克曼备择模型

    14、BREAKLS 带断点的最小二乘分析方法

    15、THRESHOLD 门限回归分析

    16、SWTCHREG 转换回归

    17、ARDL 自回归分布滞后模型

    18、IDAS 混合数据抽样

    1

    TSLS两阶段最小二乘法

    一个典型的线性回归模型:y=β0 +β1x1+βX +ε(1),这里y为被解释变量,x1为自变量,或者解释变量,也即“因”。大写的X为外生控制项向量( 也即一组假定为外生的其他控制变量,例如年龄、性别等等) ,ε则为误差项。如果ε与x1不相关,那么我们可以利用OLS 模型对方程进行无偏估计。

    然而,如果一个重要变量x2被模型(1) 遗漏了,且x1和x2也相关,那么对β1的OLS 估计值就必然是有偏的。

    此时,x1被称作“内生”的解释变量,这就是 “内生性”问题。遇到“内生性”问题肿木办?有一个方法就是找工具变量Z。

    如果存在内生性,则称解释变量为 “内生变量”(endogenousvariable);反之,则称为 “外生变量”(exogenous variable)。

    内生性的严重后果是使得 OLS估计量不一致(inconsistent),即无论样本容量多大,OLS 估计量也不会收敛至真实的参数值。

    在计量经济学中,把所有与扰动项相关的解释变量都称为“内生变量”。这与一般经济学理论中的定义有所不同。1。与误差项相关的变量称为内生变量(endogenous variable)。2。与误差项不相关的变量称为外生变量(exogenous variable)。

    二阶段最小二乘法Eviews操作介绍:二阶段最小二乘法的第一阶段就是利用原模型的内生解释变量对工具变量进行OLS,得到解释变量的拟合值;第二步,利用得到解释变量的拟合值对原模型进行最小二乘法,从而得到方程模型的估计值,这样就可以消除内生性的影响。

    2

    THRESHOLD门限回归分析

    阈值回归模型描述了一种简单的非线性回归模型。TR规范很受欢迎,因为它们很容易。估计和解释,并能产生有趣的非线性和丰富的动力学。在TR的应用中,有样品分裂,多重平衡。非常流行的阈值自回归(TAR)和自激励阈值自回归(SETAR)(Hansen 1999, 2011;波特2003)。

    在功能强大的特性中,Eviews有选择最佳阈值TR模型选择工具。能够从候选列表中,并且能够指定两种状态的变化和非变化的变量。例如,您可以轻松地指定两种模式的门限模型并允许EViews 估计最优变量和参数、阈值、系数和协方差。并对变化和回归参数的估计。

    门限回归模型是一种重要的结构变化模型,当观测变量通过未知门限时,函数模型具有分段线性的特征,并且区制发生变化。门限回归模型很容易估计和解释,再加上它具备动态性,所以应用比较广泛。门限回归能够应用于多种模型中。

    门限变量qt和解释变量Xt、Zt的特征决定了门限函数的类型。如果qt是yt的d期滞后值,则称为自激励(SE)模型;如果门限变量不是被解释变量的滞后变量,则为一般的门限回归(TR)模型。如果解释变量Xt、Zt中仅包含截距项和滞后的被解释变量,则表示自回归(AR)模型。在此基础上易于得出,自激励门限自回归(SETAR)模型中则包括自回归设定和滞后被解释变量两类要素。

    8d805dae21c5635cfde5095828e3cb94.png

    2f1d78190a8e2b873b3c00c818209a7c.png

    c47eb4b09851a43061b5d2db8998caef.png

    Estimation Output

    a75451dcb13ccab11299645c5b59f3a4.png

    0b0d960a74617ba8fcf5463924c1c7ce.png

    Criteria Graph and Table If you select View/Model Selection Summary from an estimated threshold equation you will be offered a choice of displaying a Criteria Graph or a Criteria Table:

    f535bd614d8e3db5bc09e55fbeab6ad9.png

    8e19f958d3298fc6d53d230fd99c9c75.png

    3ff7c5da41199b5f456716d700fd7fa2.png

    3

    BREAKLS带断点的最小二乘分析方法

    基本普通最小二乘法假设模型的参数不随观测值的变化而变化。尽管这种假设。结构的变化,以及样本区间参数的变化 ,在应用时间序列分析中起着重要的作用。

    因此,有大量的研究针对回归方程中参数结构变动的问题。EViews 8提出了结构变动的线性回归估计工具。在Bai (1997), Bai and Perron (1998)中的断点都是已知,先前指定的。

    一、Estimating Least Squares with Breakpoints in EViews

    案例所需数据介绍,本节以hansen_jep为例,具体数据如下:

    820d6de0f8f439a38fd5223eb08cc3ef.png

    要估计一个具有断点的最小二乘方程,请选择Object/New Object….../ Equation or Quick/Estimate Equation,或者从EViews主菜单中选择BREAKLS - Method下拉菜单中带有断点的最小二乘法,或者在命令窗口中简单输入关键字BREAKLS:

    52759d103752e66ab2ae7476de5e09a6.png

    接下来,单击Options选项卡,显示计算系数协方差矩阵、断点说明、权重和系数名的附加设置。

    f1561797f97751c864dd3230f6862d44.png

    Break Specification包括如下选项:

    The Break specification section of the dialog contains a Method drop-down where you may specify the type of test you wish to perform. You may choose between:

    • Sequential L+1 breaks vs. L

    • Sequential tests all subsets

    • Global L breaks vs. none

    • L+1 breaks vs. global L

    • Global information criteria

    • Fixed number - sequential

    • Fixed number - global

    • User-specified

    这些选项在结构突变检验章节将再次介绍。为了说明断点方程估计的输出,我们使用Han- sen’s (2001)劳动生产率的例子。Hansen的示例使用了1947年2月至2001年4月美国劳动生产率在制造业耐用品行业的测量。工业生产指数与每周平均工时之比增长率。

    我们估计一个断点模型,使用DDUR与DDUR(-1)和一个常数的回归。输出如下:

    e643db3ba904d40f72571bdbefbc2c39.png

    Breakpoint Specification View显示一个断点回归的总结,该方法用于确定断点。输出的顶部显示断点摘要以及剩下的部分显示了断点确定的中间结果:

    5318ba021a84f2c30bbeb3c5455d6ff1.png

    576372c03dcc3486e9e7aa3531557d7e.png

    二、Example

    为了说明这些工具在实践中的使用,我们采用了美国出口实际利率的数据(from Garcia and Perron (1996) that is used as an example by Bai and Perron (2003a).)

    选择对象/新对象…从主菜单中 或在命令行中输入命令断点并单击enter。

    428338fd35cfb8ae9dcd07e400dcc014.png

    Next, click on the Options tab and specify HAC (Newey-West) standard errors, check Allow error distributions to differ across breaks, choose the Bai-Perron Global L breaks vs. none method using the Unweighted-Max F (UDMax) test to determine the number of breaks, and set a Trimming percentage of 15, and a Significance level of 0.05.

    375f139950ce7fe810f36e58fea8e64e.png

    Lastly, to match the test example in Bai and Perron (2003a), we click on the HAC Options button and set the options to use a Quadratic-Spectral kernel with Andrews automatic bandwidth and single pre-whitening lag:

    fd31739ecdc13c6f3df06449ab4df71c.png

    输出结果为:

    e2dc66de554c7581aeb5976d07b9d397.png

    点击视图/实际,拟合,剩余/实际,拟合,残差图,在原始序列和残差的旁边,查看样本内的拟合数据:

    7d5fad5b0a5a3acc151c539e95680ae9.png

    未完待续!

    ◆◆◆◆

    《初级计量经济学及Stata应用:Stata从入门到进阶》

    《高级 计量经济学及Stata应用:Stata回归分析与应用 》返回搜狐,查看更多

    责任编辑:

    展开全文
  • 参数估计问题 在第一课中,提到使用样本估计模型(比如高斯分布)的参数,并说明了常用的极大似然估计法。假设现在有一枚硬币,但它质地不均匀,导致抛硬币的正面朝上与反面朝上的概率不相等,现在还是想研究正面...

    参数估计问题

    在第一课中,提到使用样本估计模型(比如高斯分布)的参数,并说明了常用的极大似然估计法。假设现在有一枚硬币,但它质地不均匀,导致抛硬币的正面朝上与反面朝上的概率不相等,现在还是想研究正面朝上的概率是多少,所以可以抛硬币 N N N次,正面朝上的次数为 n 1 n_{1} n1,则就使用 n 1 / N n_{1}/N n1/N作为正面朝上概率的估计值。

    再举例一个问题,假设已知某个班级内的男同学身高服从正态分布,现在要研究这个正态分布的均值和方差,我们可以随机挑选 N N N个男同学的身高数据作为样本,分别统计他们的身高 x 1 , x 2 , . . . , x N x_{1},x_{2},...,x_{N} x1,x2,...,xN,通过极大似然估计法得到均值和方差:
    μ m l e = 1 N ∑ i = 1 N x i , σ m l e 2 = 1 N ∑ i = 1 N ( x i − μ m l e ) 2 \mu_{mle}=\frac{1}{N}\sum_{i=1}^{N}x_{i},\sigma_{mle}^{2}=\frac{1}{N}\sum_{i=1}^{N}(x_{i}-\mu_{mle})^{2} μmle=N1i=1Nxi,σmle2=N1i=1N(xiμmle)2
    若考虑无偏性时,需要对方差进行修正:
    σ 2 = 1 N − 1 ∑ i = 1 N ( x i − μ m l e ) 2 \sigma^{2}=\frac{1}{N-1}\sum_{i=1}^{N}(x_{i}-\mu_{mle})^{2} σ2=N11i=1N(xiμmle)2

    含隐变量的问题

    如果在实际场景中,由于情景的细微改变,极大似然估计将难以解决问题。假设现在有两枚硬币,硬币 A A A和硬币 B B B,它们都是不均匀的,而且两者的正面朝上概率 p A p_{A} pA p B p_{B} pB也不相等。每次从这两枚硬币随机摸出一枚投掷(但不知道取出哪一枚),现在依然记录每次投掷的结果是正面还是反面,其中,正面朝上的次数为 N 1 N_{1} N1,反面朝上的次数为 N 2 N_{2} N2,现在想用这些数据直接估计硬币 A A A和硬币 B B B各自正面朝上的概率就变得很困难。

    对于统计班级内男同学的身高,如果获得的样本中,既有男同学,又有女同学,当获取 N N N个同学的身高数据后,显然不能直接求出男同学身高的均值和方差,因为男同学,女同学各自会服从不同的正态分布。

    以上两个问题,不能直接用极大似然估计参数,因为两个问题都变成了混合模型,不仅仅存在观测变量,还存在隐变量。通常,第 i i i个样本的观测变量记为 x i x_{i} xi,隐变量记为 z i z_{i} zi

    • 对于抛硬币问题,每次抛硬币的正反面记录是观测变量,但某次抛出的硬币是 A A A还是 B B B则属于隐变量;
    • 对于身高统计问题,每次得到的身高数据是观测变量,但某个数据是属于男同学还是女同学则为隐变量。

    迭代法解决含隐变量的问题

    对于混合模型,不能直接用极大似然法估计参数,因此,考虑用迭代法去逐步尝试:即EM算法;

    EM算法包含较多计算技巧,较为复杂,因此,本例先不详细展开,而是针对抛硬币问题做简单计算,先感性认识迭代法探索参数的大致过程;

    假设有不均匀的硬币 A A A B B B,重复5次实验,每次实验都是同样的操作:任取一枚硬币,连续投掷该硬币10次,记录正反面次数。5组实验结果如下:

    组别正面次数反面次数
    155
    291
    382
    446
    573

    问题为:求出硬币 A A A和硬币 B B B正面朝上的概率 p A p_{A} pA p B p_{B} pB

    目前面临的问题是不知道每一组投掷的到底是哪一个硬币,但如果已经知道每组用什么硬币投掷,我们将能快速计算出答案,比如,已知第二组,第三组,第五组使用硬币 A A A,而第一组和第四组使用的是硬币 B B B,则对于硬币 A A A的参数估计可利用所有关于硬币 A A A的实验数据求出:
    p A = 9 + 8 + 7 30 = 0.8 p_{A}=\frac{9+8+7}{30}=0.8 pA=309+8+7=0.8
    同理,硬币 B B B的参数为:
    p B = 5 + 4 20 = 0.45 p_{B}=\frac{5+4}{20}=0.45 pB=205+4=0.45
    但是并不知道每组实验是用哪个硬币,所以用迭代的步骤反复估计 p A p_{A} pA p B p_{B} pB以及 A , B A,B A,B各自的出现概率 P A , P B P_{A},P_{B} PA,PB。首先随机给定初始值:
    p A 0 = 0.6 , p B 0 = 0.5 p_{A}^{0}=0.6,p_{B}^{0}=0.5 pA0=0.6,pB0=0.5
    因此,在第一组实验中,记使用硬币 A A A的概率为 P A 1 P_{A1} PA1,使用硬币 B B B的概率为 P B 1 P_{B1} PB1,在实验1中,若完全用 A A A投掷,出现5正5反的概率为:
    ( p A 0 ) 5 ( 1 − p A 0 ) 5 = 0. 6 5 0. 4 5 = 0.000796 (p_{A}^{0})^{5}(1-p_{A}^{0})^{5}=0.6^{5}0.4^{5}=0.000796 (pA0)5(1pA0)5=0.650.45=0.000796
    同理,若完全用 B B B投掷,出现5正5反的概率为:
    ( p B 0 ) 5 ( 1 − p B 0 ) 5 = 0. 5 5 0. 5 5 = 0.000976 (p_{B}^{0})^{5}(1-p_{B}^{0})^{5}=0.5^{5}0.5^{5}=0.000976 (pB0)5(1pB0)5=0.550.55=0.000976
    所以,第一组实验使用硬币 A A A和硬币 B B B的概率为:
    P A 1 = 0. 6 5 0. 4 5 0. 6 5 0. 4 5 + 0. 5 5 0. 5 5 = 0.45 P_{A1}=\frac{0.6^{5}0.4^{5}}{0.6^{5}0.4^{5}+0.5^{5}0.5^{5}}=0.45 PA1=0.650.45+0.550.550.650.45=0.45
    P B 1 = 0. 5 5 0. 5 5 0. 6 5 0. 4 5 + 0. 5 5 0. 5 5 = 0.55 P_{B1}=\frac{0.5^{5}0.5^{5}}{0.6^{5}0.4^{5}+0.5^{5}0.5^{5}}=0.55 PB1=0.650.45+0.550.550.550.55=0.55
    按照同样的方式,可以分别计算出另外四组实验中,使用硬币 A A A和硬币 B B B的概率:

    组别硬币 A A A硬币 B B B
    10.450.55
    20.800.20
    30.730.27
    40.350.65
    50.650.35

    现在考虑第1组实验的 P A 1 = 0.45 P_{A1}=0.45 PA1=0.45 P B 1 = 0.55 P_{B1}=0.55 PB1=0.55,第一组实验结果为5正5反,则使用硬币 A A A投掷的结果应有:

    • 正: 0.45 × 5 = 2.25 0.45\times 5=2.25 0.45×5=2.25
    • 反: 0.45 × 5 = 2.25 0.45\times 5=2.25 0.45×5=2.25

    使用硬币 B B B投掷的结果为:

    • 正: 0.55 × 5 = 2.75 0.55\times 5=2.75 0.55×5=2.75
    • 反: 0.55 × 5 = 2.75 0.55\times 5=2.75 0.55×5=2.75

    进一步,用同样的流程得到各组实验中,硬币 A A A和硬币 B B B的投掷结果:

    组别硬币 A A A硬币 B B B
    1正:2.25,反:2.25正:2.75,反:2.75
    2正:7.2,反:0.8正:1.8,反:0.2
    3正:5.84,反:1.46正:2.16,反:0.54
    4正:1.4,反:2.1正:2.6,反:3.9
    5正:4.55,反:1.95正:2.45,反:1.05
    合计正:21.24,反:8.56正:11.76,反:8.44

    基于以上表,重新估计硬币 A A A和硬币 B B B正面朝上的概率:
    p A 1 = 21.24 21.24 + 8.56 = 0.71 , p B 1 = 11.76 11.76 + 8.44 = 0.58 p_{A}^{1}=\frac{21.24}{21.24+8.56}=0.71,p_{B}^{1}=\frac{11.76}{11.76+8.44}=0.58 pA1=21.24+8.5621.24=0.71,pB1=11.76+8.4411.76=0.58
    再重复之前的操作,于是得到 ( p A 2 , p B 2 ) (p_{A}^{2},p_{B}^{2}) (pA2,pB2),依次类推,得到:
    ( p A 3 , p B 3 ) , ( p A 4 , p B 4 ) , . . . , ( p A T , p B T ) (p_{A}^{3},p_{B}^{3}),(p_{A}^{4},p_{B}^{4}),...,(p_{A}^{T},p_{B}^{T}) (pA3,pB3),(pA4,pB4),...,(pAT,pBT)
    直到参数 ( p A T , p B T ) (p_{A}^{T},p_{B}^{T}) (pAT,pBT)收敛;

    实例演示

    硬币投掷问题的实例演示如下:

    import numpy as np
    # 二项分布
    from scipy.stats import binom
    """
    Bernoulli:伯努利分布,是关于布尔变量的概率分布
    Binomial:二项分布,重复多次的独立伯努利实验
    """
    
    #一轮迭代处理
    def single_iter(theta_priors, observations):
        """
        param observations:五组试验的观测值
        param theta_priors:上一轮迭代形成的 p_A 和 p_B
        """
        counts = {'A': {'H': 0, 'T': 0}, 'B': {'H': 0, 'T': 0}}
        theta_A = theta_priors[0]
        theta_B = theta_priors[1]
        
        #迭代计算每组试验的数据
        for observation in observations:
            len_observation = len(observation)
            num_heads = observation.sum()
            num_tails = len_observation-num_heads
            
            # binom.pmf(k,n,p)返回n次伯努利实验中结果为目标事件的概率,单次实验目标事件的概率为p,目标事件出现了k次
            P_A = binom.pmf(num_heads, len_observation, theta_A)
            P_B = binom.pmf(num_heads, len_observation, theta_B)
            # 计算出硬币A和硬币B各自出现的概率
            weight_A = P_A / (P_A + P_B)
            weight_B = P_B / (P_A + P_B)
            # 更新在当前硬币A和硬币B各自出现的概率下,硬币A和硬币B各自的正反面次数
            counts['A']['H'] += weight_A * num_heads
            counts['A']['T'] += weight_A * num_tails
            counts['B']['H'] += weight_B * num_heads
            counts['B']['T'] += weight_B * num_tails
    
        #重新估计新一轮的硬币A和硬币B正面向上的概率
        new_theta_A = counts['A']['H'] / (counts['A']['H'] + counts['A']['T'])
        new_theta_B = counts['B']['H'] / (counts['B']['H'] + counts['B']['T'])
        return [new_theta_A,new_theta_B]
    
    
    observations = np.array([[1,0,0,0,1,1,0,1,0,1],
                                [1,1,1,1,0,1,1,1,0,1],
                                [1,0,1,1,1,1,1,0,1,1],
                                [1,0,1,0,0,0,1,1,0,0],
                                [0,1,1,1,0,1,1,1,0,1]])
    
    prior = [0.6, 0.5] #设定初始的参数值
    iteration = 0
    iterations = 10000 #最多的迭代次数
    tol = 1e-6         #判断参数收敛的阈值
    while iteration < iterations:
        new_prior = single_iter(prior,observations)
        print(new_prior)
        delta_change = np.abs(prior[0] - new_prior[0])
        if delta_change < tol:
            break
        else:
            prior = new_prior
            iteration += 1
    
    print('迭代结束,总共迭代轮数{}'.format(iteration))
    print('最终估计的参数{}'.format(new_prior))
    
    """
    [0.683267379440028, 0.5794860533160178]
    ...
    [0.7222502854992598, 0.5554380899384829]
    迭代结束,总共迭代轮数36
    最终估计的参数[0.7222502854992598, 0.5554380899384829]
    """
    

    经过36次迭代,得到收敛的结果为: p A = 0.72225 , p B = 0.55543 p_{A}=0.72225,p_{B}=0.55543 pA=0.72225,pB=0.55543,由于问题较简单,过程容易理解,但是实际问题总是复杂的,最好能总结出一个统一形式的算法,处理这种类似 p t p^{t} pt p t + 1 p^{t+1} pt+1的迭代关系,所以人们提出了EM算法,它广泛应用于处理混合模型(包含隐变量的模型),后面的部分内容将会深入分析EM算法。

    展开全文
  • DSGE求解和模型参数估计的一些认识其实DSGE最难的地方不在于模型的optimality condition的推导,也不在于寻找Saddle-path。最难的还是在于参数估计,最大似然或者是贝叶斯估计。我下面一条一条地写出来一些认识,...
  • 参数估计方法 概率与统计: 概率:已知模型和参数,推数据结果出现的概率 统计:已知诸多结果,通过结果推概率分布(概率、参数、模型) 比如,我们现在要抛一个硬币,结果会是正面或者反面。我们可以把这个过程,...
  • 三、抽样与参数估计

    千次阅读 2021-01-29 22:04:29
    2、参数估计的方法有点估计和区间估计 区间估计是在点估计的基础上,给出总体参数的一个置信区间,并给出总体参数在这一区间的概率,实际应用区间估计 3、总体均值的区间由样本均值x-bar和估计误差两部分组成 ①当...
  • 文章目录一 参数估计二 最大似然估计2.1 参数分量2.2 基本原理2.3 高斯情况2.3.1 协方差矩阵Σ\SigmaΣ已知,而均值μ\muμ未知2.3.2 协方差矩阵Σ\SigmaΣ和均值μ\muμ都未知三 贝叶斯估计3.1 基本原理3.2 高斯...
  •  在实际应用中,多元正态分布中均值向量,和协差阵。通常是未知的,需由样本来估计,而参数估计方法很多,这里用最常见的最大似然估计法给出其估计量,并借助一元统计中学过的估计量性质指出这里给出的估计量也...
  • 描述性统计、参数估计和假设检验

    万次阅读 多人点赞 2021-04-03 01:15:43
    描述性统计分析 描述性统计所提取的统计的信息称为统计量,包括频数与频率,反映集中趋势的均值、中位数、众数和分位数,反映离散程度的极差、方差和标准差,反映分布形状(相对于正态分布)的偏度和峰度。...
  • 系统辨识最小二乘参数估计matlab.doc 《系统辩识与自适应控制》最小二乘参数估计摘要:最小二乘的一次性完成辨识算法(也称批处理算法),他的特点是直接利用已经获得的所有(一批)观测数据进行运算处理。这种算法在...
  • 卡尔曼滤波是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响,所以最优估计也可看作是滤波过程。 人话: 线性数学模型预测...
  • 问题描述 1. 最大似然估计 2. 贝叶斯参数估计 3. 顺序(sequential)贝叶斯学习
  • 本文系统阐述了ARCH类模型的基本理论,分析了ARCH类模型的基本性质特征,并着重探讨了这类模型的参数估计方法.极大似然估计方法是现阶段最广泛使用的参数估计方法.虽然有学者提出了BHHH算法和广义矩方法等一些较为...
  • 1引言生存数据分析的统计方法在生物医学和可靠性研究中,甚至在犯罪学、社会学、市场学以及健康保险领域的研究中,有重要的应用.但是,在生存数据的观测中常常由于动物的意外死亡、被调查者拒绝回答有关调查项目、在...
  • 因此,在没有风向角直接信息的情况下,如何从飞行试验中准确估计导弹的气动参数成为一个难题。 本文针对这一问题,提出了一种无需测风就能成功估计导弹气动参数的方法。重建过程在估计范围内进行处理,而不是在估计...
  • 《自回归模型AR参数估计》由会员分享,可在线阅读,更多相关《自回归模型AR参数估计(5页珍藏版)》请在人人文库网上搜索。1、自回归模型AR(p)的整体估计1自回归模型1.1模型aj,回归系数用 j(j 1,2, p)子样观测值 Xi,i ...
  • 目录: 全连接层的计算量和参数估计 激活函数的计算量估计 LSTM的计算量和参数估计 卷积层的计算量和参数估计 深度可分离卷积的计算量和参数估计 Batch Normalization的计算量和参数估计 其他层的计算量...
  • 极大似然估计(Maximum likelihood estimation, 简称MLE)是很常用的参数估计方法,极大似然原理的直观想法是,一个随机试验如有若干个可能的结果A,B,C,... ,若在一次试验中,结果A出现了,那么可以认为实验条件对...
  • 2010年2月吉林师范大学学报(自然科学版)l .1第1期Journal of Jilin Normal University (Natural Science Edition)Feb.2010收稿日期:2010201205...正态总体参数区间估计的M ATLAB 实现陈少云(四川建筑职业技术学院计...
  • 即随着样本量的增加,估计量的值收敛(概率)为基础参数的真实值,即期望值估计量可能与真实值有所不同。 下面的例子给出了一个有偏估计。假设我们参加一次抽奖,从一个抽奖盒中抽出不同颜色的球,一次一个。我们...
  • 但在实际中,我们观测到的信号往往是在示波器上的波形,此时该如何获得这些波形的数学表达式?本质上讲,实际信号中都会带有随机性,是没有确定的数学表达式的。但在某些情况下,我们是预先知道信号的类型的,比如...
  • 2010年2月吉林师范大学学报(自然科学版)l .1第1期Journal of Jilin Normal University (Natural Science Edition)Feb.2010收稿日期:2010-01-05...正态总体参数区间估计的MATLAB 实现陈少云(四川建筑职业技术学院计算...
  • 本发明属于电池管理领域,涉及一种电池等效模型参数在线辨识方法。背景技术:随着国家法规的介入以及能源环保意识的增强,大力发展以锂电池作为动力能源的汽车已经成为一种主流的节能减排解决方案。其中动力电池荷电...
  • 【判断题】在经济计量分析中,模型参数一旦被估计出来,就可直接运用于实际的计量经济分析。【判断题】面板数据是指时序数据与截面数据相结合的数据。【填空题】Python 表达式 4.5//2 的值为 _________。【填空题】(_)...
  • 第一部分:贝叶斯网基础 1.1 信息论基础 1.2 贝叶斯网基本概念 1.3 变量独立性的图论分析 第二部分:贝叶斯网推理 2.1 概率推理中的变量消元方法 2.2 团树传播算法 ...两种参数估计方法使用不同的思想,前者
  • 目录: 全连接层的计算量和参数估计 激活函数的计算量估计 LSTM的计算量和参数估计 卷积层的计算量和参数估计 深度可分离卷积的计算量和参数估计 Batch Normalization的计算量和参数估计 其他层的计算量...
  • 方向二是关于非参数化的人脸3D重建——摆脱对人脸3DMM参数化的依赖,直接通过输入一张人脸图像,估计出对应这张人脸图像的深度信息,从而获得3D几何效果,同时也考虑了一些多视角联合的非参数化重建问题。...
  • 一.总体和样本 1.总体 总体(population)是包含所研究的全部个体(数据)的集合,它通常由所研究的一些个体组成,如由多个...而实际上我们在进行统计学研究的时候,实际就是在用样本的统计量来估计总体的参数的过程。
  • 2010年2月第1期吉林师范大学... 2010正态总体参数区间估计的MATLAB 实现陈少云(四川建筑职业技术学院计算机系, 四川德阳618000)摘 要:本文介绍了MATLAB 软件的normfit() 函数在求解正态总体参数的区间估计中的长处...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 118,956
精华内容 47,582
关键字:

参数估计实际应用