精华内容
下载资源
问答
  • 后验分析作用
    千次阅读
    2021-01-17 02:32:48

    但不知道质量一致性检验是什么意思,以及他和型式检验的区别。

    通常,产品生产时在工艺不变,原材料基本一致的情况下,有些质量指标是基本不变的。因此,在产品生产质量控制中,可以对其中有些指标不做监控。型式检验一般是对.

    层次分析法中一致性检验指标ci不可以小于0,cr小于0.1判断矩阵才满足一致性检验,有时候可以等于0,但不能为负。若为负的话,说明数值错了。

    请把原因解释的尽量详细一些,谢谢~~~

    首先要知道,判断矩阵是各层次各因素之间进行两两比较相对重要性而得来的。那么. 但要求判断矩阵具有大体的一致性,所以需要进行一致性检验。这是我的理解~

    带有一致性检查的同步(也可以简称为一致性检查)是 DPM 用来检查和更正受保护数据源及其副本之间的不一致性的过程。作为同步过程的一部分,一致性检查执行逐个.

    甲从50个样品中用自己的方法检验出10个合格品,乙从同样这50个样品中用.

    一致性检验是为了检验各元素重要度之间的协调性,避免出现A比B重要,B比C重要,而C又比A重要这样的矛盾情况出现。1、一致性是指事务的基本特征或特性相同,其.

    判断矩阵通常的是不一致的,但是为了能用它的对应于最大特征根的特征向量作为被比较因素权向量,其不一致程度应在容许的范围内.

    层次分析法是指将与决策总是有关的元素分解成目标、准则、方案等层次,在此基础. 必须对判断矩阵是否可接受进行鉴别,这就是一致性检验的内涵。

    %以下是一致性检验CI=(t-n)/(n-1); CI=(t-n)/(n-1); RI=[0 0 0.52 0.89 1.12 1.26 。

    一致性检验能不能通过和RI矩阵有关系的,你这个检验要求更严格一些所以通zd过不了。我这有推荐的RI矩阵,你可以用我的这个函数试试,应该没问题。或者你自己更回.

    kappa运行参数是什么数据类型

    在诊断试验中,研究者希望考察不同诊断方法在诊断结果上是否具有一致性,比如:不同医务工作者对同一组病人的诊断结果是否一致、不同的诊断方法对同一个样本或研.

    检验一致性:(1)计算一致性指标C.I.=(最大特征值-n)/n-1 ; (2)找出相应的平均随机一致性指标R.I.; (3)计算一致性比例C.R.=C.I./R.I.;当C.R.

    期待看到有用的回答!

    我印象中好像是要用卡方的同质性还是一致性检验,但是又记得那是a*b列联。

    你的目的是比较两组被试的性别、受教育程度、年龄是否一来致吧,那就用普通的卡方分析就可以了,也自就是比较两组的性别、受教育程度、年龄是否存在差异,如果不.

    我不太清楚为什么要做一致性检验,请大大们解释一下,谢谢。

    意义:一致性检验是为了检验各元素重要度之间的协调性,避免出现A比B重要,B比C重要,而C又比A重要,这样的矛盾情况出现。在确定各层次各因素之间的权重时,.

    有多项检测检验点合格率最小的,如有3项检验点合格率分别为90%,80%,70%,其:逐项检验点合格率即满足大于70%的条件,且不合格点不集中。如有1项合格率小于70.

    确实是应该使用Kappa一致性检验评价结果的一致性。任何版本的SPSS都可以做Kappa一致性检验(被包含在卡方检验程序中),步骤跟做卡方检验基本相同,只需在卡.

    AHP模型有四层的时候,怎样进行总排序一致性检验?谢谢各位大虾

    无论多少层,都是从上到下,一层一层进行层次总排序和检验。您可以登录www.ahptool.net查看关于AHP的说明。

    认为判断矩阵中的不一致是由强矛盾判百断、弱矛盾判断、标度离散性、标度有限性共同作用的结果度.论文关于判断矩阵不一致性原因的分析及对一致性调整的解知决方案.

    请问一下矩阵一致性检验具体的计算步骤方法是什么?题目如图 对于计算步骤。

    如果是用spssau分析的话,结果会直接得到一致性检验的结果。具体可以查看spssau帮助手册:层次分析法-SPSSAU

    可以换一种标度方法,不一定要用1-9,可以用e的0/5次方到e的8/5次方标度方法。这个标度方法的一致性检验容易通过。可以下载yaahp自动计算。

    一致性检验是为了检验各元素重要度之间的协调性,避免出现A比B重要,B比C重要,而C又比A重要这样的矛盾情况出现

    更多相关内容
  • 这期推送简单谈一下我本人对经济学实证论文写作排除干扰性因素、机制检验和异质性分析的一些不甚成熟的理解。 本文首发于微信公众号DMETP,欢迎关注! 论文的实证部分一般要回答两个问题,一是核心解释变量x是否...

    这期推送简单谈一下我本人对经济学实证论文写作排除干扰性因素、机制检验和异质性分析的一些不甚成熟的理解

    本文首发于微信公众号DMETP,欢迎关注!

    论文的实证部分一般要回答两个问题,一是核心解释变量x是否影响被解释变量y,二是具体的影响机制,即x如何影响y

    为了回答第一个问题,论文在基准回归之后一般会设计一系列的识别条件检验和稳健性检验,包括对模型的特定假设进行检验(如DID的平行趋势检验),对模型可能存在的因果推断问题(内生性)进行讨论、检验和缓解,排除可能影响研究结论的其他干扰性因素,对x影响y的预期效应和滞后效应进行讨论等一系列的稳健性检验。某些情况下,对基准回归结果的识别条件检验和稳健性检验甚至需要占据实证部分篇幅的一半以上。

    如此大费周章的原因或者说目的在于,一方面,回答好x是否影响y这个问题是进一步分析影响机制的基础,因此确保xy的影响稳健可信是实证设计的基本要求;另一方面,我们要赶在读者或审稿人提出“灵魂拷问”之前把论文中可能存在的或大或小的问题都给考虑到,想读者之想,思审稿人之思,虽然不管我们怎么绞尽脑汁去发现和填补这些漏洞,审稿人总是能够提出一些“奇奇怪怪”的问题,但前期做足工作可以把这些问题被问到的可能性降到最低。

    对第二个问题进行回答可以增加论文的科学性、故事性和丰满度。xy存在一定的影响,并且这种影响是稳健的,在此基础上我们还想知道xy的影响究竟是通过什么渠道实现的,即探讨“存在性”背后的“过程性”。对客观影响机制的探讨本质上就是对现实经济运行规律的一种总结与提炼,体现了社会科学研究的“科学”之所在。

    如果怀疑变量mxy作用背后的机制,那么论文的理论分析部分就要对这一机制的基本逻辑进行较为清晰的分析说明,然后在实证部分对这一机制进行检验。机制检验没有一个固定的范式,一般需要结合论文的研究内容、理论、模型,甚至是所使用的数据进行设计,但是经济学研究的机制检验应尽量避免使用中介效应模型,原因在于(引自我在知乎的回答):

    相比于管理学、心理学等学科领域,经济学更强调变量之间因果关系的推断,而恰恰由于中介效应模型没有考虑到中介变量可能存在的内生性,因此该模型可能符合管理学的研究范式,但不符合经济学研究范式。

    中介效应模型可能存在的内生性在于:

    • 第一,在中介变量 M M M本身就是一个内生变量的情况下,还要做 M M M的IV-2SLS才能说明问题,而大多数文章都没有这一步;而且,就算做到了这一步,由于有效工具变量的稀缺性及论文篇幅(非学位论文)的限制,这一步也是非必要的。
    • 第二,在中介效应模型第三步回归中,如果中介变量显著,恰恰说明第一阶段回归的残差中遗漏了一个重要变量,这意味着即使在使用IV对基准模型进行了稳健性检验的情况下,内生性还是存在的,基准回归结果不可信。

    参考连玉君老师的回答,中介效应模型存在的一个比较现实的问题是:我们大多数都是在和一个内生变量作斗争,而中介效应要求我们不仅要克服 X X X的内生性问题还要克服 M M M的内生性问题,着实有些苛刻。

    一、排除干扰性因素

    排除干扰性因素是实证论文稳健性检验部分的基本步骤之一。

    如,陈登科(2020)在研究中国加入WTO后贸易壁垒下降是否带来环境污染的改善时,怀疑加入WTO同时期中国实施的其他政策,特别是国有企业改制政策与鼓励外资进入政策,以及环境规制政策(如两控区、“十一五”污染控制政策)可能对结果造成潜在干扰。为排除这些干扰性因素,作者在回归方程中进一步加入国有经济比重与外贸经济比重来控制前两项政策的影响;对于环境规制政策,作者认为中国的环境规制政策大多是以行政区划为单位来实施的,因此在回归模型中进一步加入地区-年份固定效应来控制环境规制政策对结果的潜在影响。

    如,江静琳等(2018)在研究农村成长经历对家庭股票市场参与的影响时,认为影响人类行为的因素十分复杂,因此怀疑农村成长经历对股票市场参与的作用可能受到社会互动、信任水平、金融知识、家庭社会经济地位和风险态度等因素的干扰。为了排除掉这些因素,作者做了一系列的稳健性检验,包括(以社会互动为例):

    • 首先,在基准模型中直接添入社会互动水平的代理变量以控制社会互动这一因素对结果的干扰。
    • 其次,利用反证法。假设社会互动确实对结果产生了较为严重的干扰,在此假设成立的条件下,有两条推论:一是社会互动水平高的家庭购买股票的行为不受农村成长经历的影响;二是社会互动水平的高低会影响农村成长经历对股票市场参与的作用的大小。如果这两条推论都不成立,也就可以排除掉干扰性因素对研究结果的干扰,据此设计了两段假设检验:一是按照社会互动水平高低将样本分为两组,进行分组回归;二是在基准模型中加入社会互动水平与农村成长经历的交叉项。这两个稳健性检验本质上为异质性分析。

    再如,陆菁等(2021)在研究绿色信贷政策的微观效应时,怀疑2008年国际金融危机以及同时期的环境规制政策(如清洁生产标准、“十一五”污染控制政策、区域限批政策等)可能对研究结论构成潜在干扰。对于前者,作者在基准模型的基础上额外控制了代表企业投融资需求的两个代理变量;对于后者,作者引入了若干虚拟变量并剔除了相关样本(具体请看原文)。

    [2] 陈登科. 贸易壁垒下降与环境污染改善——来自中国企业污染数据的新证据[J]. 经济研究, 2020, 55(12): 98-114.

    [3] 江静琳, 王正位, 廖理. 农村成长经历和股票市场参与[J]. 经济研究, 2018, 53(08): 84-99.

    [4] 陆菁, 鄢云, 王韬璇. 绿色信贷政策的微观效应研究——基于技术创新与资源再配置的视角[J]. 中国工业经济, 2021(01): 174-192.

    借鉴以上三篇文献,下面简单梳理一下排除干扰性因素的逻辑与实证思路。

    由于被解释变量y的影响因素众多,基准模型中的控制变量也仅仅是根据一般常识与理论(即已有文献的做法)引入的,如果怀疑某个不同寻常的意外因素zy存在一定程度的影响,即直觉上认为zy的不可忽视的重要影响因素,并且在考虑z的情况下xy的作用可能改变,那么为了检验结论的稳健性,可以把z当作控制变量引入基准模型中,如果核心解释变量x的系数与基准回归结果大体保持一致,就说明排除了z对研究结论的干扰。

    此外,还可以使用反证法,即假设z对研究结论确实构成不可忽视的干扰,那么就存在如下推论:随着z的取值变化,xy的影响存在异质性,而我们的检验逻辑就是证明该推论不成立。为了证明这个推论不成立,有以下两种实证思路:一是按照z的取值大小对样本进行分组,进行分组检验,如果在不同分组下x的系数基本不变且与基准回归结果大体保持一致,就说明该推论不成立;二是使用调节效应模型,调节项为xz的交互项,且两个单独项不可忽视,如果调节效应模型中的交互项不显著(单独项x是否与基准回归结果保持一致,甚至x显著与否都不重要,因为在调节模型中x的系数含义不同),就说明该推论不成立。

    二、机制检验

    机制检验没有统一范式,一般根据研究内容而定,以佐证论文所讲的故事,比较常用的实证设计包括(引自我在知乎的回答):

    • 调节效应模型,研究在 X X X Y Y Y的影响过程中,调节变量 M M M的调节作用,即在基准模型的基础上,做交互项 X M XM XM Y Y Y的影响(本质上也是异质性分析)。

    • 分组回归,即传统意义上的异质性分析。

    • 在基准模型的基础上,检验 X X X对机制变量 M M M的影响,然后根据已有的文献讨论 M M M Y Y Y的影响。

    戴鹏毅等(2021)在研究“沪股通”对企业全要素生产率的作用机制时,认为提高股价信息含量和信息传递效率、矫正股票错误定价和改善信息披露质量是沪股通提升企业TFP的主要机制。在机制检验部分,首先实证检验了“沪股通”开通对这几个机制变量的影响,然后利用已有的权威文献在理论上讨论机制变量对企业全要素生产率的作用。

    陈登科(2020)的机制检验思路与之类似,但在逻辑上与其自身的研究内容紧密联系。贸易自由化显著降低了企业 S O 2 SO_2 SO2的排放强度,而 S O 2 SO_2 SO2的排放强度等于 S O 2 SO_2 SO2排放量除以工业总产值,为了讨论企业 S O 2 SO_2 SO2的排放强度的降低究竟源于 S O 2 SO_2 SO2排放量的减少还是工业总产值的提高,作者分别用贸易自由化分别对企业 S O 2 SO_2 SO2排放量和工业总产值做回归,结果显示贸易自由化主要通过降低企业 S O 2 SO_2 SO2排放量而非提升产出的方式来降低 S O 2 SO_2 SO2排放强度。在这之后,一个新的疑问是:企业 S O 2 SO_2 SO2排放量的下降是由生产过程中的 S O 2 SO_2 SO2产生量下降引起,还是末端处理过程中的 S O 2 SO_2 SO2处理量增加引起?为了回答该问题,作者用贸易自由化分别对 S O 2 SO_2 SO2产生量和 S O 2 SO_2 SO2去除量做回归,结果显示贸易自由化通过降低 S O 2 SO_2 SO2产生量,而非增加 S O 2 SO_2 SO2去除量来降低 S O 2 SO_2 SO2排放。

    这样的机制检验思路在逻辑上环环相扣,因此论文的故事性极强。除此之外,论文还对煤炭使用及技术进步这两个具体渠道分别进行了检验。

    [5] 戴鹏毅, 杨胜刚, 袁礼. 资本市场开放与企业全要素生产率[J]. 世界经济, 2021, 44(08): 154-178.

    三、异质性分析

    异质性分析一般可以分为两种:

    • 一是根据关键变量对样本进行分组,并进行分组回归。
    • 二是关键变量与核心解释变量交乘。

    这两种方法的主要区别在于:

    • 第一,分组回归假设所有变量的估计系数在不同组别间存在一定的差异,而交互项回归则仅假设除交互项外,其他变量(包括交互项的两个单独项及控制变量)的估计系数不存在组间差异。
    • 第二,分组回归的系数大小不可直接比较,因为系数的置信区间可能存在部分重叠,因此分组回归需进行组间系数差异检验
    • 第三,交互项回归的关键变量可以是连续变量。

    事实上,异质性分析可以作为机制检验的一种辅助性手段,用以进一步增强论文的故事性。

    如,万攀兵等(2021)在研究清洁生产行业标准对企业绿色转型时,在验证技术改造这一具体机制之后,认为技术改造受制于企业的技术改造需求和融资能力,基本逻辑如下:

    • 高污染、生产率低、资本更新速度慢的制造业企业由于清洁生产的合规程度较低,在政策影响下面临更为迫切的技术改造需求,技术改造程度更大,从而更容易实现绿色转型。
    • 融资约束压力小的制造业企业由于更易于实施技术改造,从而预期获得更好的绿色转型效果。

    依据以上逻辑,作者在基准模型中分别加入技术改造需求和融资能力与双重差分的交乘项(即构建三重差分模型DDD)来捕捉可能的异质性效果。

    [7] 万攀兵, 杨冕, 陈林. 环境技术标准何以影响中国制造业绿色转型——基于技术改造的视角[J]. 中国工业经济, 2021(09): 118-136.

    展开全文
  • 目录 1.概率模型和非概率模型 1.1 非概率模型 1.1 概率模型 2 频率学派和贝叶斯学派 2.1 频率学派 ...3.3 极大似然估计法(Maximum Likelihood Estimation,MLE) ...极大似然估计和最大后验估计都.

    目录

    1.前言

    2 频率学派和贝叶斯学派

    2.1 频率学派

    2.2 贝叶斯学派

    3. 极大似然估计

    3.1 概率和似然

     3.2 极大似然原理及求解

     3.3 例题

    4. 最大后验估计

    4.1 最大后验估计原理

    5. 参考


    1.前言

    极大似然估计和最大后验估计都是参数的估计方法,一定要记住,它的目标是对模型的参数\LARGE \theta进行估计

    为什么一定要强调是模型参数的估计方法?

    因为实际上(有监督的)机器学习的方法在训练和测试上完成的是两件事,这两件事是先后关系,也是有区分的。

    第一件事(训练阶段):参数估计。这是一个是统计过程,根据训练数据求得模型的参数。这一阶段模型的参数\LARGE \theta是未知的,而训练的样本\LARGE (X,Y)是已知的,其中\LARGE X表示输入的训练样本、\LARGE Y表示类别(或者说概率,因此知道概率就可以进行类别划分),目标是求解\LARGE \theta,因此称为参数估计。

    第二件事(测试、推理阶段):预测,也称为概率预测。根据已经求得的模型参数\LARGE \theta来进行样本的预测。最常见的逻辑回归就是根据输入样本,来求得样本类别。在这个阶段模型的参数\LARGE \theta和输入的样本\LARGE X是已知的,而样本的类别\LARGE Y是未知的,是一个求概率的过程。

    了解在不同阶段中\LARGE \theta\LARGE X\LARGE Y的已知、未知情况,对于我们理解后面极大似然估计和最大后验估计非常有用。具体的情况将在后面详细阐述。

    2 频率学派和贝叶斯学派

    为了更通俗易懂的说明极大似然估计和最大后验估计,我们我们首先定义两个参数:

    • \LARGE \theta:表示事件发生的概率,或者产生某一事件的重要因素,是导致事件发生的原因。
    • \LARGE x或者\LARGE X:是一个随机变量,表示某一事件发生的结果,或者说我们多次实验观测到的结果。

    2.1 频率学派

    频率学派认为, 一个事件发生的概率,也就是前面我们声明的参数\LARGE \theta,虽然是未知的, 但是却是一个客观存在的固定值

    如何理解这句话呢?

    就是说事件概率是一个确定的值,当进行大量实验时,该事件出现的频率就会趋于一个稳定的值,这个值就是事件的概率。频率学派的代表算法就是极大似然估计MLE。

    这里举两个极大似然方法最经典的例子:

    例子1:抛硬币。在抛硬币的事件中,正面向上的概率P就是参数\LARGE \theta,现在我们为了求这个概率p,抛10次硬币,结果10次正面向上,那么根据极大似然方法,P就为1.0。

    例子2:简单的抓球游戏。假如一个盒子里面有红黑共10个球,每次有放回的取出,取了10次,结果为7次黑球,3次红球,问黑球的个数。这个黑球的个数就是参数\LARGE \theta ,基于\LARGE \theta的取值,我们多次拿取得到了7次黑球,3次红球的观测结果,即\LARGE X。根据极大似然方法,黑球的数量为10个。

    2.2 贝叶斯学派

    贝叶斯学派则认为参数\LARGE \theta也是一个随机变量, 它自身也服从一个先验分布,然后基于观测结果\LARGE X来计算后验分布, 最后通过后验概率的最大化来确定参数自身的分布。

    贝叶斯派的代表算法就是最大后验概率估计MAP,这种方法在先验假设比较靠谱的情况下效果显著,随着数据量的增加,先验假设对于模型参数的主导作用会逐渐削弱,相反真实的数据样例会大大占据有利地位。极端情况下,比如把先验假设去掉,或者假设先验满足均匀分布的话,那她和极大似然估计就如出一辙了。

    可能有些人就会迷糊,逻辑回归就是假设服从伯努利分布,为什么采用的是概率学派的极大似然估计来求解呢?
    逻辑回归是分类的结果Y服从伯努利分布,即认为类别1出现的概率为P,相应地,类别0出现的概率就为1-P,即认为这个P的值是客观存在的,因此可以根据实验结果利用极大似然估计来求解。而贝叶斯学派认为的是概率P本身也是随机变量,服从一定的分布,而非前面的Y。

    3. 极大似然估计

    3.1 概率和似然

    在讲具体的极大似然估计前,首先来区分一下概率和似然。

    似然(likelihood)这个词其实和概率(probability)是差不多的意思,Colins字典这么解释:The likelihood of something happening is how likely it is to happen. 你把likelihood换成probability,这解释也读得通。但是在统计里面,似然函数和概率函数却是两个不同的概念(其实也很相近就是了)。

    在极大似然估计相关博文中,出现频率最高的就是这个公式:

    公式的输入分别为参数\LARGE \theta以及结果\LARGE x

    根据\LARGE \theta\LARGE x的已知或者未知的情况,该公式有两个不同的意义:

    • \LARGE \theta是已知的并且保持不变,\LARGE x是变量时,该公式描述的是在参数确定的情况下,某一事件(结果)\LARGE x出现的概率,是概率函数
    • \LARGE \theta是变量,\LARGE x是已知的并且保持不变,该公式描述的是事件(结果)在不同\LARGE \theta下出现的概率,是似然函数在后面极大似然估计中,用到的是就是似然函数。在似然的意义下,还可以写成:,即用“;”代替“|”。一般情况下为了特别的区分似然函数和概率函数,都会采用后面的写法。

     3.2 极大似然原理及求解

    最大似然估计的目的就是:利用已知的数据分布\LARGE x,反推出什么样的参数\LARGE \theta才能使我们目前观测到结果出现的概率最大。

    根据我们3.1所述,很明显就要让似然函数最大。

    这里需要解释一下为什么在2.1中我们说极大似然估计法的前提是认为参数\LARGE \theta是一个客观存在的固定值,而在3.1又说\LARGE \theta是一个变量?

    这两种说法实际上是不冲突的。因此极大似然的过程是求解\LARGE \theta的过程,虽然我们认为\LARGE \theta是固定的,但是我们还不知道它具体的取值。可以理解为,我们需要一次次输入\LARGE x来计算\LARGE \theta,只有使结果概率最大的\LARGE \theta才是最终我们需要的。在这种情况下,我们每一次计算用的都是相同的\LARGE x,即\LARGE x是已知并且保持不变,每一次计算的\LARGE \theta都不同,是变量。

    这里给出极大似然估计法在离散型和连续情况下的定义。因为我们需要每一个样本对应的似然函数都最大,因此需要将它们相乘取最大。

    求解的步骤如下:

     

     3.3 例题

    现在有一个黑箱子里面有标有1或2的球共100个,现在从中有放回的抽取10个球,结果为{1,2,2,2,1,2,1,1,2,2},估计标有1的球在黑箱子里面有多少个。

    问题的本质在于估计标号为1的球的个数,设其个数为\LARGE \theta个,那么选中标号1的球的概率 p(x=1) = \LARGE \theta/100,而实验结果我们可以得到:

                                                                                                            P = p^{4} *(1-p)^{6}

    之后对P取对数:

                                                                                              ln(p)= 4ln(p) + 6ln(1-p) 

     为了使对数值最大,求导求驻点:

                                                                                              \frac{\partial l}{\partial p} = \frac{4}{p} - \frac{6}{1-p} = \frac{4-10p}{p(1-p)}

    算出 p = 0.4,即 \LARGE \theta/100 = 0.4,那么\LARGE \theta=40

    4. 最大后验估计

    4.1 最大后验估计原理

    仍然以我们2.1举的抛硬币的例,抛一枚硬币10次,有10次正面朝上,0次反面朝上。问正面朝上的概率p。在频率学派来看,利用极大似然估计可以得到 p= 1.0。但是很显然,一般情况下硬币都是均匀的。可以看到,当缺乏数据时极大似然估计可能会产生严重的偏差。

    最大后验估计就可以在一定程度上解决这样的问题。

    最大后验估计依然是根据已知样本\LARGE x,通过调整模型参数\LARGE \theta使得模型能够产生该数据样本的概率最大,只不过对于参数有了一个先验假设,即模型参数可能满足某种分布,不再一味地依赖数据样例(万一数据量少或者数据不靠谱呢)。

    可以看到,最大后验估计认为\LARGE \theta也是是一个随机变量,即\LARGE \theta也具有某种分布,称为先验分布,记为。求解时除了要考虑似然函数之外,还要考虑的先验分布,认为使取最大值的才是最好的,此时要最大化的函数变为:

    由于的先验分布\LARGE P(X)是固定的(可通过分析数据获得,其实我们也不关心\LARGE X的分布,我们关心的是\LARGE \theta),因此最大化函数可变为:

    因此最终最大化,是参数\LARGE \theta的后验分布。

    如何理解\LARGE \theta的后验分布?

    在博文后验概率、全概率公式以及贝叶斯公式中,其中讲到由果求因就是后验概率。在这里我们细想一个例子: 抓球实验,因为箱子的黑球和红球的数量(\LARGE \theta)不同,因此我们才会在那么多次有放回的抽取的中得到不同的结果\LARGE X。也就是\LARGE \theta是产生我们这样一系列观测结果\LARGE X的因,从这个角度来看确实是后验概率。

    最大后验概率估计的公式表示如下:

     从上面公式可以看出,p(x|\theta )是似然函数,而p(\theta )是先验概率。对其取对数:

    通过MAP最终的式子不难看出,MAP就是多个作为因子的先验概率p(\theta )。这个p(\theta )可以是任何的概率分布,比如高斯分布。 

    5. 逻辑回归和极大似然

    到目前为止,极大似然和最大后验估计的原理都已经讲的非常明确了。

    • 极大似然估计:使似然函数最大,即最大化。由于参数\LARGE \theta是是产生这样观测结果\LARGE x的原因,因此可以简单的看成是:P(果|因)
    • 最大后验估计:使\LARGE \theta的后验概率最大,即最大化,等价于最大化似然函数乘以先验概率。后验概率可以看成是由果索因:P(因|果)

    上述情况只涉及到简单的对参数进行估计,而在实际中我们除了完成参数估计,还希望可以对未知样本进行预测。

    现在我们来看一个机器学习的典型模型——逻辑回归,公式如下。在这里\LARGE x并非前面所述的观测结果,而是输入的样本,\LARGE \theta表示逻辑回归的参数,\LARGE y表示样本的类别。

    由于逻辑回归是一个二分类模型,因此对应的判别为类别0的概率就为:

    进一步进行统一:

    之后通过极大似然的方法进行参数估计:

    这一切看起来都太丝滑了,似乎没有任何问题。但是很多博客中都将称为给定样本\LARGE x,模型判别为为类别1的后验概率。既然是后验概率,那么对应的似然函数应该\LARGE P(x|y)啊,那怎么就直接对构建似然函数了呢?

    我们从两个方面来说明一下:

    第一个方面:在概率模型的讲述中,很多都将称为是后验概率,难道这么称呼有错吗?当然没有,只不过他们都是从样本预测的角度来说明的,我们上面的公式也一样。在预测阶段,输入样本\LARGE x,经过逻辑回归后得到样本的特征,此时样本的特征是结果,根据特征来判断样本属于哪个类别,是由果索因,因此可以看成是后验概率。

    有些人可能会认为我们已知样本了特征,然后根据这些特征来求得样本的类别,是由因索果。

    这样理解是搞错了特征,类别的因果关系。因为样本是客观存在的,它不会因为我们的观测方式(特征提取的方法)而改变,各类算法提取出的特征只是样本本质的体现。
    因此实际上,样本的类别,是本质,是因,正因为有了这样的因,我们通过不同的观测(特征提取算法)才会得到不同的特征,即特征只是样本的在不同维度下体现,是果。

    第二个方面:我引用博客的一段话:

    个人认为用“因”“果”描述先验后验,不太合适。英文将先验概率P(x)描述为evidence,evidence有显性的意思在里面,如果用“显示的”“隐藏的”来描述,看是不是能顺畅点。

    似然:P(显|隐)

    后验:P(隐|显)

    这也就是我们前言所讲的,真的铺垫了很久。在逻辑回归参数估计阶段,我们输入样本\LARGE x和对应的类别\LARGE y,这时候样本\LARGE x和对应的类别\LARGE y 是已知的,是“显”,而模型的参数\LARGE \theta是未知的,是“隐”。因此这么来看,似然函数不是,也不是\LARGE P(x|y),而是\LARGE P((x,y)|\theta )。但是这个式子中\LARGE P(x,y)往往表示\LARGE x\LARGE y的联合概率分布,是不准确的,因此准确来说似然函数是\LARGE P((y|x)|\theta )。然后我们再来看一下前面似然函数的另一个写法:将’|‘变为';',因此\LARGE P((y|x)|\theta )还可以写为\LARGE P((y|x);\theta),进一步写为:\LARGE P(y|x;\theta),这也是很多博客在推导逻辑回归的极大似然函数所用到的写法。

     

    5. 参考

    监督学习的分类:判别模型与生成模型,概率模型与非概率模型、参数模型与非参数模型

    先验概率、后验概率、似然函数与机器学习中概率模型(如逻辑回归)的关系理解

    最大似然估计,最大后验估计,贝叶斯估计联系与区别

    极大似然估计与最大后验概率估计

    最大似然估计+最大后验估计+LR

    极大似然估计的理解与应用

    极大似然估计详解

    极大似然估计

    展开全文
  • 方差分析中的多因子交互作用

    万次阅读 2019-06-06 19:40:26
    多因子方差分析的因子交互作用可以这样理解,比如经常吃的消炎药头孢,通常会认为服用三片要比服用一片效果好,但经过实际验证测试发现,男女之间用药效果并不相同。对于男性而言,吃三片的效果好些,而对女性而言,...

           多因子方差分析的因子交互作用可以这样理解,比如经常吃的消炎药头孢,通常会认为服用三片要比服用一片效果好,但经过实际验证测试发现,男女之间用药效果并不相同。对于男性而言,吃三片的效果好些,而对女性而言,吃一片效果要更好。这种情况下,头炮剂量和性别之间便产生了了交互作用

           多因子方差分析中,当交互作用存在时,单纯去研究某个因素的作用已没有意义,需要分别探讨这个变量在另一个因素不同水平上的作用模式。

     

                                                                    有无交互项对方差分析构成的影响

           多因子方差分析可以理解为下图的形式,即模型中,工资是由基准值、受教育程度、性别、受教育程度与性别的交互作用 以及未解释的变量 等几部分构成,这其中便涉及到了多因子交互作用的问题。

            在双因素方差分析模型中,如果模型没有交互项的概念,则模型可以简化理解为:工资=教育程度+性别;如果模型带有交互项的概念,则模型可以简化理解为工资=教育程度+性别+教育程度*性别

                                                                                     是否设置交互项

           多因子方差分析中,是否需要设置交互项呢?

           在控制实验中,方差分析是否含有交互项是很明确的,如果两个因素对实验结果的影响是相互独立的,那么只需考虑主效应,使用交互的方差分析;如果两因素对实验结果的影响非独立,那么就应该使用交互项的方差分析。换个角度说,或者如果模型中只有研究变量和控制变量,此时不需要交互项,如果模型中除了研究变量和控制变量,还有调节变量,那么就需要交互项随机区组设计中,除了主要研究的变量以外,其他因素都是控制变量,只会起到降低方差分量的作用。

           在回顾性实验研究中,由于事前无法对变量进行有效的控制,而且各因素对结果的影响程度也缺乏理论体系的支撑,即变量间的交互行为没有理论判断依据,这时可以只通过检验交互项是否显著来决定模型中是否纳入交互项。

           其实,除非有理论认为交互项没有意义,否则一般都可以通过统计检验交互项的显著性去判断并决定要不要纳入交互项。

     

                                                                        方差分析中解释变量的类型

           方差分析中解释变量有研究变量、控制变量、 调节变量以及中介变量 等几种类型:

    • 研究变量:只在解释类模型中出现,是模型中最为关键的变量,例如营销场景中的销售量这个变量即为研究变量;
    • 控制变量除了研究变量外,任何对Y有影响的变量均为控制变量,这里的控制变量对于研究变量没有调节作用,控制变量只起到承担方差分量的作用。例如教育程度和年龄对收入都有影响,年龄和教育程度可能是相关的,但是年龄的变化对教育程度、对收入不存在影响;
    • 调节变量:举个例子来说明,例如公司福利费的投入对员工忠诚度的改善情况受到员工工资收入高低的影响,那么员工工资收入就是调节变量;
    • 中介变量:如果某个变量通过另一个变量来影响Y,那么另一个变量承担的角色就是中介变量。例如餐厅服务水平的提升能带来客户的满意度,客户的满意度能带来就餐的忠诚度,那么客户满意度就是中介变量。

     

                                                                             因子交互作用的等级

            假如有四个因子,则交互作用可以分为三个等级,一般说的交互作用指的是两两交互,其实两两交互已经不太好解释了,更高层级的交互作用更加难以解释,所以实际场景中多级交互作用基本不会见到。一般因子的交互状态为:无交互作用、正向交互作用以及反向交互作用几种类型。

    我的公众号:Data Analyst

    个人网站:https://www.datanalyst.net/

    展开全文
  • 如何检验有调节的中介作用

    千次阅读 2020-10-20 16:46:57
    接着在进一步分析条件中介作用,即在另外一个调节变量Z取不同水平时(通常分为3个水平,低水平,平均水平,高水平),中介作用的幅度(也称条件间接效应)情况如何。 SPSSAU按照Process程序编制的模型编号进行,...
  • 如何用分组回归检验调节作用

    千次阅读 2020-08-13 10:46:26
    当调节变量为定类数据,自变量为定量数据,就选择用分组回归的方法进行分析。与分层回归相比,分组回归的结果含义更明确,也更容易解释。 一、研究背景 当前有一项研究,收集了200份调查问卷,用于研究工作...
  • 作于: 2020-12-4 修改于: 2020-12-11 14:47
  • 作于: 2020-12-4 1:51
  • 现在老板想考察不同机型以及不同操作工人对产品的影响,为此他简单设计了一个小实验,让甲、乙、丙、丁四个工人操作机器Ⅰ、Ⅱ、Ⅲ各三天,其产品产量如下表所示,试分析工人和机器对产品产量是否有显著影响?...
  • 极验6.0.9破解(一) 之极验分析 开篇寄语 首先,开篇之前我先说点废话吧,本人平时在公司上班,工作也挺忙的,并没有太多时间静下心来调试js,特别是极验这种,太费心费力了 ,当然也有很大原因是我太菜,哈哈 ...
  • MAP优化的就是一个后验概率,即给定了观测值以后使后验概率最大: KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ {\hat {\theta … 从上面公式可以看出, p ( x ...
  • SPSS中方差分析(F检验)的作用以及使用前提

    万次阅读 多人点赞 2019-05-12 23:31:07
    SPSS中方差分析(F检验)的作用以及使用前提 一、T检验 1.1 T检验的作用 T检验是用T分布理论来推论差异发生的概率,从而比较两组平均数的差异是否显著。 注:只能比较两组平均数,随着检验次数的增加,检验水准不再...
  • 研究中介作用的目的是在已知X和Y关系的基础上,探索产生这个关系的内部作用机制。在这个过程中可以把原有的关于同一现象的研究联系在一起,把原来用来解释相似现象的理论整合起来,而使得已有的理论更为系统。中介...
  • 前仿仿与形式验证

    万次阅读 多人点赞 2020-01-09 20:54:10
    Modelsim仿真方法 前仿真和仿真的区别 一定要看!!!! https://www.cr173.com/html/46179_1.html 前仿针对RTL的功能验证, 仿针对是综合(加入了约束,单元延时等信息)的网标文件, 形式验证,...
  • 富集分析

    万次阅读 2019-11-14 11:19:52
    说到富集分析,做生信的童鞋立刻就会想到GO/KEGG Enrichment、GSEA这两大类方法。但这只是富集分析的两种常见形式,富集分析的概念要更广。GO/KEGG Enrichment 这一类富集分析是最简单的富集方法,只关心基因集的...
  • (单因素方差分析主要对因素的主效应进行分析,而二因素及多因素方差分析除了多组效应分析外,还可对因素间的交互作用进行分析分析交互作用时,观测值必须有重复) 3.R实例 R中的函数aov()用于方差分析的计算,其...
  • 仅仅谈论数据分析作用实际上并不重要,因此在谈论该作用之前,我们首先要考虑受众,打个比方:对于个人而言,由于身体感应设备的原因,让我们每天锻炼身体健身各种指标可以数字化,最终完成对个人身体和生活习惯的...
  • 如何使用SPSS Amos进行验证性因子分析(CFA)和Bootstrap检验准备验证性因子分析Bootstrap检验中介效应相关链接 准备 分析前需要安装并激活SPSS Amos软件,这里以Amos 25 windows版本为例。 验证性因子分析 在社会...
  • 噪声抑制算法中,谱减算法用的是验证信噪比,维纳滤波器使用的是先验信噪比,MMSE算法既用到了先验信噪比,也用到了后验信噪比,那么,自然提出一个问题,在降噪过程中,先验信噪比与后验信噪比到底那个作用比较大...
  • 数据分析的意义和方法

    万次阅读 2019-02-28 10:19:52
    数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概况总结的过程,是为了寻求问题的答案而实施的有计划、有步骤的行为。 数据分析分类: 描述性统计...
  • STA静态时序分析/Formality形式化验证

    千次阅读 2018-04-25 14:09:17
    转载自http://blog.sina.com.cn/s/blog_a55a710c0102vcwm.html1. 静态时序分析STA对于仿真而言,电路的逻辑功能的正确性可以由RTL...时序分析的主要作用是查看FPGA内部逻辑和布线的延时,确保其是否满足设计者的...
  • 交互作用效应(p for Interaction)在SCI文章中可以算是一个必杀技,几乎在高分的SCI中必出现,因为把人群分为亚组再进行统计可以增强文章结果的可靠性,不仅如此,交互作用还可以使用来进行数据挖掘。在既往文章中...
  • 方差分析原理及实例应用

    万次阅读 多人点赞 2020-04-12 13:33:17
    虽然网上也有很多关于方差分析的介绍,但是我还是想结合自己在学校所学的统计学专业知识以及网上的一些优秀文档做一个笔记整理,不为别的,只为以后用到这方面知识的时候有笔记可查,分享到博客也是为了和大家一起...
  • 本文将介绍三种常见中介效应检验方法,分别是因果逐步回归检验法、系数乘积法、改良的因果逐步回归法,以及如果使用SPSSAU进行操作。什么是中介效应中介效应:如果自变量X通过影响变量M而对因变量Y产生影响,则称M...
  • 先验概率&&后验概率的理解

    千次阅读 2019-05-27 10:44:17
    一、先验概率 1.1 定义 直观理解,所谓“先”,就是在事情发生之前。先验概率是指在某个事件发生之前,根据以往的经验和分析得到的这个事件发生的概率。...二、后验概率 1.1 定义 某个事件已经...
  • 先验概率与后验概率是什么

    千次阅读 2018-08-19 18:36:57
    一、先验概率与后验概率事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.先验概率是指根据以往经验和分析得到的概率,如...
  • 验证性因子分析

    千次阅读 2020-04-25 20:50:24
    因子分析可以分为探索性因子分析(EFA)和验证性因子分析(CFA),探索性因子分析(EFA)我之前写过一篇文章介绍,这里不再展开,想看的可以点这。验证性因子分析(CFA)相对而言更复杂一点,而且就我的专业而言基本...
  • 青年智囊SPSS双因素重复测量方差分析简洁版上期我们分享了卡方检验的案例,很多小伙伴私信我们给了我们很好的反馈,感谢大家的支持!还有几位小伙伴希望我们能出一期SPSS重复测量方差分析的教程,应大家的要求,这期...
  • 网站url带spm参数的作用

    千次阅读 2021-01-13 18:42:43
    现在很多网站都带spm参数。 SPM(super position model 超级... 另一种思路是直接在客户端埋点,当访问到某个页面时,同时向日志服务器发送一条埋点日志,日志服务器处理拿到pv。 2.如何追踪某个页面的来源呢? 在.
  • 如何解读链式中介作用分析结果?

    千次阅读 2020-11-27 11:06:06
    中介作用是研究自变量X对因变量Y的影响时,是否会先通过中介变量M,再去影响Y。比如工作满意度(X)会影响到创新氛围(M),再影响最终工作绩效(Y)。 在中介作用研究中,如果自变量与因变量之间存在多个中介变量被...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 352,231
精华内容 140,892
关键字:

后验分析作用