精华内容
下载资源
问答
  • 影响样本代表性的因素
    千次阅读 多人点赞
    2021-09-22 22:09:14

    这期推送简单谈一下我本人对经济学实证论文写作排除干扰性因素、机制检验和异质性分析的一些不甚成熟的理解

    本文首发于微信公众号DMETP,欢迎关注!

    论文的实证部分一般要回答两个问题,一是核心解释变量x是否影响被解释变量y,二是具体的影响机制,即x如何影响y

    为了回答第一个问题,论文在基准回归之后一般会设计一系列的识别条件检验和稳健性检验,包括对模型的特定假设进行检验(如DID的平行趋势检验),对模型可能存在的因果推断问题(内生性)进行讨论、检验和缓解,排除可能影响研究结论的其他干扰性因素,对x影响y的预期效应和滞后效应进行讨论等一系列的稳健性检验。某些情况下,对基准回归结果的识别条件检验和稳健性检验甚至需要占据实证部分篇幅的一半以上。

    如此大费周章的原因或者说目的在于,一方面,回答好x是否影响y这个问题是进一步分析影响机制的基础,因此确保xy的影响稳健可信是实证设计的基本要求;另一方面,我们要赶在读者或审稿人提出“灵魂拷问”之前把论文中可能存在的或大或小的问题都给考虑到,想读者之想,思审稿人之思,虽然不管我们怎么绞尽脑汁去发现和填补这些漏洞,审稿人总是能够提出一些“奇奇怪怪”的问题,但前期做足工作可以把这些问题被问到的可能性降到最低。

    对第二个问题进行回答可以增加论文的科学性、故事性和丰满度。xy存在一定的影响,并且这种影响是稳健的,在此基础上我们还想知道xy的影响究竟是通过什么渠道实现的,即探讨“存在性”背后的“过程性”。对客观影响机制的探讨本质上就是对现实经济运行规律的一种总结与提炼,体现了社会科学研究的“科学”之所在。

    如果怀疑变量mxy作用背后的机制,那么论文的理论分析部分就要对这一机制的基本逻辑进行较为清晰的分析说明,然后在实证部分对这一机制进行检验。机制检验没有一个固定的范式,一般需要结合论文的研究内容、理论、模型,甚至是所使用的数据进行设计,但是经济学研究的机制检验应尽量避免使用中介效应模型,原因在于(引自我在知乎的回答):

    相比于管理学、心理学等学科领域,经济学更强调变量之间因果关系的推断,而恰恰由于中介效应模型没有考虑到中介变量可能存在的内生性,因此该模型可能符合管理学的研究范式,但不符合经济学研究范式。

    中介效应模型可能存在的内生性在于:

    • 第一,在中介变量 M M M本身就是一个内生变量的情况下,还要做 M M M的IV-2SLS才能说明问题,而大多数文章都没有这一步;而且,就算做到了这一步,由于有效工具变量的稀缺性及论文篇幅(非学位论文)的限制,这一步也是非必要的。
    • 第二,在中介效应模型第三步回归中,如果中介变量显著,恰恰说明第一阶段回归的残差中遗漏了一个重要变量,这意味着即使在使用IV对基准模型进行了稳健性检验的情况下,内生性还是存在的,基准回归结果不可信。

    参考连玉君老师的回答,中介效应模型存在的一个比较现实的问题是:我们大多数都是在和一个内生变量作斗争,而中介效应要求我们不仅要克服 X X X的内生性问题还要克服 M M M的内生性问题,着实有些苛刻。

    一、排除干扰性因素

    排除干扰性因素是实证论文稳健性检验部分的基本步骤之一。

    如,陈登科(2020)在研究中国加入WTO后贸易壁垒下降是否带来环境污染的改善时,怀疑加入WTO同时期中国实施的其他政策,特别是国有企业改制政策与鼓励外资进入政策,以及环境规制政策(如两控区、“十一五”污染控制政策)可能对结果造成潜在干扰。为排除这些干扰性因素,作者在回归方程中进一步加入国有经济比重与外贸经济比重来控制前两项政策的影响;对于环境规制政策,作者认为中国的环境规制政策大多是以行政区划为单位来实施的,因此在回归模型中进一步加入地区-年份固定效应来控制环境规制政策对结果的潜在影响。

    如,江静琳等(2018)在研究农村成长经历对家庭股票市场参与的影响时,认为影响人类行为的因素十分复杂,因此怀疑农村成长经历对股票市场参与的作用可能受到社会互动、信任水平、金融知识、家庭社会经济地位和风险态度等因素的干扰。为了排除掉这些因素,作者做了一系列的稳健性检验,包括(以社会互动为例):

    • 首先,在基准模型中直接添入社会互动水平的代理变量以控制社会互动这一因素对结果的干扰。
    • 其次,利用反证法。假设社会互动确实对结果产生了较为严重的干扰,在此假设成立的条件下,有两条推论:一是社会互动水平高的家庭购买股票的行为不受农村成长经历的影响;二是社会互动水平的高低会影响农村成长经历对股票市场参与的作用的大小。如果这两条推论都不成立,也就可以排除掉干扰性因素对研究结果的干扰,据此设计了两段假设检验:一是按照社会互动水平高低将样本分为两组,进行分组回归;二是在基准模型中加入社会互动水平与农村成长经历的交叉项。这两个稳健性检验本质上为异质性分析。

    再如,陆菁等(2021)在研究绿色信贷政策的微观效应时,怀疑2008年国际金融危机以及同时期的环境规制政策(如清洁生产标准、“十一五”污染控制政策、区域限批政策等)可能对研究结论构成潜在干扰。对于前者,作者在基准模型的基础上额外控制了代表企业投融资需求的两个代理变量;对于后者,作者引入了若干虚拟变量并剔除了相关样本(具体请看原文)。

    [2] 陈登科. 贸易壁垒下降与环境污染改善——来自中国企业污染数据的新证据[J]. 经济研究, 2020, 55(12): 98-114.

    [3] 江静琳, 王正位, 廖理. 农村成长经历和股票市场参与[J]. 经济研究, 2018, 53(08): 84-99.

    [4] 陆菁, 鄢云, 王韬璇. 绿色信贷政策的微观效应研究——基于技术创新与资源再配置的视角[J]. 中国工业经济, 2021(01): 174-192.

    借鉴以上三篇文献,下面简单梳理一下排除干扰性因素的逻辑与实证思路。

    由于被解释变量y的影响因素众多,基准模型中的控制变量也仅仅是根据一般常识与理论(即已有文献的做法)引入的,如果怀疑某个不同寻常的意外因素zy存在一定程度的影响,即直觉上认为zy的不可忽视的重要影响因素,并且在考虑z的情况下xy的作用可能改变,那么为了检验结论的稳健性,可以把z当作控制变量引入基准模型中,如果核心解释变量x的系数与基准回归结果大体保持一致,就说明排除了z对研究结论的干扰。

    此外,还可以使用反证法,即假设z对研究结论确实构成不可忽视的干扰,那么就存在如下推论:随着z的取值变化,xy的影响存在异质性,而我们的检验逻辑就是证明该推论不成立。为了证明这个推论不成立,有以下两种实证思路:一是按照z的取值大小对样本进行分组,进行分组检验,如果在不同分组下x的系数基本不变且与基准回归结果大体保持一致,就说明该推论不成立;二是使用调节效应模型,调节项为xz的交互项,且两个单独项不可忽视,如果调节效应模型中的交互项不显著(单独项x是否与基准回归结果保持一致,甚至x显著与否都不重要,因为在调节模型中x的系数含义不同),就说明该推论不成立。

    二、机制检验

    机制检验没有统一范式,一般根据研究内容而定,以佐证论文所讲的故事,比较常用的实证设计包括(引自我在知乎的回答):

    • 调节效应模型,研究在 X X X Y Y Y的影响过程中,调节变量 M M M的调节作用,即在基准模型的基础上,做交互项 X M XM XM Y Y Y的影响(本质上也是异质性分析)。

    • 分组回归,即传统意义上的异质性分析。

    • 在基准模型的基础上,检验 X X X对机制变量 M M M的影响,然后根据已有的文献讨论 M M M Y Y Y的影响。

    戴鹏毅等(2021)在研究“沪股通”对企业全要素生产率的作用机制时,认为提高股价信息含量和信息传递效率、矫正股票错误定价和改善信息披露质量是沪股通提升企业TFP的主要机制。在机制检验部分,首先实证检验了“沪股通”开通对这几个机制变量的影响,然后利用已有的权威文献在理论上讨论机制变量对企业全要素生产率的作用。

    陈登科(2020)的机制检验思路与之类似,但在逻辑上与其自身的研究内容紧密联系。贸易自由化显著降低了企业 S O 2 SO_2 SO2的排放强度,而 S O 2 SO_2 SO2的排放强度等于 S O 2 SO_2 SO2排放量除以工业总产值,为了讨论企业 S O 2 SO_2 SO2的排放强度的降低究竟源于 S O 2 SO_2 SO2排放量的减少还是工业总产值的提高,作者分别用贸易自由化分别对企业 S O 2 SO_2 SO2排放量和工业总产值做回归,结果显示贸易自由化主要通过降低企业 S O 2 SO_2 SO2排放量而非提升产出的方式来降低 S O 2 SO_2 SO2排放强度。在这之后,一个新的疑问是:企业 S O 2 SO_2 SO2排放量的下降是由生产过程中的 S O 2 SO_2 SO2产生量下降引起,还是末端处理过程中的 S O 2 SO_2 SO2处理量增加引起?为了回答该问题,作者用贸易自由化分别对 S O 2 SO_2 SO2产生量和 S O 2 SO_2 SO2去除量做回归,结果显示贸易自由化通过降低 S O 2 SO_2 SO2产生量,而非增加 S O 2 SO_2 SO2去除量来降低 S O 2 SO_2 SO2排放。

    这样的机制检验思路在逻辑上环环相扣,因此论文的故事性极强。除此之外,论文还对煤炭使用及技术进步这两个具体渠道分别进行了检验。

    [5] 戴鹏毅, 杨胜刚, 袁礼. 资本市场开放与企业全要素生产率[J]. 世界经济, 2021, 44(08): 154-178.

    三、异质性分析

    异质性分析一般可以分为两种:

    • 一是根据关键变量对样本进行分组,并进行分组回归。
    • 二是关键变量与核心解释变量交乘。

    这两种方法的主要区别在于:

    • 第一,分组回归假设所有变量的估计系数在不同组别间存在一定的差异,而交互项回归则仅假设除交互项外,其他变量(包括交互项的两个单独项及控制变量)的估计系数不存在组间差异。
    • 第二,分组回归的系数大小不可直接比较,因为系数的置信区间可能存在部分重叠,因此分组回归需进行组间系数差异检验
    • 第三,交互项回归的关键变量可以是连续变量。

    事实上,异质性分析可以作为机制检验的一种辅助性手段,用以进一步增强论文的故事性。

    如,万攀兵等(2021)在研究清洁生产行业标准对企业绿色转型时,在验证技术改造这一具体机制之后,认为技术改造受制于企业的技术改造需求和融资能力,基本逻辑如下:

    • 高污染、生产率低、资本更新速度慢的制造业企业由于清洁生产的合规程度较低,在政策影响下面临更为迫切的技术改造需求,技术改造程度更大,从而更容易实现绿色转型。
    • 融资约束压力小的制造业企业由于更易于实施技术改造,从而预期获得更好的绿色转型效果。

    依据以上逻辑,作者在基准模型中分别加入技术改造需求和融资能力与双重差分的交乘项(即构建三重差分模型DDD)来捕捉可能的异质性效果。

    [7] 万攀兵, 杨冕, 陈林. 环境技术标准何以影响中国制造业绿色转型——基于技术改造的视角[J]. 中国工业经济, 2021(09): 118-136.

    更多相关内容
  • 验证性因素分析的几个指标

    千次阅读 2022-04-17 16:06:00
    是最常报告的拟合优度指标,与自由度一起使用可以说明模型正确的概率,/ df是直接检验样本协方差矩阵和估计方差矩阵之间的相似程度的统计量,其理论期望值为1。/ df愈接近3,表示模型拟合较好,样本较大时,5左右...

    参考链接:

    问卷数据分析——基于AMOS软件的量表验证性因子分析_哔哩哔哩_bilibili问卷数据分析——基于AMOS软件的量表验证性因子分析https://www.bilibili.com/video/BV1vZ4y197hQ/?spm_id_from=333.788

    (1)拟合优度的卡方检验x^{2},goodness-of-fit test):

    x^{2}是最常报告的拟合优度指标,与自由度一起使用可以说明模型正确性的概率,x^{2}/ df是直接检验样本协方差矩阵和估计方差矩阵之间的相似程度的统计量,其理论期望值为1。x^{2}/ df愈接近3,表示模型拟合较好,样本较大时,5左右也可接受。

    2)拟合优度指数(goodness-of-fit index, GFI)和调整拟合优度指数(adjust goodness-of-fit index,AGFI):

    这两个指数值在0-1之间,愈接近0表示拟合愈差,愈接近1表示拟合愈好。目前,多数学者认为,GFI≥0.90,AGFI≥0.80,提示模型拟合较好(也有学者认为GFI的标准为至少>0.80,或≥0.85)。

    (3)比较拟合指数( comparative fit index, CFI):

    该指数在对假设模型和独立模型比较时取得,其值在0-1之间,愈接近О表示拟合愈差,愈接近1表示拟合愈号。一般认为,CFI≥0.9,认为模型拟合较好。

    (4)Tucker-Lewis 指数(Tucker-Lewis index TLI):

    该指数是比较拟合指数的一种,取值在0-1之间,愈接近О表示拟合愈差,愈接近1表示拟合愈好。如果 TLI>0.9,则认为模型拟合较好。

    (5)近似误差均方根(root-mean-square error of approximation, RMSEA) :

    RMSEA是评价模型不拟合指数,如果接近0表示拟合良好,相反,离0愈远表示拟合愈差。一般认为,如果 RMSEA=0,表示模型完全拟合;0.05≤RMSEA≤0.08,表示模型拟理合;0.08<RMSEA≤0.10,表示模型拟合一般;RMSEA≥0.10,表示模型拟合较差。

    (6)均方根残差(root of mean square residual,RMR):

    该指数通过测量预测相关和实际观察相关的平均残差,衡量模型的拟合程度。如果 RMR<0.1,则认为模型拟合较好。

    拟合指标中文名称标准

     x^{2}/ df

    卡方自由度比严格是小于3,不严格是小于5(甚至8)
    GFI拟合优度指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    RMSEA近似误差均方根严格是小于0.05,不严格是小于0.1(或0.08)
    RMR均方根误差严格是小于0.05,不严格是小于0.1
    CFI比较拟合指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    NFI规范拟合指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    NNFI不规范拟合指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    TLITucker-Lewis指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    AGFI调整的拟合优度指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    IFI增值拟合指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    PGFI节俭拟合指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    PNFI节俭规范拟合指数通常需要大于0.9,SPSSAU认为接近0.9基本可接受
    SRMR标准化均方根误差严格是小于0.05,不严格是小于0.1
    AIC赤池信息量准则用于不同模型选择时对比,该值越小越好
    BIC一致性赤池信息量准则用于不同模型选择时对比,该值越小越好

    spss计算平均方差提取量AVE和组合信度CR的方法 - DataSense

    Amos图标作用:

     

    展开全文
  • 人脸识别的影响因素

    千次阅读 2019-01-23 21:38:15
    影响算法性能的因素: 1.训练集: 一般训练集类别数越多,图像数量越多,训练效果越好。此外训练集的收集和标注质量,不同类别的样本数量是否均衡,都对训练有影响。 2.CNN: 一般CNN的容量越大,训练效果越好。CNN...
    摘录:https://zhuanlan.zhihu.com/p/34436551

    影响算法性能的因素:

    1.训练集: 一般训练集类别数越多,图像数量越多,训练效果越好。此外训练集的收集和标注质量,不同类别的样本数量是否均衡,都对训练有影响。
    2.CNN: 一般CNN的容量越大,训练效果越好。CNN的模型容量参考ImageNet上的分类性能,与参数数量和运行速度并不是正比关系。
    3.LOSS: 这部分才是前面介绍的loss相关影响,特别注意,对比某个loss的性能提升,要综合考虑训练集和CNN,不能简单的看LFW上的识别率。

    最常用的两个人脸识别测试库,和以上推荐算法的性能比较,结果来自论文:
    LFW:,使用最多的必跑测试库,从2015年FaceNet的99.63%开始就接近饱和了,目前所有算法都在99%以上,比较意义不大。特别举两个用Softmax loss训练的例子:COCO中half MS-1M训练Inception ResNet是99.75%,ArcFace中MS1M训练ResNet100是99.7%。
    MegaFace:,目前最大也最具挑战性的测试集,但由于这个数据集质量较差,非常容易作弊,建议以有开源代码的算法,自行训练的结果为准。
    在这里插入图片描述
    注: 上表中AM-Softmax和InsightFace都做了更细致的训练集重叠清洗,最后一行代表InsightFace对测试集也做了清洗的结果。

    展开全文
  • SPSS处理单样本、多样本数据方法

    千次阅读 2022-04-06 20:48:52
    文章目录数据分析常用概念卡方检验单样本K-S检验两独立样本的非参数检验多个独立样本的非参数检验两配对样本检验多匹配样本的非参数检验 数据分析常用概念 偏度:分布不对称测量。正态分布是对称的,偏度值是0。...

    数据分析常用概念

    偏度:分布不对称性测量。正态分布是对称的,偏度值是0。偏度值大于0表示正偏态,具有显著的正偏态的分布具有很长的右尾。偏度值小于0表示负偏态,具有显著的负偏态的分布具有很长的左尾。作为一个指导,当偏度值超过标准误差的两倍时,即认为分布不具有对称性。

    峰度:观察值聚集在中点周围的程度的测量。对于正态分布,峰度统计的量为0。正峰度值表示相对正态分布,观察值在分布中心聚集得更多,同时尾部更薄。负峰度值表示相对正态分布,观察值在分布中心聚集得更少,同时尾部更厚。

    箱图:上边线表示第75百分位数,下边线表示第25百分位数,中间线表示中位数,箱子上下两条横线表示离群值和极值的最大值和最小值。离群值是指离箱子的上下边线的距离为箱子高度的三倍以上的变量值。
     箱图
    实例:
    分析男女生语文成绩各自特征
    操作:点击分析>描述统计>频率
    在这里插入图片描述
    在这里插入图片描述
    点击Stalistics
    在这里插入图片描述
    点击图表
    在这里插入图片描述
    分析结果:
    在这里插入图片描述
    在这里插入图片描述

    列联表分析与假设检验的基本思想一致,先建立一个零假设,认为两个变量之间没有关联,然后进行卡方检验,计算发生的概率,通过概率是否达到显著性水平来判断拒绝和接受零假设。
    χ 2 = ∑ ( A − T ) 2 T \chi^2=\sum\frac{(A-T)^2}{T} χ2=T(AT)2
    卡方表达式中,A是实际频数,T是期望频数。

    相关系数

    phi系数表示为卡方值平均到每个样本上的平均比率差异,平均差异越大。
    p h i = χ 2 n phi=\sqrt{\frac{\chi^2}{n}} phi=nχ2
    phi的系数越大,表示两变量类型是独立无关的,在2*2列联表中,phi的值介于-1至1之间,当水平数超过2时,phi的值有可能大于1.因此phi相关系数用于分析两因素之间的关联程度。当phi小于0.3时,表示两变量相关性较弱;当phi值大于0.6时,表示两变量相关性强。

    cramer’V系数是phi系数的修正值,适用于四格表。
    c r a m e r ’ V V = χ 2 n ( k − 1 ) cramer’V V=\sqrt{\frac{\chi^2}{n(k-1)}} cramerVV=n(k1)χ2
    其中,k为行数或列数中较小的数值。

    相依系数:又称列联系数,取值在0至1之间,值越接近1,表示变量之间的关联性越强。

    Lambda:反应使用自变量的值来预测因变量的值时,误差成比例缩小。取值在0到1之间,值为0时表示自变量对于预测因变量没有帮助,值为1时表示自变量能完全预测因变量。

    不确定性系数:表示当一个变量的值用来预测其它变量的值时,误差成比例下降的程度,取值在0到1之间,值越接近1,表示该变量能很好预测其它变量的程度就增加
    在这里插入图片描述

    皮尔逊(Pearson)相关系数:又称线性相关系数,有时也称积差相关系数

    计算公式为
    r = ∑ i = 1 n ( x i − x ‾ ) ∑ i = 1 n ( x − x ‾ ) 2 ( y i − y ‾ ) 2 r=\frac{\sum_{i=1}^{n}(x_i-\overline{x})}{\sqrt{\sum_{i=1}^{n}(x-\overline{x})^2(y_i-\overline{y})^2}} r=i=1n(xx)2(yiy)2 i=1n(xix)
    其中,n为样本容量, x i x_i xi y i y_i yi为两变量对应的样本值。

    Pearson相关系数的t检验统计量,定义为
    t = n − 2 1 − r 2 t=\frac{\sqrt{n-2}}{\sqrt{1-r^2}} t=1r2 n2
    斯皮尔曼(Spearman)等级相关系数:根据数据的秩而不是数据的实际值计算,适用于有序数据和不满足正态分布假设的等间隔数据。取值范围在 ( − 1 , 1 ) (-1,1) (1,1)区间上,绝对值越大,相关性越强。

    计算公式为:
    r = 1 − 6 ∑ i = 1 n d i 2 n ( n 2 − 1 ) r=1-\frac{6\sum_{i=1}^n d_i^2}{n(n^2-1)} r=1n(n21)6i=1ndi2
    其中,n为观察对的对数, d i d_i di表示每对观察值 ( x , y ) (x,y) (x,y)的秩之差,即 d i = r g ( X i ) − r g ( Y i ) d_i=rg(X_i)-rg(Y_i) di=rg(Xi)rg(Yi)

    Spearman等级相关系数检验零假设就是相关系数为0,在小样本的情况下,Spearman等级相关系数就是检验统计量,当是大样本的时候,采用正态检验统计量 Z = r n − 1 Z=r\sqrt{n-1} Z=rn1 。当零假设成立时,小样本统计量服从Spearman分布,大样本统计量接近服从标准正态分布。

    肯德尔(Kendall)等级相关系数:对两个有序变量或两个秩变量之间相关程度的测度,属于非参数估计,统计时考虑了秩相同点的影响。利用变量秩数据计算一致对数目(U)和不一致对数目(V)来构造统计量。

    计算公式为:
    r = 2 ( U − V ) n ( n − 1 ) r=\frac{2(U-V)}{n(n-1)} r=n(n1)2(UV)
    Kendall等级相关系数检验零假设就是相关系数为0,在小样本的情况下,Kendall等级相关系数就是检验统计量,当是大样本的时候,采用正态检验统计量 Z = r 9 n ( n − 1 ) 2 n ( 2 n + 5 ) Z=r\sqrt{\frac{9n(n-1)}{2n(2n+5)}} Z=r2n(2n+5)9n(n1) 。当零假设成立时,小样本统计量服从Kendall分布,大样本统计量接近服从标准正态分布。

    卡方检验

    目的:通过样本数据的分布来检验总体分布与期望分布或某一理论是否一致,零假设是样本的总体与期望没有显著差异。

    基本思想:如果从一个随机变量X中随机抽取若干个样本均值,当这些样本落在 X X X k k k个互不相关的子集中的观察频数服从一个多项分布,当k趋于无穷时,这个多项分布服从卡方分布。

    卡方检验的零假设是:两个变量之间没有显著差异。若两种检验(皮尔逊卡方、似然比)的渐进显著性水平(双向)都小于0.05,则拒绝零假设,若两种检验的双向显著性水平都大于0.05,则不能拒绝零假设。

    即:若卡方的渐进显著性小于0.05,表明变量之间有显著差异,若卡方的渐进显著性大于0.05,表明变量之间没有显著差异。

    基本方法:

    • 根据已知总体的构成比计算出样本中各类别的期望频数,计算实际观察频数与期望频数的差距,即:计算卡方值 χ 2 = ∑ i = 1 k ( 观测频数 − 预测频数 ) 2 预测频数 \chi^2=\sum_{i=1}^{k}\frac{(\text{观测频数}-\text{预测频数})^2}{\text{预测频数}} χ2=i=1k预测频数(观测频数预测频数)2

    • 卡方值越小,则实际频数和期望频数相差越小.如果P大于显著性水平 α \alpha α,不能拒绝 H 0 H_0 H0,认为总体分布与已知分布无显著差异。

    单样本K-S检验

    **目的:**利用样本数据推断总体是否服从某个理论分布(正态分布、均匀分布、指数分布和泊松分布)。

    例如:周岁儿童的身高是否服从正态分布

    基本假设: H 0 H_0 H0:总体分布与指定的理论分布无显著差异(总体服从指定的分布)

    基本方法:

    • 根据用户指定检验的总体分布,构造出一理论的频数分布,并计算相应的累计频率.

    • 与样本在相同点的累计频率进行比较.如果相差较小,则认为样本所代表的总体符合指定的总体分布.

    实例

    正态分布检验统计量为0.051,渐进显著性为0.009,小于0.05,拒绝零假设,认为班上语文成绩不服从正态分布。

    泊松分布检验统计量为0.038,渐进显著性为0.560,大于0.05,不能拒绝零假设,认为班上以为成绩服从泊松分布。

    两独立样本的非参数检验

    目的:由独立样本数据推断两总体的分布是否存在显著差异(或两样本是否来自同一总体)。

    例如:两种不同生产工艺产品使用寿命分布的差异性

    基本假设 H 0 H_0 H0:两总体分布无显著差异(两样本来自同一总体)

    基本方法:

    1. 曼-惠特尼U检验(Mann-Whitney U):平均秩检验
    • 将两样本数据混合并按升序排序

    • 求出其秩

    • 对两样本的秩分别求平均

    • 如果两样本的平均秩大致相同,则认为两总体分布无显著差异

    1. k-s检验(保证有较大的样本数)
    • 将两样本混合并按升序排序

    • 分别计算两个样本在相同点上的累计频数和累计频率

    • 两个累计频率相减

    • 如果差距较小,则认为两总体分布无显著差异

    1. 游程检验(Wald-Wolfowitz runs)
    • 将两样本混合并按升序排序

    • 计算分组标志序列的游程数

    • 如果游程数较大,则说明是由于两类样本数据充分混合的结果,即:认为两总体分布无显著差异.

    • 如果两样本中有相同的样本值,则会使游程数发生变化.系统会作出提示.

    多个独立样本的非参数检验

    目的:检验多个独立样本之间是否具有相同分布,零假设是多个独立样本来自的总体分布无显著差异

    基本方法

    1. Kruskal-Wallis H检验(推广的平均秩检验)
    • 将多个样本数混合并按升序排序,求出其秩

    • 对多个样本的秩分别求平均秩序

    • 如果各样本的平均秩大致相等,渐进显著性大于0.05,则认为多个总体分布无显著差异

    1. 相同中位数检验(median)
    • 判断多个总体是否是具有相同的中位数

    • 将多个样本数混合并按升序排序

    • 求出混合样本序列的中位数

    • 如果各独立样本中大于此中位数的个案数和小于此中位数的个案数大致相同,渐进显著性大于0.05,则认为总体有相同的中位数。

    1. Jonckheere-Terpstra检验(适用于行和列皆有序的R*C列联表)
    • 计算统计量的值J
    • 跟读统计量J值得到p值
    • 将p值与给定的显著性水平进行比较。若p值小于显著性水平,则拒绝零假设,接受备择假设。

    两配对样本检验

    基本方法

    1. 变化显著性检验(McNemar)(要求数据只能是二分值)
    • 将研究对象作为自身的对照者检验其“前后”的变化是否显著

      • 例如:领导培训前后,群众对他们的评价
    • 关心的是发生变化的两格中的频数变化.如果频数变化相当,则认为无显著变化.

    1. 正负符号检验(sign)
    • 将样本2的各样本值减去样本1的各样本值.如果差值为正,则记为正号;如果差值为负,则记为负号

    • 如果正号的个数与负号的个数相当,则认为无显著变化.否则,认为有显著变化

    • 例如:采用新训练方法前后的最好成绩比较

    3.符号平均秩检验(wilcoxon)

    正负符号检验只考虑了两总体数据变化的性质,而没有注意其变化的程度.符号平均秩检验注意到了这点

    • 将样本2的各样本值减去样本1的各样本值.如果差值为正,则记为正号;如果差值为负,则记为负号.

    • 将差值按升序排序,并求其秩.分别计算正号秩和负号秩总和

    • 如果正秩和负秩相当,认为正负变化程度相当,两总体无显著差异.

    多匹配样本的非参数检验

    基本方法

    1. 推广的平均秩检验(双向Friedman检验)
    • 将每个个案的变量值数据按升序排序,并求其秩

    • 求各样本的平均秩

    • 如果平均秩相当,则认为各总体分布无显著差异

    2.谐同系数检验(Kendall W检验)

    • 谐同系数检验方法与推广的平均秩检验方法相同

    • 主要用在分析评判者的评判标准是否一致和公平

    • 通过谐同系数W进行判定.W表示了横向各样本数据之间相关的强弱程度,取值在0和1之间.越接近1,则表示相关性越强,即:评判者的评判标准一致

    展开全文
  • 样本分布

    千次阅读 2020-02-28 08:54:09
    样本分布是样本所受随机性影响的最完整的描述. 要决定样本分布, 就要根据观察值的具体指标的性质 (这往往涉及有关的专业知识), 以及对抽样方式和对试验进行的方式的了解, 此外常常还必须加一些人为的假定 EX1: 一...
  • 经济增长是我国宏观经济政策的目标之一,研究影响经济增长的因素对促进我国经济快速发展有着十分重要的意义。本次实验运用R软件编写代码拟合多元线性回归模型、选择最优模型,最终进行区间预测,定性的研究影响我国...
  • 正态分布、单 (双) 样本 T 检验

    千次阅读 2021-11-17 00:31:17
    本次来说说连续变量与分类变量(二分)之间的检验。通俗的来讲,就是去发现变量间的关系。连续变量数量为一个,分类变量数量为两个。总体:包含所有研究个体的集合。样本:经过抽样总体中的部分个体。均...
  • 样本量确定(sample size determination),又称样本量估计(sample size estimation),是指为满足统计的准确和可靠(I类错误的控制和检验效能...
  • model = osl(‘样本某一列 ~ 样本另一列 + 样本另一列 ’) 如下代码: from statsmodels.stats.anova import anova_lm from statsmodels.formula.api import ols import pandas as pd df = pd.DataFrame( [ ...
  • 对抗样本生成算法-FGSM、I-FGSM、ILCM、PGD

    千次阅读 多人点赞 2021-10-10 15:32:06
    对抗样本生成算法FGSM、I-FGSM、ILCM、PGD
  • 第10章两个独立样本的t检验

    千次阅读 2021-06-29 23:00:47
    独立样本的t检验效应大小计算: ...样本方差和样本量在独立测量t检验中的作用: ...独立测量t检验的基本假设:1,每个样本的观察是独立的。...(方差的同质,非常重要)【对于大样本(n30)来说,前...
  • 随机变量、样本、统计量

    千次阅读 2021-11-06 11:40:17
    本篇主要讲概率论与数理统计常用到的样本空间、时间、随机变量、概率空间、多维随机变量、多元随机变量、样本、总体、统计量等基本概念。
  • 样本学习

    千次阅读 2019-06-20 21:58:36
    最近实验室再研究有关于小样本学习的论文,搜集了大量的文献整理了这一块。不自然感觉快成神仙了,玄学真是有意思 下面总结总结有关的 主题的专题 深度学习 识别 ...场景和代表性, 语言与推...
  • 对抗样本(二)L-BFGS

    千次阅读 2020-02-29 14:33:52
    论文文献二、论文背景及简介三、论文所使用的符号及数据等信息四、论文主要内容1、第一个特征 神经元的语义信息2、第二个特征 神经网络的盲点五、实验结果六、模型的不稳定分析七、总结 一、论文相关信息   1....
  • 能够达到的性能取决于3方面的因素:问题的复杂,模型算法的复杂,可用数据的丰富程度。 理解函数逼近   预测问题包括两种变量:   第一种变量是尝试要预测的变量;   第二种变量是用来进行预测的变量。  ...
  • 样本量和测序深度的Alpha多样稀释曲线本节作者:刘永鑫,文涛版本1.0.1,更新日期:2020年6月22日本项目永久地址:https://github.com/YongxinLiu/...
  • 虽然该假设对于大样本来说并不太重要 中心极限定理,这对于小样本量(尤其是不相等的样本量)很重要。Prism可以测试违反这一假设,但正态检验的效用有限。如果您的数据并非来自高斯分布,则您有三个选择。最佳选择是...
  • 统计科学之多因素方差分析

    千次阅读 2021-03-06 01:18:32
    因素分析就是只考虑一个因素会对要比较的均值产生影响,而多因素分析是有多个因素会对均值产生影响。需要注意的是一个因素可能会有不同的水平值,即不同的取值。比如要判断某一款药对某种病症有没有效果,服用不同...
  • 由于单样本t检验并没有组别因素,因此不在“以X拟合Y”菜单中完成,而是在“分布”菜单中进行实现。 选择“分析→分布”(图9)。在图10的界面中,将躯体健康评分放入“Y,列”。点击确定后进入到结果界面(图11)。...
  • 统计假设检验之显著检验(significance test)

    千次阅读 多人点赞 2019-07-14 17:52:03
    转载于 关于显著检验,你想要的都在这儿了!!(基础篇) 无论你从事何种领域的科学研究还是统计调查,显著检验作为判断两个乃至多个数据集之间是否存在差异的方法被广泛应用于各个科研领域。笔者作为科研界...
  • 在试验中,把考察的指标称为试验指标,影响试验指标的条件称为因素因素可分为两类,一类是...方差分析(Analysis of Variance,简称ANOVA)主要用于验证两组样本,或者两组以上的样本均值是否有显著差异(是否一致...
  • 样本大小的确定Congratulations, your experiment has yielded significant results! You can be sure (well, 95% sure) that the independent variable influenced your dependent variable. I guess all you have ...
  • 《通过自定义采样产生基于决策的对抗噪声》 作为有效的黑盒对抗攻击,基于决策的方法通过查询目标模型来消除对抗噪声。 其中,边界攻击由于其强大的噪声压缩能力而被广泛应用,尤其是与基于传输的方法结合使用时。...
  • 五分钟掌握AB实验和样本量计算原理

    千次阅读 2021-02-20 10:56:10
    AB实验简介 什么是AB实验 将测试对象随机分成A,B两组,然后比较两组之间的差异 AB测试是为Web或App界面或流程制作两个...随机:为了排除实验条件以外的干扰因素,我们需要确保两个组的用户是随机选取,这是为了排除
  • 方差分析是假设数据满足正态分布和方差齐的前提下,计算总体相等但在当前样本量下由于偶然原因导致均值出现差异的概率,或者说基于当前样本量,结局均值的差异有多大的可能(概率)是由于偶然原因造成的。...
  • 辩证看待倾向评分法

    万次阅读 2019-07-21 02:03:30
    其出现的背景是:需要控制的混杂变量很多,采用分层法控制偏移会导致样本量严重缩水,因而采用一种替代的可以近似控制混杂因素的方法。 混杂因素 混杂因素(即混杂变量,confounding variables)的定义和条件如下...
  • 样本均值、样本比例、样本方差都可以是一个估计量。 估计值 根据一个具体的样本计算出来的估计量的数值,称为估计值。比如用样本量计算出来的平均值作为总体的平均值,那么这个平均值在这时就称为估计值。 7.1.2 ...
  • 2. 从用户生命周期分析客户流失的可能影响因素 5 3. 确定初选变量 6 (二) 预测变量与目标变量的相关性 7 1. 分类变量的直方图检验 7 2. 分类变量的卡方检验 11 3. 连续变量与目标变量的相关性...
  • 为引入间隔, 本文根据小样本场景特点提出了多路对比损失, 使得小样本学习模型可以学习到一个更加具有判别的度量空间,同时泛化误差可以减小。带间隔的小样本学习是一个通用的框架,可以同各种基于度量的小样本...
  • Heckman两步法 | 样本选择模型 & 处理效应模型

    万次阅读 多人点赞 2021-08-07 19:24:13
    这期推送简单介绍一下样本选择模型和处理效应模型,其中样本选择模型是一般意义上的Heckman两步法,后者则借鉴了Heckman两步法的构建思想,但又不完全等同于前者。模型介绍之后,将利用help文件中的示例数据与代码...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,042
精华内容 12,816
热门标签
关键字:

影响样本代表性的因素