精华内容
下载资源
问答
  • 作者:kervin微信号:kervin_zhao在科学研究的统计分析中,我们往往会遇到多重比较校正问题。多重比较校正的方法很多,如Bonferroni、False Discovery Rate(FDR)、Random-field Theory (RFT)等等,各种校正方法各有...

    0.jpeg

    作者:kervin

    微信号:kervin_zhao

    在科学研究的统计分析中,我们往往会遇到多重比较校正问题。多重比较校正的方法很多,如Bonferroni、False Discovery Rate(FDR)、Random-field Theory (RFT)等等,各种校正方法各有优劣,具体应用时要根据自己的统计分析的数据特点进行选择。本文,笔者对Bonferroni和False Discovery Rate(FDR)两种校正方法进行论述,特别是对于应用比较广的FDR校正方法,笔者用具体的例子详细阐述了其原理,并给出其Matlab程序。

    为什么要进行多重比较校正

    当在同一个数据集上进行多次统计检验时,就需要进行多重比较校正。举个简单的例子,A、B两组被试,我们从每个被试身上得出10个指标。如果我们要研究A、B两组被试的某一个指标是否存在显着差异,那么此时我们只做一次统计分析就行;假设这个指标的p值小于0.05,我们会认为这个指标在A、B两组之间存在显着差异,此时,我们犯错的概率(或者称为假阳性率)是5%。假设我们把这10个指标都进行了统计分析,即使每个独立的指标的p值都小于0.05,此时我们犯错的概率不再是5%,而是1-(0.95)^10=0.4013,也就是说此时我们犯错的概率达到40%多,这在统计学上是不可接受的。因此,需要进行多重比较校正。

    Bonferroni 校正方法

    Bonferroni校正方法非常简单,若单次显着性水平为0.05,那么Bonferroni 校正后的p值应该为0.05/n,其中n为统计比较的次数。Bonferroni 校正方法应该属于最严格的一种校正方法,当统计比较的次数比较多时,Bonferroni 校正后的p值会非常小,此时不推荐使用这种校正方法。当统计比较的次数较小时,如小于几十个时,可以尝试使用。

    FDR 校正方法

    这里,笔者主要对FDR校正方法的原理进行论述。FDR校正方法是Benjamini和Hochberg于1995年提出了一种多重比较校正的方法。其实,FDR具体的算法也有多种,如Storey法(由Storey等人提出)、Benjamini-Hochberg法(简称BH法)等。其中BH法目前应用最广,这里主要介绍这种方法的基本原理。

    基于BH法的FDR校正过程:

    第一步:将我们单独统计得到的一系列的p=[p1,p2,…,pn]从大到小进行重新排序,计为P=[P1,P2,…,Pn];

    第二步:按照以下公式计算每个P值所对应的校正前的FDR值,这里称之为Q值:Q = Pi* (n/r),Pi表示P中元素值,n是P值个数,r依次为n,n-1,…,1。

    第三步:对Q进行校正,得到FDR值。对于计算出来的Q=[Q1,Q2,…,Qn],若某一个Qi值大于前一位Qi-1值,则把Qi的值赋值为Qi-1;反之则保留相应的Q值。最终得到Q值称之为校正后的FDR值。

    第四步:按照重排序之前的顺序返回各个p值对应的校正后的FDR值。

    例子:假设p=[0.01, 0.005, 0.03, 0.03, 0.02, 0.04, 0.05],计算相应的校正后的FDR值。

    笔者按照上述步骤,自行编制相应的Matlab程序,计算过程和结果如下:

    按照上述第一步步骤,计算得到P=[0.0500, 0.0400, 0.0300, 0.0300, 0.0200, 0.0100, 0.0050];

    按照第二步中的方法,计算得到Q=[0.0500, 0.0467, 0.0420, 0.0525, 0.0467, 0.0350, 0.0350];

    按照第三步:得到校正后的FDR值为:FDR=[ 0.0500, 0.0467, 0.0420, 0.0420, 0.0420, 0.0350, 0.0350];

    最后,转换成原来的顺序:FDR=[0.0350, 0.0350, 0.0420, 0.0420, 0.0420, 0.0467, 0.0500].

    对于本例来说,如果总体的显着性水平设置为0.05,那么从得到的最后的FDR值来说,这几个p值都具有显着性差异。

    总结

    本文,笔者对为什么要进行多重比较校正做了简单介绍,并重点论述了FDR多重比较校正方法。关于本文中FDR校正对应的Matlab程序,如有朋友需要,请先转发本文到您的朋友圈,然后截图发给我(微信号:kervin_zhao),我会把相应代码发给您(原创不易,请大家理解)。对于多重比较校正遇到的问题,也可以加笔者进行交流。如果各位朋友觉得本文对您有帮助,也烦请各位积极转发本文到您的朋友圈,并点击文末右下方的“在看”。

    原创不易,请各位朋友积极转发,多多支持,您的每一次转发就会给我们的创作增加一份动力,谢谢!推荐阅读

    如何计算EEG信号的香农熵Shannon entropy(附Matlab程序)

    聊一聊置换检验Permutation test的原理

    脑科学研究中常用的神经电信号记录电极介绍

    大脑中的结构连接、功能连接和有效连接

    基于图论的复杂脑网络分析中的常用指标

    关注我们

    展开全文
  • 关于多重比较校正,虽然曾经查过很多东西,也大概记住一些,但最近发现没留下多少正确的印象。所以又温习了一遍,稍加整理,留备后用。当然,这些还是我自己的理解,如果有不对的地方,还请指出 :) 主要内容均...

    关于多重比较校正,虽然曾经查过很多东西,也大概记住一些,但最近发现没留下多少正确的印象。所以又温习了一遍,稍加整理,留备后用。当然,这些还是我自己的理解,如果有不对的地方,还请指出 :)

    主要内容均来自wikipedia以及这个网页.

    假设我们手上有一枚硬币,想通过抛10次硬币的方法检验它的金属分布是否均匀,结果发现扔10次,有9次国徽朝上。此时我们打算下结论说它的分布不均匀,恐怕被人动了手脚。但这个判断的正确性有多大,在统计上就需要用 p-value 来衡量。p-value 就是在原假设(Null hypothesis)为真时,得到和试验数据一样极端(或更极端)的统计量的概率;它本质上控制 false positive rate (FPR)。我们常说的 p 小于0.05即是说发现的现象为假阳性结果的概率小于5%。

    如果我们手上有10000枚上文提到的相同的硬币要检验呢?假设针对每枚硬币依然采用以上的方法,则这10000次检验完全不出错的概率只有 (1 - 0.05) ** 10000。这在很多情况下不能接受的。此时我们面对的不再是 single test 问题,而是 multiple test。需要控制的是 family wise error rate (FWER)。一种很经典的控制FWER的方法是 Bonferroni correction。比如我们设定FWER为0.05,则可以将所有10000次检验中,出现错误的概率控制在5%以内。

    但面对 fMRI 这样的数据,Bonferroni correction 则显得不太合适了。Bonferroni correction 是否适用,取决于数据是否服从一个基本假设:即每次 test 是否独立。像上面举的抛硬币的例子,每抛一次,显然都是独立事件。但像 fMRI 这样邻近 voxel 的信号往往具有高相关的数据,Bonferroni 矫正显然不太适用了。为了针对这种情况,人们选择使用了 Random-field Theory (RFT) 进行 FWE correction。其基本假设就是空间邻近的 voxel 具有相关(也可以说是存在由空间平滑造成的相关),则在检验前,先估算数据的平滑程度,再基于这一指标计算某个 voxel 不是由随机因素引起激活的概率。这种方法相对前一种相对宽松很多,但研究发现,其假设要求平滑程度至少要为数据最小空间分辨率的2-3倍(而且平滑程度越大,检验效果越宽松),使得许多研究无法采用此方法,同时也有研究表明这种矫正方式同样过于严格。

    鉴于以上问题,以及对 FWE 概念的理解,随之我们采用了一种新的方法,FDR(False Discovery Rate)错误控制方法。FWE correction 保证的是在已通过多重比较校正的显著的检验中,出现假阳性结果的概率不大于某一值(比如0.05),即发现的显著结果中出错(哪怕只有一个错误)的概率小于0.05。但研究者也都有一个信念:我们的数据是存在噪声的,我们希望知道这些显著的结果中,有多少是真的。FDR 方法有效的控制了在这些阳性结果中的错误出现率。比如在上文中提到的10000个检验中,只发现1000个阳性结果,即硬币质量分布不均,则若控制FDR的q-value为0.05时,只对这1000个检验进行操作,并保证最后经过校正的检验结果中出现假阳性的结果的数量不多于50个(1000 * 0.05)。相对 FWER,FDR 在对结果的控制上显然要宽松很多,同时也给研究带来了更多的“有效”结果。需要提一下的是,在 FDR 校正中,对于 p-value 最小的检验,其校正的力度最大,随 p-value 增大,校正力度逐渐减小,这也体现了其减少假阳性结果的目的。

    展开全文
  • 《本文同步发布于“脑之说”微信公众号,欢迎搜索关注~~》在科学研究的统计分析中,我们往往会遇到多重比较校正问题。多重比较校正的方法很多,如Bonferroni、False Discovery Rate(FDR)、Random-field Theory (RFT)...

    《本文同步发布于“脑之说”微信公众号,欢迎搜索关注~~》

    在科学研究的统计分析中,我们往往会遇到多重比较校正问题。多重比较校正的方法很多,如Bonferroni、False Discovery Rate(FDR)、Random-field Theory (RFT)等等,各种校正方法各有优劣,具体应用时要根据自己的统计分析的数据特点进行选择。本文,笔者对Bonferroni和False Discovery Rate(FDR)两种校正方法进行论述,特别是对于应用比较广的FDR校正方法,笔者用具体的例子详细阐述了其原理,并给出其Matlab程序。

    为什么要进行多重比较校正

    当在同一个数据集上进行多次统计检验时,就需要进行多重比较校正。举个简单的例子,A、B两组被试,我们从每个被试身上得出10个指标。如果我们要研究A、B两组被试的某一个指标是否存在显著差异,那么此时我们只做一次统计分析就行;假设这个指标的p值小于0.05,我们会认为这个指标在A、B两组之间存在显著差异,此时,我们犯错的概率(或者称为假阳性率)是5%。假设我们把这10个指标都进行了统计分析,即使每个独立的指标的p值都小于0.05,此时我们犯错的概率不再是5%,而是1-(0.95)^10=0.4013,也就是说此时我们犯错的概率达到40%多,这在统计学上是不可接受的。因此,需要进行多重比较校正。

    Bonferroni 校正方法

    Bonferroni校正方法非常简单,若单次显著性水平为0.05,那么Bonferroni 校正后的p值应该为0.05/n,其中n为统计比较的次数。Bonferroni 校正方法应该属于最严格的一种校正方法,当统计比较的次数比较多时,Bonferroni 校正后的p值会非常小,此时不推荐使用这种校正方法。当统计比较的次数较小时,如小于几十个时,可以尝试使用。

    FDR 校正方法

    这里,笔者主要对FDR校正方法的原理进行论述。FDR校正方法是Benjamini和Hochberg于1995年提出了一种多重比较校正的方法。其实,FDR具体的算法也有多种,如Storey法(由Storey等人提出)、Benjamini-Hochberg法(简称BH法)等。其中BH法目前应用最广,这里主要介绍这种方法的基本原理。

    基于BH法的FDR校正过程:

    第一步:将我们单独统计得到的一系列的p=[p1,p2,…,pn]从大到小进行重新排序,计为P=[P1,P2,…,Pn];

    第二步:按照以下公式计算每个P值所对应的校正前的FDR值,这里称之为Q值:Q = Pi* (n/r),Pi表示P中元素值,n是P值个数,r依次为n,n-1,…,1。

    第三步:对Q进行校正,得到FDR值。对于计算出来的Q=[Q1,Q2,…,Qn],若某一个Qi值大于前一位Qi-1值,则把Qi的值赋值为Qi-1;反之则保留相应的Q值。最终得到Q值称之为校正后的FDR值。

    第四步:按照重排序之前的顺序返回各个p值对应的校正后的FDR值。

    例子:假设p=[0.01, 0.005, 0.03, 0.03, 0.02, 0.04, 0.05],计算相应的校正后的FDR值。

    笔者按照上述步骤,自行编制相应的Matlab程序,计算过程和结果如下:

    按照上述第一步步骤,计算得到P=[0.0500, 0.0400, 0.0300, 0.0300, 0.0200, 0.0100, 0.0050];

    按照第二步中的方法,计算得到Q=[0.0500, 0.0467, 0.0420, 0.0525, 0.0467, 0.0350, 0.0350];

    按照第三步:得到校正后的FDR值为:FDR=[ 0.0500, 0.0467, 0.0420, 0.0420, 0.0420, 0.0350, 0.0350];

    最后,转换成原来的顺序:FDR=[0.0350, 0.0350, 0.0420, 0.0420, 0.0420, 0.0467, 0.0500].

    对于本例来说,如果总体的显著性水平设置为0.05,那么从得到的最后的FDR值来说,这几个p值都具有显著性差异。

    总结

    本文,笔者对为什么要进行多重比较校正做了简单介绍,并重点论述了FDR多重比较校正方法。关于本文中FDR校正对应的Matlab程序,如有朋友需要,请先转发本文到您的朋友圈,然后截图发给我(微信号:kervin_zhao),我会把相应代码发给您(原创不易,请大家理解)。对于多重比较校正遇到的问题,也可以加笔者进行交流。

    展开全文
  • 多重比较校正的方法很多,如Bonferroni、False Discovery Rate(FDR)、Random-field Theory (RFT)等等,各种校正方法各有优劣,具体应用时要根据自己的统计分析的数据特点进行选择。本文,笔者对Bonferroni和False ...

    《本文同步发布于“脑之说”微信公众号,欢迎搜索关注~~》

    在科学研究的统计分析中,我们往往会遇到多重比较校正问题。多重比较校正的方法很多,如Bonferroni、False Discovery Rate(FDR)、Random-field Theory (RFT)等等,各种校正方法各有优劣,具体应用时要根据自己的统计分析的数据特点进行选择。本文,笔者对Bonferroni和False Discovery Rate(FDR)两种校正方法进行论述,特别是对于应用比较广的FDR校正方法,笔者用具体的例子详细阐述了其原理,并给出其Matlab程序。

    为什么要进行多重比较校正

    当在同一个数据集上进行多次统计检验时,就需要进行多重比较校正。举个简单的例子,A、B两组被试,我们从每个被试身上得出10个指标。如果我们要研究A、B两组被试的某一个指标是否存在显著差异,那么此时我们只做一次统计分析就行;假设这个指标的p值小于0.05,我们会认为这个指标在A、B两组之间存在显著差异,此时,我们犯错的概率(或者称为假阳性率)是5%。假设我们把这10个指标都进行了统计分析,即使每个独立的指标的p值都小于0.05,此时我们犯错的概率不再是5%,而是1-(0.95)^10=0.4013,也就是说此时我们犯错的概率达到40%多,这在统计学上是不可接受的。因此,需要进行多重比较校正。

    Bonferroni 校正方法

    Bonferroni校正方法非常简单,若单次显著性水平为0.05,那么Bonferroni 校正后的p值应该为0.05/n,其中n为统计比较的次数。Bonferroni 校正方法应该属于最严格的一种校正方法,当统计比较的次数比较多时,Bonferroni 校正后的p值会非常小,此时不推荐使用这种校正方法。当统计比较的次数较小时,如小于几十个时,可以尝试使用。

    FDR 校正方法

    这里,笔者主要对FDR校正方法的原理进行论述。FDR校正方法是Benjamini和Hochberg于1995年提出了一种多重比较校正的方法。其实,FDR具体的算法也有多种,如Storey法(由Storey等人提出)、Benjamini-Hochberg法(简称BH法)等。其中BH法目前应用最广,这里主要介绍这种方法的基本原理。

    基于BH法的FDR校正过程:

    第一步:将我们单独统计得到的一系列的p=[p1,p2,…,pn]从大到小进行重新排序,计为P=[P1,P2,…,Pn];

    第二步:按照以下公式计算每个P值所对应的校正前的FDR值,这里称之为Q值:Q = Pi* (n/r),Pi表示P中元素值,n是P值个数,r依次为n,n-1,…,1。

    第三步:对Q进行校正,得到FDR值。对于计算出来的Q=[Q1,Q2,…,Qn],若某一个Qi值大于前一位Qi-1值,则把Qi的值赋值为Qi-1;反之则保留相应的Q值。最终得到Q值称之为校正后的FDR值。

    第四步:按照重排序之前的顺序返回各个p值对应的校正后的FDR值。

    例子:假设p=[0.01, 0.005, 0.03, 0.03, 0.02, 0.04, 0.05],计算相应的校正后的FDR值。

    笔者按照上述步骤,自行编制相应的Matlab程序,计算过程和结果如下:

    按照上述第一步步骤,计算得到P=[0.0500, 0.0400, 0.0300, 0.0300, 0.0200, 0.0100, 0.0050];

    按照第二步中的方法,计算得到Q=[0.0500, 0.0467, 0.0420, 0.0525, 0.0467, 0.0350, 0.0350];

    按照第三步:得到校正后的FDR值为:FDR=[ 0.0500, 0.0467, 0.0420, 0.0420, 0.0420, 0.0350, 0.0350];

    最后,转换成原来的顺序:FDR=[0.0350, 0.0350, 0.0420, 0.0420, 0.0420, 0.0467, 0.0500].

    对于本例来说,如果总体的显著性水平设置为0.05,那么从得到的最后的FDR值来说,这几个p值都具有显著性差异。

    总结
    本文,笔者对为什么要进行多重比较校正做了简单介绍,并重点论述了FDR多重比较校正方法。关于本文中FDR校正对应的Matlab程序,如有朋友需要,请先转发本文到您的朋友圈,然后截图发给我(微信号:kervin_zhao),我会把相应代码发给您(原创不易,请大家理解)。对于多重比较校正遇到的问题,也可以加笔者进行交流。

    注:原创不易,请多多转发支持,如有问题请加笔者微信交流(悦影科技赵宗亚,微信:15560177218)

    展开全文
  • SPM做完统计后,statistical table中的FDRc实际上是在该p-uncorrected下,可以令FDR-correcred p<=0.05的最小cluster中的voxel数目; topological FDR和AlphaSim的步骤完全相同,只是两者在估计cluster大小的...
  • post hoc test 如果ANOVA结果显示至少有两组的均值不相等,那么接下来要确定是哪两组或哪些组的均值不相等,对差异的这个结果进行后续...优点是对所有组进行两两比较,计算简单,能减少type 1error的概率,各组样...
  • 2 AFNI的聚类校正方法要求用户估计数据的平滑度,然后使用这些平滑度估计来确定显著聚类的阈值。 要做到这一点,您首先需要在被试的errts文件上运行3dFWHMx,该文件包含所有未建模的残差—噪声。 3dFWHMx -mask mask...
  • 将检验应用于多个变量时,“tmax”方法用于调整每个变量的 p 值以进行多重比较(Blair & Karniski,1993)。 与 Bonferroni 校正一样,此方法以控制家庭错误率的方式调整 p 值。 但是,当测试中的不同变量相关时,...
  • 浅谈多重检验校正FDR

    2018-11-09 21:37:00
    浅谈多重检验校正FDR Posted:四月 12, 2017Under:BasicBy Kaino Comments 例如,在我们对鉴定到的差异蛋白做GO功能注释后,通常会计算一个p值。当某个蛋白的p值小于0.05(5%)时,我们通常认为这个蛋白在两个...
  • Bonferroni-Holm (1979) 多重比较校正。 这是用于多重比较的简单 Bonferroni 校正的顺序拒绝版本,并强烈控制 alpha 水平的家庭错误率。 它的工作原理如下: 1) 所有 p 值按从小到大的顺序排序。 m 是 p 值的数量。 ...
  • 多重检验校正

    2021-07-01 08:31:46
    多重检验校正 总结: (1)当同一个数据集有n次(n>=2)假设检验时,要做多重假设检验校正 (2)对于Bonferroni校正,是将p-value的cutoff除以n做校正,这样差异基因筛选的p-value cutoff就更小了,从而使得结果...
  • 多重比较的问题 当同一研究问题下进行多次假设检验时,不再符合小概率原理所说的“一次试验”。如果在该研究问题下只要有检验是阳性的,就对该问题下阳性结论的话,对该问题的检验的犯一类错误的概率就会增大。如果...
  • 多重假设检验与Bonferroni校正、FDR校正
  • 文章目录学习目标 学习目标 描述模型拟合过程 比较两种假设检验方法(Wald检验与LRT检验) 解释对多重测试(multiple testing)的需要,并介绍不同的方法
  • 我们超越了这种近似,证明了,尽管属于相同N = 4 $$ \ mathcal {N} = 4 $$超多重的算子应该具有相同的保形数据,但是可以映射一个算子的量子瞬时子校正的评估。 转换为同一超多中另一个运算符的半经典计算。 此观察...
  • 基于Delaunay三角剖分的PCB检孔机多重孔位校正方法.pdf
  • 多重假设检验校正为什么有效?

    千次阅读 2015-05-06 10:03:13
     p值只对一次实验结果有效,如果是多重假设检验需要进行校正。 3.多重假设检验校正。  邦弗朗尼校正:p值小于显著性阈值/n(在零假设中至少有一个的得分会大于观测值的概率为显著性阈值,即我们有1-显著性阈值的...
  • =2)假设检验时,要做多重假设检验校正 (2)对于Bonferroni校正,是将p-value的cutoff除以n做校正,这样差异基因筛选的p-value cutoff就更小了,从而使得结果更加严谨 (3)FDR校正是对每个p-value做校正,转换...
  • 假设检验是用于检验统计假设的一种方法,其基本思想是“小概率事件”原理,即小概率事件在一次试验中基本上不会发生。 假设检验的基本方法是提出一个空假设(null hypothesis),也叫做原假设或无效假设,符号是H0...
  • 多重检验的p值校正:FWER和FDR

    千次阅读 2020-06-23 22:50:15
    对于多重检验来说,假设做了m次test,V是假阳性的次数,S是真阳性的次数,R是V+S。 列表如下: H0H_0H0​ Do not reject H0H_0H0​ Reject H0H_0H0​ Total TRUE U V m0m_0m0​ FALSE T S m−m0m-m_0m−...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,964
精华内容 1,185
关键字:

多重比较的校正