精华内容
下载资源
问答
  • 假设检验-显著性水平

    2021-10-23 08:59:48
    显著性水平α 与 p值

    显著性水平 α

    「显著性水平」表示因为拒绝「原假设」而犯错误的概率

    显著性水平0.05,代表原假设成立时,100次抽样有95次接受原假设,有5次错误否定原假设。
    显著性水平0.01代表原假设成立时,100次抽样有99次接受原假设,有1次错误否定原假设。

    α通常取0.05或0.01。这表明,当作出接受原假设的决定时,其正确的可能性(概率)为95%或99%。即,显著性水平越小越容易接受原假设。

    p值(p-value)

    若p值小于α,则拒绝原假设。若p值大于α,不显著,则无法拒绝原假设。

    展开全文
  • 转载-显著性水平入门

    2018-09-27 17:26:27
    无论你从事何种领域的科学研究还是统计调查,显著性检验作为判断两个乃至多个数据集之间...后来醉心于统计理论半载有余才摸到显著性检验的皮毛,也为显著性检验理论之精妙,品种之繁多,逻辑之严谨所折服。在此,特...

    转载-https://www.cnblogs.com/hdu-zsk/p/6293721.html

    无论你从事何种领域的科学研究还是统计调查,显著性检验作为判断两个乃至多个数据集之间是否存在差异的方法被广泛应用于各个科研领域。笔者作为科研界一名新人也曾经在显著性检验方面吃过许多苦头。后来醉心于统计理论半载有余才摸到显著性检验的皮毛,也为显著性检验理论之精妙,品种之繁多,逻辑之严谨所折服。在此,特写下这篇博文,以供那些仍然挣扎在显著性检验泥潭的非统计专业的科研界同僚们参考。由于笔者本人也并非统计专业毕业,所持观点粗陋浅鄙,贻笑大方之处还望诸位业界前辈,领域翘楚不吝赐教。小可在此谢过诸位看官了。

         本篇博文致力于解决一下几点问题,在此罗列出来:1.什么是显著性检验? 2.为什么要做显著性检验? 3.怎么做显著性检验?下面就请跟随笔者的步伐一步步走入显著性检验的“前世与今生”。


     

    一:显著性检验前传:什么是显著性检验?它与统计假设检验有什么关系?为什么要做显著性检验?

         “显著性检验”实际上是英文significance test的汉语译名。在统计学中,显著性检验是“统计假设检验”(Statistical hypothesis testing)的一种,显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。实际上,了解显著性检验的“宗门背景”(统计假设检验)更有助于一个科研新手理解显著性检验。“统计假设检验”这一正名实际上指出了“显著性检验”的前提条件是“统计假设”,换言之“无假设,不检验”。任何人在使用显著性检验之前必须在心里明白自己的科研假设是什么,否则显著性检验就是“水中月,镜中花”,可望而不可即。用更通俗的话来说就是要先对科研数据做一个假设,然后用检验来检查假设对不对。一般而言,把要检验的假设称之为原假设,记为H0;把与H0相对应(相反)的假设称之为备择假设,记为H1。

         如果原假设为真,而检验的结论却劝你放弃原假设。此时,我们把这种错误称之为第一类错误。通常把第一类错误出现的概率记为α

         如果原假设不真,而检验的结论却劝你不放弃原假设。此时,我们把这种错误称之为第二类错误。通常把第二类错误出现的概率记为β

         通常只限定犯第一类错误的最大概率α, 不考虑犯第二类错误的概率β。我们把这样的假设检验称为显著性检验,概率α称为显著性水平。显著性水平是数学界约定俗成的,一般有α =0.05,0.025.0.01这三种情况。代表着显著性检验的结论错误率必须低于5%或2.5%或1%(统计学中,通常把在现实世界中发生几率小于5%的事件称之为“不可能事件”)。(以上这一段话实际上讲授了显著性检验与统计假设检验的关系)

         为了方便接下来的讲授,这里举一个例子。赵先生开了一家日用百货公司,该公司分别在郑州和杭州开设了分公司。现在存在下列数据作为两个分公司的销售额,集合中的每一个数代表着一年中某一个月的公司销售额。

         郑州分公司Z = {23,25,26,27,23,24,22,23,25,29,30}

         杭州分公司H = {24,25,23,26,27,25,25,28,30,31,29}

    现在,赵先生想要知道两个公司的销售额是否有存在明显的差异(是否存在郑州分公司销售额>杭州分公司销售额,抑或反之),以便对接下来公司的战略业务调整做出规划。下属们知道赵老板的难处,纷纷建议“只需要求平均值就知道哪个分公司的销售额更大了”。但是作为拥有高学历的赵先生懂得这样一件哲学即“我们生活在概率的世界之中”。那也就意味着,平均值并不能够说明什么问题,即便杭州分公司的销售额平均值大于郑州分公司的销售额平均值仍然不能说明杭州分公司的销售额一定就大于郑州分公司的销售额,因为“这样一种看似存在的大于关系实质上是偶然造成的而并不是一种必然”。

         赵先生最终决定,使用方差验检查这两个数据。(请先忽略为什么用方差检验,检验方法的选择下文中会详述)

         最后赵先生发现,方差检验的p 值= 0.2027,那也就意味着,虽然杭州分公司的年平均销售额26.63大于郑州分公司的销售额25.18,但是实质上,两个分公司的销售额并没有明显的差异。(相信此时的你心中有万千草泥马奔过:方差检验是怎么做的?p值是什么鬼?为什么p=0.2027意味着销售额没有明显差异?信息量好大肿么办?)

     

    不要急,不要慌,让我们从头来过,整理一下赵先生这里究竟发生了什么。这里很有必要了解一下根植于赵先生思维里的“慢动作”。

    第一点:如上文所述的一样,“无假设,不检验”,赵先生做了什么样的假设(Hypothesis)?

    由于赵先生想要知道两个公司的销售额是否有存在明显的差异 ,所以他的假设就是“样本集Z(郑州分公司)和样本集H(杭州分公司)不存在显著性差异,换言之这两个集合没有任何区别(销售额间没有区别)!”这就是赵先生的假设。那么问题来了,为什么赵先生要假设这两个样本集之间不存在任何区别,而不是假设这两个样本集存在区别。因为这个假设(Hypothesis)正是方差检验的原假设(null hypothesis)。那么问题又来了,什么是原假设。所谓原假设是数学界为了方便讨论而默认的“原始的假设”。没有什么为甚么可言,约定俗成罢了。

    第二点:p值怎么回事?

    这里并不用管p值是怎样得到的,直接给出结论。在显著性水平α =0.05的情况下,p>0.05接受原假设,p值<0.05拒绝原假设。我们的原假设是样本集Z和样本集H间不存在显著性差异,但是由于p=0.2027>0.05,所以接受原假设,即样本集Z和样本集H间不存在显著性差异。当然有接受就有拒接,如果这里的p值小于0.05,那么就要拒绝原假设,即集合Z和集合H间存在显著性差异。

    第三点:怎么做方差检验以及为何做方差检验之后再细讲,这里暂且不表。

    在这一章节的最后,给出本章的两个问题的答案,相信你现在已经可以理解:

    1什么是统计假设检验?

    所谓统计假设检验就是事先对总体(随机变量)的参数总体分布形式做出一个假设,然后利用样本信息来判断这个假设是否合理。而把只限定第一类错误概率的统计假设检验就称之为显著性检验。在上例中,我们的假设就是一种显著性检验。因为方差检验不适用于估计参数和估计总体分布,而是用于检验试验的两个组间是否有差异。而方差检验正是用于检测我们所关心的是这两个集合(两个分布)的均值是否存在差异。

    2.为什么要做显著性检验?

    因为我们想要判断样本与我们对总体所做的假设之间的差异是纯属机会变异,还是由我们所做的假设与总体真实情况之间不一致所引起的。 在我们的例子中,差异就是H的均值要高于Z的均值,但是最终的结论p>0.05证明,这个差异纯属机会变异(H均值>Z均值是偶然的,当H和Z的采样点数趋于无穷多时,H的均值会趋近等于Z的均值)而不是假设与真实情况不一致。如果p值<0.05,那么也就意味着我们的假设(H集合和Z集合没差别)与真实情况不一致,这就使得假设不成立,即H集合和Z集合有差别。

     


     

    二:怎么做显著性检验?(基于MATLAB)

    显著性检验可以分为参数检验和非参数检验。参数检验要求样本来源于正态总体(服从正态分布),且这些正态总体拥有相同的方差,在这样的基本假定(正态性假定和方差齐性假定)下检验各总体均值是否相等,属于参数检验。

    当数据不满足正态性和方差齐性假定时,参数检验可能会给出错误的答案,此时应采用基于秩的非参数检验。

    参数检验的方法及其相应知识点的解释(这里只给出参数检验中常见的方差分析):

    方差分析主要分为'①单因素一元方差分析'; '②双因素一元方差分析 '; '③多因素一元方差分析 '; '④单因素多元方差分析 '。下面一节对各种方差分析的实现方法进行介绍。但在介绍之前,我要首先“剧透”一下两个重要的点,理解这些点有助于区别不同类型的方差分析。

    什么叫做因素,什么叫做元?

    先解释一下什么叫做"元"。我假定正在看这篇博文的人一定具有小学以上文化水平,那么想必你一定对“一元二次方程”“二元一次方程”“多元一次方程”这种概念不陌生。所谓的“元”,正是指未知变量的个数。在统计假设检验中,仍然把待检验的未知变量称之为“元”而把影响未知变量的行为(事件)称之为“因素”。有过机器学习基础的同学可以把“元”和“因素”分别理解成机器学习中的“特征个数”和“标签个数”。拥有多个特征便是“多元”,而拥有多个标签便是“多因素”。

     

    ①单因素一元方差分析的方法和案例:

    相关MATLAB函数:

    函数一:anova1( X, Group, displayopt)

    参数解释:在第一种用法中,X是一个n行1列的数组,Group也是一个n行1列的数组。X为待检验的样本集,这个样本集中包括若干个对照组和实验组的全部数据。那么机器怎么知道哪个数据属于哪个组呢?很简单,通过Group这个列向量一一对应指明即可。一下这个例子来自于MATLAB的help文档,在这里用于实例说明:

    假定现在有三组数据

    组一(st):82 86 79 83 84 85 86 87

    组二(al1):74 82 78 75 76 77

    组三(al2):79 79 77 78 82 79

    现在需要对这三组数据做方差检验,使用anova1函数的方法如下

    1.首先将所有的数据放在同一个数组strength中:

    >> strength = [82 86 79 83 84 85 86 87 74 82 78 75 76 77 79 79 77 78 82 79];

    2.设置对应与strength对应位置的标签为alloy:

    >> alloy = {'st','st','st','st','st','st','st','st','al1','al1','al1','al1','al1','al1','al2','al2','al2','al2','al2','al2'};

    3.调用anova1函数

    >> p = anova1(strength,alloy)

     

    最终得到的结果会是一个数值和两幅图,一个值是p值。p值得看法在上文已经介绍过,这里不再细细的介绍。在本例中,p的值如下

    p =  1.5264e-004

    显然,从p值看,三组值之间存在显著性差异。有一点必须提一下:这里p存在显著性差异并不意味着三组之间两两都存在显著性差异,而只是说明显著性差异在这三组之间存在。

    第一幅图是一张表,这张表被称之为ANOVA表。相信许多非统计专业的同学见到ANOVA表的一瞬间是崩溃的,一堆问题奔涌而出:

    Source是什么鬼?SS是什么鬼,df是什么鬼,MS是什么鬼,F是什么鬼,Prob>F是什么鬼,etc.

    这里为了解决“什么鬼”的问题,对这张表给出详细的解释:

    Source表示方差来源(谁的方差),这里的方差来源包括Groups(组间),Error(组内),Total(总计);

    SS(Sum of squares)表示平方和

    df(Degree of freedom)表示自由度

    MS(Mean squares)表示均方差

    F表示F值(F统计量),F值等于组间均方和组内均方的比值,它反映的是随机误差作用的大小。

    Prob>F表示p值

    这里需要引出两个小问题:第一个小问题是F值怎么使用,第二个小问题是p值和F值的关系是什么?

    率先普及一下p值和F值之间的关系:

    F实际值>F查表值,则p<=0.05

    F实际值<F查表值,则p>0.05

    不难看出F值在本例中等于15.4,它正是组间方差92.4和组内方差6的比值。查F分布表(下图),

    根据 n=19( Total 的df),m=2(Groups的df)

    可得F0.05( m, n-m-1) = F0.05( 2, 16) = 3.634。F实际值15.4>F查表值3.634,所以可以判定显著性差异存在,且p值小于0.05

    以上讲述了如何仅仅使用F值判断显著性差异的方法并讲述了F值同p值之间的关系。下面这张表格是箱型图,它的看法如下图所表注:

    这里有必要提一下anova1函数中的参数displayopt 的作用。在大规模的anova1调用中(例如把anova1放在for循环中反复调用),需要把displayopt设置为'off',否则anova1每调用一次就会绘制两幅图,这样会迅速的耗费计算机的内存,容易造成程序崩溃。

    除了上文中介绍的第一种调用anova1的方式,还有一种方式用于均衡的方差分析。所谓均衡就是要求不同的组别内的统计数据个数必须相同。在上例中出现的各个组的统计个数分别为{8,6,6}就属于非均衡。在均衡状态下,每个组的数据单独构成X中的一列,这样便可以省略参数Group,调用方式就可以简化为anova1(X)

     

    在上文中,我们提到过。方差分析必须满足两条假设,分别是正态性假定和方差齐性假定。因此,在一个完整的统计工程中,必须首先检测数据的正态性假定和方差齐性假定,这就涉及到另外两个函数lillietest正态检验函数(这正是我们上文提到的分布假设检验而不是参数检验,它检验的目标是数据集服从何种分布)和vartestn方差齐性检验(这正是我们上文提到的参数检验而不是分布假设检验 ,它检测的目标是数据集的分布服从什么样的参数,这里就是方差)

     

    函数二:lillietest(X)

    >> [h,p] = lillietest (strength(1:8))

    h =     0

    p =    0.5000

    解释:h = 0可以认为数据服从正态分布,h=1则认为不服从正态分布

    p >0.05可以认为接受原假设h = 0,则数据服从正态分布

    >> [h,p] = lillietest (strength(9:14))

    h =     0

    p =    0.5000

    >> [h,p] = lillietest (strength(15:20))

    h =     0

    p =    0.5000

    可以得出结论,strength中三组数都服从正态分布

     

    函数三:vartestn(X, Group)

    >> p = vartestn(strength,alloy,'off')

    p=0.5142

    注意:X和Group必须是列向量,否则会报错

    p>0.05则说明X中的不同Group是齐次的,也就是方差性齐。

     

    ②双因素一元方差分析的方法和案例:

     

    正如上文所述,既然是双因素,那便是有多个标签了。因此双因素一元方差分析可以理解成“单特征双标签机器学习技术”。由于双因素一元方差分析要求数据是均衡的,所以它的标签可以省略,就如同上文中介绍的anova1的第二种使用方法一样。这里的例子引用于MATLAB的anova2的help文档,用于说明anova2的使用方法。

    这里有一批爆米花数据,现在我们知道这些爆米花的质量打分同两个因素相关,一个是爆米花的品牌(有三个品牌:Gourmet,National,Generic)另一个是爆米花的制作工艺(油炸,气压)。这些数据如下所述:

                        brand    Gourmet        National       Generic

    methods

         油炸                        5.5000          4.5000         3.5000

         油炸                        5.5000          4.5000         4.0000

         油炸                        6.0000          4.0000         3.0000

         气压                        6.5000          5.0000         4.0000

         气压                        7.0000          5.5000         5.0000

         气压                        7.0000          5.0000         4.5000

     

    现在需要了解的目标有三个,第一:列和列之间是否有显著性差异(品牌间的显著性差异),原假设是显著性差异不存在;第二:行与行之间是否存在显著性差异,原假设是显著性差异不存在 ;第三:品牌和方法之间的交互作用是否明显,原假设是交互作用不明显

    为了完成以上三个问题,所以特别引入anova2函数,anova2函数的参数如下:

    p = anova2( X, reps, displayopt)

    X即为待检验数组。其中,X的每列一代表一种因素,X的每若干行代表另一种因素,这里的若干使用reps指明。displayopt同anova1一样,这里不再详述。anova2的返回是一值一幅图。下面是具体的MATLAB方法:

    >> popcorn =[

      5.5000  4.5000  3.5000

      5.5000  4.5000  4.0000

      6.0000  4.0000  3.0000

      6.5000  5.0000  4.0000

      7.0000  5.5000  5.0000

      7.0000  5.0000  4.5000];

     

    >> [p,table,stats] = anova2(popcorn,3)

     

    p =

        0.0000    0.0001    0.7462

    解释:p(1) = 0.0000, 推翻原假设,所以列与列之间的显著性差异存在(品牌间存在显著性差异);p(2) = 0.0001,推翻原假设,所以行与行之间的显著性差异存在(方法间的显著性差异存在);p(3) = 0.7462,保留原假设,则品牌和方法间的交互作用不明显。

    图表中的Columns代表列,Rows代表行,Interaction代表交互作用,其他的与我们在anova2中讲述的完全相同,这里也不再详细分析。

    ③多因素一元方差分析的方法和案例:

    p = anovan(X, Group, Opt);

    其中,X代表着待检验数据;Group代表着X的因素,由于是多因素,所以Group是多个列组成的。Opt可以选择为'model',model后面可以填写'full'和'interaction'。

    比如因素有三个x,y,z,那么如果model为interaction,计算结果会包括x的显著性,y的显著性,z的显著性,xy,xz,yz的交互影响显著性

    如果model为full,计算结果会包括x的显著性,y的显著性,z的显著性,xy,xz,yz的交互影响显著性以及xyz的交互显著性。

    这里的例子仍然来自于MATLAB的help文档,y是待检验的数据,g1,g2,g3是与y中数据一一对应的3个因素(数据标签)

    y = [52.7 57.5 45.9 44.5 53.0 57.0 45.9 44.0]';

    g1 = [1 2 1 2 1 2 1 2];

    g2 = {'hi';'hi';'lo';'lo';'hi';'hi';'lo';'lo'};

    g3 = {'may';'may';'may';'may';'june';'june';'june';'june'};

     

    >> p = anovan(y,{g1 g2 g3},'model','interaction')

     

    p =

        0.0347

        0.0048

        0.2578

        0.0158

        0.1444

        0.5000

    这里有一个使用的小窍门,如果你想做非平衡双因素一元方差分析那么也可以采用多因素一元方差分析函数。

    ④单因素多元方差分析的方法和案例:

    [d, p] = manova1(X, Group);

    p,X和Group与之前相同。该方差分析的原假设是“各组的组均值是相同的多元向量”这里对d做出解释:

    d=0,接受原假设

    d=1,拒绝原假设,认为各组的组均值不完全相同,但是不能拒绝它们共线的假设。

    d=2,拒绝原假设,各组的组均值向量可能共面,但是不共线。

    四种商品(x1,x2,x3,x4)按照不同的两种销售方式进行销售,数据如下:

    编号   x1     x2     x3     x4     销售方式

    1      125    60     338     210     1

    2     119     80     233     330     1

    3       63     51     260     203     1

    4       65     51     429     150     1

    5     130     65     403     205     1

    6       65     33     480     260     1

    7     100     34     468     295     2

    8       65     63     416     265     2

    9     110     69     377     260     2

    10     88     78     299     360     2

    11     73     63     390     320     2

    12   103     54     416     310     2

    13     64     51     507     320     2

     

    >> X =

       125    60   338   210

       119    80   233   330

        63    51   260   203

        65    51   429   150

       130    65   403   205

        65    33   480   260

       100    34   468   295

        65    63   416   265

       110    69   377   260

        88    78   299   360

        73    63   390   320

       103    54   416   310

        64    51   507   320

     

    >> Groups =

         1

         1

         1

         1

         1

         1

         2

         2

         2

         2

         2

         2

         2

    >> [d, p] = manova1(X, Groups);

    d =     0

    p =    0.0695

     

    因此,拒绝原假设,各组的组均值不是相同的多元向量。

    非参数检验:

    到这类,参数检验部分就算是说完了。我们可以回顾一下,参数检验的四种函数分为anova1,anova2,anovan,manova1。他们都基于共同的两个假设:正态性假定和方差齐性假定 ,分别对应着函数lillietest 和vartestn。但是,我们在实际工作中,不可能总是遇到满足这两个假定的统计数据,这时候,如果强行采用参数检验就会造成错误。此时,可以采用基于秩和的非参数检验。这里我们介绍两种非参数检验:Kruskal-Wallis检验,Friedman检验。通过参数检验的部分介绍,想必读者已经对显著性检验入门,有些细节这里不再详细介绍,留作有兴趣读者自行查询。这里对分参数检验只做必要介绍。

    ①Kruskal-Wallis检验

    Kruskal-Wallis检验又被称之为单因素非参数方差分析,是非参数版的anova1。该检验的原假设是:k个独立样本来自于相同的正态总体。其MATLAB函数如下:

    p = kruskalwallis(X,Group)

    X,Group,p和参数检验里的完全相同。不再详细介绍。

     

    ②Friedman检验

    Friedman检验又被称之为双因素秩方差分析,是非参数版的anova2。同anova2一样,待检验的数据也必须是均衡的。但是需要特别注意的是,Friedman检验和anova2检验不完全相同,anova2同时注意两个因素对待检验数据的影响,但是,Friedman检验只注重2个因素中的其中一个对待检验数据的影响,而另一个因素则是用来区分区组用的。

    如上图所示矩阵X,Friedman检验只关注X的各个列(因素A)水平之间有无显著差异,他对各行之间(因素B,也被称之为区组因素)完全不感兴趣。因此,Friedman检验的原假设是k个独立样本(X的各列)来自于相同的正态总体。至于为何Friedman检验对因素B不感兴趣,这里通过一个例子说明。该例子来源于《MATLAB统计分析与应用40个案例分析》

    有4名美食评委1234对来自于四个地区ABCD的名厨的名菜水煮鱼做出评价打分,数据如下:

                   地区       A       B       C      D

    美食评委 

         1                    85     82     82     79

         2                    87     75     86     82

         3                    90     81     80     76

         4                    80     75     81     75

    现在我们想知道,这四个地方的水煮鱼品质是否相同。

     

    数据分析:我们的目标是四个地方水煮鱼的品质是否相同。那么同一个评委对四个地区厨师的打分就具有可参考性,而不同地区评委之间对同一个厨师的打分参考性几乎没有(受评委自己的主观意识影响太强)。因此,我们认为四个地区是因素A,而评委是因素B(区组因素),不同区组之间的数据没有可比较性。

     

    >> X =

        85    82    82    79

        87    75    86    82

        90    81    80    76

        80    75    81    75

    >> p = friedman(X,1)

    p = 0.0434

    因此可以认为,四个地区制作水煮鱼的水平有显著性差别。至于是那两个之间有显著性差别还需要一一比较。

    结语:讲到这里,常见的显著性检验方法就算是讲完了。希望通过这篇博文可以使显著性检验不再成为各位看官的心头大患,不必再谈“检”色变。如果真的可以做到这样,于愿足矣。

    展开全文
  • 显著性水平、置信区间、假设检验与方差分析相关知识点总结 参数说明 显著性水平 显著性水平检验 置信区间 假设检验 参数检验 F检验 t检验 Z检验 非参数检验 卡方检验(✘2检验) 秩和检验 常用的假设检验种类及使用...

    参数说明

    1. p-value:p值,即某件事情发生的概率
    2. α:显著性水平
    3. β:本文中一般指假设检验的第二类错误的概率
    4. Pr(M):置信区间
    5. σ2:本文中一般指总体方差
    6. s2:本文中一般指样本方差
    7. μ:本文中一般指总体平均值
    8. X:本文中一般指样本平均值
    9. H0:原假设,H0值等
    10. H1:备择假设
    11. t:t检验、T分布、t值等
    12. F:F检验、F分布、F值等
    13. z:z检验、z分布、z值等
    14. 2:卡方检验、卡方分布、卡方值等
    15. n:样本长度

    显著性水平

    显著性水平(通常用α表示)是在进行假设检验时事先确定一个可允许的概率作为判断界限的小概率标准。检验中,依据显著性水平大小把概率划分为二个区间,小于给定标准的概率区间称为拒绝区间,大于这个标准则为接受区间。事件属于接受区间,原假设成立而无显著性差异;事件属于拒绝区间,拒绝原假设而认为有显著性差异。

    通俗来讲,显著水平表示的是一个标准,即表示判断界限的小概率标准,往往显著性水平存在一定的人为因素,通常作为标准的小概率有0.1、0.05、0.01。有时人们也会使用显著性水平来检验假设是否成立,而用到的便是小概率事件。我们一般认为p-value≤0.05就可以认为假设是不成立的。0.05这个标准就是显著水平,当然选择多少作为显著水平也是主观的。

    对显著水平的理解必须把握以下二点:

    1. 显著性水平不是一个固定不变的数值,依据拒绝区间所可能承担的风险来决定。
    2. 统计上所讲的显著性与实际生活工作中的显著性是不一样的。

    显著性水平检验

    显著性水平检验属于假设检验的一种,应用的原理便是上面所说的显著性水平的原理,首先确定一个标准(即判断界限的小概率标准),一般取0.05(与后续的95%置信区间相对应)。当某个事件的发生概率小于这个概率时,事件属于拒绝区间,该事件具有显著性差异,拒绝原假设,即假设不成立。

    置信区间

    • 置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中,一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度,其给出的是被测量参数的测量值的可信程度,即前面所要求的“一个概率”。就拿捕鱼来说,一网下去,我知道里面有多少比例的鱼是我想要的鱼。
    • 点估计与区间估计:
    1. 点估计:点估计是用样本统计量来估计总体参数,因为样本统计量为数轴上某一点值,估计的结果也以一个点的数值表示,所以称为点估计。比如买彩票,你买了5号,那么就意味着你猜测5号一定会中奖。
    2. 区间估计:区间估计是在点估计的基础上,给出总体参数估计的一个区间范围,该区间通常由样本统计量加减估计误差得到。与点估计不同,进行区间估计时,根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。仍然是上面的买彩票,你觉得中奖号在5号左右,然后你买了1号到10号10张彩票,那么就意味着你猜测着1号到10张中的某一张会中奖,使用的是点估计加减估计误差,很显然区间估计比点估计更准确。
    • 计算公式:Pr(c1<=μ<=c2)=1-α,其中α为显著性水平。
    • 95%置信区间:通常使用的较多的是95%置信区间,对应的α为0.05。一个样本服从X~N(μ,σ2)分布,其中μ为样本均值,σ2为样本方差;其95%置信区间可以按照如下方式计算(公式中1.96就是α=0.05时对应的标准值):
      在这里插入图片描述

    假设检验

    • 假设检验:指事先对总体参数或分布形式作出某种假设,然后利用样本信息来判断原假设是否成立,通常具有①采用逻辑上的反证法,②依据统计上的小概率原理等特点。
    • 假设检验的分类:
    1. 参数检验:参数检验指当总体分布已知的情况下,根据样本数据对总体分布的统计参数(如均值、方差等)进行推断,常用的参数检验有t检验、f检验、Z检验等;
    2. 非参数检验:非参数检验指当总体分布未知的情况下,根据样本数据对总体的分布形式或特征进行推断,常用的非参数检验有卡方检验、秩和检验等。
    • 两类错误:
    1. 第Ⅰ类错误(弃真错误):原假设为真时拒绝原假设,第一类错误的概率为α(α即显著性水平);
    2. 第Ⅱ类错误 (取伪错误):原假设为假时接受原假设,第二类错误的概率为β。
    H0是真实的H0是不真实的
    拒绝H0第Ⅰ类错误(α)正确
    接受H0正确第Ⅱ类错误( β)
    1. 两类错误的关系:α越大β越小,α越小β越大,因此无法同时减少两类错误,通常我们都是力求控制α的情况下减小β。
    • 假设检验的基本步骤:
    1. 提出原假设和备择假设
    2. 确定适当的检验统计量
    3. 规定显著性水平α
    4. 计算检验统计量的值
    5. 作出统计决策
    • 原假设与备择假设
    1. 原假设:待检验的假设,又称“0假设”,表示为H0,通常在假设中包含等号如=,≤,≥等;
    2. 备择假设:与原假设的对立的假设,表示为H1,通常在假设中包含不等号如≠,<,>等;
    • 双侧检验与单侧检验
    1. 双侧检验(双尾检验):只强调差异不强调方向性(比如大小,多少)的检验叫双尾检验。如检验样本和总体均值有无差异, 或样本数之间有没有差异,采取双侧检验。双侧检验的相关信息表示如下:
      在这里插入图片描述
    2. 单侧检验(单尾检验):强调某一方向的检验叫单尾检验。如当要检验的是样本所取的总体参数值大于或小于某个特定值时,采用单侧检验。单侧检验的相关信息表示如下:
      在这里插入图片描述
    3. 区别对比:
      ①双侧检验只关心两个总体参数之间是否有差异,而不关心谁大谁小;单侧检验则强调差异的方向性,即关心研究对象是高于还是低于某一总体水平。
      ②如果不清楚后测数据是否高于前测数据,研究目的是想判断前后测的均值是否不同,就需要用双尾检验;如果后测数据不可能低于前测数据,研究目的是仅仅想知道后测数据是不是高于前测数据,则可以采用单尾检验。
      ③双侧检验的研究假设是检验两参数之间是否有差异,零假设 H0: u1= u0,备择假设:H1:u1≠ u0;单侧检验的研究假设中有一参数和另一参数方向性的比较,比如"大于"(或“小于”)等。
    • 简单举例:
      在某次乒乓球赛中,对手提议通过抛硬币来决定谁先发球,“花”面朝上则对手先发球,反之则我。此时我认为这枚硬币是不公平的,而对手却说这枚硬币是公平的。这时我们可通过假设检验来验证这枚硬币是否公平。

      假设 :这枚硬币是公平的
      检验 :抛十次硬币,看是否符合假设。

      反复抛硬币符合二项分布X∼B(n,μ),其中n代表扔硬币的次数,μ代表“花”朝上的概率。在硬币是公平的前提下,扔10次硬币应该符合以下分布:X∼B(10,0.5)。
      总共扔了两次,都是“花”朝上,虽然几率是0.5x0.5 = 0.25,但是也正常,继续扔;总共扔了四次,也都是“花”朝上,几率是0.54=0.0625,感觉有点不正常,但是万一是运气呢?继续扔;总共扔了十次,也都是“花”朝上,那我就认为很可能你这枚硬币不是公平的。
      那么当我们抛10次硬币,当出现多少次“花”面朝上就可以认为该硬币是不公平的,这是一个客观的判断,我们可结合显著性水平检验来判断。例如,我们可以计算抛10次硬币出现9次“花”面朝上的概率来检验我们的假设是否成立,这一事件的概率为P(9≤X≤10)=0.01≤0.05,表示出来如下图所示:
      在这里插入图片描述
      该事件属于显著性检验的拒绝区间,有显著性差异,拒绝原假设,即该硬币不公平。如果扔10次出现出现8次正面:P(8≤X≤10)=0.05,这个和我们的显著水平是一样的,我们也可以拒绝假设,只是没有那么“显著”了。综上所述,当需要检验一枚硬币是否公平时,可以连续抛十次,当出现八次以上的“花”面朝上就可以认为该硬币是不公平的。

    参数检验

    参数检验的定义前面已介绍了,这里主要看一下几种常用的参数检验,包括t检验、f检验和z检验。

    F检验

    • F检验(也称方差比率检验、方差齐性检验)是一种在零假设之下,统计值服从F-分布的检验。其通常是用来分析用了超过一个参数的统计模型,以判断该模型中的全部或一部分参数是否适合用来估计母体。F检验可以用于三组或者多组之间的均值比较,但是F检验对于数据的正态性非常敏感,如果被检验的数据无法满足均是正态分布的条件时,该数据的稳健型会大打折扣,特别是当显著性水平比较低时。但是,如果数据符合正态分布,而且α至少为0.05,该检验的稳健型还是相当可靠的。
    • F检验的主要用途有①方差齐性检验,②方差分析,③线性回归方程整体的显著性检验。这里主要说一下第一点。方差齐性是方差分析和一些均数比较t检验的重要前提,利用[公式]检验进行方差齐性检验是最原始的,但对数据要求比较高,它要求样本来自两个独立的、服从正态分布的总体。方差齐性检验的 F 值计算方法如下:
      在这里插入图片描述
      在这里插入图片描述
      一般约定取较大的方差作为分子,较小的方差作为分母,计算出的F值与理论F值进行比较并得出结论。

    t检验

    • 主要用于样本含量较小(通常n < 30),总体标准差σ未知的正态分布,那么此时一切可能的样本平均数与总体平均数的离差统计量呈t分布。t检验是用t分布理论来推论差异发生的概率,从而比较两个平均数的差异是否显著。
    • t检验有以下三种方法(选取哪种t检验方法是由数据特点和结果要求来决定的):
    1. 单一样本T检验(One-Sample T Test):用来比较一组数据的平均值和一个数值有无差异。例如,你选取了5个人,测定了他们的身高,要看这五个人的身高平均值是否高于、低于还是等于1.70m,就需要用这个检验方法。
    2. 独立样本T检验(Independent-Sample T Test):用来看两组数据的平均值有无差异。比如,你选取了5男5女,想看男女之间身高有无差异,这样,男的一组,女的一组,这两个组之间的身高平均值的大小比较可用这种方法。
    3. 配对样本T检验(Paired-Sample T Test):用来看一组样本在处理前后的平均值有无差异。比如,你选取了5个人,分别在饭前和饭后测量了他们的体重,想检测吃饭对他们的体重有无影响,就需要用这个t检验。注意,配对样本t检验要求严格配对,也就是说,每一个人的饭前体重和饭后体重构成一对。
    • t检验分为单总体t检验和双总体t检验:
    1. 单总体t检验:检验一个样本平均数与一已知的总体平均数的差异是否显著。当总体分布是正态分布,如总体标准差σ未知且样本容量n<30,那么样本平均数与总体平均数的离差统计量呈t分布。检验统计量为:
      在这里插入图片描述
      如果样本属于大样本(n>30)也可以写成:
      在这里插入图片描述
      其中,t为样本平均数与总体平均数的离差统计量;X为样本平均数;μ为总体平均数;σx为样本标准差;n为样本容量。
    2. 双总体t检验 :检验两个样本平均数与其各自所代表的总体的差异是否显著。双总体t检验又分为两种情况,一是相关样本平均数差异的显著性检验,用于检验匹配而成的两组被试获得的数据或同组被试在不同条件下所获得的数据的差异性,这两种情况组成的样本即为相关样本。二是独立样本平均数的显著性检验。各实验处理组之间毫无相关存在,即为独立样本。该检验用于检验两组非相关样本被试所获得的数据的差异性。相关样本的t检验公式为:
      在这里插入图片描述
      其中,X1,X2分别为两样本平均数;σx12,σx22分别为两样本方差;y为相关样本的相关系数。

    Z检验

    • Z检验(在国内一般叫U检验)就是用服从正态分布N(0,1)的统计量Z来进行显著性检验。使用这种检验方法,必须先知道总体的方差σ2;Z检验一般用于大样本(即大于30)平均值差异性检验的方法,它是用标准的理论来推断差异发生的概率,从而比较两个的差异是否显著;当已知标准差时,验证一组数的均值是否与某个值相等时,用Z检验。
    • 原理:Z检验是通过计算两个平均数之间差的Z分数来与规定的理论Z值相比较,看是否大于规定的理论Z值,从而判定两平均数的差异是否显著的一种差异显著性检验方法。
    • 一般步骤:
    1. 建立虚无假设H012,即先假定两个平均数之间没有显著差异;
    2. 计算Z值,对于不同类型的问题选用不同的计算方式:
      ① 检验一个样本平均数(x)与一个已知的总体平均数(μ0)的差异是否显着。其Z值计算公式为:在这里插入图片描述
      在这里插入图片描述
      ② 检验两组样本平均数的差异性,从而判断它们各自代表的总体的差异是否显着。Z值计算公式为:
      在这里插入图片描述
      在这里插入图片描述
    3. 比较计算所得Z值与理论Z值,推断发生的概率,依据Z值与差异显着性关系表作出判断。
    Z值p值差异程度
    ≥2.58≤0.01非常显著
    ≥1.96≤0.05显著
    ≤1.96≥0.05不显著

    非参数检验

    卡方检验(✘2检验)

    • 卡方检验是一种用途很广的计数资料的假设检验方法,主要是比较两个及两个以上样本率(构成比)以及两个分类变量的关联性分析。根本思想在于比较理论频数和实际频数的吻合程度或者拟合优度问题,应用主要有①两个率或两个构成比比较的卡方检验;②多个率或多个构成比比较的卡方检验以及分类资料的相关分析。
    • 卡方检验计算原理:
      在这里插入图片描述
      其中:A是实际值,T为理论值,x2表示理论值与实际值的差异程度。
      然后查询卡方分布的临界值,将计算的值与临界值比较,如果x2 <临界值,则假设成立。
      查询临界值就需要知道自由度:V =(行数-1)*(列数-1),根据算出的V查询卡方分布表。
    • 举例:例如想知道喝牛奶对感冒发病率有没有影响(下表中括号内的为理论人数)。
    感冒人数未感冒人数合计感冒率
    喝牛奶组43(39.3231)96(99.6769)13930.94%
    不喝牛奶组28(31.6848)84(80.3152)11225.00%
    合计7118025128.29%

    喝牛奶组和不喝牛奶组的感冒率为30.94%和25.00%,两者的差别可能是抽样误差导致,也可能是 牛奶对感冒率真的有影响。

    下面进行假设:假设喝牛奶对感冒发病率没有影响,即喝牛奶与感冒无关,所以感冒的发病率实际是(43+28)/(43+28+96+84)=28.29%。

    根据上面的公式计算出x2=1.077,对于该问题V=1,查询可得临界值为3.84,x2=1.077<3.84,假设成立,即喝牛奶与感冒无关。

    秩和检验

    • 秩和检验又称顺序和检验,它不依赖于总体分布的具体形式,应用时可以不考虑被研究对象为何种分布以及分布是否以知,因而实用性较强,这种方法主要用于比较两个独立样本(两个样本可以不等长)的差异。
    • 秩和检验的优缺点:
    1. 优点:不受总体分布限制,适用面广;适用于等级资料及两端无确定值的资料;易于理解,易于计算。
    2. 秩和检验的缺点:符合参数检验的资料,用秩和检验,则不能充分利用信息,检验功效低。
    • 适用范围:两个样本来自两个独立的但非正态获形态不清的两总体,要检验两样本之间的差异是否显著,不应运用参数检验中的t+检验,而需采用秩和检验。
    • 两样本的容量长度均小于10的检验步骤:
    1. 将两个样本数据混合并由小到大进行等级排列(最小的数据秩次编为1,最大的数据秩次编为n1+n2);
    2. 把容量较小的样本中各数据的等级相加,即秩和,用T表示。
    3. 把T值与秩和检验表中 α 显著性水平下的临界值相比较,如果 T1 < T < T2,则两样本差异不显著;如果 T ≤ T1或 T ≥ T2,则表明两样本差异显著(T1 、 T2分别为两个样本长度对应的秩和检验表中 α 显著性水平下的值)。
    • 【例】某年级随机抽取6名男生和8名女生的英语考试成绩如下表所示。问该年级男女生的英语成绩是否存在显著差异?
      在这里插入图片描述
      ①建立假设:
      H0:男女生的英语成绩不存在显著差异;
      H1:男女生的英语成绩存在显著差异。
      ②编排秩序,求秩和T:T= 62.5;
      ③推断与结论:根据 n1 = 6, n2 = 8,α = 0.05查秩和表等检验的上下限位T1 = 29,T2 = 61;有T>T2,所以拒绝原假设,即男女生的英语成绩存在显著差异。
    • 两样本的容量长度均大于10的检验步骤:
      当两个样本容量都大于10时,秩和 T 的分布接近于正态分布,因此可以用Z检验,其基本公式为:
      在这里插入图片描述
      【例】还是前面的例子,不过这一次检验的是12个男生和14个女生,成绩如下表所示:
      在这里插入图片描述
      ①建立假设:
      H0:男女生的英语成绩不存在显著差异;
      H1:男女生的英语成绩存在显著差异。
      ②编排秩序,求秩和: n1 = 12, n2 = 14,T= 144.5,将 T 带入公式算 Z 值得Z = -0.9;
      ③推断与结论:α = 0.05,查表得 Zα = 1.96,|Z| < Zα,所以保留原假设,拒绝备择假设,即男女生的英语成绩不存在显著差异。

    常用的假设检验种类及使用的检验方法

    • 单总体均值的假设检验
    1. 总体方差σ2已知:z检验,检验统计量为:
      在这里插入图片描述
    2. 总体方差σ2未知:t检验,检验统计量为:
      在这里插入图片描述
    • 双总体均值差的假设检验
    1. 两总体均是正态分布,两总体方差已知:z检验(n可以小于30),检验统计量为:
      在这里插入图片描述
    2. 两总体均是正态分布,两总体方差未知但相等:t检验,检验统计量为:
      在这里插入图片描述
    3. 两总体分布未知:z检验(两个样本容量n都需要大于30),检验统计量为: 在这里插入图片描述
    • 单正态总体方差的假设检验:✘2检验,检验统计量为:
      在这里插入图片描述
    • 双正态总体方差之比的假设检验:F检验,检验统计量为:
      在这里插入图片描述
    • 汇总:在这里插入图片描述

    方差分析

    对于一到两组数据之间的总体均值的假设检验,使用T检验和Z检验就可实现,而对于两组以上的总体均值的假设检验则需要使用方差分析。当然对于三组及以上之间的总体均值的假设检验也可通过两两组合多次使用T检验和Z检验来实现,只不过比较麻烦,使用方差分析可以大大减少工作量,并且增强假设检验的稳定性。

    原理和相关术语

    【例】某公司采用四种方式推销其产品。为检验不同方式推销产品的效果,随机抽样得下表,不同的销售方式对销售量有影响吗?
    在这里插入图片描述

    • 方差分析的相关术语:
    1. 因素(Factor):因素是指所要研究的变量,它可能对因变量产生影响。在【例】中,要分析不同销售方式对销售量是否有影响,所以,销售量是因变量,而销售方式是可能影响销售量的因素。如果方差分析只针对一个因素进行,称为单因素方差分析。如果同时针对多个因素进行,称为多因素方差分析。本章后面也会介绍单因素方差分析和双因素方差分析,它们是方差分析中最常用的。
    2. 水平(Level):水平指因素的具体表现,如销售的四种方式就是因素的不同取值等级。有时水平是人为划分的,比如质量被评定为好、中、差。
    3. 单元(Cell):单元指因素水平之间的组合。【例】中销售方式一下的五种不同的销售业绩就构成一个单元。方差分析要求的方差齐性就是指的各个单元间的方差齐性。
    4. 元素(Element):元素指用于测量因变量的最小单位。一个单元里可以只有一个元素,也可以有多个元素。【例】中各单元中有 5 个元素。
    5. 均衡(Balance):如果一个试验设计中任一因素各水平在所有单元格中出现的次数相同,且每个单元格内的元素数相同,则称该试验是为均衡,否则,就被称为不均衡。不均衡试验中获得的数据在分析时较为复杂。【例】是均衡的。
    6. 交互作用(Interaction):如果一个因素的效应大小在另一个因素不同水平下明显不同,则称为两因素间存在交互作用。当存在交互作用时,单纯研究某个因素的作用是没有意义的,必须在另一个因素的不同水平下研究该因素的作用大小。如果所有单元格内都至多只有一个元素,则交互作用无法测出。
    • 方差分析的基本原理:将数据总的偏差平方和按照产生的原因分解成:(总的偏差平方和)=(由因素水平引起的偏差平方和)+(试验误差平方和);上式右边两个平方和的相对大小可以说明因素的不同水平是否使得各型号的平均维修时间产生显著性差异,为此需要进行适当的统计假设检验。上例中要看不同推销方式的效果,其实就归结为一个检验问题,设μi为第 i 种推销方式 i(i=1,2,3,4)的平均销售量,即检验原假设μ1234是否为真。

      从上【例】的表可以观察到,四个均值都不相等,方式二的销售量明显较大。然而,我们并不能简单地根据这种第一印象来否定原假设,而应该分析μ1、μ2、μ3、μ4之间差异的原因。20 个数据各不相同,这种差异可能由两方面的原因引起的:一是推销方式的影响,不同的方式会使人们产生不同消费冲动和购买欲望,从而产生不同的购买行动,这种由不同水平造成的差异,我们称为系统性差异;另一是随机因素的影响,同一种推销方式在不同的工作日销量也会不同,因为来商店的人群数量不一,经济收入不一,当班服务员态度不一,这种由随机因素造成的差异,我们称为随机性差异。

    • 两个方面产生的差异用两个方差来计量:

    1. 组内方差,即水平内部的方差,仅包含随机性差异;
    2. 组间方差,即μ1、μ2、μ3、μ4之间的总体差异,它既包含系统性差异,也包含随机性差异。
    • 进行方差分析,样本通常要符合以下假定:首先是各样本的独立性,即各组观察数据,是从相互独立的总体中抽取的,只有是独立的随机样本,才能保证方差的可加性;其次要求所有观察值都是从正态总体中抽取,且方差相等。

    单因素方差分析

    • 单因素方差分析的数据结构
      单因素方差分析的数据结构一般如下图所示:在这里插入图片描述
      在单因素方差分析中,若因素 A 共有 r 个水平,对均衡试验而言,每个水平的样本容量为 k,则共有 kr 个观察值,如上表所示。对不均衡试验,各水平中的样本容量可以是不同的,设第i个样本的容量是ni,则观测值的总个数为:
      在这里插入图片描述

    • 单因素方差分析的步骤

    1. 建立假设
      原假设和备择假设为:
      H0:μ123=……=μr
      H1:μ1、μ2、μ3、……、μr不全等。
    2. 构造检验F统计量
      方差分析表:在这里插入图片描述
      水平的均值:令xi为第 i 水平的样本均值,则
      在这里插入图片描述
      全部观察值的总均值:令x为全部观察值的总均值,则
      在这里插入图片描述
      总离差平方和(SST):反映全部观察值的离散状况,是全部观察值与总平均值的离差平方和计算公式为:
      在这里插入图片描述
      误差项离差平方和(SSE):又称为组内离差平方和,它反映了水平内部观察值的离散情况,即随机因素产生的影响计,算公式为:
      在这里插入图片描述
      水平项离差平方和(SSA):又称组间离差平方和,是各组平均值与总平均值的离差平方和。它既包括随机误差,也包括系统误差,计算公式为:
      在这里插入图片描述
      由于各样本的独立性,使得变差具有可分解性,即总离差平方和等于误差项离差平方和加上水平项离差平方和,用公式表达为:SST = SSE + SSA。
      根据方差统计表:F=组间方差 / 组内方差= MSA / MSE=[SSA /(r-1)] / [SSE /(n-r)]
    3. 判断与结论
      在假设条件成立时,F统计量服从第一自由度df1为 r-1、第二自由度df2为 n-r 的 F 分布。将统计量 F 与给定的显著性水平α的临界值Fα(r-1,n-r) 比较,可以作出决策,决策图如下:
      在这里插入图片描述
      若 F≥Fα,则拒绝原假设H0,表明均值之间的差异显著,因素 A 对观察值有显著影响;
      若 F<Fα,则不能拒绝原假设H0,表明均值之间的差异不显著,因素 A 对观察值没有显著影响。
      决策方式:一是用 F 与 F crit 比较,F>F crit,则拒绝原假设;二是用 P-value 与α比较,如果 P-value<α,则拒绝原假设。
    • 【例】对以下数据做方差分析,要求判断四种不同的推销方式对销量是否有影响。
      在这里插入图片描述
      当α=0.05时,分析结果如下(每个数值得含义可参考方差分析表):
      在这里插入图片描述
      决策:F>F crit,拒绝原假设,即μ1、μ2、μ3、μ4不全等,四种推销方式对销售量有显著影响。

    双因素方差分析

    • 双因素方差分析有两种类型:
      一种是无交互作用的双因素方差分析,它假定因素 A 和因素 B 的效应之间是相互独立的,不存在相互关系;另一种是有交互作用的方差分析,它假定 A、B 两个因素不是独立的,而是相互起作用的,两个因素同时起作用的结果不是两个因素分别作用的简单相加,两者的结合会产生一个新的效应。
    • 无交互作用的双因素方差分析
      方差分析表:
      在这里插入图片描述
      (一)数据结构
      设两个因素分别是 A 和 B。因素 A 共有 r 个水平,因素 B 共有 s 个水平,无交互作用的双因素方差分析的数据结构如下表所示:
      在这里插入图片描述
      (二)分析步骤
    1. 分析模型与建立假设
      在水平组合(Ai , Bj) 下的试验结果Xij服从 N ( μij , σ2 ),i = 1,2……,r;j = 1,2,……,s,假设这些试验结果相互独立。与单因素方差分析模型相类似, 令 μ 称为一般水平或平均水平,αi = μi - μ 称为因素A在第i个水平下的效应,βj = μj - μ 称为因素 B 在第 j 个水平下的效应。若μij = μ + αi + βj,则称这种方差分析模型为无交互作用的双方差分析模型,此时只需对(Ai , Bj) 的每种组合各做一次试验,观测值记为xij。把原参数μij变换成新参数 αi 和 βj后,无交互作用的双因素方差分析模型为:
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      两个影响因素的原假设与备择假设如下:
      对于因素A,H0A:μ123=……=μr;H1A:μ1、μ2、μ3、……、μr不全等。
      对于因素B,H0B:μ123=……=μs;H1B:μ1、μ2、μ3、……、μs不全等。
      我们检验因素 A 是否起作用实际上就是检验各个 αi 是否均为 0,如都为 0,则因素 A 所对应的各组总体均数都相等,即因素 A 的作用不显著;对因素 B,也是这样。因此上述假设等价于:
      对于因素A,H0A:α123=……=αr = 0;H1A:μ1、μ2、μ3、……、μr不全为0。
      对于因素B,H0B:β123=……=βs = 0;H1B:β1、β2、β3、……、βs不全为0。
    2. 构造检验统计量
      水平的均值:
      在这里插入图片描述
      总均值:
      在这里插入图片描述
      离差平方和的分解:双因素方差分析同样要对总离差平方和 SST 进行分解,SST 分解为三部分:SSA 、SSB和 SSE,以分别反映因素 A 的组间差异、因素 B 的组间差异和随机误差(即组内差异)的离散状况。它们的计算公式分别为:
      在这里插入图片描述
      为检验因素 A 的影响是否显著,采用下面的统计量(相关参数可查看方差分析表):
      在这里插入图片描述
      为检验因素 B 的影响是否显著,采用下面的统计量(相关参数可查看方差分析表):
      在这里插入图片描述
    3. 判断与结论
      根据给定的显著性水平α在 F 分布表中查找相应的临界值Fα,将统计量 F 与Fα进行比较,作出拒绝或不能拒绝原假设H0的决策。决策方式如下:
      在这里插入图片描述
      当然也可比较P-value与α的大小,原理同上。
      【例】某公司想知道产品销售量与销售方式及销售地点是否有关,随机抽样得下表数据,以 α = 0.05 的显著性水平进行检验。
      在这里插入图片描述
      首先针对问题,提出原假设和备择假设:
      对于因素A,H0A:μ1234;H1A:μ1、μ2、μ3、μ4不全等。
      对于因素B,H0B:μ12345;H1B:μ1、μ2、μ3、μ4、μ5不全等。
      根据以上步骤得出方差分析结果如下:
      在这里插入图片描述
      结论:
      FA ≥ Fα,拒绝原假设H0A,即销售方式对销售量有影响;
      FB < Fα,不能拒绝原假设H0B,即销售地点对销售量的影响不显著。
    • 有交互作用的双因素方差分析
      方差分析表:
      在这里插入图片描述
      (一)数据结构
      设两个因素分别是 A 和 B,因素 A 共有 r 个水平,因素 B 共有 s 个水平,在水平组合(Ai , Bj) 下的试验结果Xij服从 N ( μij , σ2 ),i = 1,2……,r;j = 1,2,……,s,假设这些试验结果相互独立。为对两个因素的交互作用进行分析,每个水平组合下至少要进行两次试验,不妨假设在每个水平组合( Ai, Bj) 下重复 t 次试验,每次试验的观测值用χijk表示,k=1,2,……,t ,那么有交互作用的双因素方差分析的数据结构如下表所示:
      在这里插入图片描述
      (二)分析步骤
    1. 分析模型与建立假设:
      与无交互作用双因素方差分析模型一样, 令 μ 称为一般水平或平均水平,αi = μi - μ 称为因素A在第i个水平下的效应,βj = μj - μ 称为因素 B 在第 j 个水平下的效应。若μij ≠ μ + αi + βj,则称这种方差分析模型为有交互作用的双方差分析模型,此时再令γij = μij - μ - αi - βj称为因素 A 的第 i 水平与因素 B 的第 j 水平的交互效应,且满足:
      在这里插入图片描述
      把原参数 μj 变换成新参数 αi、 βj 和 γij 后,有交互作用的双因素方差分析模型为:
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      这里i = 1,2……,r;j = 1,2,……,s;k=1,2,……,t ;,随机误差 εijk 相互独立,都服从N(0,σ2)的分布。与前面的分析思路相同,我们检验因素 A、因素 B 以及两者的交互效应是否起作用实际上就是检验各个 αi、 βj 和 γ~ij 是否都为 0,故对此模型要检验的假设有有三个:
      对于因素A,H0A:α123=……=αr = 0;H1A:μ1、μ2、μ3、……、μr不全为0。
      对于因素B,H0B:β123=……=βs = 0;H1B:β1、β2、β3、……、βs不全为0。
      对因素 A 和 B 的交互效应:H0C:对一切 i , j 有 γij = 0;H1C:对一切 i , j 有 γij 不全为零。
    2. 构建检验统计量
      水平的均值:
      在这里插入图片描述
      总均值:
      在这里插入图片描述
      离差平方和的分解:与无交互作用的双因素方差分析不同,总离差平方和 SST 将被分解为四个部分:SSA、SSB、SSAB 和 SSE,以分别反映因素 A 的组间差异、因素 B 的组间差异、因素 AB 的交互效应和随机误差的离散状况。它们的计算公式分别表示如下:
      在这里插入图片描述
      构造检验统计量:
      ①为检验因素 A 的影响是否显著,采用下面的统计量:
      在这里插入图片描述
      ②为检验因素 B 的影响是否显著,采用下面的统计量:
      在这里插入图片描述
      ③为检验因素 A、B 交互效应的影响是否显著,采用下面的统计量:
      在这里插入图片描述
      (三)判断与结论
      根据给定的显著性水平 α 在 F 分布表中查找相应的临界值 Fα,将统计量 F 与 Fα 进行比较,作出拒绝或不能拒绝原假设H0的决策。
      若 FA ≥ Fα(r -1,rs(t-1)),则拒绝原假设H0A,表明因素 A 对观察值有显著影响,否则,不能拒绝原假设H0A
      若 FB ≥ F α(s-1,rs(t-1)),则拒绝原假设H0B,表明因素 B 对观察值有显著影响,否则,不能拒绝原假设H0B
      若 FAB ≥ F α ((r-1)(s-1), rs(t-1)),则拒绝原假设H0C,表明因素 A、B 的交互效应对观察值有显著影响,否则,不能拒绝原假设H0C
      当然也可比较P-value与α的大小,原理同上。
      【例】电池的板极材料与使用的环境温度对电池的输出电压均有影响。今材料类型与环境温度都取了三个水平,测得输出电压数据如下表所示,问不同材料、不同温度及它们的交互作用对输出电压有无显著影响(α=0.05)。
      在这里插入图片描述
      首先针对问题,提出原假设和备择假设:
      对因素 A: H0A : αi = 0;H1A : αi 不全为零(i, j = 1,2,3);
      对因素 B: H0B : βj = 0;H1B : βj 不全为零(i, j = 1,2,3);
      对因素 A 和 B 的交互效应:H0C : γij = 0;H1C : γij不全为零(i, j = 1,2,3) 。
      根据以上分析步骤得出分析结果如下:
      在这里插入图片描述
    展开全文
  • 相关性系数和显著性水平

    千次阅读 2021-03-13 10:05:58
    相关性系数和显著性水平 在统计学中,皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient,简称 PPMCC或PCCs)<很多英文文献中的叫法...

    相关性系数和显著性水平

    在统计学中,皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient,简称 PPMCC或PCCs)<很多英文文献中的叫法>,是用于度量两个变量X和Y之间的相关(线性相关),其值介于-1与1之间。

    P值,也就是Sig值或显著性值。如果P值小于0.01即说明某件事情的发生至少有99%的把握,如果P值小于0.05(并且大于0.01)则说明某件事情的发生至少有95%的把握。当P<0.01或P<0.05,则为说明水平显著。

    相关系数,是研究变量之间线性相关程度的量,用于说明两个变量之间是否存在相关关系,以及相关关系的紧密程度。分为pearson相关系数、Spearman相关系数。一般相关系数在0.7以上说明关系非常紧密;0.4-0.7之间说明关系紧密;0.2~0.4说明关系一般。

    显著性回答的问题是他们之间是否有关系,说明得到的结果是不是偶然因素导致的(具有统计学意义);相关系数回答的问题是相关程度强弱。

    假如说我得到”P<0.05,相关系数 R=0.279”,意味着二者之间确实(P<0.05)存在相关关系,而相关性为0.279。

    而如果“P>0.05 相关系数R=0.799”,则意味着二者之间相关性很强(R=0.799),而这个高相关的结果可能是偶然因素导致的,即不具有统计学意义

    原文参见 https://www.sohu.com/a/296169895_100103806

    展开全文
  • 在假设检验中,我们很多时候对显著性水平α和P值理解不透彻?在这篇文章中,我将继续关注概念和图形,以帮助您更直观地理解假设检验在统计学中的工作原理。 为了实现它,我将在我之前文章的基础上将显著性水平α和P...
  • 显著性水平和p值的理解

    千次阅读 2020-03-07 18:37:20
    显著性水平是指假设H0为真的情况下,发生H1的概率, 其实我们抽取到的样本就是H1。显著性水平可以描述为: 假设总体均值为10,我们抽取到的样本均值为6的概率即是显著性水平; 假设总体是100个,如果根据样本计算出...
  • 错误的概率是Alpha α, 同时它也是显著性水平,一般来说我们在做实验之前就规定了Alpha的大小,比如0.05, 0.1 Type II Error 取伪错误 和Type I相反,它是指原假设H0是假的,但是通过试验后,错误的接受了原假设,...
  • 显著性水平

    2019-01-04 18:03:00
    我对显著性水平的理解是:能承担失误水平的大小。即排名第一答案所说的“犯第一类错误的最大概率”的大小。 某药品商宣传能治愈某病的概率是90%。(即原假设) 一个医生不相信宣传,于是做个了实验验证,15个人治...
  • 显著性水平 p值 z值

    万次阅读 多人点赞 2019-06-14 11:38:03
    1 显著性水平 显著性水平是估计总体参数落在某一区间内,可能犯错误的概率,用α表示。 α表示原假设为真时,拒绝原假设的概率。 1-α 为置信度或置信水平,其表明了区间估计的可靠性 。 2 P值 P值代表,在...
  • 文章来自微信公众号:发现Minitab概述在假设检验中,我们很多时候对显著性水平α和P值理解不透彻?在这篇文章中,我将继续关注概念和图形,以帮助您更直观地理解假设检验在统计学中的工作原理。为了实现它,我将在我...
  • 01 假设检验概念 02 小概率事件 03 P-Value与显著性水平 04 假设检验步骤
  • 关于统计推断中显著性水平选取的注记,刘绪庆,,在统计推断过程中, “置信度”或“显著性水平”的选取一直被认为是很自然的事情. 然而通过对原始数据作一正交变换后, 我们发现这个
  • 对多元线性回归进行因子筛选,最后给出一定显著性水平下各因子均为显著的回归方程中的' 诸回归系数、偏回归平方和、估计的标准偏差、复相关系数、F-检验值、各回归系数的标准' 偏差、应变量条件期望值的估计值及残差...
  • ###################################################尝试显著性检验 ## 把2月份和3月份 # 从整体上来看,先看边界层高度的情况 # 整理气象数据 # 读数据 import netCDF4 as nc import pandas as pd import numpy ...
  • Understanding Hypothesis Tests: Significance Levels (Alpha) and P values in Statistics
  • 显著性水平 P值 概念解释

    万次阅读 多人点赞 2017-12-11 17:10:49
    alpha值是事先给出了一个对样本稀罕程度的判断,这个值是可以主观去改变的,你可以认为取到样本均值的可能为0.2或更低就很极端从而拒绝,也可以认为取到样本均值的可能为0.001或更低才拒绝。一般认为样本稀罕到...
  • Excel/SPSS相关性及显著性水平分析

    万次阅读 2018-03-15 19:48:50
    转载自 http://blog.csdn.net/liyanzhong/article/details/51145381 对两列...本文简单分析excel和SPSS对相关分析和显著性水平的检验应用。(1)方法介绍 Excel中相关性系数可以直接调用CORREL或者Pearson(查看...
  • 如何确定显著性水平

    2021-07-22 11:39:21
    https://zhidao.baidu.com/question/67666978.html
  • 置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中,一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间...举例来说,如果在一次大选中某人的支持率为55%,而置信水平0
  • 假设检验中的P值 与显著性水平的联系

    万次阅读 多人点赞 2016-05-19 10:53:29
    假设检验是推断统计中的一项重要内容。...统计学根据显著性检验方法所得到的P 值,一般以P &lt; 0.05 为显著, P&lt;0.01 为非常显著,其含义是样本间的差异由抽样误差所致的概率小于0.05 或0...
  • α(p大于显著性水平)时候就是维持原假设是真是正确的 都说推断统计学就是个P????,嗯,是个p。 1.α是什么? 大白话说 α是人为设定的一个范围,显著性水平,第一类错误的概率,主要作用是用来划分接受域和拒绝域...
  • 多元线性回归及显著性检验Matlab程序完美版 一说明 1本程序是硕士教材数理统计杨虎刘琼钟波 编著 例4.4.1P133...3本程序可依据用户需要在输入不一样显著性水平之下得到对应解答 4本程序移植性强对于其它数据只需要改变e
  • 显著性水平 置信度 置信区间 实例讲解 置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中,一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。 置信区间展现的是...
  • 1 假设检验 2 正态总体均值的假设检验 3 正态总体方差的假设检验 4 置信区间与假设检验之间的关系 5 样本容量的选取6 分布拟合检验 7 秩和检验 8 假设检验问题的户值检验法
  • 数据可视化——R语言为ggplot图形添加P值和显著性水平准备安装和加载R包示例数据均值比较的方法用于添加P值的R函数compare_means()stat_compare_means()独立双样本组间比较配对双样本组间比较多组样本的组间比较多个...
  • 统计4:显著性检验

    2021-05-18 06:33:01
    在统计学中,显著性检验是“假设检验”中最常用的一种,显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。 一,假设检验 显著性检验是假设检验的一种,那什么是假设检验?假设...
  • 【数学】T检验(显著性检验)

    千次阅读 2021-07-01 15:48:31
    实验数据跑完,肯定要进行数据分析,最近看论文都用显著性检验,听说使用的就是T检验,于是开始先了解T检验 简介 小结 t检验(t test)又称学生t检验(Student t-test)可以说是统计推断中非常常见的一种检验...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 78,332
精华内容 31,332
关键字:

显著性水平