精华内容
下载资源
问答
  • 假设检验 总体均值的检验 方差已知 方差未知 步骤 1.总体方差已知 双侧检验与单侧检验 拒绝域和显著性水平 双侧检验 左侧检验 案例 推导 分析: 因为要验证是新系统有效,及消费超过1700元 那么备择假设...

    统计学

    假设检验 总体均值的检验

    • 方差已知
    • 方差未知

    步骤

    在这里插入图片描述

    1.总体方差已知

    在这里插入图片描述

    双侧检验与单侧检验

    在这里插入图片描述
    在这里插入图片描述

    拒绝域和显著性水平

    双侧检验
    在这里插入图片描述
    左侧检验
    在这里插入图片描述

    案例

    在这里插入图片描述

    推导

    分析: 因为要验证的是新系统有效,及消费超过1700元
    那么备择假设就是H1>1700
    相反的 原价设就是H0<=1700
    所以该假设为右侧检验
    在这里插入图片描述
    解答
    在这里插入图片描述

    2.总体方差未知

    大样本,近似于正态分布
    小样本:t分布

    在这里插入图片描述

    案例分析

    在这里插入图片描述
    分析
    因为 45天已经超出40天了 ,我们希望这个证据不太强烈,所以我们把40天作为一个保守的原假设
    在这里插入图片描述

    总结

    在这里插入图片描述

    展开全文
  • 假设检验的步骤 设置原假设与备择假设; 设置显著性水平α\alphaα(通常选择α=0.05\alpha=0.05α=0.05); 根据问题选择假设检验方式; 计算统计量,并通过统计量获取P值 根据P值和显著性水平α\alphaα值,决定...

    假设检验原理

    • 反证法
    • 小概率事件在一次试验中是几乎不可能发生的(但在多次重复试验中是必然发生的)

    假设检验的步骤

    1. 设置原假设与备择假设;
    2. 设置显著性水平α\alpha(通常选择α=0.05\alpha=0.05);
    3. 根据问题选择假设检验方式;
    4. 计算统计量,并通过统计量获取P值
    5. 根据P值和显著性水平α\alpha值,决定接受原假设还是备择假设。

    原假设备择假设的设置:

    • 应当把如果真实成立但误判为不成立后会造成严重后果的命题选为原假设
    • 应当把分析人员想证明正确的命题作为备择假设
    • 应当把大众普遍认为成立的命题作为原假设,因为原假设不能轻易拒绝,除非有足够的证据。

    P值:当原假设为真时所得到的样本观察结果或更极端结果出现的概率。

    P值的计算:检验统计量TT,根据样本数据计算得到的检验统计量T0T_0

    • H0H_0θ=θ0\theta=\theta_0p=2P(TT0θ=θ0)p=2P(T\geq |T_0||\theta=\theta_0)
    • H0H_0θθ0\theta\leq\theta_0p=P(TT0θ=θ0)p=P(T\geq |T_0||\theta=\theta_0)
    • H0H_0θθ0\theta\geq\theta_0p=P(TT0θ=θ0)p=P(T\leq |T_0||\theta=\theta_0)

    判断是否接受原假设:

    • 若P值很小(小于某个给定的显著性水平α\alpha),说明观测到的样本是小概率事件,但小概率事件不会发生,即观测的样本不可能是小概率事件,因此拒绝原假设。

    正态总体的均值检验【Z检验与t检验】

    Z检验——总体方差已知

    双边检验

      假设真实的总体均值μ\mu,假定的总体均值μ0\mu_0

    • 原假设H0H_0μ=μ0\mu=\mu_0
    • 备择假设H1H_1μμ0\mu\neq\mu_0

      Z 统计量:
    Z=xˉμ0Sxˉ=xˉμ0σ/nZ=\frac{\bar{x}-\mu_0}{S_{\bar{x}}}=\frac{\bar{x}-\mu_0}{\sigma/\sqrt{n}}

    • xˉ\bar{x}:样本均值;
    • SxˉS_{\bar{x}}:样本均值分布的标准差;
    • σ\sigma:总体的标准差;
    • nn:样本量。

    μ=μ0\mu=\mu_0时,统计量ZN(0,1)Z\sim\mathcal{N}(0,1)
    在这里插入图片描述

    import numpy as np
    from scipy import stats
    
    a=np.array([-0.547,-0.532,-0.548,-0.531,-0.535])
    #总体的均值与方差
    mean,std=-0.545,0.008
    #计算样本均值
    sample_mean=a.mean()
    #计算样本均值分布的标准差
    se=std/np.sqrt(len(a))
    #计算Z统计量
    Z=(sample_mean-mean)/se
    print('统计量Z:',Z)
    #计算P值
    P=2*stats.norm.sf(abs(Z))#1-CDF
    print('P-Value:',P)
    

    输出:

    统计量Z: 1.788854381999821
    P-Value: 0.07363827012030438
    

    P值大于α=0.05\alpha=0.05,因此,没有充分理由证明原假设不成立,接受原假设。

    Python学习笔记(4)–Scipy科学计算库学习

    单边检验

    • 原假设H0H_0μμ0\mu\leq\mu_0
    • 备择假设H1H_1μ>μ0\mu>\mu_0

    统计量的计算与双边检验无区别,仅P值计算有区别。

    #计算P值
    P=stats.norm.sf(abs(Z))#1-CDF
    print('P-Value:',P)
    

    输出:

    P-Value: 0.03681913506015219
    

    P值小于α=0.05\alpha=0.05,因此拒绝原假设。

    单样本t 检验——总体方差未知

    • 原假设H0H_0μμ0\mu\geq\mu_0
    • 备择假设H1H_1μ<μ0\mu<\mu_0

      t 统计量:
    t=xˉμ0Sxˉ=xˉμ0S/nt=\frac{\bar{x}-\mu_0}{S_{\bar{x}}}=\frac{\bar{x}-\mu_0}{S/\sqrt{n}}

    • xˉ\bar{x}:样本均值;
    • SxˉS_{\bar{x}}:样本均值分布的标准差;
    • SS:样本的标准差;
    • nn:样本量。

    μ=μ0\mu=\mu_0时,统计量 tt(n1)t\sim t(n-1)

    随着自由度的增加,t分布趋于标准正态分布。

    import numpy as np
    from scipy import stats
    
    a=np.array([50,48,50,47,46,48,51])
    #样本容量
    n=len(a)
    #总体均值
    mean=50
    #计算样本均值、标准差
    sample_mean,std=a.mean(),a.std(ddof=1)
    #计算样本均值分布的标准差
    se=std/np.sqrt(n)
    #计算t统计量
    t=(sample_mean-mean)/se
    print('统计量t:',t)
    #计算P值
    P=stats.t.cdf(t,df=n-1)
    print('P-Value:',P)
    
    • np.std():分母为n
    • np.std(ddof=1):分母为n-1

    输出:

    统计量t: -2.0851441405707507
    P-Value: 0.041074075305325815
    

    P值小于α=0.05\alpha=0.05,因此拒绝原假设,支持备择假设。

    两配对样本t检验

    根据样本数据对样本来自两配对总体的均值是否有显著性差异进行判断。具体分为两种:

    • 同一研究对象分别给予两种不同的处理方式产生的两组数据;
    • 对同一研究对象处理前后进行比较。

    应用前提:

    • 两样本应是配对的(两样本观察值数目同,两样本观察值的顺序不能随意改变);
    • 样本来自的两个总体应服从正态分布。

    μD\mu_D为两样本配对数据差值DD的总体平均数,则μD=μ1μ2\mu_D=\mu_1-\mu_2,转化为单样本t检验,

    • 原假设H0H_0μD0\mu_D\leq0
    • 备择假设H1H_1μD>0\mu_D>0

    t 统计量:
    t=DˉSDˉ/nt=\frac{\bar{D}}{S_{\bar{D}/\sqrt{n}}}

    • Dˉ\bar{D}:差值样本(两成对样本的差值)的均值;
    • SDˉS_{\bar{D}}:差值样本的标准差;
    • nn:样本量。

    μD=0\mu_D=0时,统计量 tt(n1)t\sim t(n-1)

    import numpy as np
    from scipy import stats
    
    sample1=np.array([98.8,92.0,94.9,101.2,99.3,85.1,94.8,89.2,89.5,92.1])
    sample2=np.array([88.4,92.4,90.3,89.4,89.3,89.0,92.5,87.4,88.9,86.4])
    #计算样本数据的差值,得到偏差样本
    D=sample1-sample2
    #计算样本容量
    n=len(D)
    #计算差值样本的均值和标准差
    bar_D,std_D=D.mean(),D.std(ddof=1)
    #计算统计量
    t=bar_D/(std_D/np.sqrt(n))
    print('t统计量:',t)
    #计算P值
    P=stats.t.sf(t,df=n-1)
    print('P-Value:',P)
    

    输出:

    t统计量: 2.6201598341361576
    P-Value: 0.013901825506428343
    

    P值小于α=0.05\alpha=0.05,因此拒绝原假设,支持备择假设。

    两独立样本t检验与两配对样本t检验的异同

    • 配对样本检验用于检验两个相关的样本是否来自具有相同均值的正态总体;
    • 独立样本检验用于检验两个独立样本是否来自具有相同均值的总体,相当于两个正态总体的均值是否相等。

    两独立样本t检验(两正态总体均值差的检验)

    • 原假设H0H_0μ1=μ2\mu_1=\mu_2
    • 备择假设H1H_1μ1μ2\mu_1\neq\mu_2

    检验方法

    • σ12,σ22\sigma_1^2,\sigma_2^2已知:检验统计量
      Z=(Xˉ1Xˉ2)(μ1μ2)σ12n1+σ22n2N(0,1)Z=\frac{(\bar{X}_1-\bar{X}_2)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim\mathcal{N}(0,1)
    • σ12,σ22\sigma_1^2,\sigma_2^2未知且相等:利用合并方差作为两个总体方差的估计,检验统计量
      t=(Xˉ1Xˉ2)(μ1μ2)Sp1n1+1n2t(n1+n22)t=\frac{(\bar{X}_1-\bar{X}_2)-(\mu_1-\mu_2)}{S_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)

    Sp=(n11)S12+(n21)S22n1+n22S_p=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}

    • σ12,σ22\sigma_1^2,\sigma_2^2未知且不等:分别采用各自的方差,需要修正t分布的自由度,检验统计量
      t=(Xˉ1Xˉ2)(μ1μ2)S12n1+S22n2t((S12n1+S22n2)2(S12n1)2n1+(S22n2)2n2)t=\frac{(\bar{X}_1-\bar{X}_2)-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\sim t(\frac{(\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2})^2}{\frac{(\frac{S_1^2}{n_1})^2}{n_1}+\frac{(\frac{S_2^2}{n_2})^2}{n_2}})

    检验总体的比例是否可靠【总体比率检验】

    • 原假设H0H_0ππ0\pi\geq\pi_0
    • 备择假设H1H_1π>π0\pi>\pi_0

    应用前提:

    • 样本容量n30n\geq30
    • np5np\geq5n(1p)5n(1-p)\geq5pp为样本比率)
    • 服从二项分布。当nn较大时,二项分布近似正态分布

    样本比率抽样分布近似服从正态分布,因此使用Z统计量,
    Z=pπ0π0(1π0)nZ=\frac{p-\pi_0}{\sqrt{\frac{\pi_0(1-\pi_0)}{n}}}

    import numpy as np
    from scipy import stats
    
    #样本比率
    p=45/500
    #总体比率
    pi_0=0.1
    #样本容量
    n=500
    #计算Z统计量
    Z=(p-pi_0)/np.sqrt(pi_0*(1-pi_0)/n)
    print('Z统计量:',Z)
    #计算P值
    P=stats.norm.cdf(Z)
    print('P-Value:',P)
    

    输出:

    Z统计量: -0.7453559924999305
    P-Value: 0.22802827012512783
    

    P值大于α=0.05\alpha=0.05,因此没有充足的理由拒绝原假设。

    检验不同方案的好坏【A/B测试】

      A/B测试的本质是分离式组间试验,也叫对照试验。A/B测试在产品优化中的应用方法是:在产品正式迭代发版之前,为同一个目标制定两个(或以上)方案,将用户群对应分成几组,在保证每组用户特征相同的前提下,让用户分别看到不同的方案设计,根据几组用户的真实数据反馈,科学的帮助产品进行决策。
    在这里插入图片描述

    • 理想情况是,不同的方案应同一受试者测试,并且受试者对两个方案的反应是独立的。
    • A/B测试的应用方式决定了它拥有的三大特性:先验性、并行性和科学性。
      • 先验性: A/B测试其实是一种“先验”的试验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。
      • 并行性: A/B测试是将两个或以上的方案同时在线试验,这样做的好处在于保证了每个版本所处环境的一致性,便于更加科学客观地对比优劣。同时,也节省了验证的时间,无需在验证完一个版本之后再测试另一个。
      • 科学性: 这里强调的是流量分配的科学性。A/B 测试的正确做法,是将相似特征的用户均匀的分配到试验组中,确保每个组别的用户特征的相似性,从而避免出现数据偏差,使得试验的结果更有代表性。

      随机将测试用户群分为2部分,用户群1使用A方案,用户群2使用B方案,不妨设A方案为参考方案(或旧方案),B方案为实验方案(或新方案)。由于每次实验结果要么成功,要么失败,所以A,B的分布可看作是伯努利分布:
    ABernoulli(n,πa),BBernoulli(n,πb)A\sim Bernoulli(n,\pi_a),\quad B\sim Bernoulli(n,\pi_b)

    nn\rightarrow\infty时,二项分布近似正态分布,其均值方差分别为μ=np,σ2=np(1p)\mu=np,\sigma^2=np(1-p)

    • 原假设H0H_0πbπa0\pi_b-\pi_a\leq0
    • 备择假设H1H_1πbπa>0\pi_b-\pi_a>0

    A、B两方案的试验成功率分别为pa,pbp_a,p_b,检验统计量
    Z=pbpapb(1pb)n+pa(1pa)nZ=\frac{p_b-p_a}{\sqrt{\frac{p_b(1-p_b)}{n}+\frac{p_a(1-p_a)}{n}}}

    A/B-test显著性检验
    AppAdhoc A/B Testing使用文档

    展开全文
  • R均值比较检验(参数检验

    千次阅读 2017-09-17 11:06:00
    1.由于抽样随机性,样本均值在不同总体差距很可能是由抽样误差引起,而这种差距不被认为具有统计上显著性。 2.反之,若分析发现样本均值在不同总体上差距较大,但不是由抽样误差引起,则数值型变量在...

     

    1.由于抽样的随机性,样本均值在不同总体上的差距很可能是由抽样误差引起的,而这种差距不被认为具有统计上的显著性。

    2.反之,若分析发现样本均值在不同总体上差距较大,但不是由抽样误差引起的,则数值型变量在不同总体上的分布参数存在显著差异。

    检验两个样本上的均值差是否统计显著的方法:参数检验&非参检验,步骤:

    • h0&h1
    • 构造检验统计。该检验统计量 在原假设成立条件下,服从某个已知的理论分布,这称为抽样分布。
    • 依据样本数据计算在原假设成立的条件下,检验统计量的观测值与概率P值。检验统计量反映了观测值与原假设之间的差距,p反映了在原假设成立条件下检验统计量取当前观测值或更极端的可能性。
    • 指定显著新水平α,原假设成立却拒绝的概率
    • power:1-β,p(H0|H1)

    1.两独立样本的均值检验

    1.1.概述

    适用数据:

    观测样本来自总体中的两个独立样本,抽样个过程中互不干扰

    检验目标:

    量样本均值是否具有统计上的显著性。不具有显著性:均值差是由抽样误差导致的。

    理论依据:

    1.2抽样自举:

    ###############利用bootstrap模拟独立样本均值差的抽样分布
    par(mfrow=c(2,1),mar=c(4,4,4,4))
    set.seed(12345)
    
    #总体方差相等
    Pop1<-rnorm(10000,mean=2,sd=2)   
    Pop2<-rnorm(10000,mean=10,sd=2)
    Diff<-vector()
    Sdx1<-vector()
    Sdx2<-vector()
    #重复M次
    for(i in 1:2000){
     x1<-sample(Pop1,size=100,replace=TRUE)#随机选出100个
     x2<-sample(Pop2,size=120,replace=TRUE)
     Diff<-c(Diff,(mean(x1)-mean(x2)))
     Sdx1<-c(Sdx1,sd(x1))
     Sdx2<-c(Sdx2,sd(x2))
    }
    plot(density(Diff),xlab="mean(x1)-mean(x2)",ylab="Density",main="均值差的抽样分布(等方差)",cex.main=0.7,cex.lab=0.7) 
    points(mean(Diff),sd(Diff),pch=1,col=1)
    S1<-mean(Sdx1)
    S2<-mean(Sdx2)
    Sp<-((100-1)*S1^2+(120-1)*S2^2)/(100+120-2)
    #理论上的均值与方差:红三角
    points((2-10),sqrt(Sp/100+Sp/120),pch=2,col=2)
    
    ###两方差不等
    set.seed(12345)
    Pop1<-rnorm(10000,mean=2,sd=2)    
    Pop2<-rnorm(10000,mean=10,sd=4)
    Diff<-vector()
    Sdx1<-vector()
    Sdx2<-vector()
    for(i in 1:2000){
     x1<-sample(Pop1,size=100,replace=TRUE)
     x2<-sample(Pop2,size=120,replace=TRUE)
     Diff<-c(Diff,(mean(x1)-mean(x2)))
     Sdx1<-c(Sdx1,sd(x1))
     Sdx2<-c(Sdx2,sd(x2))
     }
    plot(density(Diff),xlab="mean(x1)-mean(x2)",ylab="Density",main="均值差的抽样分布(不等方差)",cex.main=0.7,cex.lab=0.7) 
    points(mean(Diff),sd(Diff),pch=1,col=1)
    S1<-mean(Sdx1)
    S2<-mean(Sdx2)
    points((2-10),sqrt(S1^2/100+S2^2/120),pch=2,col=2)
    

      

     

    1.3检验单原假设与检验统计量

     

    实现两独立样本均值检验单R程序:R.test

     

     

    #############独立样本均值检验示例
    Forest<-read.table(file="ForestData.txt",header=TRUE,sep="	")
    #设置因子
    Forest$month<-factor(Forest$month,levels=c("jan","feb","mar","apr","may","jun","jul","aug","sep","oct","nov","dec"))
    Tmp<-subset(Forest,Forest$month=="jan" | Forest$month=="aug")
    #方差不同
    t.test(temp~month,data=Tmp,paired=FALSE,var.equal=TRUE)

    Two Sample t-test

    data: temp by month
    t = -4.8063, df = 184, p-value = 3.184e-06
    alternative hypothesis: true difference in means is not equal to 0
    95 percent confidence interval:
    -23.106033 -9.657011
    sample estimates:
    mean in group jan mean in group aug
    5.25000 21.63152

    #方差相同

    t.test(temp~month,data=Tmp,paired=FALSE,var.equal=FALSE)

    Welch Two Sample t-test

    data: temp by month
    t = -45.771, df = 177.49, p-value < 2.2e-16
    alternative hypothesis: true difference in means is not equal to 0
    95 percent confidence interval:
    -17.08782 -15.67522
    sample estimates:
    mean in group jan mean in group aug
    5.25000 21.63152


      T值都大,P<α=0.05拒绝原假设,两个月平均气温相差很大。

    1.4方差是否相等

    采用上述那个分析结论,取决于量总体方差是否相等。通常采用F-test,也可采用更为稳健但不依赖总体分布具体形式的Levene's方差同质检验

    检验1、8月份温度总体方差是否相等

    library("car")
    leveneTest(Tmp$temp,Tmp$month, center=mean)

    Levene's Test for Homogeneity of Variance (center = mean)
    Df F value Pr(>F)
    group 1 2.6773 0.1035
    184

      p>α=0.05,不能拒绝原假设,方差齐性,选择第一种检验结论

    2.两配对样本的均值检验

    2.1概述

    2.1.1使用数据:

     观测样本来自总体的两个配对样本,表象为两个样本样本量一样,且两样本的观测具有一一对应关系,可视为观测样本的“前后”或多“侧面”的数据。

    例如,某班学生各科测试中,语文和数学的测试成绩。

    2.1.2检验目标:

    即检验数学成绩总体分布于语文成绩总体分布(均值)是否存在显著差异。

    2.1.3理论依据:

    ##################利用bootstrap模拟样本均值的抽样分布
    
    set.seed(12345)
    Pop<-rnorm(100000,mean=4,sd=2)  #正态总体,均值为4,标准差为2
    #从总体样本中随机抽取2000个大小为1000的样本,然后测试样本的均值分布
    MeanX<-vector()
    for(i in 1:2000){
     x<-sample(Pop,size=1000,replace=TRUE)
     MeanX<-c(MeanX,mean(x))
    }
    plot(density(MeanX),xlab="mean(x)",ylab="Density",main="样本均值的抽样分布",cex.main=0.7,cex.lab=0.7)
    points(mean(MeanX),sd(MeanX),pch=1,col=1)
    points(4,sqrt(2^2/1000),pch=2,col=2)
    

      

    2.1.4检验的原假设和检验统计量:

    R函数t.test

    检验语文成绩与数学成绩是否具有显著差异:

    ##############配对样本均值检验示例
    ReportCard<-read.table(file="ReportCard.txt",header=TRUE,sep=" ")
    
    ReportCard<-na.omit(ReportCard)
    t.test(ReportCard$chi,ReportCard$math,paired=TRUE)
    

      

    Paired t-test

    data: ReportCard$chi and ReportCard$math
    t = 11.712, df = 57, p-value < 2.2e-16
    alternative hypothesis: true difference in means is not equal to 0
    95 percent confidence interval:
    18.48871 26.11474
    sample estimates:
    mean of the differences
    22.30172

    存在显著差异

     

    t.test也可以用来进行单样本均值检验(结果一样)

    ###############单样本的均值检验示例
    Diff<-ReportCard$chi-ReportCard$math
    t.test(Diff,mu=0)
    

      

    3.样本均值检验的功效分析

    3.1概述

    功效-power:Type2 error(原假设为错却接受了),若原假设为错并且拒绝,则作者这一正确决策的概率为1-β,统计功效。

    • 首先显著性水平:type1 error是影响统计功效的重要因素之一。alpha小,1-beta也小
    • 其次,若事实上两样本均值差异大,Power也高; 若增大样本量会导致均值差的样本分布的方差减小,是的检验统计量t的观测值增大,更容易拒绝两总体均值无差异这个错误的原假设,Power大,所以样本量大小也影响。
    • 由于样本均值是一个绝对量,会受数据计量单位和数量级的影响。所以找到一个可反映两总体分布重叠的相对指标更有意义--effect size(ES)
    • 单侧检验相对于双边检验更容易拒绝原假设。检验方向也影响。
    效应量太小,意味着处理即使达到了显著水平,也缺乏实用价值。
    常见的几种ES:
    a) 两个平均数间的标准差异;
    b) 分组自变量与个体因变量分数间的相关--相关效应大小。
    c) 方差分析中处理效应的效应大小
    Cohen( 1988) 将ES 定义为“总体中存在某种现象的程度”; 具体到NHST 体系中,ES 即“虚无假设H0错误的程度”[9]。这种错误程度可形象理解为虚无假设H0和备择假设H1所代表的两抽样分布分离程度或面积重叠程度。如图1 所示,ES 越大,H0偏离H1而犯错误的程度越明显,两分布的分离程度越高,重叠面积越小,反之亦然.

    3.2理论基础

    3.3 R程序

    pwr.t.test   /    per.t2n.test

     

    library("pwr")
    pwr.t2n.test(n1=2,n2=184,d=4.8,sig.level=0.05,alternative="two.sided")
    pwr.t.test(n=58,sig.level=0.05,power=0.8,type="paired",alternative="two.sided")

      

    library("pwr")
    pwr.t2n.test(n1=2,n2=184,d=4.8,sig.level=0.05,alternative="two.sided")
    pwr.t.test(n=58,sig.level=0.05,power=0.8,type="paired",alternative="two.sided")

    ReportCard<-read.table(file="ReportCard.txt",header=TRUE,sep=" ")
    Tmp<-ReportCard[complete.cases(ReportCard),]
    cor.test(Tmp[,5],Tmp[,7],alternative="two.side",method="pearson")
    library("pwr")
    pwr.r.test(r=0.75,sig.level=0.05,n=58,alternative="two.sided")
    

      

    Paired t test power calculation

    n = 58
    d = 0.3742143
    sig.level = 0.05
    power = 0.8
    alternative = two.sided

    NOTE: n is number of *pairs*

     

     

    4.其他功效检验

    4.1相关系数检验

    pwr.r.test

    ##############相关系数检验的功效分析
    ReportCard<-read.table(file="ReportCard.txt",header=TRUE,sep=" ")
    Tmp<-ReportCard[complete.cases(ReportCard),]#complete.cases 和 na.omit去除有空值的行
    cor.test(Tmp[,5],Tmp[,7],alternative="two.side",method="pearson")
    library("pwr")
    pwr.r.test(r=0.75,sig.level=0.05,n=58,alternative="two.sided")
    

      

    Pearson's product-moment correlation

    data: Tmp[, 5] and Tmp[, 7]
    t = 8.5775, df = 56, p-value = 8.753e-12
    alternative hypothesis: true correlation is not equal to 0
    95 percent confidence interval:
    0.6149204 0.8469769
    sample estimates:
    cor
    0.7535317

    approximate correlation power calculation (arctangh transformation)

    n = 58
    r = 0.75
    sig.level = 0.05
    power = 0.9999999
    alternative = two.sided

    说明在显著性水平0.05,样本量58,样本相关系数0.75的条件下,做出拒绝相关的正确决策的概率为0.99

    2.列联表卡放检验的功效分析

     

    ##############列联表卡方检验的功效分析
    ReportCard<-read.table(file="ReportCard.txt",header=TRUE,sep=" ")
    Tmp<-ReportCard[complete.cases(ReportCard),]
    (CrossTable<-table(Tmp[,c(2,12)]))
    (ResChisq<-chisq.test(CrossTable,correct=FALSE))
    library("pwr")
    pwr.chisq.test(sig.level=0.05,N=58,power=0.9,df=3)
    

      

    avScore
    sex B C D E
    F 2 13 10 3
    M 2 11 12 5
    > (ResChisq<-chisq.test(CrossTable,correct=FALSE))

    Pearson's Chi-squared test

    data: CrossTable
    X-squared = 0.78045, df = 3, p-value = 0.8541

    Chi squared power calculation

    w = 0.4943029
    N = 58
    df = 3
    sig.level = 0.05
    power = 0.9

    NOTE: N is the number of observations

    延伸:

    计算效应量:ES.w2()

    1.计算未来顾客年龄与消费行为的关系(phi效应量)应出现多大变化才能打破原来的格局

    ####################计算效应量
    (prob<-matrix(c(0.42,0.28,0.03,0.07,0.10,0.10),nrow=3,ncol=2,byrow=TRUE))
    ES.w2(prob)
    

      

    > (prob<-matrix(c(0.42,0.28,0.03,0.07,0.10,0.10),nrow=3,ncol=2,byrow=TRUE))
    [,1] [,2]
    [1,] 0.42 0.28
    [2,] 0.03 0.07
    [3,] 0.10 0.10
    > ES.w2(prob)
    [1] 0.1853198

    2.计算样本量

    pwr.chisq.test(w=ES.w2(prob),df=(3-1)*(2-1),sig.level=0.05,power=0.9)
    

      


    > pwr.chisq.test(w=ES.w2(prob),df=(3-1)*(2-1),sig.level=0.05,power=0.9)

    Chi squared power calculation

    w = 0.1853198
    N = 368.4528
    df = 2
    sig.level = 0.05
    power = 0.9

    NOTE: N is the number of observations

    需要对368个顾客做调查才有90%的目标实现既定目标。

     

    转载于:https://www.cnblogs.com/coderevelyn/p/7535002.html

    展开全文
  • 1.由于抽样随机性,样本均值在不同总体差距很可能是由抽样误差引起,而这种差距不被认为具有统计上显著性。2.反之,若分析发现样本均值在不同总体上差距较大,但不是由抽样误差引起,则数值型变量在不同...

    1.由于抽样的随机性,样本均值在不同总体上的差距很可能是由抽样误差引起的,而这种差距不被认为具有统计上的显著性。

    2.反之,若分析发现样本均值在不同总体上差距较大,但不是由抽样误差引起的,则数值型变量在不同总体上的分布参数存在显著差异。

    检验两个样本上的均值差是否统计显著的方法:参数检验&非参检验,步骤:

    h0&h1

    构造检验统计。该检验统计量 在原假设成立条件下,服从某个已知的理论分布,这称为抽样分布。

    依据样本数据计算在原假设成立的条件下,检验统计量的观测值与概率P值。检验统计量反映了观测值与原假设之间的差距,p反映了在原假设成立条件下检验统计量取当前观测值或更极端的可能性。

    指定显著新水平α,原假设成立却拒绝的概率

    power:1-β,p(H0|H1)

    1.两独立样本的均值检验

    1.1.概述

    适用数据:

    观测样本来自总体中的两个独立样本,抽样个过程中互不干扰

    检验目标:

    量样本均值是否具有统计上的显著性。不具有显著性:均值差是由抽样误差导致的。

    理论依据:

    1.2抽样自举:

    ###############利用bootstrap模拟独立样本均值差的抽样分布

    par(mfrow=c(2,1),mar=c(4,4,4,4))

    set.seed(12345)

    #总体方差相等

    Pop1

    Pop2

    Diff

    Sdx1

    Sdx2

    #重复M次

    for(i in 1:2000){

    x1

    x2

    Diff

    Sdx1

    Sdx2

    }

    plot(density(Diff),xlab="mean(x1)-mean(x2)",ylab="Density",main="均值差的抽样分布(等方差)",cex.main=0.7,cex.lab=0.7)

    points(mean(Diff),sd(Diff),pch=1,col=1)

    S1

    S2

    Sp

    #理论上的均值与方差:红三角

    points((2-10),sqrt(Sp/100+Sp/120),pch=2,col=2)

    ###两方差不等

    set.seed(12345)

    Pop1

    Pop2

    Diff

    Sdx1

    Sdx2

    for(i in 1:2000){

    x1

    x2

    Diff

    Sdx1

    Sdx2

    }

    plot(density(Diff),xlab="mean(x1)-mean(x2)",ylab="Density",main="均值差的抽样分布(不等方差)",cex.main=0.7,cex.lab=0.7)

    points(mean(Diff),sd(Diff),pch=1,col=1)

    S1

    S2

    points((2-10),sqrt(S1^2/100+S2^2/120),pch=2,col=2)

    1.3检验单原假设与检验统计量

    实现两独立样本均值检验单R程序:R.test

    #############独立样本均值检验示例

    Forest

    #设置因子

    Forest$month

    Tmp

    #方差不同

    t.test(temp~month,data=Tmp,paired=FALSE,var.equal=TRUE)

    Two Sample t-test

    data: temp by month

    t = -4.8063, df = 184, p-value = 3.184e-06

    alternative hypothesis: true difference in means is not equal to 0

    95 percent confidence interval:

    -23.106033 -9.657011

    sample estimates:

    mean in group jan mean in group aug

    5.25000 21.63152

    #方差相同

    t.test(temp~month,data=Tmp,paired=FALSE,var.equal=FALSE)

    Welch Two Sample t-test

    data: temp by month

    t = -45.771, df = 177.49, p-value < 2.2e-16

    alternative hypothesis: true difference in means is not equal to 0

    95 percent confidence interval:

    -17.08782 -15.67522

    sample estimates:

    mean in group jan mean in group aug

    5.25000 21.63152

    T值都大,P

    1.4方差是否相等

    采用上述那个分析结论,取决于量总体方差是否相等。通常采用F-test,也可采用更为稳健但不依赖总体分布具体形式的Levene's方差同质检验

    检验1、8月份温度总体方差是否相等

    library("car")

    leveneTest(Tmp$temp,Tmp$month, center=mean)

    Levene's Test for Homogeneity of Variance (center = mean)

    Df F value Pr(>F)

    group 1 2.6773 0.1035

    184

    p>α=0.05,不能拒绝原假设,方差齐性,选择第一种检验结论

    2.两配对样本的均值检验

    2.1概述

    2.1.1使用数据:

    观测样本来自总体的两个配对样本,表象为两个样本样本量一样,且两样本的观测具有一一对应关系,可视为观测样本的“前后”或多“侧面”的数据。

    例如,某班学生各科测试中,语文和数学的测试成绩。

    2.1.2检验目标:

    即检验数学成绩总体分布于语文成绩总体分布(均值)是否存在显著差异。

    2.1.3理论依据:

    ##################利用bootstrap模拟样本均值的抽样分布

    set.seed(12345)

    Pop

    #从总体样本中随机抽取2000个大小为1000的样本,然后测试样本的均值分布

    MeanX

    for(i in 1:2000){

    x

    MeanX

    }

    plot(density(MeanX),xlab="mean(x)",ylab="Density",main="样本均值的抽样分布",cex.main=0.7,cex.lab=0.7)

    points(mean(MeanX),sd(MeanX),pch=1,col=1)

    points(4,sqrt(2^2/1000),pch=2,col=2)

    2.1.4检验的原假设和检验统计量:

    R函数t.test

    检验语文成绩与数学成绩是否具有显著差异:

    ##############配对样本均值检验示例

    ReportCard

    ReportCard

    t.test(ReportCard$chi,ReportCard$math,paired=TRUE)

    Paired t-test

    data: ReportCard$chi and ReportCard$math

    t = 11.712, df = 57, p-value < 2.2e-16

    alternative hypothesis: true difference in means is not equal to 0

    95 percent confidence interval:

    18.48871 26.11474

    sample estimates:

    mean of the differences

    22.30172

    存在显著差异

    t.test也可以用来进行单样本均值检验(结果一样)

    ###############单样本的均值检验示例

    Diff

    t.test(Diff,mu=0)

    3.样本均值检验的功效分析

    3.1概述

    功效-power:Type2 error(原假设为错却接受了),若原假设为错并且拒绝,则作者这一正确决策的概率为1-β,统计功效。

    首先显著性水平:type1 error是影响统计功效的重要因素之一。alpha小,1-beta也小

    其次,若事实上两样本均值差异大,Power也高; 若增大样本量会导致均值差的样本分布的方差减小,是的检验统计量t的观测值增大,更容易拒绝两总体均值无差异这个错误的原假设,Power大,所以样本量大小也影响。

    由于样本均值是一个绝对量,会受数据计量单位和数量级的影响。所以找到一个可反映两总体分布重叠的相对指标更有意义--effect size(ES)

    单侧检验相对于双边检验更容易拒绝原假设。检验方向也影响。

    效应量太小,意味着处理即使达到了显著水平,也缺乏实用价值。

    常见的几种ES:

    a) 两个平均数间的标准差异;

    b) 分组自变量与个体因变量分数间的相关--相关效应大小。

    c) 方差分析中处理效应的效应大小

    Cohen( 1988) 将ES 定义为“总体中存在某种现象的程度”; 具体到NHST 体系中,ES 即“虚无假设H0错误的程度”[9]。这种错误程度可形象理解为虚无假设H0和备择假设H1所代表的两抽样分布分离程度或面积重叠程度。如图1 所示,ES 越大,H0偏离H1而犯错误的程度越明显,两分布的分离程度越高,重叠面积越小,反之亦然.

    3.2理论基础

    3.3 R程序

    pwr.t.test   /    per.t2n.test

    library("pwr")

    pwr.t2n.test(n1=2,n2=184,d=4.8,sig.level=0.05,alternative="two.sided")

    pwr.t.test(n=58,sig.level=0.05,power=0.8,type="paired",alternative="two.sided")

    library("pwr")

    pwr.t2n.test(n1=2,n2=184,d=4.8,sig.level=0.05,alternative="two.sided")

    pwr.t.test(n=58,sig.level=0.05,power=0.8,type="paired",alternative="two.sided")

    ReportCard

    Tmp

    cor.test(Tmp[,5],Tmp[,7],alternative="two.side",method="pearson")

    library("pwr")

    pwr.r.test(r=0.75,sig.level=0.05,n=58,alternative="two.sided")

    Paired t test power calculation

    n = 58

    d = 0.3742143

    sig.level = 0.05

    power = 0.8

    alternative = two.sided

    NOTE: n is number of *pairs*

    4.其他功效检验

    4.1相关系数检验

    pwr.r.test

    ##############相关系数检验的功效分析

    ReportCard

    Tmp

    cor.test(Tmp[,5],Tmp[,7],alternative="two.side",method="pearson")

    library("pwr")

    pwr.r.test(r=0.75,sig.level=0.05,n=58,alternative="two.sided")

    Pearson's product-moment correlation

    data: Tmp[, 5] and Tmp[, 7]

    t = 8.5775, df = 56, p-value = 8.753e-12

    alternative hypothesis: true correlation is not equal to 0

    95 percent confidence interval:

    0.6149204 0.8469769

    sample estimates:

    cor

    0.7535317

    approximate correlation power calculation (arctangh transformation)

    n = 58

    r = 0.75

    sig.level = 0.05

    power = 0.9999999

    alternative = two.sided

    说明在显著性水平0.05,样本量58,样本相关系数0.75的条件下,做出拒绝相关的正确决策的概率为0.99

    2.列联表卡放检验的功效分析

    ##############列联表卡方检验的功效分析

    ReportCard

    Tmp

    (CrossTable

    (ResChisq

    library("pwr")

    pwr.chisq.test(sig.level=0.05,N=58,power=0.9,df=3)

    avScore

    sex B C D E

    F 2 13 10 3

    M 2 11 12 5

    > (ResChisq

    Pearson's Chi-squared test

    data: CrossTable

    X-squared = 0.78045, df = 3, p-value = 0.8541

    Chi squared power calculation

    w = 0.4943029

    N = 58

    df = 3

    sig.level = 0.05

    power = 0.9

    NOTE: N is the number of observations

    延伸:

    计算效应量:ES.w2()

    1.计算未来顾客年龄与消费行为的关系(phi效应量)应出现多大变化才能打破原来的格局

    ####################计算效应量

    (prob

    ES.w2(prob)

    > (prob

    [,1] [,2]

    [1,] 0.42 0.28

    [2,] 0.03 0.07

    [3,] 0.10 0.10

    > ES.w2(prob)

    [1] 0.1853198

    2.计算样本量

    pwr.chisq.test(w=ES.w2(prob),df=(3-1)*(2-1),sig.level=0.05,power=0.9)

    > pwr.chisq.test(w=ES.w2(prob),df=(3-1)*(2-1),sig.level=0.05,power=0.9)

    Chi squared power calculation

    w = 0.1853198

    N = 368.4528

    df = 2

    sig.level = 0.05

    power = 0.9

    NOTE: N is the number of observations

    需要对368个顾客做调查才有90%的目标实现既定目标。

    展开全文
  • 多元正态分布的均值向量的检验及R实现

    万次阅读 多人点赞 2018-05-05 21:59:35
    ppp维正态总体NP(μ,∑)NP(μ,∑)N_P(\mu,\sum)均值...1.∑∑\sum已知时单个总体均值向量的检验: 具体步骤: 作统计假设:H0:μ=μ0,H1:μ≠μ0H0:μ=μ0,H1:μ≠μ0H_0:\mu=\mu_0,H_1:\mu\neq \mu_0 计算样...
  • 1.假设检验的逻辑步骤 (1)写出零假设和备择假设 (2)确定检验统计量 (3)确定显著性水平α (4)根据数据计算检验统计量的实现值 (5)得到检验是否显著的结论 2.对于正态总体均值的检验 2.1根据一个样本对其...
  • 从清北男神母校学生身高比较看两独立样本t检验~独立样本t检验用于检验两个独立样本是否来自具有相同均值的总体,即检验两个正态分布总体的均值是否相等。提出问题:北大、清华所有男生平均身高是否相等?1、抽样:...
  • 假设检验的步骤可以归纳 如下: (1) 写出原假设和备择假设; (2) 在原假设成立的条件下,构造一个统计量,该统计量服从某一分布; (3) 用已知的样本数据带入统计量的公式,得到一个检验值; (4) 给定置信水平来得到...
  • 目的:利用来自某总体的样本数据,推断该总体的均值是否与指定的检验值之间存在显著性差异。 前提:样本来自的总体服从正态分布。 基本思想:首先,计算出样本均值;其次,根据经验或以往调查结果...
  • 配对样本t检验用于检验两个相关的样本是否来自具有相同均值的...配对样本均值t检验的关键在于需要把两个样本『合并』为一个样本来看待,这样其实就变成了单样本t检验,以单样本t检验为模板,我们整理出配对样本均...
  • 1.常用参数检验方法1.1正态总体均值的假设检验(t检验)检验1组数据样本均值是否等于,大于或小于某个值,或者检验两组数据样本均值大小情况。其中统计量Z一般服从t分布。1.2正态总体方差假设检验检验1组...
  • 1.常用参数检验方法1.1正态总体均值的假设检验(t检验检验1组数据样本均值是否等于,大于或小于某个值,或者检验两组数据样本均值大小情况。其中统计量Z一般服从t分布。1.2正态总体方差假设检验检验1...
  • 案例:5年前,全国男性平均身高是1.75米(普查得到的总体均值),现在我们想知道如今男性平均身高是否发生了改变。思路:从全国男性群体中随机抽取1000名样本,获得样本均值和样本标准差,进行假设检验。此处需....
  • 统计中t检验

    2017-07-06 00:54:00
    1.什么情况下,应用t检验 1 2 3 ...1. 已知总体均值m,或者我们假设了一个总体均值m;...2. 我们知道样本个数n,样本...2. 我们目的,就是要检验这个总体均值m是否合理  3.具体步骤: 参考:http://wiki.mbal...
  • 参数假设检验

    2020-03-07 21:41:52
    目录一、基本思想二、两类错误三、检验步骤四、一个总体参数的检验总体均值的检验总体比例的检验总体方差的检验五、两个总体参数的检验两个总体均值之差的检验两个总体比例之差的检验两个样本方差比的检验两个样本...
  • 1、提出原假设:总体均值检验值之间不存在显著差异 备择假设:总体均值检验值之间存在显著差异 2、选择检验统计量 3、P<0.05,拒绝原假设,总体均值检验值之间存在差异 P>0.05,接受原假设,...
  • 统计推断是统计学中非常核心的内容,本文介绍了统计推断中单样本假设检验的方法,包括假设检验的要素、步骤,以及常见的3种假设检验的方法,包括总体均值检验、总体比例检验和总体方差检验
  • 参数检验和非参数检验

    万次阅读 多人点赞 2018-05-22 21:34:33
    、检验步骤4、检验的p值在一个假设检验问题中, 拒绝原假设H0的最小显著性水平称为检验的p值.5、单正态总体参数的检验(1)(2)(3)6、两正态总体参数的检验(1)(2)7、成对数据的t检验所谓成对数据, 是指两个...
  • 案例:5年前,全国男性平均身高是1.75米(普查得到的总体均值),现在我们想知道如今男性平均身高是否发生了改变。思路:从全国男性群体中随机抽取1000名样本,获得样本均值和样本标准差,进行假设检验。此处需...
  • 假设检验

    2020-07-08 01:29:41
    文章目录假设检验的基本思想两类错误P_P\_P_与统计显著性单个正态总体参数的假设检验均值μ的假设检验σ^2^已知σ^2^未知方差σ^2^的假设检验两个正态总体参数的假设检验μ1-μ2的假设检验σ1与σ2已知σ1=σ2但未知...
  • 模型F检验检验模型是否合理)步骤: 1.提出问题原假设和备择假设 2.在原假设条件下,构造统计量F 3.根据样本信息,计算统计量值 4.对比统计量值和理论分布值,当统计量值超过理论值时,拒绝原假设,...
  • 假设检验假设检验的步骤1.z检验2.t检验3.两个正态总体均值差的检验4.逐对比较法5.分布拟合检验总结 假设检验的步骤 (1)写出原假设和备择假设; (2)在原假设成立的条件下,构造一个统计 量,该统计量服从某一分布; ...
  • 数据分析之 假设检验

    2020-10-29 15:15:03
    检验总体的均值是否可靠——Z检验1.1 背景1.2 流程1.2.1 解决方法之 假设检验1.2.2 解决方法之 反证法1.2.3 悖论1.2.4 P-value与显著性水平1.3 假设检验 步骤 总结1.4 验证——Z检验1.4.1 代码1.5 单边拒绝域1.5.1 ...
  • 针对两类数据,假设他们总体的方差相等,检验总体的均值是否存在显著差异。 3 双样本T检验之等方差检验 Step1: Excel打开数据分析菜单操作步骤: Excel 2010 点击 文件 → 选项 → 加载项 →界...
  • Mann-whitney 检验算法学习

    万次阅读 2018-05-13 00:26:24
    它假设两个样本分别来自除了总体均值以外完全相同两个总体,目的是检验这两个总体均值是否有显著差别。 2、Mann-whitney 算法步骤 具体步骤如下: 第一步: 将两组数据混合,并按...
  • 文章目录数理统计之假设检验专题1 假设检验的步骤1.1 建立检验假设和确定检验水准1.1.1 建立检验假设1.1.2 检验水准1.2 选定检验方法和计算检验统计量1.3 确定P值和做出推断结论2 均值的比较:t检验2.1 t检验类型...
  • 针对两类数据,假设他们总体的方差不相等,检验总体的均值是否存在显著差异。 3 双样本T检验之异方差检验 Step1: Excel打开数据分析菜单操作步骤: Excel 2010 点击 文件 → 选项 → 加载项 →界面右下角 转...

空空如也

空空如也

1 2 3
收藏数 54
精华内容 21
关键字:

总体均值检验的步骤