- 假设检验概念
- 检验统计量
- 一个总体参数的检验
- 统计量的确定

- 总体均值的检验
- Z统计量



- t统计量

- 总体比例的检验

- 总体方差检验
(卡方)统计量
简单统计推断:总体参数的假设检验
1.假设检验的逻辑步骤
(1)写出零假设和备择假设
(2)确定检验统计量
(3)确定显著性水平α
(4)根据数据计算检验统计量的实现值
(5)得到检验是否显著的结论
2.对于正态总体均值的检验
2.1根据一个样本对其总体均值大小进行检验
单尾检验
双尾检验【如果一个单尾检验问题用了双尾检验,p值就比单尾检验时大了一倍】
2.2根据来自两个总体的独立样本对其总体均值的检验
w=read.table('drug.txt',header=T) #读入数据
x=w[w[,2]==1,1];y=w[w[,2]==2,1] #分开两个数据
t.test(x,y,alt='greater') #检验【不检验方差,直接用方差不等的方法去做,不会有问题】
2.3成对样本的问题
t.test(w$before,w$after,alt='greater',pair=T) #直接检验
t.test(w$before-w$after,alt='greater') #相减后检验
2.4关于正态性检验的问题
(1)最简单实用方法:Shapiro正态性检验
(2)直观办法:正态QQ图(不一定正确):用样本分位数与正态分位数做散点图,如果总体是正态的,则图上的点应该近似地排成一条直线。
x=scan('sugar.txt')
qqnorm(x);qqline(x)
3.对于比例的检验
3.1对于总体比例的检验
(1)精确检验【首选】
binom.test(0.23*1500,1500,.25,alt='less')
两个总体比例之差p1-p2的检验:
binom.test(c(.2*1200,.21*1300),c(1200,1300),alt='less')
(2)利用公式的近似检验【计算机不发达时的遗产】
(3)用连续性修正的近似检验
3.2对于连续变量比例的检验
两种等价形式检验:
1.看中位数或α分位数是否是某个事先认定的值(零假设)
2.大于(或小于)某数的观测值是否为一个事先认定的比例(零假设)
Q:存活时间低于2小时的是否少于70%?【此检验又称为(推广的)符号检验,不用对总体分布进行任何假定,通常把符号检验归于非参数检验范畴】
x=scan('life.txt')
binom.test(sum(x<2),60,.7,alter='greater')
4.非参数检验
4.1关于非参数检验的一些常识
(1)和数据本身的总体分布无关的检验称为非参数检验。
(2)在总体分布已知时,传统方法有较大的势,效率要高【势(power):当备择假设正确时,该检验拒绝零假设的概率,强势检验也称为高效率检验】 但在总体分布未知时,非参数统计比假定了错误总体分布时的传统方法要高,有时要高很多。
(3)如何比较检验的效率:通常用两种检验方法的渐近相对效率(ARE)来度量,当ARE等于1时表示两者效率一样。一般来说,检验T1对检验T2的相对效率是这两个检验在拒绝零假设时所使用的最小样本量n1和n2的反比:n2/n1,显然,用的样本量越少,效率越高。
(4)秩(rank)的概念:一般来说,秩就是该数据按照升幂排列之后,每个观测值的位置。
4.2关于单样本位置的符号检验【3.2有介绍广义的符号检验】
狭义的符号检验
x=scan('gs.txt')
pbinom(sum(x>100),25,.5)
大于零假设中位数m的个数等于所有观测值减去m之后所得的符号为正的差的个数,而小于m的个数等于符号为负的差个数。这就是之所以称为符号检验的原因。
如果有等于中位数m的,即既不相应于属于正号,又不相应于属于负号,对判断没有贡献,一般把它删除。
4.3关于单样本位置的Wilcoxon符号秩检验
要求假定样本点来自连续对称总体分布,对总体中位数的检验,等价于对总体均值的检验。
该检验的具体步骤:
(1)对i=1,…,n,计算∣Xi-M0∣,它们代表这些样本点到M0的距离。
(2)把上面的n个绝对值排序,并找出它们的n个秩,如果它们有相同的样本点,每个点取平均秩(如1,4,4,5的秩为1,2.5,2.5,4)。
(3)令W+等于Xi-M0>0的∣Xi-M0∣的秩的和,而W-等于Xi-M0<0的∣Xi-M0∣的秩的和。
(4)对双边检验H0:M=M0<=>H1:M≠M0,在零假设下,W+和W-应差不多。因而,当其中之一很小时,应怀疑零假设。在此,取检验统计量W=min(W+,W-)
(5)根据得到的W值,利用统计软件或查Wilcoxon符号秩检验的分布表以得到在零假设下的p值。如果n很大要用正态近似:得到一个与W有关的正态随机变量Z的值,再用软件或查正态分布表得到p值。
(6)如果p值较小(比如小于或等于给定的显著性水平,譬如0.05)则可以拒绝零假设。如果p值较大则没有充分的证据来拒绝零假设,但不意味着接受零假设
4.4关于随机性的游程检验(runs test)
游程检验方法:检验一个取两个值的变量的这两个值的出现是否时随机的。
游程:样本中相同的值在一起称为一个游程,单独的值也算。
library(tseries)
x=scan('run1.txt')
runs.test(factor(x))
当然,游程检验并不仅仅用于只取两个值的变量,它还可以用于某个连续变量的取值小于某个确定值及大于该值的个数(类似于0和1的个数)是否随机的问题。
library(tseries)
x=scan('run2.txt')
runs.test(factor(x>median(x))) #这里runs.test()不是精确检验
4.5比较两独立总体中位数的Wilcoxon(Mann-Whitney)秩和检验
检验所需唯一假定:两个总体的分布有类似形状(不一定对称)
原理:假定第一个样本有m个观测值,第二个样本有n个观测值,把两个样本混合之后把这m+n个观测值按照大小次序排序,然后记下每个观测值在混合排序下面的秩。之后分别把两个样本所得到的秩相加,记秩和分别是Xx和Xy,这两个值可以互相推算,称为Wilcoxon统计量。该统计量的分布与两个总体分布无关,由此分布可以得到p值。
w=read.table('gdp.txt')
wilcox.test(w[w[,2]==1,1],w[w[,2]==2,1],alt='less') #单尾检验
1.总体
总体(population)是包含所研究的全部个体(数据)的集合,它通常由所研究的一些个体组成,如由多个企业构成的集合,多个居民户构成的集合,多个人构成的集合,等等。组成总体的每一个元素称为个体,在由多个企业构成的总体中,每一个企业就是一个个体;由多个居民户构成的总体中,每一个居民户就是一个个体;由多个人构成的总体中,每一个人就是一个个体。
总的来说总体是个体的一个集合,所有的参加实验和测试的个体都包含在总体中,而每一个个体在总体集合中就是一个元素
2.样本
样本可以看作是一个总体的子集,他从总体中抽取一些元素建立一个新的集合(所以样本也是集合),用于数据分析。
1.参数
运用于描述总体特征的特定数据,常用的有总体均值,标准差,方差,总体比例等,参数只关心一个总体的状态。
2.统计量
相对于参数,是描述样本特征的特定数据,常用的有样本均值,样本标准差,样本方差,样本比例等,统计量是根据样本数据计算出来的量,是样本的函数
可以从图中看出,样本可以看成是总体中被抽取出来的实验对象,用于具体事务的研究,不同的事务可能需要不同的样本集合,而不同的样本集合所呈现的统计量也不相同。而实际上我们在进行统计学研究的时候,实际就是在用样本的统计量来估计总体的参数的过程。
(卡方)统计量
转载于:https://my.oschina.net/u/1785519/blog/1142253
本文总结了数据分析中用到的推断统计分析知识点,是自己学习参数估计和假设检验的学习笔记。
就是用样本的统计量去代替总体参数。
优点: 可以给出具体的估计值;
缺点: 估计结果容易受到随机抽样的影响,无法保证结论的准确性。
根据样本统计量计算出一个可能的区间与概率。
优点: 可给出合理的范围(置信区间)及信心指数(置信度);
缺点: 不能给出具体的估计值。
如果总体(分布不重要)均值为 μ方差为
σ
2
σ^2
σ2,进行足够多次随机抽样,样本容量为n,当n增大时,样本均值近似服从正太分布X~N(μ,
σ
2
σ^2
σ2/n)。
结论:
1、多次抽样,每次抽样会得到一个均值,均值会围绕在总体均值左右,呈正太分布。
2、当样本容量n足够大(一般n>=30),样本均值服从正太分布。
1)样本均值构成的正态分布,其均值等于总体均值μ;
2)样本均值构成的正态分布,其标准差等于σ/
n
\sqrt n
n;
注意:
1、样本均值的标准差,称为标准误差,简称标准误。
2、区分总体标准差σ,样本标准差(一次抽样获得的标准差),标准误差(样本均值构成的正太分布的标准差)。
import numpy as np
import pandas as pd
import seaborn as sns
#定义总体数据
#loc:均值;scale:标准差;size:数组大小,即数组中含有的元素个数
all_ = np.random.normal(loc=30,scale=80,size=10000)
#创建均值数组,用来存放每次抽样(每个样本)的均值
mean_arr = np.zeros(1000)
for i in range(len(mean_arr)):
#随机抽样,size:样本容量;replace:是否为放回抽样,默认为True
mean_arr[i] = np.random.choice(all_,size=64,replace=False).mean()
#样本均值构成正态分布,该正态分布的均值等于总体均值
#标准差等于总体标准差/根号n
print('样本均值构成的正太分布的均值:',mean_arr.mean())
print('样本均值构成的正太分布的标准差(标准误):',mean_arr.std())
print('偏度:',pd.Series(mean_arr).skew())
sns.distplot(mean_arr)
样本均值构成的正太分布的均值: 30.653383960104826
样本均值构成的正太分布的标准差(标准误): 9.918944517394578
偏度: 0.05852723907161612
1、以均值为中心,在1倍标准差内( μ-σ,μ+σ),包含约68%的样本数据。
2、以均值为中心,在2倍标准差内(μ-2σ,μ+2σ),包含约95%的样本数据。
3、以均值为中心,在3倍标准差内(μ-3σ,μ+3σ),包含约99.7%的样本数据。
其中,σ为样本均值的标准差,即标准误差。
#标准差
scale = 50
x = np.random.normal(0,scale,size=100000)
#定义标准差的倍数,倍数从1到3
for times in range(1,4):
y = x[(x > -times * scale) & (x < times * scale)]
print(times,'倍标准差:',f'{len(y) * 100 / len(x)}%')
1 倍标准差: 68.392%
2 倍标准差: 95.499%
3 倍标准差: 99.734%
参数估计在行业的应用,具体操作要根据实际场景来:
1、工业生产量的判断。
2、服务业投诉量是否改进判断。
3、电商业用户访问量、用户流失等评估。
4、金融、保险业风险评估。
区间估计是通过正面方式,来计算总体参数的可能取值(区间);而假设检验是从反正角度来判断,是接受原假设还是拒绝原假设。
1、小概率事件
小概率事件在一次试验中不会发生,一旦发生则拒绝原假设。
接受原假设,并不代表原假设一定是正确的,只是没有充分的证据去证明原假设是错误的,因此只能接受原假设。
2、P-Value与显著性水平
P-Value是支持原假设的概率,设定的阈值(α表示)为显著性水平,α通常选定为0.1、0.05、0.01,具体根据样本量选择,常选0.05。
3、原假设与备择假设
1)若是等值估计,等值选为原假设,不等选为备择假设;
2)在单边检验中,原假设为维持现状,改变现状为备择假设。
1、设置原假设和备择假设;
2、设置显著性水平α(通常选择0.05);
3、根据问题选择检验方式;
4、计算统计量,并通过统计量获取P值;
5、根据P值与α值,决定接受原假设还是备择假设。
Z检验用来判断样本均值与总体均值是否有显著性差异。Z检验是通过正太分布理论来推断差异发生的概率,从而比较两个均值的差异是否显著。
1、总体呈正态分布;
2、总体方差已知;
3、样本容量较大(一般>=30)
1和3满足其一即可,因为在样本容量很大时,样本均值近似呈正态分布。
x一把:样本均值;
μ0:待检测的总体均值;
σ:总体的标准差
n:样本容量
Z统计量含义: 样本均值与总体均值的距离是几倍标准误差,如果大于1.96倍或小于-1.96倍,表示样本均值落在了拒绝域。
from scipy import stats
已知:样本 a = np.array([]),总体均值mean,总体标准差std
样本均值:sample_mean = a.mean()
标准误差:se = std / np.sqrt(len(a))
Z统计量:Z = (sample_mean = mean) / se
P值:P = 2 * stats.morm.sf(abs(Z))
t检验用来判断样本均值是否与总体均值具有显著性差异,t检验是基于t分布的。
1、总体呈正态分布;
2、总体方差未知;
3、样本数量较少(<30)
当样本容量>30,t分布接近正太分布
x一把:样本均值;
μ0:待检测的总体均值;
S:样本的标准差
n:样本容量
已知:样本 a = np.array([]),总体均值mean
样本均值:sample_mean = a.mean()
样本标准差:sample_std = a.std()
t统计量:(sample_mean - mean) / (sample_std / np.sqrt(len(a)))
P值:2 * stats.t.sf(abs(t),df=len(a)-1),df为自由度,
简单理解,自由度就是变量能够自由取值的个数,t分布的自由度为n-1