卡方检验

什么是卡方检验：

卡方检验是卡方分布为基础的一种检验方法，主要用于分类变量，根据样本数据推断总体的分布与期望分布是否有显著差异，或推断两个分类变量是否相关或相互独立。
卡方检验的应用场景：

卡方检验最常见的用途就是考察某无序分类变量各水平在两组或多组间的分布是否一致实际上，除了这个用途之外，卡方检验还有更广泛的应用。具体而言，其用途主要包括以下几个方面：

1、检验某个连续变量的分布是否与某种理论分布相一致。如是否符合正态分布、是否服从均匀分布、是否服从Poisson分布等。
2、检验某个分类变量各类的出现概率是否等于指定概率。如在36选7的彩票抽奖中，每个数字出现的概率是否各为1/36；掷硬币时，正反两面出现的概率是否均为0.5。
3、检验某两个分类变量是否相互独立。如吸烟(二分类变量：是、否)是否与呼吸道疾病(二分类变量：是、否)有关；产品原料种类(多分类变量)是否与产品合格(二分类变量)有关。
4、检验控制某种或某几种分类因素的作用以后，另两个分类变量是否相互独立。如在上例中，控制性别、年龄因素影响以后，吸烟是否和呼吸道疾病有关；控制产品加工工艺的影响后，产品原料类别是否与产品合格有关。
5、检验某两种方法的结果是否一致。如采用两种诊断方法对同一批人进行诊断，其诊断结果是否一致；采用两种方法对客户进行价值类别预测，预测结果是否一致。
什么情况下使用卡方检验：
参数检验对观测值的普遍要求是总体呈正态分布，但实际研究中，不是所有观测值都呈正态分布，或者无法确定其是否正态分布，由于缺乏足够信息，总体的分布未知，这些情况下，参数检验技术就未必适用了，因此我们还需要掌握一些非参数检验技术，其中最为常用的就是卡方检验，它最适合于次数分布检验。
卡方检验作为非参数检验的一种，其稳健性不及参数检验，因此，从使用的角度来看，应首选参数检验，如果在无法满足参数检验基础条件的前提下，再考虑使用非参数检验。
例如，样本来自的总体数据不符合正态分布，此时可采用卡方检验完成。
另外研究定类变量和定序变量之间的关系时，由于定类或者定序变量都不具有完备的运算性能，因此无法对总体某种参赛的计算，可采用非参数检验如卡方检验来完成。

什么是卡方分析web
卡方分析有两个常见的应用——适合度分析和独立性分析。这个笔记着重于适合度分析。从我目前的经验来看，这也是应用十分普遍的一种统计分析方式。那么什么是卡方适合度分析呢？且听我慢慢道来。svg
现象1 现象2 现象3
观测值 a b c
预期值 A B C
常见的适合度分析的结构以下，通常有两组数据，一组是你统计或者观察到的值，另外一组是理论上的预期值。若是这两组值十分接近，证实观测到的结果很“合适”，若是差距较大，则证实观测到的数据不够“合适”，这就是“适合度分析”名字的含义。函数
这种统计分析在科学研究中是十分经常使用的，由于科学家常常按照理论预期来推测试验结果，而实际上因为各类偏差的存在，实验数据不可能和理论预期彻底一致，这时卡方检验就能很好地检验理论的正确性。测试
举个栗子ui
某科学家预言抛一个色子，各面向上的概率都相同。为了验证本身理论的正确性，该科学家抛了600次硬币，结果为一点102次，二点102次，三点96次，四点105次，五点95次，六点100次。显然这个结果和理论预期并不彻底同样，那么，科学家的理论有错吗？咱们就用Python来验证一下。spa
from scipy import stats
obs = [102, 102, 96, 105, 95, 100]
exp = [100, 100, 100, 100, 100, 100]
stats.chisquare(obs, f_exp = exp)
输出
(0.73999999999999999, 0.98070147251964801)
从结果来看，p 值为0.98，能够认为观测到的值和预期值是相近即“合适”的。科学家的理论没有错，观测值和理论值的不一样是由偶然偏差形成的。(通常 p 值大于0.95便可)code
解释一下server
Python中进行卡方分析的函数chisquare()位于scipy的stats模块中。注意：stats在Python2.7的环境下使用是十分正常的，可是在Python3中使用就会报错。说来惭愧，笔者以前试着在Py3下运行，结果折腾了大半天都没成功，换到Py2.7下，一点问题都没了。若是用Python进行数据分析，我的感受仍是Py2.7好使，不少模块都没有稳定的Py3版啊。固然以前的栗子也要求在Py2.7下运行。xml
scipy.stats.chisquare(f_obs, f_exp=None, ddof=0, axis=0)ip
参数解释以下：
f_obs : 观测值，为一个数列
f_exp : 理论值，为一个数列。若是不赋值，默认为全部状况出现的可能相等。因此栗子中能够不赋值
>>>stats.chisquare(obs)
(0.73999999999999999, 0.98070147251964801)
ddof : 即自由度， df = C - 1，数值上等于全部可能的状况数-1。能够不用赋值，只要obs和exp没问题，程序能够本身算出来。
输出的结果是：
chisq： 即k值
p : p 值，大于0.95即统计显著。
做者：ironbeak_owl
连接：https://www.jianshu.com/p/c307d04eee56
來源：简书
著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。

SAS比较不同年龄段组间差异，卡方检验
医学的朋友写论文在对年龄进行差异性检验时，查了很多资料都是基于SPSS做的，这里用SAS实现一下。
用例子说明吧，下面是一个学医的朋友想复现的一张表，来自哪里我也不知道，好，看表。



表2中共4个年龄段，想比较两两年龄段之间的组间差异性，在SAS中一个proc freq  过程步就全部搞定啦！

先把数据导入一下：
data a;
	input count r$ c$;
	cards;
		184 A 0
		115 B 0
		51 C 0
		24 D 0
		1809 A 1
		1048 B 1
		280 C 1
		49 D 1
		;
run;
proc print data=a; run; /*看一眼数据*/

表2中的数据放入SAS是这个样子哒～



接下来就比较差异性了，都是分类变量，所以计算卡方值，通过P值比较有没有差异性。程序如下：
proc freq data=a;
	tables r*c/chisq;   /*四组年龄段组间比较一下*/
	weight count;
run;

结果如下：



接下来是年龄段1和年龄段2之间的比较，代码如下：
proc freq data=a;
	where r in('A','B');
	tables r*c/chisq;
	weight count;
run;

这是结果展示：



接下来是年龄段1和年龄段3之间的比较，代码如下：
proc freq data=a;
	where r in('A','C');
	tables r*c/chisq;
	weight count;
run;

这是结果展示：



其他几组之间的差异性比较代码如下，结果就不一一展示了，与例子中给的结果是完全一致的。
	proc freq data=a;
		where r in('A','D');
		tables r*c/chisq;
		weight count;
	run;
	proc freq data=a;
		where r in('B','C');
		tables r*c/chisq;
		weight count;
	run;
	proc freq data=a;
		where r in('B','D');
		tables r*c/chisq;
		weight count;
	run;
	proc freq data=a;
		where r in('C','D');
		tables r*c/chisq;
		weight count;
	run;

上面是按步骤简单说明，按上面操作是可以实现论文中的要求的。But,其实每部分的程序都差不多，所以可以编一个小小的宏函数，就可以全部搞定啦！
%macro group_chisq(a,g1,g2);
	proc freq data=&a;
		where r in("&g1","&g2");
		tables r*c/chisq;
		weight count;
	run;
%mend;
%group_chisq(a,A,B)
%group_chisq(a,A,C)
%group_chisq(a,A,D)
%group_chisq(a,B,C)
%group_chisq(a,B,D)
%group_chisq(a,C,D)

需要注意的是宏函数里面的r和c分别对应了原始数据集里的变量，我并没有改。

卡方检验
当衡量两个连续变量间的线性关系时，我们可以使用Pearson相关系数。那么当我们面对的数据是两个分类变量呢？没错，看过下面这张图的应该还记得，我们可以用列联表结合卡方检验来分析分类变量间的相关性。
一、列联表
列联表是一种常见的分类汇总表，它将两个变量的不同水平分别放在行和列中，中间对应着每组的频数。如下表：使用药物A且治愈了的病人有1800名，使用药物B且治愈了的病人有800名……
在pandas中，我们可以直接使用pd.crosstab(rows,columns,margins=True)来生成列联表。其中margins用于设置是否限制汇总列和汇总行。
有些时候我们可能需要百分比数据，这时我们直接用每个单元格除以汇总列或汇总行的数据即可。
二、卡方检验
卡方检验的思想在于比较期望频数和实际频数的吻合程度，实际频数就是上边表格里黄色区域的数字，而期望频数则是指行列变量相互独立的时候期望的频数。我们下边用一张图来演示如何计算期望频数。
在第三张图中，每个单元格的期望频率为对应的行总计与列总计的乘积，比如第一个单元格的期望频率为66.67%*86.67%=57.78%。
事实上，我们也可以一步到位，用第一张图中行总计2000与列总计2600相乘，然后除以全部样本量3000，就可以得到1733，也就是第一个单元格的期望频数。不过这里为了方便理解，拆解成了三步。
接下来就是进行卡方检验了，卡方检验的零假设是期望频数等于实际频数(差异不显著)，备择假设是期望频数不等于实际频数(差异显著，具有统计学意义)，即两个变量相关。其计算公式为：
Obs代表每个单元格内的观测频数(Observation)，Exp代表每个单元格内的期望频数(Expection)。我们用上边这个例子演示一下：
到这里还没结束，我们需要根据求得的值从卡方分布中找到对应的概率。
卡方分布
卡方统计量服从自由度为(r-1)(c-1)的卡方分布(r=row，代表行数，c=column，代表列数)。我们用一张图来看一下：
其中k就是卡方分布的自由度。可以看到当自由度为1时，卡方分布是一个长尾型的分布。那么我们现在来看一下刚才的问题，两种药品的治愈效果一样吗？
from scipy.stats import chi2_contingencyimport pandas as pddf = pd.DataFrame({ 'medical': ['A', 'A', 'B', 'B'],  'cured': [1, 0, 1, 0], 'count': [1800, 200, 800, 200]})cross_tab = pd.pivot_table(data=df,  values='count',  index='medical',  columns='cured',  margins=True, aggfunc=np.sum)print(cross_tab)print('卡方={0}P值={1}'.format( *chi2_contingency(cross_tab)[:2]))
可以看到，p值小于0.05，可以认为两个变量之间存在相关性。不过需要注意的是，卡方检验并不能得出两个分类变量相关性的强弱，只能展现出它们是否相关。