统计量及其分布
 
这章的核心是认识经验分布函数，统计量以及三大抽样分布，这些构成了数理统计的基础。数理统计围绕着总体和样本，希望通过了解样本的情况，提出相应的统计量，并通过了解统计量的分布，也即抽样分布来估计总体参数。 
 经验分布函数参考经验分布函数与格里纹科定理
 
统计量
 
统计量是什么？从定义上说，统计量是不含未知参数的样本函数。统计量是一个函数，是对样本信息的一个精炼提取，以此反映总体情况的工具。我们通常记统计量为$T=T(x_1,x_2...x_n)$ 
 常用的统计量有，样本均值，样本方差，样本峰度，样本偏度。 
 对于统计量的分布，称为抽样分布。通过了解抽样分布可以得到总体参数的点估计与区间估计，达到样本估计总体的目的。
 
充分统计量
 
统计量中有一个重要的概念是充分统计量，从数学上讲，样本的条件分布与总体参数无关，则T即为充分统计量，即 
 
 
 
 $p(x|T;\theta) = f(X|T(x_1,x_2...x_n)=t)$ 
 

 通俗来讲意即我们定义的统计量T能够涵盖样本的所有信息，由此可导出
充分性原则： 

 
对总体参数的估计都应基于充分统计量，并且UMVUE（一致最小方差无偏估计）一定可表示为充分统计量的函数 

 通常来说，充分统计量即用到了全部样本信息的统计量，如样本均值（是所有样本值的平均），样本的次序统计量（

$x_{(i)}是将所有样本排序后得到的$），不难理解这样的统计量能概括所有的样本信息，因此更适合做统计推断。关于UMVUE将在以后的微博阐述。
 
因子分解定理
 
要是每次都通过求样本的条件分布来判断充分统计量，是非常困难且计算量大的。这里给出因子分解定理，将能帮助判断是否是充分统计量：
 
 
 
设总体密度函数为 $f(x;\theta),x_1......x_n是样本，T(x_1......x_n)为充分统计量的充要条件是：存在两个函数g(t,\theta)和h(x_1......x_n)使得对于任意的\theta和任意一组x_1......x_n，有f(x_1......x_n)=g(T(x_1......x_n),\theta)\times h(x_1......x_n)$ 
 接下来判断充分统计量即找出相应的g和h了。举个例子：
 
 
假设总体服从指数分布$Exp(\lambda)$，密度函数为$f(x;\theta)=\lambda e^{-\lambda x}$，则$f(x_1......x_n)=\lambda ^n e^{-\lambda \sum_{i=1}^{n}x_i}$ 
 令$T(x_1......x_n)=\bar{x},g(T,\lambda)=\lambda^n e ^{-\lambda n\bar{x}},h(x_1......x_n)=1$， 
 则易得$f(x_1......x_n)=g(T(x_1......x_n),\lambda)\times h(x_1......x_n)$ 
 因此$\bar{x}$是充分统计量。 
 通过这种方式，判断充分统计量变得容易的多。
 
 
三大抽样分布
 
下面将阐述统计学中三大重要的抽样分布卡方分布，F分布与t分布，基于这三种分布可得到许多假设检验方式。
 
卡方分布
 
 
 
设$X_1......X_n$是来自总体N(0,1)的独立同分布样本，称$\sum{i=1}^{n}X_i^2$的分布为自由度为n的$\chi^2$分布，记为$\chi^2$(n).
 
 
$\chi^2(n)即Ga(\frac{n}{2},\frac{1}{2})$,因此均值为n，方差为2n
 
F分布
 
 
 
设X ~ $\chi^2(n)$,Y ~ $\chi^2(m)$相互独立，称$\frac{X/n}{Y/m}$服从F分布，记为F(n,m)
 
 
由此可知，F分布由两个服从卡方分布的随机变量构造而来。
 
t分布
 
 
 
设X ~ N(0,1)，Y ~ $\chi^2(n)$相互独立，称$\frac{X}{\sqrt{Y/n}}$服从t分布，记为t(n)
 
 
当n=1时，t分布为柯西分布，n>1时期望为0，n>2时方差有限且等于$\frac{n}{n-2}$,因此可以发现t分布是对称的，且当n->$+\infty$时，方差趋于1，t分布逐渐趋于标准正态分布。

概念理解：
 
充分统计量直观来理解就是，对于未知参数的估计问题，若知道了充分统计量，那么就不再需要其它的单个或多个观测样本，就能完成对未知参数的估计，即充分统计量已经包含了估计未知参数所需要的信息，换句话说，充分统计量从大量的观测样本中“抽取”或“浓缩”了估计未知参数需要的所有必要信息。
 
我们注意到，教科书里证明充分统计量的思路通常都是把待证明的统计量带入到概率密度函数表达式中，使之变为条件概率密度函数，然后再推导条件概率密度函数与待估计参数无关，从而证明此估计量为充分估计量。
 
这是为什么呢？强调一个概念：什么是概率密度函数（PDF）？从参数估计的角度来看，PDF描述了待估计参数与观测样本之间的概率关系，换句话说就是，PDF描述了待估计参数如何影响当前观测样本的发生概率（反过来想，为什么能从观测样本来估计参数就比较容易理解了）。若带入统计量后的条件PDF与待估计参数无关，那么就说明了若已知了该估计量，其它的观测样本与待估计参数已无概率关系了，也就说明这些观测样本对估计该未知参数无任何作用（不包含更多信息）。这与充分统计量的直观理解概念是一致的。

 
R语言以t统计量为判断依据实现逐步回归
 
向前选择
向后剔除
逐步回归
代码

 
向前选择
 
向前选择是先假设除截距项外，模型中不存在回归变量.通过一次向模型中添加一个回归变量，来求解最优的回归变量子集.
 step1
 将所有回归变量分别与Y做线性拟合，并求模型所产生的回归显著性F统计量，找出其中最大的F统计量，如果这个统计量大于事先给定的F值，则其所对应的回归变量就是第一部所选中的变量.为标记方便，不如记这个回归变量为$$x_1$$.
 step2
 在调整了第一个进入模型的回归变量对Y的影响后，现在与Y的简单相关系数为最大的回归变量则为第二步所选择的变量，其中，这个简单相关系数称为偏相关系数.
 偏相关系数:回归$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1$$的残差，与$${\hat{x}}_j={\hat{\alpha }}_{0j}+{\hat{\alpha }}_{1j}{x}_1$$的残差，偏相关系数就是这两个残差之间的简单相关系数.
 当模型中的回归变量不止一个时，只需将上式中修改为$$\hat{y}={\hat{\beta }}_0+\hat{\beta }X$$
 $${\hat{x}}_j={\hat{\alpha }}_{0j}+{\hat{\alpha }}_{j}X$$
 其中，$$X$$为模型中所选择的回归变量构成的设计矩阵.
 为了书写方便，我们将第二步得到的回归变量记为$$x_2$$进入模型后，计算模型中的回归变量的t统计量，大于预设的t值则进入模型，反之舍去.
 
接下来就是重复step2直至向模型中添加了最后一个回归变量，则程序终止.
 
向后剔除
 
向前选择是从模型中没有回归变量开始，向后剔除则是从相反的方向开始求解，也就是从模型包含所有回归变量开始.然后计算每个回归变量的t统计量（或者F统计量），当最小的t值小于预设的t统计量$$t_{out}$$则剔除这个值所对应的回归变量。接下来再使用剩下的回归变量拟合模型，并重复上述过程。当最小的t值不小于预设的预设的t统计量$$t_{out}$$则终止程序.
 
逐步回归
 
逐步回归其实就是上述两种算法的组合. 其中，我使用的是以下的算法。
 step1（同向前选择step1）
 将所有回归变量分别与Y做线性拟合，并求模型所产生的回归显著性F统计量，找出其中最大的F统计量，如果这个统计量大于事先给定的F值，则其所对应的回归变量就是第一部所选中的变量.为标记方便，不如记这个回归变量为$$x_1$$.
 step2（同向前选择step2）
 在调整了第一个进入模型的回归变量对Y的影响后，现在与Y的简单相关系数为最大的回归变量则为第二步所选择的变量，其中，这个简单相关系数称为偏相关系数.
 偏相关系数:回归$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1$$的残差，与$${\hat{x}}_j={\hat{\alpha }}_{1j}+{\hat{\alpha }}_{1j}{x}_1$$的残差，所谓偏相关系数就是这两个残差之间的简单相关系数.
 为了书写方便，我们将第二步得到的回归变量记为$$x_2$$进入模型后，计算模型中的回归变量的t统计量，大于预设的t值则进入模型，反之舍去。若出现$$x_1$$的t统计量小于$$t_{out}$$则剔除$$x_1$$
 step3
 重复上述step2,当模型中最小的t值不小于预设的预设的t统计量$$t_{out}$$则终止程序.
 PS
 
为了偷懒，在这个算法中，step2里面剔除的回归变量，再后面的循环里面我都没有再考虑过将其加入模型中。可能这样做起来算法会比较简单，但是这个在理论上是否可行，依旧需要 证实。在这里，我默认是可行的.
另外，在R语言中存在step()函数，也可以实现逐步回归，但是这个判断是否选择或剔除回归变量的依据是根据AIC，对于部分模型来说，可能会出现一些问题.因此才有了以下自己写的程序.
对判断依据的说明：在这里使用的是t统计量，实际上$${t^2}_{\alpha /2}=F_{\alpha ,1,v}$$因此，为了计算简单，我们这里以t统计量为判断依据.
 
代码
 
接下来是程序部分，以R语言为例。
 
step_byf=function(x,y,F_in,F_out,alpha_in,alpha_out){
  ####数据处理
  x=as.matrix(x);y=as.matrix(y)
  p=ncol(x)
  n=length(y)
  #### step 1 ####
  fm0=lm(y~1)
  r=c()
  for (i in 1:p) {
    fm=lm(y~x[,i])
    r0=summary(fm)$r.squared
    r=c(r,r0)
  }
  pp=which.max(r)
  t=summary(lm(y~x[,pp]))$coefficients[2,3]
  p_use=c()
  if(abs(t)>=qf(alpha_in,F_in,n-1,lower.tail = F)){p_use=c(p_use,pp)}
  out=c()
  #### function #######
  use_function=function(x,in_index,out_index){
    p_use=in_index;out=out_index
    ppp=length(p_use)
    x_in=x[,p_use]
    cor=c()
    for (i in 1:p) {
      cor1=cor(lm(y~x_in)$residuals,lm(x[,i]~x_in)$residuals)
      cor=c(cor,cor1)
    }
    #####假定剔除的变量不会再进入模型
    no_use=c(p_use,out)
    cor[no_use]=0
    pp=which.max(abs(cor))
    
    #### t 统计量
    t=summary(lm(y~x[,c(p_use,pp)]))$coefficients[-1,3]
    #### 判断
    
    t_in=sqrt(qf(alpha_in,F_in,n-ppp-2,lower.tail = F))
    t_out=sqrt(qf(alpha_out,F_in,n-ppp-2,lower.tail = F))
    in_index=which(abs(t[1:ppp])>=t_out)
    out_index1=which(abs(t[1:ppp])<t_out)
    out_model=p_use[out_index1]
    out_index2=c()
    if(abs(t[ppp+1])>=t_in) {
      p_use=c(p_use[in_index],pp)
      }else out_index2=pp
    return(list(use_index=p_use,nouse_index=c(out_index,out_model,out_index2)))
  }
  #### step 2 #####
  out_p=use_function(x,p_use,out)$nouse_index
  in_p=use_function(x,p_use,out)$use_index
  #### 循环 ######
  repeat{
    a=use_function(x,in_p,out_p)
    in_p=a$use_index
    out_p=a$nouse_index
    index=c(in_p,out_p)
    if(length(index)==p)break()
  }
  fm=lm(y~x[,in_p])
  return(fm)
}
 
这里，我们以《Introduction_to_Linear_Regression_Analysis》中example10.4数据为例.
 
fme10.4=step_byf(data[,-1],data[,1],1,1,0.15,0.1)
summary(fme10.4)
anova(fme10.4)
 

 
 
z统计和t统计可以用来检验两个平均数之间差异显著的程度，z适合大样本的情况(样本数大于30)，t适合小样本的情况。
 
 
z检验的步骤：
 
 
第一步：建立虚无假设 H0:μ1 = μ2 ，即先假定两个平均数之间没有显著差异，
 
 
　　第二步：计算统计量Z值，对于不同类型的问题选用不同的统计量计算方法，
 
 
　　1、如果检验一个样本平均数（）与一个已知的总体平均数(μ0)的差异是否显著。其Z值计算公式为：
 
 
　　
 
 
　　其中：
 
 
 是检验样本的平均数；
 μ0是已知总体的平均数；
S是样本的标准差；
n是样本容量。
 
　　2、如果检验来自两个的两组样本平均数的差异性，从而判断它们各自代表的总体的差异是否显著。其Z值计算公式为：
 
 
　　
 
 
　　其中：
 
 
 是样本1，样本2的平均数；
 S1,S2是样本1，样本2的标准差；
 n1,n2是样本1，样本2的容量。
 
　　第三步：比较计算所得Z值与理论Z值，推断发生的概率，依据Z值与差异显著性关系表作出判断。如下表所示：
 
 

   Z值与P值关系
  
P值
差异程度
非常显著
显著
<1.96
>0.05
不显著
 
　　第四步：根据是以上分析，结合具体情况，作出结论。
 
 
 
 
 
以下是对Z统计和T统计的计算方法和区别的理解：
 
 
z统计是用来衡量样本均值偏离整体均值的方差倍数，就是偏离方差的程度。
 
 
根据中心极限定理，总体样本N，每次抽样数n，每次抽样的均值的分布趋近正态分布。也就是随机误差符合正态分布。其分布的数学期望为总体均值μ，方差为总体方差的1/n。
 
 
 
 
 
定义符号：
 
 
x：样本均值
 
 
μ：抽样均值，也等于总体均值
 
 
ss：抽样标准差
 
 
σ：总体的标准差
 
 
s：样本标准差
 
 
当我们想知道某次抽样的样本均值μi离总体均值有多少个标准差那么远，可以用如下算式来表示，称
 
 
这个值为Z统计:
 
 
 
 
样本均值-抽样分布均值/抽样分布标准差
 
 
 
 
 
这里通常抽样分布标准差不知道，而抽样分布标准差可以用总体标准差表示：
 
 
 ss=σ/n^1/2
 
 
因此z分布可以写成：
 
 
 
 
 这里总体的标准差也往往得不到，因此当抽样样本数大于30的时候
 
 
总体标准差可以近似地用样本标准差替代：
 
 
 
 
 
 
 
当样本数小于30的时候样本就不符合正态分布了，而是符合t分布，
 
 
t统计的值和z统计的区别是一个要查z统计值表，另一个是要查t统一值表。