本文介绍关于总体、样本、样本抽样分布的理解，及2个重要的统计学原理：中心极限定理和大数定理。

总体：就是一个概率分布。
样本：从总体中随机抽取的一个子集。其中，样本具有和总体相同的分布，样本之间两两独立。
抽样分布：对原来的分布总体，以一定样本容量抽取样本值，多次抽取后，样本的统计量（比如均值或方差）形成的分布。
其中，
样本容量（大小）/样本量：每个样本里有多少个数据，每一次试验的样本值个数，通常说n个($x_1,x_2,...,x_n)$。
样本数量（空间）：抽样的时候，包含多少个样本，或者说抽多少次。
抽样分布可以分为两类：
一类：关于均值的分布：正态分布和t-分布；
一类：关于方差的分布：卡方分布和F-分布。

今天先说样本均值的抽样分布，此处涉及中心极限定理：
通俗的说，给定一个任意分布的总体，每次从这些总体中随机抽取 n 个样本值（样本容量），一共抽 m 次（样本数量），然后把这 m 组样本分别求出平均值， 这些平均值（样本均值）的分布接近正态分布。
其中，
1、总体本身的分布不要求正态分布；
2、样本容量n越大，样本均值的分布约趋近于正态分布，标准差越小，即分布越集中。

所以，样本均值的抽样分布是服从正态分布，即$\overline{x}$~N($\mu ,{\sigma }^2/n$)

（参考：网易公开课-可汗学院-统计学
网站：http://onlinestatbook.com/stat_sim/sampling_dist/index.html）
通过模拟试验，可以看到有关于样本均值抽样分布的图形化过程，当n取不同值时，抽样分布的形状。
下图是从视频中截取的示例图，最上面深灰色的是总体分布，中间的是n=5的样本均值抽样分布，最下面是n=25的样本均值抽样分布。
可以发现抽样发生10000次时，不同样本容量的均值相差不大分别为14.48和14.44，和总体均值近似。但是标准差相差较多，n=5时，sd=4.34；n=25时，st=1.91，即样本容量更大时，分布更集中了。另外n=25时的偏度和峰度都比n=5时更小。

接下来，再看看上述3类分布的均值、方差、标准差常用的基本符号和计算：
（p.s.第一次编辑数学公式，方法参考：https://www.zybuluo.com/codeep/note/163962）

其中，

• 均值：

  • 总体均值：$$\mu =\frac{{\sum }_{i=1}^N{x}_i}{N}$$

  • 样本均值：$$\overline{x}={\overline{x}}_n=\frac{{\sum }_{i=1}^n{x}_i}{n}$$

  • 大数定理：当n—>∞时，${\overline{x}}_n$—>E(X)=μ。即当样本量n足够大的时候，样本均值收敛于总体均值或随机变量期望值，揭示了频率和概率的关系。

  • 样本均值抽样分布的均值：${\mu }_{\overline{x}}$是总体均值μ的估计，即可以认为：$${\mu }_{\overline{x}}=\mu$$

• 方差：

  • 总体方差：$${\sigma }^2=\frac{{\sum }_{i=1}^N(x_i-\mu {)}^2}{N}$$

  • 样本方差：$$S_n^2=\frac{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{n}$$
    因为n<N，抽到的样本会比总体相对更集中，波动更小一些，即样本方差$S^2$通常会比总体方差${\sigma }^2$小，所以需要对样本方差进行了修正。

  • 修正后的样本方差（无偏方差）：$$S_{n-1}^2=\frac{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{n-1}$$

  • 如果知道总体均值$\mu$，那么就不用（n-1）进行无偏估计，可以直接写成：$$S_n^2=\frac{{\sum }_{i=1}^n(x_i-\mu {)}^2}{n}$$

  • 样本均值抽样分布的方差（均值方差）：
    这里区分总体方差已知和总体方差未知2种情况：
    总体方差${\sigma }^2$已知:$${\sigma }_{\overline{x}}^2=\frac{{\sigma }^2}{n}$$
    总体方差${\sigma }^2$未知，则用样本方差$S^2$来估计:
    $${\sigma }_{\overline{x}}^2=\frac{{\sigma }^2}{n}\approx \frac{S^2}{n}$$

当样本容量n>30时，可以认为，样本方差$S$可以比较好的估计总体方差$\sigma$，根据中心极限定理，认为样本均值的抽样分布符合正态分布；
n<30时，样本方差$S$和总体方差$\sigma$相差比较大，认为符合t分布。

引理

1. 设总体$X$(不管服从什么分布，只要均值和方差存在)的均值为$\mu$，方差为${\sigma }^2$，$X_1,X_2,\cdots ,X_n$是来自$X$的一个样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有$$E(\overline{X})=\mu ,D(\overline{X})={\sigma }^2/n,E(S^2)={\sigma }^2$$

2. 正态分布线性可加性: 若$X_i\sim N({\mu }_i,{\sigma }_i^2),i=1,2,\cdots ,n$，且他们相互独立，则他们的线性组合:$C_1{X}_1+C_2{X}_2+\cdots +C_n{X}_n$，($C_1,C_2,\cdots ,C_n$是不全为$0$的常数)仍然服从正态分布，且有$$C_1{X}_1+C_2{X}_2+\cdots +C_n{X}_n\sim N(\sum _{i=1}^n{C}_i{\mu }_i,\sum _{i=1}^n{C}_i^2{\sigma }_i^2)$$

3. $n$维正态随机变量重要性质

   $1^0$ $n$维正态随机变量$(X_1,X_2,\cdots ,X_n)$的每一个分量$X_i,i=1,2,\cdots ,n$都是正态随机变量，反之，若$X_1,X_2,\cdots ,X_n$都是正态随机变量，且相互独立，则$(X_1,X_2,\cdots ,X_n)$是$n$维正态随机变量

   $2^0$ $n$维随机变量$(X_1,X_2,\cdots ,X_n)$服从$n$维正态分布的充要条件是$X_1,X_2,\cdots ,X_n$的任意线性组合$$l_1{X}_1+l_2{X}_2+\cdots +l_n{X}_n$$ 服从一维正态分布(其中$l_1,l_2,\cdots ,l_n$不全为零)

   $3^0$ 若$(X_1,X_2,\cdots ,X_n)$服从$n$维正态分布，设$Y_1,Y_2,\cdots ,Y_k$是$X_j(j=1,2,\cdots ,n)$的线性函数，则$(Y_1,Y_2,\cdots ,Y_k)$也服从多维正态分布，这一性质称为正态变量的线性变换不变性

   $4^0$ 设$(X_1,X_2,\cdots ,X_n)$服从$n$维正态分布，则”$X_1,X_2,\cdots ,X_n$相互独立”与”$X_1,X_2,\cdots ,X_n$两两不相关“是等价的。

定理一

• 设$X_1,X_2,\cdots ,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本，$\overline{X}$是样本均值，则有$$\overline{X}\sim N(\mu ,{\sigma }^2/n).$$

  证明很简单，由引言1可知，$E(\overline{X})=\mu ,D(\overline{X})={\sigma }^2/n$

  而$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$ ，$X_i$ 服从正态分布，则根据引理2可知，$$\overline{X}\sim N(\mu ,{\sigma }^2/n).$$

定理二

• 设$X_1,X_2,\cdots ,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有

  $1^0\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

  $2^0\overline{X}$和$S^2$相互独立

  证明:

  $\begin{array}{rl}\frac{(n-1)S^2}{{\sigma }^2}& =\frac{(n-1)}{{\sigma }^2}\times \frac{1}{(n-1)}\sum _{i=1}^n(X_i-\overline{X}{)}^2\\ & =\frac{\sum _{i=1}^n(X_i-\overline{X}{)}^2}{{\sigma }^2}\\ & =\frac{\sum _{i=1}^n[(X_i-\mu )-(\overline{X}-\mu ){]}^2}{{\sigma }^2}\\ & =\sum _{i=1}^n(\frac{X_i-\mu }{\sigma }-\frac{\overline{X}-\mu }{\sigma }{)}^2\end{array}$

  为了方便，我们令$Z_i=\frac{X_i-\mu }{\sigma }$ ，由于$X_i\sim N(\mu ,{\sigma }^2)$ ，因此$Z_i\sim N(0,1)$

  且$\overline{Z}=\frac{\overline{X}-\mu }{\sigma }$ ，则

  $\begin{array}{rl}\frac{(n-1)S^2}{{\sigma }^2}& =\sum _{i=1}^n(Z_i-\overline{Z}{)}^2\\ & =\sum _{i=1}^n(Z_i^2-2Z_i\overline{Z}+{\overline{Z}}^2)\\ & =\sum _{i=1}^n{Z}_i^2-2\overline{Z}\sum _{i=1}^n{Z}_i+\sum _{i=1}^n{\overline{Z}}^2\\ & =\sum _{i=1}^n{Z}_i^2-2n{\overline{Z}}^2+n{\overline{Z}}^2\\ & =\sum _{i=1}^n{Z}_i^2-n{\overline{Z}}^2\end{array}$

  取一个$n$阶正交矩阵$A=(a_{ij})$，其第一行元素均为$1/\sqrt{n}$

  $A=\left[\begin{array}{cccc}1/\sqrt{n}& 1/\sqrt{n}& \cdots & 1/\sqrt{n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$

  对$A$做正交变换 $Y=AZ$ ，有

  $$Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ⋮\\ Y_n\end{array}\right],Z=\left[\begin{array}{c}{Z}_1\\ Z_2\\ ⋮\\ Z_n\end{array}\right]$$

  由于 $Y_i=\sum _{j=1}^n{a}_{ij}{Z}_j,i=1,2,\cdots ,n$ ，因此$Y_i$仍服从正态分布，由$Z_i\sim N(0,1)$ 可知

  $$E(Y_i)=E(\sum _{j=1}^n{a}_{ij}{Z}_j)=\sum _{j=1}^n{a}_{ij}E(Z_j)=0$$

  $D(Y_i)=D(\sum _{j=1}^n{a}_{ij}{Z}_j)=\sum _{j=1}^n{a}_{ij}^{2}D(Z_j)=\sum _{j=1}^n{a}_{ij}^2=1$

  又由$Cov(Z_i,Z_j)={\delta }_{ij}=\{\begin{array}{l}0,i\ne j\\ 1,i=j\end{array},i,j=1,2,\cdots ,n$

  $$\begin{array}{rl}Cov(Y_i,Y_k)& =Cov(\sum _{j=1}^n{a}_{ij}{Z}_j,\sum _{l=1}^n{a}_{kl}{Z}_l)\\ & =\sum _{j=1}^n\sum _{l=1}^n{a}_{ij}{a}_{kl}Cov(Z_j,Z_l)\\ & =\sum _{j=1}^n{a}_{ij}{a}_{kj}\\ & =\{\begin{array}{l}0,i\ne j\\ 1,i=j\end{array}(正交矩阵性质，各行均是单位向量且两两正交)\end{array}$$

  由此可知$Y_1,Y_2,\cdots ,Y_n$ 两两互不相关。又由于$n$维随机变量$(Y_1,Y_2,\cdots ,Y_n)$是由$n$维随机变量$(X_1,X_2，\cdots ,X_n)$经线性变换得到，因此$(Y_1,Y_2,\cdots ,Y_n)$也是$n$维正态随机变量，由引理3性质4可知，$Y_1,Y_2,\cdots ,Y_n$两两互不相关也即是$Y_1,Y_2,\cdots ,Y_n$互相独立。前面已经计算出$E(Y_i)=0,D(Y_i)=1$ 因此 $Y_i\sim N(0,1),i=1,2,\cdots ,n.$

  $$\begin{array}{rl}{Y}_1& =\sum _{j=1}^n{a}_{1j}{Z}_j\\ & =\sum _{j=1}^n\frac{1}{\sqrt{n}}{Z}_j\\ & =\frac{1}{\sqrt{n}}\ast n\overline{Z}\\ & =\sqrt{n}\overline{Z}\end{array}$$

  $$\begin{array}{rl}\sum _{i=1}^n{Y}_i^2& =Y^{T}Y=(AZ{)}^T(AZ)\\ & =Z^T{A}^{T}AZ=Z^{T}Z=\sum _{i=1}^n{Z}_i^2\end{array}$$

  此时有

  $\begin{array}{rl}\frac{(n-1)S^2}{{\sigma }^2}& =\sum _{i=1}^n{Z}_i^2-n{\overline{Z}}^2\\ & =\sum _{i=1}^n{Y}_i^2-Y_1^2\\ & =\sum _{i=2}^n{Y}_i^2\end{array}$

  由于$Y_2,Y_3,\cdots ,Y_n$相互独立，且$Y_i\sim N(0,1)$ ，因此 $$\frac{(n-1)S^2}{{\sigma }^2}=\sum _{i=2}^n{Y}_i^2\sim {\chi }^2(n-1).$$

  其次，$\overline{X}=\sigma \overline{Z}+\mu =\frac{\sigma Y_1}{\sqrt{n}}+\mu$ 仅跟$Y_1$有关，而$S^2=\frac{{\sigma }^2}{n-1}\sum _{i=2}^n{Y}_i^2$ 仅依赖于$Y_2,Y_3,\cdots ,Y_n$ ，又因为$Y_1,Y_2,\cdots ,Y_n$相互独立，因此有$\overline{X}$和$S^2$相互独立

定理三

• 设$X_1,X_2,\cdots ,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有$$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

  证明：

  由定理一可知，$\overline{X}\sim N(\mu ,{\sigma }^2/n).$

  进行标准化之后有$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$

  由定理二可知，$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

  根据$t$分布定义有 $$\begin{array}{r}\frac{\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}}{\sqrt{\frac{(n-1)S^2}{{\sigma }^2(n-1)}}}=\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)\end{array}$$

  证明完毕

定理四

• 设$X_1,X_2,\cdots ,X_{n_1}$与$Y_1,Y_2,\cdots ,Y_{n_1}$是来自正态总体$N({\mu }_1,{\sigma }_1^2)$和$N({\mu }_2,{\sigma }_2^2)$的样本，且这两个样本 相互独立. 设$\overline{X}=\frac{1}{n_1}\sum _{i=1}^{n_1}{X}_i,\overline{Y}=\frac{1}{n_2}\sum _{i=1}^{n_2}{Y}_i$ 分别是这两个样本的样本均值；$S_1^2=\frac{1}{n_1-1}\sum _{i=1}^{n_1}(X_i-\overline{X}{)}^2,S_2^2=\frac{1}{n_2-1}\sum _{i=1}^{n_2}(Y_i-\overline{Y}{)}^2$分别是两个样本的样本方差，则有

  $1^0\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$

  $2^0$ 当${\sigma }_1^2={\sigma }_2^2={\sigma }^2$时，$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$

  其中$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},S_w=\sqrt{S_w^2}$

  证明:

  $1^0$ 由定理二可知 $$\begin{gathered} \frac{(n_1-1)S_1^2}{{\sigma }_1^2}\sim {\chi }^2(n_1-1)(1) \\ \frac{(n_2-1)S_2^2}{{\sigma }_2^2}\sim {\chi }^2(n_2-1)(2) \end{gathered}$$

  此时有 $$\frac{(n_1-1)S_1^2}{(n_1-1){\sigma }_1^2}/\frac{(n_2-1)S_2^2}{(n_2-1){\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

  即

  $$\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

  $2^0$ 由式$(1)$和$(2)$，以及${\chi }^2$分布的可加性可知 $$\frac{(n_1-1)S_1^2}{{\sigma }_1^2}+\frac{(n_2-1)S_2^2}{{\sigma }_2^2}服从{\chi }^2(n_1+n_2-2)$$

  由${\sigma }_1^2={\sigma }_2^2={\sigma }^2$可知，$$\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{{\sigma }^2}\sim {\chi }^2(n_1+n_2-2)(3)$$

  由定理一可知$\overline{X}\sim N({\mu }_1,{\sigma }^2/n),\overline{Y}\sim N({\mu }_2,{\sigma }^2/n).$

  因此$\overline{X}-\overline{Y}\sim N({\mu }_1-{\mu }_2,{\sigma }^2/n_1+{\sigma }^2/n_2)$ ，对其进行标准化有

  $$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{{\sigma }^2/n_1+{\sigma }^2/n_2}}\sim N(0,1)(4)$$

  由式$(3)、(4)$可知 $$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{{\sigma }^2/n_1+{\sigma }^2/n_2}}/\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{{\sigma }^2(n_1+n_2-2)}}\sim t(n_1+n_2-2)$$

  即$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$

  证明完毕