若总体的分布是正态分布，且方差已知，则无论样本容量是大是小，样本均值的抽样分布都服从正态分布；

而如果总台的分布是正态分布，抽出的样本为小样本，且方差未知，则样本均值的抽样分布服从t分布。

本文介绍关于总体、样本、样本抽样分布的理解，及2个重要的统计学原理：中心极限定理和大数定理。
总体：就是一个概率分布。

样本：从总体中随机抽取的一个子集。其中，样本具有和总体相同的分布，样本之间两两独立。

抽样分布：对原来的分布总体，以一定样本容量抽取样本值，多次抽取后，样本的统计量（比如均值或方差）形成的分布。

其中，

样本容量（大小）/样本量：每个样本里有多少个数据，每一次试验的样本值个数，通常说n个($x_1,x_2,...,x_n)$。

样本数量（空间）：抽样的时候，包含多少个样本，或者说抽多少次。

抽样分布可以分为两类：

一类：关于均值的分布：正态分布和t-分布；

一类：关于方差的分布：卡方分布和F-分布。
今天先说样本均值的抽样分布，此处涉及中心极限定理：

通俗的说，给定一个任意分布的总体，每次从这些总体中随机抽取 n 个样本值（样本容量），一共抽 m 次（样本数量），然后把这 m 组样本分别求出平均值， 这些平均值（样本均值）的分布接近正态分布。

其中，

1、总体本身的分布不要求正态分布；

2、样本容量n越大，样本均值的分布约趋近于正态分布，标准差越小，即分布越集中。
所以，样本均值的抽样分布是服从正态分布，即$\overline{x}$~N($\mu,σ^2/n$)
（参考：网易公开课-可汗学院-统计学

网站：http://onlinestatbook.com/stat_sim/sampling_dist/index.html）

通过模拟试验，可以看到有关于样本均值抽样分布的图形化过程，当n取不同值时，抽样分布的形状。

下图是从视频中截取的示例图，最上面深灰色的是总体分布，中间的是n=5的样本均值抽样分布，最下面是n=25的样本均值抽样分布。

可以发现抽样发生10000次时，不同样本容量的均值相差不大分别为14.48和14.44，和总体均值近似。但是标准差相差较多，n=5时，sd=4.34；n=25时，st=1.91，即样本容量更大时，分布更集中了。另外n=25时的偏度和峰度都比n=5时更小。


接下来，再看看上述3类分布的均值、方差、标准差常用的基本符号和计算：

（p.s.第一次编辑数学公式，方法参考：https://www.zybuluo.com/codeep/note/163962）





均值
方差
标准差




总体(容量N)
$\mu$
$σ^2$
$\sigma$


样本(容量n)
$\overline{x}$
$S^2$
$S$


样本均值的抽样分布(容量n)
$\mu_{\overline{x}}$
$\sigma_{\overline{x}}^{2}$
$\sigma_{\overline{x}}$


其中，


均值：


总体均值：$\mu=\frac { \sum_{i=1}^N{x_i} } {N}$


样本均值：$\overline{x}=\overline{x}_n=\frac { \sum_{i=1}^n{x_i }} {n}$


大数定理：当n—>∞时，$\overline{x}_n$—>E(X)=μ。即当样本量n足够大的时候，样本均值收敛于总体均值或随机变量期望值，揭示了频率和概率的关系。


样本均值抽样分布的均值：$\mu_{\overline{x}}$是总体均值μ的估计，即可以认为：$\mu_{\overline{x}}=\mu$




方差：


总体方差：$σ^2=\frac { \sum_{i=1}^N(x_i -  \mu)^2 } {N}$


样本方差：$S_{n}^2=\frac { \sum_{i=1}^n(x_i - {\overline{x}})^2 } {n}$

因为n<N，抽到的样本会比总体相对更集中，波动更小一些，即样本方差$S^2$通常会比总体方差$σ^2$小，所以需要对样本方差进行了修正。


修正后的样本方差（无偏方差）：$S_{n-1}^2=\frac { \sum_{i=1}^n(x_i - {\overline{x}})^2 } {{n-1} }$


如果知道总体均值$μ$，那么就不用（n-1）进行无偏估计，可以直接写成：$S_{n}^2=\frac { \sum_{i=1}^n(x_i - \mu)^2 } {n}$


样本均值抽样分布的方差（均值方差）：

这里区分总体方差已知和总体方差未知2种情况：

总体方差$σ^2$已知:$\sigma_{\overline{x}}^{2}=\frac {σ^2 } {n}$

总体方差$σ^2$未知，则用样本方差$S^2$来估计:

$\sigma_{\overline{x}}^{2}=\frac {σ^2 } {n}≈\frac {S^2 } {n}$




当样本容量n>30时，可以认为，样本方差$S$可以比较好的估计总体方差$\sigma$，根据中心极限定理，认为样本均值的抽样分布符合正态分布；

n<30时，样本方差$S$和总体方差$\sigma$相差比较大，认为符合t分布。

2020/11/11
为了便于计算，假设
 之间相互独立，且
 对 
 成立。令
由于指数分布是特殊的gamma分布，则由gamma分布的可加性知，
 。
从而
 的概率密度函数为
令
 ，则易得 
 的概率密度函数为
也可以通过定义求解
 的分布函数，再求导得到其概率密度函数。从而 
 的期望为：
可以计算
 的期望为：
从而，
 的方差为：
令
 表示样本均值，则样本均值的倒数为 
 ，故样本均值的倒数的期望为
样本均值的倒数的方差为
整体思路就是，根据总体分布求样本和的分布，再求和的倒数的分布，计算出和的倒数的均值和方差，最后求样本均值的倒数的均值和方差。亦可用原概率密度函数直接对均值倒数求期望和方差，如有错误请指正~
期中考以后用蒙特卡洛模拟看看结果对不对
2020/12/3
回来更新啦~
一般情况：设样本的每个个体独立同分布服从于参数为
 的指数分布，即 
 ，也可写成 
 。则 
 。
令
 ，根据上述步骤，容易计算得到：
因此样本均值倒数的期望为：
方差为：
根据中心极限定理，通过蒙特卡洛模拟获取的期望和方差的样本数据，其样本均值的概率分布近似为正态分布，并且随着样本量(模拟次数)趋于无穷大，样本均值会收敛于期望值，因此我们可以通过样本均值估计理论值，并进行假设检验，验证理论值是否reasonable。原假设和备择假设分别为：
以及：
这里以
 为例，模拟通过Python实现，代码如下：
import numpy as np
import random
from scipy.stats import norm
#生成服从指数分布的 x 总体
np.random.seed(0)
beta = 5
u = np.random.uniform(0, 1, 1000)
population = (-1/beta * np.log(1 - u)).tolist()
#初始化样本容量 n
n = 50
#通过 m 次抽样获得的目标值(样本均值倒数)的波动，用于检验方差
m = 100
#初始化模拟次数 M
M = 1000
#定义用于检验方差的函数，每调用一次这个函数，会返回一个方差估计值(基于 m 次抽取容量为 n 的样本数据)
def var_est(population, m, n):
data = [1/np.mean(random.sample(population, n)) for i in range(m)]
return np.var(data, ddof = 1)
#定义模拟函数，参数 target 用于选择要研究的统计量
def simulation(population, M = 1000, n = 50, target = 'mean'):
if target == 'mean':
theoretical_value = n * beta / (n-1)
data = [1/np.mean(random.sample(population, n)) for i in range(M)]
elif target == 'variance':
theoretical_value = n**2 * beta**2 / (n-1)**2 / (n-2)
data = [var_est(population, m, n) for i in range(M)]
return theoretical_value, data
#模拟两组数据，分别用于检验期望和方差
random.seed(1)
mean_theory, data_mean = simulation(population, M, n, target = 'mean')
variance_theory, data_var = simulation(population, M, n, target = 'variance')
#先看看期望和方差的理论值
mean_theory, variance_theory(5.1020408163265305, 0.5423087602387894)
#再看看样本数据的均值
np.mean(data_mean), np.mean(data_var)(5.080338272542856, 0.5403331158305243)
差异不大。
设定显著性水平为5%，分别计算两个假设检验问题的检验统计量和对应的p值：
test_mean = abs(np.mean(data_mean) - mean_theory) / np.std(data_mean, ddof = 1)
test_var = abs(np.mean(data_var) - variance_theory) / np.std(data_var, ddof = 1)
p_mean = 2 - 2 * norm.cdf(test_mean, loc = 0, scale = 1).round(3)
p_var = 2 - 2 * norm.cdf(test_var, loc = 0, scale = 1).round(3)
#输出 p 值
p_mean, p_var(0.976, 0.982)
两组假设检验的p值均大于0.05，因此没有充分证据表明我们的理论值是错误的~感兴趣的小伙伴可以调整样本容量，模拟次数和
 值