1. 常用统计量

什么是统计量：不含未知参数的样本的函数T（ξ₁ξ₂…ξ_n）。

(1)样本均值

E(x拔) = E(x)
D(x拔) = D(x)/n
E(x拔²) = D(x)/n + E²(x)

(2)样本方差

E(S_n²) = D(x)
E(S_n²) = 可根据统计量的分布推导

(3)修正样本方差

(4)样本k阶原点矩

(5)样本k阶中心距

2. 统计量的常见分布

(1)卡方分布

(2)F——分布

(3)t——分布

(4)正态总体下的分布

前提：总体符合正态分布N（μ，σ²）。

注意，这是样本均值服从的正态分布，不是 ξ_i 服从的分布

可推导出D(S_n)

还有很多复杂的推论，等到需要时再补充。

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
sns.set()
sns.set_style('ticks')
sns.set_context('talk')
%matplotlib inline

Normal distribution

x = np.linspace(-5, 5, 40)
plt.figure(figsize=(14, 5))

# probability density function
plt.subplot(121)
for sigma in (0.4, 1, 1.4):
    plt.plot(x, stats.norm.pdf(x, loc=0, scale=sigma), label=f'$\sigma={sigma}$')
plt.legend()
sns.despine()
plt.title('pdf of normal distribution') #fontdict={'fontsize':16}

# cumulative distribution function
plt.subplot(122)
for sigma in (0.4, 1, 1.4):
    plt.plot(x, stats.norm.cdf(x, loc=0, scale=sigma), label=f'$\sigma={sigma}$')
plt.legend()
sns.despine()
plt.title('cdf of normal distribution') #fontdict={'fontsize':16})
plt.show()

${\chi }^2$ distribution

$f(x,k)=\frac{1}{2^{k/2}\Gamma \left(k/2\right)}{x}^{k/2-1}\exp \left(-x/2\right)$

plt.figure(figsize=(15, 5.5))

plt.subplot(121)
x = np.linspace(0.2, 12, 2000)
for k in range(1, 6, 1):
    plt.plot(x, stats.chi2.pdf(x, df=k), label=f'df={k}')
plt.legend()
sns.despine()

plt.subplot(122)
x = np.linspace(0, 50, 2000)
for k in range(5, 30, 5):
    plt.plot(x, stats.chi2.pdf(x, df=k), label=f'df={k}')
plt.legend()
sns.despine()
plt.suptitle('pdf of chi2-square distribution', fontsize=18)
plt.show()

plt.figure(figsize=(15, 5.5))

plt.subplot(121)
x = np.linspace(0.2, 12, 2000)
for k in range(1, 6, 1):
    plt.plot(x, stats.chi2.cdf(x, df=k), label=f'df={k}')
plt.legend()
sns.despine()

plt.subplot(122)
x = np.linspace(0, 50, 2000)
for k in range(5, 30, 5):
    plt.plot(x, stats.chi2.cdf(x, df=k), label=f'df={k}')
plt.legend()
sns.despine()
plt.suptitle('cdf of chi2-square distribution', fontsize=18)
plt.show()

t-distribution

$f(x,\nu )=\frac{\Gamma ((\nu +1)/2)}{\sqrt{\pi \nu }\Gamma (\nu )}(1+x^2/\nu {)}^{-(\nu +1)/2}$

plt.figure(figsize=(7, 5))
x = np.linspace(-5, 5)
for k in range(1, 8, 2):
    plt.plot(x, stats.t.pdf(x, df=k), label=f'df={k}')
plt.legend()
sns.despine()
plt.title('pdf of t distribution')
plt.show()

plt.figure(figsize=(7, 5))
x = np.linspace(-5, 5)
for k in range(1, 8, 2):
    plt.plot(x, stats.t.cdf(x, df=k), label=f'df={k}')
plt.legend()
sns.despine()
plt.title('cdf of t distribution')
plt.show()

F-distribution

x = np.linspace(0.05, 5, 400)
plt.figure(figsize=(15, 5.5))

plt.subplot(121)
for d1, d2 in [(1, 1), (3, 1), (5, 2), (10, 2), (10, 10)]:
    y = stats.f.pdf(x, d1, d2)
    plt.ylim(-0.05, 1.75)
    plt.plot(x, y, label=f'd1={d1}, d2={d2}')
plt.legend()
sns.despine()

plt.subplot(122)
for d1, d2 in [(1, 1), (1, 2), (2, 5), (1, 10), (30, 10)]:
    y = stats.f.pdf(x, d1, d2)
    plt.plot(x, y, label=f'd1={d1}, d2={d2}')
plt.legend()
sns.despine()

plt.suptitle('pdf of F distribution', fontsize=18)
plt.show()

x = np.linspace(0.05, 5, 400)
plt.figure(figsize=(15, 5.5))

plt.subplot(121)
for d1, d2 in [(1, 1), (3, 1), (5, 2), (10, 2), (10, 10)]:
    y = stats.f.cdf(x, d1, d2)
    plt.plot(x, y, label=f'd1={d1}, d2={d2}')
plt.legend()
sns.despine()

plt.subplot(122)
for d1, d2 in [(1, 1), (1, 2), (2, 5), (1, 10), (30, 10)]:
    y = stats.f.cdf(x, d1, d2)
    plt.plot(x, y, label=f'd1={d1}, d2={d2}')
plt.legend()
sns.despine()

plt.suptitle('cdf of F distribution', fontsize=18)
plt.show()

Beta distribution

x = np.linspace(0.05, 0.95, 400)
plt.figure(figsize=(15, 6))

plt.subplot(121)
for alpha, beta in [(0.5, 0.5), (5, 1), (1, 3), (1, 1), (2, 5)]:
    plt.plot(x, stats.beta.pdf(x, alpha, beta), label=r'$\alpha={}, \beta={}$'.format(alpha, beta))
plt.legend()
sns.despine()
plt.title('pdf of Beta distribution')

plt.subplot(122)
for alpha, beta in [(0.5, 0.5), (5, 1), (1, 3), (2, 2), (2, 5)]:
    plt.plot(x, stats.beta.cdf(x, alpha, beta), label=r'$\alpha={}, \beta={}$'.format(alpha, beta))
plt.legend()
sns.despine()
plt.title('cdf of Beta distribution')
plt.show()

对中心极限定理的验证

${ϵ}_n=\frac{S_n-n\mu }{\sqrt{n{\sigma }^2}}{\to }_d\mathcal{N}(0,1)$。
目标是考察 ${ϵ}_2,{ϵ}_3,{ϵ}_4,\cdots ,{ϵ}_{100},{ϵ}_{.}..$ 的分布情况
以参数为 1 的指数分布为例

sns.set_context('notebook')

plt.figure(figsize=(15, 15))
for i in range(1, 17):
    plt.subplot(4, 4, i)
    n = 4 * i
    rvs = [
        (np.random.exponential(size=n).sum() - n) / np.sqrt(n)
        for _ in range(10000)
        ]
    sns.distplot(rvs, kde=False)
    plt.title(f"$n={n}$");sns.despine()
plt.show()

参数为 1 的泊松分布，这是一个离散型的分布

plt.figure(figsize=(15, 15))
for i in range(1, 17):
    plt.subplot(4, 4, i)
    n = 20 * i
    rvs = [
        (np.random.poisson(size=n).sum() - n) / np.sqrt(n)
        for _ in range(5000)
        ]
    sns.distplot(rvs, kde=False)
    plt.title(f"$n={n}$");sns.despine()
plt.show()

从上面可以看到，对于一个连续型的分布，它的“标准型”能够更快的趋近于正态分布。而对于离散型分布而言，它所需要的 $n$ 可能就比较大了。

1. 前言

数据分析行业不可避免会与统计学打交道。常见的分析总体的过程如图所示：

常见的假设检验中，AB测试是最为出名的假设检验的过程，而需要深刻理解假设检验，先验知识统计量及其抽样分布的理解至关重要，这会为我们学习假设检验打下坚实的基础，本文章便是关于统计量及其抽样分布的讲解。

2. 统计量

建议专业讲解和大白话结合一起看，更易理解。

2.1 专业讲解

设X1, X2, ..., Xn是从总体X中抽取的容量为n的一个样本，如果由此样本构造一个函数T(X1, X2, ..., Xn)，不依赖于任何未知参数，则称函数T(X1, X2, ..., Xn)是一个统计量。

注：

• 统计量是一个随机变量
• 当获得特定样本具体观察值x1, x2, ..., xn时，计算出T(x1, x2, ..., xn)的数值，就获得一个具体的统计量的值
• 以上，X表示多种总体中的组合，x表示确定的观察值

2.2 大白话

设X1, X2, ..., Xn是从总体X中抽取的容量为n的一个样本，比如要研究人群总体身高均值，抽样得到一组样本的n各不同身高。根据这些不同的身高，构造统计量T(x1, x2, ..., xn)，表示计算这组样本的身高均值。

样本的身高均值便是我们得到的统计量，但是这个统计量是随机的，因为我们所抽取的样本是随机的n个不同身高。

2.3 常用统计量

以下将给出7个统计量的计算公式，但通常我们使用最多的是前三个统计量。

2.3.1 样本均值

2.3.2 样本方差

2.3.3 样本离散系数

2.3.4 样本原点矩

2.3.5 样本中心矩

2.3.6 样本偏度

2.3.7 样本峰度

3. 由正态分布导出的几个重要分布

3.1 抽样分布

样本统计量的分布即抽样分布。

3.1.1 专业讲解

• 当我们要对某一总体的参数进行估计时，就要研究来自该总体的所有可能的样本统计量的分布问题。
• 其结果来自容量相同的所有可能样本。
• 抽样分布、参数估计和假设检验是统计推断的三个中心内容。

3.1.2 大白话

• 拿身高来举例，要估计总体人群身高均值，要研究来自总体的多组样本的身高均值的分布。
• 每组样本的数量要一样。
• 根据得到的分布，进行假设检验，有利于我们进行统计推断。

3.2 分布（卡方分布）

3.2.1 来源

设X ~ N()，则 z =  ~ N(0, 1)

令Y = ，则Y服从自由度为1的分布，即Y ~ (1)

当总体X ~ N()，从中抽取容量为n的样本，即

  ~ 

卡方分布的期望：n，其中，n为自由度

卡方分布的反差：2n，其中，n为自由度

3.2.2 可加性

设U服从自由度为n1的卡方分布，V服从自由度为n2的卡方分布，则U+V服从自由度为n1+n2的卡方分布。

3.3 t分布

3.3.1 来源

服从于自由度为n-1的t分布

其中，S为样本标准差，S/根号n为样本均值的标准误。

3.4 F分布

3.4.1 来源

设U服从自由度为n1的卡方分布，V服从自由度为n2的卡方分布，则称F为服从自由度n1和n2的F分布，记为：

4. 样本均值的分布与中心极限定理

4.1 有放回抽样

以统计量样本均值为例，中心极限定理的意思是，在大样本且有放回的抽样中，不论总体是什么分布，最终的样本均值服从均值为，方差为平方的正态分布。

其中多组样本的均值的无偏估计是，可以理解为多组样本的均值与每组样本的统计量均值的距离，也就是标准误。

样本均值的抽样分布与总体分布的关系如下图所示：

4.2 无放回抽样

无放回抽样与有放回抽样的区别是，最终的样本均值服从均值为，方差为平方的正态分布。

其中，N为总体个数，n为每组样本个数。

(N-n) / (N-1)为修正系数

由此可见，在总体趋近无限的情况下，该修正系数可视为1，可以直接使用有放回抽样。

5. 样本比例的抽样分布

5.1 有放回抽样

样本比例的抽样分布适用于样本容量较大的情况，

设总体比例为π，样本比例为p。样本期望E(p) = π，样本方差 = π(1-π) / n

根据中心极限定理：p ~ N(π，π(1-π) / n)

5.2 无放回抽样

无放回抽样中，方差后同样加个修正系数，与之前的修正系数一样。

6. 样本均值之差和比例之差的抽样分布

6.1 两个正态总体

两个总体都为正态分布，即 ~ ， ~ ，两个样本均值之差的抽样分布也服从正态分布。

其分布的数学期望为两个总体均值之差

E() = u1 - u2

方差为各自的方差之和

图示如下：

样本比例之差的抽样分布同样可以类推，在这就不详述了。

7. 样本方差的抽样分布

7.1 单样本方差

对于来自正态总体的简单随机样本，则比值的抽样分布服从自由度为n-1的卡方分布

7.2 两个独立样本方差

两个总体都为正态分布，即X1, X2, ..., Xn是来自总体X ~ 的一个样本，Y1, Y2, ..., Yn是来自总体Y ~ 的一个样本。从两个总体中分别抽取容量为n1和n2的独立样本方差比的抽样分布，服从分子自由度为(n1-1)，分母自由度为(n2-1)的F分布。

说明：

由7.1可知， 和分别服从自由度为n1-1和n2-1的卡方分布。

同时由3.4可知，这两个卡方分布相除，会得到服从分子自由度为(n1-1)，分母自由度为(n2-1)的F分布。