概念
 
总体——研究对象的全体元素构成及集合
 
个体——组成总体的每一个元素
 在进行理论研究室，我们将研究的数量指标视为随机变量X(或随机向量X=(x1,x2···xk)),因此，
 总体就是一组随机变量。
 
样本——从总体X中抽取的待考察的个体称为样本，样本中个体的数量n称为样本总量,容量为n的样本常纪委X1,X2···Xn.样本一旦经过考查，得到的事n个具体的数（x1,x2···xn）称为样本的依次观察值，简称样本值。
 
样本空间——样本所有可能取值的集合。
 
最常用的一种抽样方法叫做简单随机抽样，要求样本满足一下特点
 
1.代表性，样本中的每个X与所考查的总体具有相同的分布。
2. 独立性，样本X1,X2···是相互独立的。
 
简单随机抽样的性质
 
若总体X的分布函数为F(x),则样本X1,X2···的联合分布函数为
 
$$F_{总}（x_1,x_2\cdot \cdot \cdot x_n）=\prod _{i=1}^{n}F(x_i)$$
 2. 若总体X的密度函数为F(x),则样本X1,X2···的联合密度函数为
 $$f_{总}（x_1,x_2\cdot \cdot \cdot x_n）=\prod _{i=1}^{n}f(x_i)$$
 
统计量
 
定义：设X1,X2···Xn是来自总体的一个样本，T(x1,x2···xn)是样本的函数，且T(x1,x2···xn)不依赖于任何未知参数，则称函数T(x1,x2···xn)为一个统计量。
 
例题
 
$$\begin{gathered} 设x_1，x_2\cdot \cdot \cdot x_n是正态分布总体X\sim N(\mu ,{\sigma }^2)的 \\ 一个样本，其中参数\mu ，{\sigma }^2未知，那么 \\ {T}_1=\sum _{i=1}^n{X}_i,T_2=\sum _{i=1}^n{X}_i^2,是统计量 \\ 但，T_3=\sum _{i=1}^n（X_i-\mu {）}^2不是统计量，因为含有未知的参数。 \end{gathered}$$
 
常用的统计量
 
对于一维总体X,常用的统计量有
 $$\begin{gathered} (1)样本均值\bar{x}=\frac{1}{n}\sum _{i=1}^n{X}_i \\ (2)样本方差S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2 \\ (3)样本标准差S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2} \\ (4)样本k阶矩A_k=\frac{1}{n}\sum _{i=1}^n{x}_i^k \\ (5)样本k阶中心矩B_k=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{x}{)}^k \end{gathered}$$
 
对于二维总体（X，Y）常用的统计量有
 $$\begin{gathered} (7)样本协方差S_{xy}^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y}) \\ (8)样本相关系数{\rho }_{xy}=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}\sqrt{{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2}} \end{gathered}$$

 
样本方差与总体方差

 
对一个数据集的描述有很多方式，其中数据的集中趋势、离散程度、偏态与峰态都是可以客观的体现一个数据集的形态。
 
在数据集的离散程度上，方差和标准差是实际应用较多的特征值。在理解样本方差和总体方差的公式上有了疑惑，于是将公式拿出来推导一下。（总体和样本的概念想提一下，对于一个西瓜而言，包含的所有西瓜子就是一个总体；对半切开之后，其中的一瓣的所有西瓜子就是一个样本。）
 
总体方差公式：
 
 样本方差公式：
 

 可见样本的方差公式分母为 n-1，而总体的方差公式分母为 N；分母的差异也源于分子中样本平均值（x ba）与总体平均值（mu）的差异。下面我们就来推导一下：
 除非样本平均值与总体平均值相等，否则样本的方差值是小于总体的方差值。为了使我们只有样本的情况下得出无偏估计方差，将样本方差公式的分母修正为 n-1（样本的自由度），至于为什么这样修正，等我再需要了解的时候再补充。

本文对抽样分布的概念、无偏差和最小偏差等性质，以及中心极限定理和样本比例的抽样分布进行总结。
 
2 抽样分布基本概念
 
 
 
参数（parameter）：参数是对总体的数值描述，因为是总体，所以值经常是未知的。 
 样本统计量（sample statistics）：样本的数值描述，利用样本计算而来。
 
 
常见的参数和样本统计量如下表所示。
 
总体参数
样本统计量
均值
$\mu$
$\bar{x}$ 
中位数
$\eta$
$m$
方差
$\sigma^2$
$s^2$ 
标注差
$\sigma$
$s$
二项比率
$p$
$\hat{p}$ 
 

 
 
 
抽样分布(sampling distribution):统计量的概率分布，根据n个测量值的样本计算得到。
 
 
2 抽样分布的性质
 
性质一：无偏性
 
 
 
无偏估计（unbisaed estimate)：样本统计量的抽样分布均值和要估计的总体参数相等，就认为这个统计量是参数的无偏估计。 
 有偏估计（biased estimate）：抽样分布的均值和要顾及的参数不相等，就认为这个统计量是参数的有偏估计。
 
 
性质二：最小方差
 
 
 
如果两组统计量的抽样分部都无偏，我们更加倾向选择标注差最小的，抽样分部的标准差也被成为统计量的标准误（standard error of the statistic）。
 
 
3 样本均值的抽样分布和中心极限定理
 
3.1 $\bar{x}$的抽样分部的性质：
 
 
 
$\bar{x}$的抽样分布的性质： 
 1.抽样分部的均值等于抽样总体的均值，即$\mu_\bar{x}=E(\bar{x})=\mu$。 
 2.抽样分部的标准差等于： 
 $\frac{抽样总体的标注差}{样本量的平方根}，即\sigma_\bar{x}=\frac{\sigma}{\sqrt{n}}$。（标准差$\sigma_\bar{x}$一般被称为均值的标准误（standard error of the mean）。 
 3.正态分布的抽样分布：如果从一个服从正态分布的总体中选取一个有n个观测值的随机样本，那么$\bar{x}$的抽样分布也是一个正态分布。
 
 
3.2 中心极限定理
 
从一个均值为 $\mu$ 、标准差为$\sigma$的总体中选取一个有$n$个观测值的随机样本。那么当$n$足够大时，$\bar{x}$的抽样分布将近似服从均值$\mu_\bar{x}=\mu$ 、标准差$\sigma_\bar{x}=\sigma/\sqrt{n}$的正态分布。并且样本量越大，对$\bar{x}$ 的抽样分布的正太近似越好。
 
4 样本比例的抽样分布
 
和样本均值是总体均值的良好估计一样，样本比例（记为$\hat{p}$），是总体比例$p$的良好估计。和样本均值的抽样分布有着类似的性质。


  
$\hat{p}$的抽样分布性质： 
 1. 抽样分布的均值等于二项比例$p$，也就是$E(\hat{p})=p$。因此，$\hat{p}是p$的无偏估计。 
 2. 抽样分布的标准差等于$\sqrt{p(1-p)/n}$，即$\sigma_\hat{p}=\sqrt{p(1-p)/n}$。 
 对于大样本，抽样分布近似于正太。

 
 
 
 
 
 
综上：
 
（1）试验全部可能的观察值称为总体。（注意：例如研究200个学生的身高，那么总体就是这200个同学，容量为200。并不是指身高值去除重复后的集合。）
 
（2）总体中的每个观察值称为个体。（即200个学生，每一个人都是一个个体。）
 
（3）一个总体对应一个随机变量X。（注意：虽然总体有200个学生，因为有的同学身高相等，所以身高取值可能只有20个。随机变量X可以看成是用来表示这20个身高值的。）
 
（4）抽出的部分个体称为样本。（样本总体）（注：如果是放回抽样，可能存在一个个体被重复抽到）
 
 
（5）对总体X进行n次试验，每一次试验用随机变量Xn表示，n表示第n次随机试验，第一次试验用X1表示，第二次用X2表示，以此类推。
 
（6）虽然每次Xn只能取到一个值，但是取值范围和X的取值范围是相同的，所以Xn和X服从同一个分布。
 
（7）因为X1，X2，X3......Xn进行n次试验互不影响，所以是相互独立的。
 
（8）X1，X2，X3...Xn合到一起称为一个样本。（大写字母表示）
 
（9）x1, x2, x3......xn合到一起称为样本值。（小写字母表示）