1 案例：计算出下面数据中的均值、众数、中位数
 
 
 
超市一天收款账单的金额分别为：
 
 
​ 21,100,30,25,26,27,26,10
 
 
均值：33.125
 
众数：26
 
中位数：26
 
计算有限个数的数据的中位数的方法是：把所有的同类数据按照大小的顺序排列。 如果数据的个数是奇数，则中间那个数据就是这群数据的中位数；如果数据的个数是偶数，则中间那2个数据的算术平均值就是这群数据的中位数。
 
2 均值、众数、中位数对比
 
2.1 均值
 
 
优点：充分利用所有数据，适用性强
 
 
缺点：容易受到极端值的影响【上面例子中的100就可以理解为极端值，在数据处理中这类值需要注意，可能是异常值】
 
 
2.2 中位数
 
 
优点：不受极端值影响
 
 
缺点：缺乏敏感性【只关注中间的数字】
 
 
2.3 众数
 
优点：代表性好
缺点：缺乏唯一性【有时可能存在多个众数】
 
3 偏态
 
3.1 概率密度函数
 
这里加入概率密度函数相关概念有利于理解下面的偏态分布。
 
 
3.2 偏态分布
 
 
 
 
偏态分布为统计学概念，即统计数据峰值与平均值不相等的频率分布。根据峰值小于或大于平均值可分为正偏函数和负偏函数，其偏离的程度可用偏态系数刻画.
 
 
左偏分布也被称为负偏态，右偏分布也会称为正偏态。
 
用均值、中位数、众数三者的位置关系判定和查看
 
 
用中位数查看
 
  
将数据一分为二（中位数的位置），哪边数据少，就是往哪边偏。
 
 
用众数描述
 
  
众数位置哪边尾巴长，就是往哪边偏。
 
 
数据分布往哪边偏，均值被拉往哪边
 
 
 
 
偏度本身是相对于均值左右数据的多少。这里拿右偏分布举例，也就是说数据在均值左侧的数量较多，**所以为了达到所有数据于均值之差和为0,应该存在较大的数与之平衡，所有分布图里有一个很长的右端的拖尾（就是右端必须存在很大的值）。既然均值左侧的数比较多，对比中位数左右两侧数一样多，则均值必在中位数的右侧（即这样围成面积才大于0.5)。**另外，右偏的图像围成面积为0.5的分界点应该在峰值点的右侧，所以中位数大于众数。所以就有众小于中小于均。
 
 
作者：雪绒花与蚊子
 链接：https://www.jianshu.com/p/a558a3f4b84a
 来源：简书
 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 
 
3.3 偏度计算
 
 
3.3 峰度
 
peakedness;kurtosis）又称峰态系数。表征概率密度分布曲线在平均值处峰值高低的特征数。直观看来，峰度反映了峰部的尖度。
 
 
计算:
 
 
峰度定义为四阶标准矩，可以看出来和上面偏度的定义非常的像，只不过前者是三阶的。
 
相关链接：
 
1左偏和右偏 - 简书
 
2偏态 - 搜索结果 - 知乎 (zhihu.com)
 
3 概率统计-方差与正态分布（高斯分布）_Hello_Ray的博客-CSDN博客_正态分布方差
 
4 一文搞懂“正态分布”所有需要的知识点 - 知乎 (zhihu.com)
 
5 偏度和峰度的计算 - 小舔哥 - 博客园 (cnblogs.com)

 
 
探索性数据分析最重要的作用是把数据的全貌进行展现
 
 
 
 
 
单因子分析
 
 
集中趋势：均值、中位数与分位数、众数
离中趋势：标准差、方差
数据分布：偏态与峰态、正态分布与三大分布
抽样理论：抽样误差、抽样精度
  
 
 
 
 
 
集中趋势
 
 
集中趋势——均值、中位数、众数、分位数
 
 
集中趋势是数据聚拢位置的一种衡量
 
 
 
 
 
分位数
 
 
分位数就是把数据从小到大排列，切分成等份的数据点
 
 
分位数和其他几个值共同作用，有时会产生一些不错的效果
 
 
 
 
 
分位数当中最常用到的是四分位数
 
 
四分位数的计算方法
 
 
Q1的位置=（n+1）*0.25
Q2的位置=（n+1）*0.5
Q3的位置=（n+1）*0.75
 
 
 
 
 
离中趋势
 
 
离中趋势——标准差、方差
 
 
离中趋势是数据离散程度的衡量
 
 
 
 
 
 
 
 
 
数据分布
 
 
数据分布主要包括偏态系数、峰态系数、正态分布和三大分布
 
 
 
 
 
偏态系数
 
 
偏态系数是数据平均值偏离状态的一种衡量
 
 
一个对称的分布其中位数和均值应该接近或者相等。如果一个分布中位数和均值差得比较多，这样的分布就是有偏态的分布
 
 
 
 
如果偏态系数值为正，就是正偏，就是均值比较大
 
 
如果偏态系数值为负，就是负偏，就是中位数比较小
 
 
 
 
 
峰态系数
 
 
峰态系数是数据分布集中强度的衡量
 
 
峰态系数越大其顶就会越尖锐，峰态系数越小其分布就会越平缓
 
 
 
 
 
 
 
 
 
正态分布的峰态系数一般是3
 
 
 
 
 
正态分布
 
 
 
 
 
 
 
三大分布
 
 
卡方分布、t分布和F分布
 
 
 
 
 
 
抽样理论
 
 
为什么要抽样呢，因为数据量可能异常大，全量计算的时间成本和现实成本都比较大
 
 
或者全量检验并不显示，比如测灯泡的寿命
 
 
 
 
 
抽样误差与精度
 
 
 
 
 
 
 
 
 
举例
 
 
 
 
 
 

给定一组数据，我们怎么来判断业务的基本情况呢？此时我们主要用到两个统计学工具：集中趋势和离散趋势。
 
1. 集中趋势
 
集中趋势是一组数据的代表值，那用什么值作代表最有代表性呢？当然这个值应该和所有值差距不大是最好，此时我们首先想到的就是平均数，事实上，用来衡量集中趋势的最常用指标就是平均数，当然有时我们也使用中位数。
 
平均数和中位数一般是不同的，除非样本呈正态分布。如果衡量集中趋势的指标选择不合理，那么对业务整体情况的判断往往会出现争议，最常见的例子就是“工资水平”统计数据的梗——大多数人总是感到“拖了大家的后腿”。为什么会这样呢？因为工资收入是偏态分布的，而且是正偏态分布——大多数人工资处于较低的水平。
 
那么表示集中趋势时，什么时候选择平均数，什么时候选择中位数呢？我们可以通过考察数据分布的正态、偏态情况进行选择。
 
 如果样本呈正态分布，那么集中趋势使用平均数或中位数表示均可，因为两者是相等的。
 如果样本呈偏态分布，那么选择中位数更能反映数据的集中趋势。通常情况下，正偏态的中位数小于平均数，负偏态的中位数大于平均数。因此，如果工资水平的计量采用中位数，大家心里接受的程度可能会更高一些。
 比如以下工资水平的抽样数据，用中位数表示是3000，用平均数表示是9200。显然选择中位数的表示集中趋势更符合实际。
 salary=[2500,3500,2000,4000,2200,3000,1800,20000,50000,3000]
 
2. 离散趋势
 
离散趋势反映了样本数据之间的差异水平。反映离散趋势的统计指标一般包括标准差/方差、极差、四分位间距IQR和变异系数。
 
极差是样本最大值与最小值的差；
四分位间距IQR是75%分位数与25%分位数的差，显然四分位间距IQR一般要比极差小；
变异系数是标准差与均值的比值，通常认为如果变异系数超过15%，则说明业务状况是很不稳定的。上例中，工资样本的变异系数是1.58，说明工资水平是极不稳定的。
 
除了变异系数是相对量化指标外，其它三个指标都是绝对量化指标。因此，变异系数可以进行不同数据集离散程度的比较，而其它三个指标不可以，因为不同数据集的数据尺度有所差异。
 
集中趋势和离散趋势相结合才能更准确的反映业务状况，当离散趋势不明显时，集中趋势反映总体水平的能力就越强。
 
推荐自编课程《零基础学python数据分析》
 推荐自编简明预测分析教程(Python版)

0 集中趋势度量
 
01 众数
 
02 中位数
 
03 平均数
 
普通加权：$$\bar{x}=\frac{{\sum }_{i=1}^n{x}_i}{n}$$
 分组加权：$$\bar{x}=\frac{{\sum }_{i=1}^n{M}_i{f}_i}{n}$$
 其中：$M_i是分组的组中值，f_i是此组的频数$
 
1 离散程度度量
 
一组数据的离散程度是数据分布的重要特征。
 定义：离散程度用于衡量各变量值距离其中心值的程度，离散程度越大，则代表用于代表集中趋势的度量值对于这一组数据的代表性也越差。
 
1.1 分类数据：异众比率
 
因为分类数据一般采用众数来代表其集中趋势，因此对于分类数据，一般采用异众比率来衡量数据的离散程度。
 通俗的解释就是，不是众数的数所占的比例。
 数学表达为：
 $$V_r=\frac{\sum f_i-f_m}{\sum f_i}$$
 其中$\sum f_i$为数据集合的总频数；$f_m$为众数组的频数。
 
 
1.2 顺序数据：四分位差
 
四分位差（quartile deviation）是上四分位数和下四分位数之差
 $$U_d=U_U-U_L$$
 理解：由于顺序数据一般采用中位数来衡量其集中趋势，因此，四分位差实际上表示的是在顺序上处于25%~75%的这50%的数据的极差。
 如果这个差越小，那么说明这中间的数据就越集中。也因此，使用中位数来代表整个数据组的集中趋势是比较恰当的。
 
 
1.3 数值型数据：方差与标准差
 
这是在统计分析中最常使用的两个指标。
 （1）方差（variance）
 描述：方差等于各个变量值和平均值差的平方之和的平均值。
 数学公式：
 $${\sigma }^2=\frac{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}{n}$$
 一般在实际使用中，我们求解的是样本方差，那么使用如下公式：
 $$s^2=\frac{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}{n-1}$$
 其中n-1称为自由度。
 
如果不想探求其实际的数学意义，可以粗略的理解为，在实际的应用观察中，使用n-1作为样本的方差计算的分母，计算出来的$S^2$是${\sigma }^2$的无偏估计。因此这个一个为了更好的使得样本方差近似于总体方差而人为设计的。
 
若想要探求其具体的数学解释和意义，可以移步：
 为什么样本方差（sample variance）的分母是 n-1？
 
（2）标准差
 为了在实际运算中，得到保持和变量的量纲一致的，用于衡量数据离散程度的指标。一般也会采用标准差来进行计算。其值等于方差开方。
 $$s=\sqrt{\frac{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}{n-1}}$$
 
 
1.4 相对位置度量：Z score
 
方差和标准差可以帮组我们衡量一组数据其总体的离散程度，但是如果想要考察单个数据其在数据组中的相对位置，我们可以使用Z score来计算。也称为标准分数 Standard score
 z score等于变量减去平均值再除以标准差，其值的大小达标测量的变量距离均值有多少个单位的标准差。
 例如：z score=-1.5，那么其距离均值低1.5个标准差。
 $$Z_i=\frac{x_i-\bar{x}}{s}$$
 
如何理解 Z score(重要)
 
可以从几何意义上来理解。事实上，通过上述公式，只是对变量值进行了相对位置的变换（或者说将原数据组变成了方差为1，平均数为0的一组数据）而已。
 

 这里也可以随手通过简单的代数变换来证明：
 假设现有一组数据$x_1,x_2,....x_n$,其均值为$\bar{x}$,方差为s，那么单个数据点$x_1$的z score就是
 $$Z_1=\frac{x_1-\bar{x}}{s}$$
 如果将所有的$Z_1,Z_2...Z_n$来求均值可以得：
 $$\bar{Z}=\frac{Z_1+Z_2+...+Z_n}{n}=\frac{\frac{x_1-\bar{x}}{s}+\frac{x_2-\bar{x}}{s}+...+\frac{x_n-\bar{x}}{s}}{n}=\frac{x_1+x_2+...+x_n-n\bar{x}}{ns}$$
 而又有：
 $$n\bar{x}=n\ast \frac{x_1+x_2+...+x_n}{n}$$
 因此：
 $$\bar{Z}=0$$
 至于为什么这组数据的方差为1，读者可以自己再试着证明一下。
 如果懒得证明，可以移步这篇文章查看详细推导过程。
 【统计学】关于Z score 的一切（如何由一组数据转变为 平均值为0；方差为1的一组数据）
 
 
如果读者有学习过正态分布相关概念，也会很敏锐的察觉到，这就是一个标准正态分布。因此有这样的分布规律
 
大约68%的数据在平均数一个标准差范围内
大约95%的数据在平均数两个标准差范围内
大约99%的数据在平均数三个标准差范围内
 
也因为这样的分布规律，我们可以由此判断单独数据点是否属于离群值。
 
对于服从这一分布规律的数据组
 
我们就可以 通过查看数据点的 Z score来判断其是否属于 离群点。例如z score>3,这是在分布上只有1%的概率，也就是距离均值非常非常远的数据。
 这种数据一般在数据处理中会剔除。
 
不服从此分布规律的数据组
 
使用切比雪夫不等式，对于任何分布形态都适用。
 
切比雪夫谈论的是“所占比例至少是多少”，其公式为：至少有$1-\frac{1}{k^2}$的数据落在k个标准差内。
 
k=2时，至少有75%的数据在平均数的两个标准差范围内。
k=3时，至少有89%的数据在平均数的三个标准差范围内。
 
 
1.5 相对离散程度：离散系数
 
在一组数据中，我们使用方差和标准差来衡量数据的离散程度，但是如果想要衡量两组数据谁的离散程度高，谁的低，那么可能会遇到问题。
 例如：
 
单位
数据
标准差
m
{1,2,3,4,5,6,7,8}
2.29128
cm
{100,200,300,400,500,600,700,800}
229.128
因此为了消除类似的影响，比较不同数据组的离散程度。一般使用离散系数（coefficient of variation）也称为“变异系数”，其公式为：
 $$v_s=\frac{s}{\bar{x}}$$
 
可以认为，离散系数是用于衡量 离散程度 的程度的统计量（套娃）
 
 
2 偏态和峰态的度量
 
数据分布的特点，除了离散程度，集中趋势。通常还会对于分布的形状进行衡量，例如形状是否对称，偏斜的程度，或者分布是否扁平。
 
2.1 偏态及其测度
 
偏态 skewness 是对于数据分布对称性的测度
 偏态系数 coefficient of skewness 是衡量偏态的统计量
 
$$SK=\frac{n\sum (x_i-\bar{x}{)}^3}{(n-1)(n-2)s^3}$$
 指标含义：
 
SK取值
意义
SK=0
对称分布
|SK|>1
高度偏态分布
0.5<=|SK|<=1
中等偏态分布
SK取正时，表示右偏态分布，SK为负时，分布为左偏态分布。
 
2.2 峰态及其测度
 
峰态是对数据分布平峰或尖峰程度的测度。
 峰态系数是 测量峰态的统计量，记作K
 
TIPS:峰态是一个相对概念，通常是对比标准正态分布而言。标准正态分布的峰态系数=0，若一个数据分布的峰态系数不为0，则说明分布比标准正态分布更加尖或者更加平。
 
K取值
意义
K=0
标准正态分布
K>0
尖峰分布
K<0
平峰分布

 其计算公式为：
 $$K=\frac{n(n+1)\sum (x_i-\bar{x})-3[\sum (x_i-\bar{x}{)}^2{]}^2(n-1)}{(n-1)(n-2)(n-3)s^4}$$
 
3 总结
 
总的来说，我们常用的衡量离散程度的有方差，标准差，用于衡量单个变量的离散程度则会涉及到计算 z score；
 如果是在几何上查看数据组的分布特征，我们会使用偏态和峰态来查看。
 
 
 
 
本文部分图片和数据来自于《统计学》第七版，贾俊平。若有侵权，请联系，立马删除。