今天讲如何看数据分布趋势？其中包括三个部分：
一、数据集中趋势：
众数 / 中位数 / 平均数，四分位
算术平均数：加权平均数、几何平均数
二、数据离中趋势：
方差、标准差、极差、平均差
顺序数据：四分位差、异种比率
相对离散程度：离散系数
三、数据分布形状：偏态系数、峰态系数
我直接用代码来讲。先说说为什么这么复杂？
大家最熟悉average, 平均值，但平均值是有缺陷的。比如说，我（0亿）、巴菲特（920亿）、我老板（10亿）的平均身价是310亿美元，这种笑话听着就很嗨。
那应该用什么指标衡量我们三个身价的分布？
中位数：0, 10, 920。从小到大排列，10亿美元，比平均值321亿靠谱。众数呢？这里没有重复值，因此没有众数。
四分位呢？从小到大排列，排在第25%和地75%的位置分别叫做1/4分位，3/4分位。极差看公式就能懂。
对应的英文分别是：mode / medium / average,  quartile / range 英文单词之所以重要，下面编码会用到。
在R语言里怎么实现？很简单。
#引入r自带的数据集“diamonds”, summary()命令就能得到每一数列的集中趋势
dm <- diamonds
summary(dm)
部分截图：
求某一列呢？用其中一列“depth”来演示。
median(dm$depth)
quantile(dm$depth, 0.25)
在Python呢？要引入计算工具：numpy (link)
import numpy as np
#numpy是常用的python工具。下面的np是numpy的缩写。

a = np.array([1, 2, 3, 3, 8])
b = np.array([(1, 2, 3), (4, 5, 6.2)], dtype = float)

a.sum()
a.min()
a.mean()

b.max(axis=0) #求列的最大值

np.median(a) # 如果你直接写 a.median() ，会报错哦
np.quantile(a, 0.25) #求四分之一分位
np.quantile(a, 0.75) #求四分之三分位

print(a.max() - a.min()) #极差
输出如下：
但是array并非常见的数据格式，反而dataframe更常见。假设我有一个 dataframe 叫做df，怎么一次性得到所有列的集中趋势？
df.describe()
输出部分截图，跟R语言的summary()是否一样的效果？
用箱型图来表示四分位图最合适，在R中常用，这是一张红酒质量打分(quality)和酒精含量(alcohol)的关系图。
比方，6分酒，酒精范围由箱子的上沿和下沿决定，在9.8 ~11.3之间，平均酒精含量是10.6左右，这张图其实可以清晰看出每个分值的红酒对应的酒精范围。具体代码就不放了。
这些集中趋势在tableau里就很容易实现啦，点点右键，不细说。
加权平均是：数据中的每个点对于平均数的贡献并不是相等的，有些点要比其他的点更加重要。比如说，以下value是一个学生的语数英外的分数，如果这是一个国际学校，肯定更重视外语，那么外语的权重就高一些，其他科目权重低一些。
对学生小明来说，虽然其他科目分数比较低（满分120），但英语分数120，加权平均分数为：110，也高于其他三科的分数。
value = [80, 99, 120, 90] #数值
weights = [0.1, 0.4, 0.8, 0.1] #数值和一一对应的权重。

np.average(value, weights=weights)
不恰当地例子：有些人在你心里的位置重要，你就爱屋及乌，觉得他住的小区，他上班的公司，权重都更重些。
几何平均值，我还没想到很好的举例，先放着。
好了，上面讲了一堆“数据集中趋势”：四分位、中位数、众数。你有没有对“数据集中趋势”这个词产生困惑？还有对应的词“数据离中趋势”，前者反映了稳定趋势，后者反映了变动趋势。
这个知识点有啥用？非常非常有用，但现阶段你用不到它。我先放一张图来震场子。看下面的图就知道什么是“集中”，什么是“离中”，离开中心远远的分布图都有哪些？抢答开始！
正所谓不存在完美的情人，只有各种歪瓜裂枣。
通过平均值、方差，就能做出一张完美的正太分布图来，试一试？matplotlib(link)
import matplotlib.pyplot as plt 

test = np.random.normal (70, 0.26,10000) 
#模拟了1w个样本下，当身高平均值是70，方差是0.26时的正态分布图。
plt.hist(test, alpha = 0.5);
#画出正态分布柱状图。
得到这张图片
讲到方差了。方差反应了每一个数据点跟平均值之间的距离。计算也很简单，记得英文单词就好：variance,  standard deviation。在 Python 里：
np.std(a)
np.var(a)
在 R 语言里，跟上面只是英文缩写不同而已：
sd(dm$depth) 
var(dm$depth)
方差不同，平均值相同，会得到什么不一样的图？我们就以这个为例：
import matplotlib.pyplot as plt
import seaborn as sns

x = np.random.normal (70, 0.5, 500)
x01 = np.random.normal (70, 0.25, 500)
x02 = np.random.normal (70, 1, 500)

ax = sns.distplot(x,
                  rug=True,
                  color='grey',
                  hist=False)
ax.set(xlabel='Probability Distribution', ylabel='Frequency')


ax01 = sns.distplot(x01,
                  rug=True,
                  color='orange',
                  hist=False)

ax02 = sns.distplot(x02,
                  rug=True,
                  color='lightblue',
                  hist=False)
灰色线条是方差=0.5，橙色时方差=0.25，而蓝色是方差=1时，平均值都是70，数据点都为500个的概率分布图。三条线的区别在哪里呢？方差大小是如何影响正态分布的？
方差较小时，如橙色线0.25的方差，500个数据点离70这个平均值就很近，山峰就很高。反之，方差较大时，如蓝色线1的方差，500个数据点离平均值70这个点就远，山体胖，山峰矮。
这张图很重要，因为这是理解假设检验的第一步哦，先不往下说了，免得你崩溃。
其实，人家有专门的术语来描述上面这三条线的分布情况：偏度skewness 和 峰度kurtosis，
#方法一，引入scipy包
from scipy import stats

skew = stats.skew(x)
kurtosis = stats.kurtosis(x)
print(skew, kurtosis)

#方法二，引入pandas包
import pandas as pd

print(x.skew())
print(x.kurt())
R语言要引入工具包，你问为什么工具包的名字是数字组成？我也不知道啊。
library(e1071)# load e1071 
skewness(dm$depth)
kurtosis(dm$depth)
左偏右偏很好理解，mean > median > mode,  正偏态，positive skewness。右图反之。
（图片非原创，来自link）
中间是 mean = median = mode，正态分布。
当偏度>0时，称为正偏positive skewness，数据出现右侧长尾, 就是左图：mean > median > mode。
当偏度<0时，称为负偏negative skewness，右图：mean < median < mode。
峰度用来描述数据分布陡峭或是平滑的情况。为方便计算，将峰度值－3，因此正态分布的峰度变为0，方便比较。不细说了。
总结本章内容：
集中趋势：平均值、众数、中位数、四分位
分散趋势：方差、标准差、极差
数据分布形状：正态分布、偏态值、峰态值
你也发现了：
 其实用不同语言计算这些数值，都挺简单的，甚至一个单词就能把几个值都算出来了。
稍微有点难度的，就是画个正态分布、非正态分布图而已。
你也顺便记住了几个常用工具包。Python的numpy，pandas，matplotlib。
最后，你知道，英文很重要，因为命令语言基本是由英文单词组成。
最后一次性放送所有R语言代码：
#引入r自带的数据集“diamonds”, summary()命令就能得到每一数列的集中趋势
dm <- diamonds
summary(dm)

median(dm$depth)
quantile(dm$depth, 0.25)

sd(dm$depth) 
var(dm$depth)

library(e1071)# load e1071 
skewness(dm$depth)
kurtosis(dm$depth)
就交给你自己去总结所有Python代码啦！我太贴心啦！

数据分布的特征
１、集中趋势：各数据向中心值靠拢或聚集的程度；【平均数、中位数、四分位数、众数】

　2、离散程度：各数据远离其中心值的趋势；【极差、四分位差、方差、标准差、离散系数】

　３、分布形状：数据分布偏斜程度和峰度【偏态系数、峰态系数】
Excel表示：

平均数：AVERAGE()

中位数：median

众数：MODE(）

四分位数：QUARTILE(,1)  1表示1/4位，2、3

极差：MAX()-MIN()

方差：Var()

标准差：stdev.s()
集中趋势的度量
集中趋势只是数据分布的特征，它所反映的是各变量值向其中心值聚集的程度。

一、平均数（mean）

　　一组数据相加后除以数据的个数所得到的结果 x̅(x-bar)

二、中位数(mediam)和众数()

　　中位数：一组数据排序后处于中间位置上的变量值

　　n个数据，n为奇数-直接选中间值为中位数

　　n为偶数，-（n+1）/2
四分位数：一组数据排序后处于25%和75%位置上的值

SPS：1=n+1/4  Q3:3(n+1)/4

Excel：Q1=(n+3)/4  Q3:(3n+1)/4

如果位置是整数，四分位数就是该位置对应的值；如果是在整数加0.5的位置上，则 四分位数取该位置两侧值得平均数；如果位置是在整数加0.25或0.75得位置上，则四分位数等于该位置前面得值加上按比例分摊位置两侧数值得差

eg:

750、780、850、960、1080、1250、1500、1630、2000

Q1：n/4=2.25    Q1=780+(850-780)0.25=797.5

Q3：3n/4=6.75 Q3=1250+(1500-1250)*0.75=1437.5

结果：由于25%75%包含了50%的数据，有大约一半的员工工资收入在797.51437.5元之间。
三、众数（mode）

　　众数：一组数据中出现频数最多的数值 。

四、各度量值的比较

平均数、众数、中位数都是描述数据集中趋势的统计量

平均数容易受到极端值的影响

当数据位偏态分布时候，考虑中位数、众数比较有代表性。

平均数<中位数<众数  左偏分布-》存在极小值

众数<中位数<平均数  右偏分布-》存在极大值
离散程度的度量
各变量值远离中心值的程度，也称离中趋势。

数据离散程度越大，集中趋势的测度值对该组数据的代表性越差
一、极差和四分位差

　　极差：一组数据的最大值与最小值之差R-》参考值  2000-750=1250元

二、四分位差：

　　上四分位数与下四分位数之差-》反应中间50%数据的离散程度，值越小，说明中间数据越集中；值越小，中间的数据越分散

1437.5-797.5=640元

三、方差和标准差

　方差：各变量值与其平均数离差平方的平均数

　标准差：方差的平方根

　 方差、标准差：在实际中应用最广泛的离散程度度量值，它能准确地反应出数据的离散程度

　 与方差不同的是标准差是具有量纲的，它与变量值的计量单位相同，其实际意义要比方差清楚，因此，在实际问题进行分析时，更多地使用标准差
方差：

s2=(1500-1200)2+(7500-1200)2…(1630-1200)2/(9-1)=186350元

标准差：

s=√186350=431.683元

　　标准差时反应数据差异水平的绝对值，标准差数值的大小受原始数据绝对值大小的影响，另一方面标准差与原始数据的计量单位相同。对于不同组别的数据，如果原始数据的绝对值相差较大或计量单位不同时，不能用标准差比较离散程度 需要用到离散系数

三、离散系数

　离散系数：一组数据的标准差与其相应的平均数之比-》主要用于比较不同样本数据的离散程度，离散系数越大，数据离散程度大。
偏态与峰态的度量
一、偏态及其测度

　偏态：数据分布的不对称性

　峰态：数据分布的平峰或尖峰程度
添加数据分析项：

　　文件－》选项－》加载项－》管理－》分析工具库

Excel操作输出：

　　数据-》数据分析-》统计描述  输出如下数据，


本章小结：
集中趋势：平均数、中位数、分位数、众数。平均数常用但是受极端值影响，中位数与分位数不受极端值的影响，众数很少有到。

离散程度：极差、四分位差、方差、标准差、离散系数等。离散系数主要用于对不同组别数据离散程度的比较。
众数、中位数、平均数＝＝》可以代表大多数

标准差大＝＝》有较大差异

偏态系数＞１＝＝》偏斜程度大

本节分享主要是关于描述数据分布的特征，学习笔记如下：


数据的分布

描述数据分布包括数据的集中趋势，离中趋势，偏态和峰态。




集中趋势

集中趋势是一组平均指标，它反映了总体的一般水平或分布，测定集中趋势的平均指标包括：平均数、中位数和众数。

平均数包括简单平均数（均值），加权平均数和几何平均数。

平均数的特点：

平均数是集中趋势最常用的测量值；

它是一组数据的均衡点所在；

平均数容易受极端值的影响；

平均数用于数值型数据，不能用于分类数据和顺序数据。

各类平均数的计算在此处就省略了哦，请自行百度吧。


中位数的特点：

排序后处于中间位置上的值；

主要用于顺序数据，也可以用于数值型数据，但是不能用于分类数据；

不受极端值的影响。
众数：一组数据中出现次数最多的数据值

众数的特点：

一组数据可能没有众数或有几个众数；

众数适用于数据量较多并且在数据分布偏斜程度较大且有明显峰值时应用；

离中趋势

离中趋势是一组变异指标，它主要是用来刻画总体分布的变异状况或离散程度，测定离中趋势的指标有极差、平均差、四分位差、标准差、方差以及变异系数等

极差：一组数据的最大值与最小值之差，极差越大，离散程度越大，反之，离散程度越小。

极差的特点：

离散程度最简单的测度值；

容易受极端值的影响；

未考虑数据的分布。
平均差：各变量与均值的差的平均数，即平均差异，反映一组数据的离散程度。

平均差的特点：

各变量与均值的差的绝对值的平均数；

反映一组数据的离散程度；

数学性质较差，实际应用较少；

未考虑数据的分布。
方差与标准差：

方差反映的是各变量与均值的差的平均差异，是数据离散程度最常用的测度值。标准差是方差的算术平方根，它也是数据离散程度常用的测度。

方差分为总体方差和样本方差。
变异系数：是标准差与其对应的均值之比，用于对比不同组别的数据，笔记其离散程度。变异系数消除了数据的水平高低和计量系数的差异。

偏态和峰态

偏态和峰态是反映总体分布形态的指标，偏态反映数据分布不对称的方向和程度，峰态反映数据分布图形的尖峭程度或者扁平程度。



偏态系数的特征：

它是数据分布偏斜程度的测度；

偏态系数等于0时，对称分布；

偏态系数大于0时，为右偏分布；小于0时，为左偏分布。

峰态系数的特征：

它是数据分布尖峭程度的测度；

峰态系数等于0时，峰度适中；

峰态系数大于0时，为尖峰分布；小于0时，为偏平分布。

数据标准化：能够去除数据的单位限制，将其转化为无单位的纯数值，便于不同单元或量级的指标能够进行比较和加权。

数据标准化常用方法：

（1）0-1标准化，也叫离差标准化，是对原始数据进行线性变换，使结果落到[0,1]区间。



（2）暴力的方法，直接将数据同时除以100倍，1000倍或者更多。

（3）2-score标准化，也叫标准差标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1。

上节讲解了如何将外界的数据导入到SPSS中，本节将重点讲解如何在SPSS中计算数据的离散趋势和集中趋势以及如何判断一组数据是否符合正态分布。
集中趋势是指一组数据向某一中心靠拢的程度。常用于描述集中趋势的指标有均数、几何均数及中位数等。均数适用于正态分布和无极端值的对称分布的数据、几何均数适用于正偏态数据而中位数则是适用于偏态数据、截尾数据以及任何分布的数据。这三个指标中，中位数的适用范围最广，但是由于中位数的计算未使用全部的数据，易导致信息丢失，所以在能使用均数时应优先使用均数。
离散趋势用于描述数据偏离中心位置的趋势。常用于描述离散趋势的指标有标准差、方差、四分位数间距、极差和变异系数等。标准差是方差开平方后所得到的值，它的单位和观察值的单位是一致的，所以相较于方差标准差是更常使用的指标。标准差适用于正态分布、无极端值的对称分布。四分位数间距则适用于偏态分布。变异系数用于比较两组单位不同或单位相同但均数相差悬殊的数据的离散程度。
在数据的描述中，应当将集中趋势和离散趋势结合起来。医学论文中在描述一组数据时，通常正态分布的数据会选择均数±标准差，非正态分布会选择中位数(四分位数间距)的形式来进行描述。
由于均数、中位数、标准差和四分位数间距使用较多，因此本文仅示范用SPSS计算均数、中位数、标准差和四分位数间距。下面，以随机选择的两个班级15名同学的选择题得分为例来讲解SPSS中这些指标的计算。
点击分析——描述统计——探索；将选择题得分选入因变量列表即可，最后点击确定。
若想要分班级来计算各个班的相关统计指标的话，只要在探索中将班级选入因子列表即可。
判断一组数据是否符合正态分布要使用正态性检验。在SPSS中进行正态性检验的方法有很多，我这里呢仅介绍我认为最简单的一种。这种方法依然是通过探索功能实现，在探索界面中将左下方的输出勾选为两者都，然后在右侧的绘图中勾选带检验的正态图，然后点击确定即可。
结果中会出现常态性检验，这就是正态性检验。通常我们只看Shapiro-Wilk的结果，如果数据量大于2000，那么我们需要看Kolmogorov-Smirnov(K)的结果。本文中数据小于2000.看右侧的结果即可。是否符合正态分布，要看显著性这个值。如果显著性小于0.05，那么数据不符合正态分布，反之，则符合正态分布。本例中显著性为0.065，显然本例中选择题的得分是符合正态分布的。
下节将讲述如何在SPSS中进行连续性变量的t检验。