CDA数据分析师 出品
 
 
​ 统计指标按照其反映的内容或其数值表现形式可以分为总量指标、相对指标、平均指标、变异指标。按其所反映总体现象的数量特性的性质不同可分为数量指标和质量指标。
 
一、总量指标
 
​ 总量指标是反映社会经济现象发展的总规模、总水平的综合指标。即数量指标，也称为绝对数。例如国内生产总值**、**人口总数、粮食总产量等。
 
1、按反映的时间状况不同分为时期指标和时点指标
 
​ 时期指标：表明现象总体在一段时期内发展过程的总量。它具有可加性、数值大小与时期长短有直接关系、需要连续登记汇总。例如，在某一段时期内的出生人数、死亡人数等。
 
​ 时点指标：表明现象总体在某一时刻（瞬间）的数量状况。它不具有可加性、数值大小与时期长短没有直接关系、由一次性登记调查得到。例如，在某一时点的总人口数。
 
2、按反映的总体内容不同分为总体单位总量和总体标志总量
 
​ 总体单位总量：总体所包含的总体单位的数量。
 
​ 总体标志总量：总体单位在某一数量标志上的标志值的总和。
 
​ 只有可加总体能够计算总体单位总量，不可加总体没有总体单位总量；一个总体中只有一个单位总量，但可以有多个标志总量，它们由总体单位的数量标志值汇总而来。
 
3、按计量单位不同可分为实物指标、劳动指标和价值指标
 
二、相对指标
 
​ 相对指标又称统计相对数，它是两个有相互联系的现象数量的比率，用以反映现象的发展程度、结构、强度，普遍程度或比例关系 。把两个具体数值抽象化，使人们对现象之间所存在的固有联系有较为深刻的认识，相对指标在社会经济领域广泛存在，借助于相对指标对现象进行对比分析，是统计分析的基本方法。
 
1、结构相对数
 
​ 它是在资料分组的基础上，以总体总量作为比较标准，求出各组总量占总体总量的比重，来反映总体内部组成情况的综合指标。例如，恩格尔系数。公式如下：
 $$\begin{gathered} 结构相对数=\frac{总体部分数值}{总体全部数值}\ast 100\% \\ 恩格尔系数=\frac{消费支出中用于食品的支出}{全部消费支出}\ast 100\% \end{gathered}$$
 ​ 用来分析现象总体的内部构成状况。
 
2、比例相对指标
 
​ 它是总体中不同部分数量之比的相对指标，用以分析总体范围内各个局部、各个分组之间的比例关系和协调平衡状况。
 $$比例相对数=\frac{总体中某一部分数值}{总体中另一部分数值}\ast 100\%$$
 ​ 用来反映组与组之间的联系程度或比例关系。
 
3、比较相对指标
 
​ 它是不同总体或单位的同类现象数量对比而确定的相对指标，用以说明某一同类现象在同一时间内各单位发展的不平衡程度，以表明同类事物在不同条件下的数量对比关系。
 $$比较相对数=\frac{某总体或单位的某一指标}{另一总体或单位的同一指标}\ast 100\%$$
 ​ 用来说明现象发展的不均衡程度。
 
4、强度相对数
 
​ 它是两个性质不同而有联系的总量指标之间的对比，用来表明某一现象在另一现象中发展的强度、密度和普遍程度。
 $$强度相对数=\frac{某一总量指标数值}{另一有联系但性质不同的总量指标数值}\ast 100\%$$
 ​ 不是同类现象指标的对比。
 
5、动态相对数
 
​ 它又称***发展速度***，表示同类事物的水平报告期（被研究的时期又称本期、计算期）与基期（作为比较基准的时期）对比发展变化的程度。
 $$发展速度=\frac{报告期指标数值}{基期指标数值}\ast 100\%$$
 ​ 用来反映现象的数量在时间上的变动程度。
 
6、计划完成程度相对数
 
​ 用来检查、监督计划执行情况，它以现象在某一段时间内的实际完成数与计划任务数对比，借以观察计划完成程度。
 $$计划完成程度相对数=\frac{实际完成数}{计划完成数}\ast 100\%$$
 ​ 在上述公式中，分子是根据实际完成情况进行统计而得的数据，分母是下达的计划指标，公式中的分子和分母数值表明计划执行的绝对效果。
 
对短期计划完成情况来说，考察计划执行进度情况的公式为:
 $$计划完成进度=\frac{累计至本期止实际完成数}{全期计划任务数}\ast 100\%$$
 对长期计划完成情况的检查，有两种方法，分别是累计法和水平法。累计法是指计划指标按计划期内各年的总和规定任务，公式如下：
 $$\begin{gathered} 计划完成程度=\frac{计划期内实际完成累计数}{计划任务总数}\ast 100\% \\ 提前完成计划时间=计划全部时间-自计划执行日起至累计实际数量已达到计划任务数所需要的时间 \end{gathered}$$
 水平法是指计划指标以计划末期应达到的水平规定。
 $$\begin{gathered} 计划完成程度=\frac{计划末期实际达到的水平}{计划规定末期应达到的水平}\ast 100\% \\ 提前完成计划时间=计划全部时间-出现连续12个月的实际完成数达到计划任务数所需要的时间 \end{gathered}$$
 
三、平均指标
 
​ 平均指标是用以反映社会经济现象总体某一数量标志在一定时间、地点条件下所达到的一般水平的相对指标。平均指标的种类有：算术平均数、调和平均数、几何平均数、众数和中位数。前三种平均数是根据总体所有标志值计算的所以称为数值平均数，后两种平均数是根据标志值所处的位置确定的，因此称为位置平均数。在一定条件下用下中位数和众数去反映变量数列的一般水平是非常有效的。
 
1、算数平均数
 
​ 算术平均数是计算平均指标的最常用方法，它的基本公式形式是总体标志总量除以总体单位总量。在实际工作中，由于资料的不同，算术平均数有两种计算形式：
 
​ 简单算数平均数：适用于总体资料未经分组整理、尚为原始资料的情况。
 
 
​ 加权算数平均数：适用于总体资料经过分组整理形成变量数列的情况 。
 
 
2、调和平均数
 
​ 在实际工作中，有时由于缺乏总体的单位数资料，而不能直接计算平均数，这时就可采用调和平均数计算。因此在统计工作中，调和平均数常常被作为算术平均数的变形来使用。调和平均数也有简单调和平均数和加权调和平均数两种形式。
 
​ 简单调和平均数：加权调和平均数的特例，当各组标志总量等于1。
 
 
​ 加权调和平均数: 适用于总体资料经过分组整理形成变量数列的情况。
 
​ 
 
3、几何平均数
 
​ 是N项变量值连乘积的开N次方根，用于计算现象的平均比率或平均速度。 几何平均数也分为简单几何平均数和加权几何平均数。
 
​ 应用的前提条件：各个比率或速度的连乘积等于总比率或总速度；相乘的各个比率或速度不为零或负值。
 
​ 简单几何平均数： 适用于未分组资料 。
 
 
​ 加权几何平均数： 适用于未分组资料 。
 
 
4、中位数
 
​ 中位数是将总体各单位标志值按大小顺序排列后，处于中间位置的那个数值。根据未分组资料和分组资料都可确定中位数。
 
​ 中位数不受极端值及开口组的影响；对于分配不对称的数据，中位数比平均值更适合当集中趋势的代表值；对某些不具有数字特征或不能用数字测定的现象，可用中位数表示其一般水平。
 
5、众数
 
​ 众数是总体中出现次数最多的变量值。在单位数不多或一个无明显集中趋势的资料中，众数的测定没有意义。一般来讲，只有根据分组数列才能确定众数。
 
​ 它也不受极端数值的影响，用来说明总体中大多数单位所达到的一般水平，适用于定类数据。
 
6、众数、中位数和算术平均数的比较
 
​ a、算术平均数综合反映了全部数据的信息，众数和中位数由数据分布的特定位置所确定。
 
​ b、算术平均数和中位数在任何一组数据中都存在而且具有惟一性。
 
​ c、算术平均数只能用于定量（数值型）数据，中位数适用于定序数据和定量数据，众数适用于所有形式（类型、计量层次）的数据。
 
​ d、算术平均数要受数据中极端值的影响。而众数和中位数都不受极端值的影响。
 
​ e、算术平均数可以推算总体的有关总量指标，而中位数和众数则不宜用作此类推算。
 
四、变异指标
 
​ 变异指标是综合反映总体各单位标志值及其分布的差异程度的指标。变异指标包括以下几种：四分位差、平均差、标准差和方差。当比较两个不同水平总体的平均数代表性大小时，须采用变异指标中的全距指标。
 
1、四分位差和全距
 
​ 全距是标志的最大值和最小值的差。四分位差即数据分布中第25个和第75个百分位数的间距，也即第1个和第3个四分位数的间距。在一定程度上四分位差是对极差的一种改进，避免了极端值的干扰，适用于定序数据和定量数据，尤其是当用中位数来测度数据集中趋势时。
 
2、平均差
 
​ 平均差是各个数据与其算术平均数的离差绝对值的算术平均数。
 
3、方差与标准差
 
​ 方差(variance)是各变量值与其均值离差平方的平均数。标准差(standard deviation)是方差的平方根，又称“均方差”。

       在进行数据分析时，经常会遇到一些分析指标或术语。这些术语是帮助我们打开思路，通过多个角度对数据进行深度解读，可以说是前人已经总结和使用的数据分析方法。下面是数据统计分析常用的指标或术语：
 　　
 　　1.平均数
 　　一般指算术平均数。算术平均数是指全部数据累加除以数据个数。它是非常重要的基础性指标。
 　　几何平均数：适用于对比率数据的平均，并主要用于计算数据平均增长（变化）率。
 　　加权平均数：普通的算术平均数的权重相等，算术平均数是特殊的加权平均数（权重都是1）。
 　　例如，某人射击十次，其中二次射中10环，三次射中8环，四次射中7环，一次射中9环，那么他平均射中的环数为：（10×2+9×1+8×3+7×4）÷10=8.1
 
　　2.绝对数与相对数
 　　绝对数是反映客观现象总体在一定时间、地点条件下的总规模、总水平的综合性指标，如GDP。此外，也可以表现在一定条件下数量的增减变化。
 　　相对数是指两个有联系的指标对比计算得到的数值，他是用以反映客观现象逐渐数量联系程度的综合指标。
 　　相对数=比较数值（比数）/基础数值（基数）
 　　基数：对比标准的指标数值。
 　　比数：是用作与基数对比的指标数值。
 
　　3.百分比与百分点
 　　百分比表示一个数是另一个数的百分之几的数，也叫百分率。
 　　百分点是用以表达不同百分数之间的“算术差距”（即差）的单位。
 　　用百分数表达其比例关系，用百分点表达其数值差距。1个百分点=1%，表示构成的变动幅度不宜用百分数，而应该用百分点。
 　　举例说，0.05和0.2分别是数，而且可分别化为百分数（5%和20%）。于是比较这两个数值有几种方法：
 　　①0.2是0.05的四倍，也就是说20%是5%的四倍，即百分之四百（400%）。
 　　②0.2比0.05多三倍，也就是说20%比5%多三倍，即百分之三百（300%）。
 　　③0.2比0.05多出0.15，也就是说20%比5%多十五个百分点。
 
　　4.频数与频率
 　　频数是指一组数据中个别数据重复出现的次数。
 　　频数是绝对数，频率是相对数。
 
　　5.比例与比率
 　　两者都是相对数。
 　　比例是指总体中各部分的数值占全部数值的比重，通常反映总体的构成和结构。
 　　比率是指不同类别数值的对比，它反映的不是部分与整体之间的关系，而是一个整体中各部分之间的关系。这一指标经常会用在社会经济领域。
 
　　6.倍数与番数
 　　同属于相对数。倍数是一个数除以另一个数所得的商。A÷B=C，A就是C的倍数。（倍数一般是表示数量的增长或上升幅度，而不适用于表示数量的减少或下降。）
 　　番数是指原来数量的2的N次方倍。比如翻一番就是原来数的2倍，翻二番就是原来数乘以4，翻三番就是原来数乘以8。
 
　　7.同比与环比
 　　同比是指与历史同时期进行比较得到的数据，该指标主要反映的是事物发展的相对情况。如2012年12月与2011年12月相比。英文翻译同比为year-on-year ratio。
 　　环比是指与前一个统计期进行比较得到的数值，该指标主要反映的是事物逐期发展的情况。2010年12月与2010年11月相比。环比英文可翻译为compare with the performance/figure/statistics last month。
 　　同比是与上年的同期水平对比，环比是同一年连环的两期对比。
 
　　8.基线和峰值、极值分析
 　　峰值：增长曲线的最高点（顶点），如中国总人口2033年将达峰值15亿，性别比严重失衡。
 　　拐点：在数学上指改变曲线向上或向下方向的点。在统计学中指趋势开始改变的地方，出现拐点后的走势将保持基本稳定。
 
　　9.增量与增速
 　　增量是指数值的变化方式和程度。如3增大到5，则3的增量为+2；3减少到1，则3的增量为-2。
 　　增速是指数值增长程度的相对指标。

 
文章目录
 
实验环境
读取csv文件
删除数据中我们不需要的列（假设我不需要ID的属性）
统计某一列或多列数据有多少种不同的值
统计某一列有多少个等于某个值（测试我这里统计第二列［var3］等于32的值的个数）
求取去除缺失值的均值
关于众数＆最大值＆最小值＆出现频率在前几的数据

 
 
 
在对数据进行挖掘之前，我们得到的数据往往是不太理想的，数据缺失值太严重导致统计数据指标不太容易，这篇文章记录下如何在含有缺失值的情况下统计出我想要的一些数据
 
 
实验环境
 
ubuntu 18.04
python 3.6
numpy scipy pandas
随意一个csv文件（当然是要有数据的，我的csv部分数据如下）
 
每个py文件都导入了以下三个依赖
 
import numpy as np
import pandas as pd
from scipy import stats
 
读取csv文件
 
 
 
读取csv文件，并在函数中打印出读取的结果，最后返回一个DataFrame对象
 
 
def readcsv(filepath):
    """
    读取csv文件
    :param filpath: 文件路径
    """
    df = pd.read_csv(filepath)

    print(df)
    return df

filepath = 'santander-customer-satisfaction/test.csv'
readcsv(filepath)
 
我的运行结果结果如下：
 
 
删除数据中我们不需要的列（假设我不需要ID的属性）
 
def dropProperty(df, drop_properties):
    """
    传入一个数据表
    :param df: dataFrame对象
    :param drop_properties: 想要删除的属性集
    :return 返回一个删掉了一个或多个属性的df对象，不影响传入的对象
    """
　　＃axis=0代表删除相应的行，axis=1代表删除相应的列
    df = df.drop(drop_properties, axis=1)
    return df
 
简单测试
 
filepath = 'santander-customer-satisfaction/test.csv'
df = readcsv(filepath)
print('原始数据的前三行：')
print(df.head(3))
df = dropProperty(df, ['ID'])
print('--'*20)
print('删掉了ID属性列的结果：')
print(df.head(3))
 
测试的结果：
 
 
统计某一列或多列数据有多少种不同的值
 
def uniqueCount(df, start, end):
    """
    统计一列或者多列有多少种不同的值
    :param df: dataframe对象
    :param start 开始统计的第(start+1)列
    :param end 最后统计的一列（第end列）
    :return:
    """
    if end <= start:
        return None
# 冒号是一个切片的意思
    diffCount = df.iloc[:, start:end].apply(lambda x: len(x.unique()))
    return diffCount
 
简单测试
 
filepath = 'santander-customer-satisfaction/test.csv'
df = readcsv(filepath)
result = uniqueCount(df, 0, 3)
print('第一列到第三列不同的数值各有：')
print(list(result))
print('即：')
print(result)
 
测试结果：
 
 
统计某一列有多少个等于某个值（测试我这里统计第二列［var3］等于32的值的个数）
 
def countValue(df, col_start, col_end, value):
    """
    统计第col+1列中等于value的数量
    :param df: dataframe对象
    :param col_start: 开始列数（从零开始）
    :param col_end: 结束列数
    :param value: 等于的某个值
    :return:　个数（如果是多个列，那么返回一个序列）
    """
    if col_start >= col_end:
        return None
    else:
        count = df.iloc[:, col_start:col_end].apply(lambda x: np.sum(x == 0))
        return count
 
简单测试
 
filepath = 'santander-customer-satisfaction/test.csv'
df = readcsv(filepath)
count = countValue(df, 1, 2, 32)
print(count)
 
测试结果
 
 
求取去除缺失值的均值
 
def meanValue(df, col_start, col_end, miss_set):
    """
    求取各列去除了缺失值的均值
    :param df:dataframe对象
    :param col_start: 开始列
    :param col_end: 结束列
    :param miss_set: 缺失值的集合
    :return: 返回各个列的均值
    """
    if col_start >= col_end:
        return None
    else:
        # ~ 代表取反操作，不属于miss_set里面的值的就属于正常的情况
        # 对正常的值进行mean()操作就是去除了缺失值的均值
        mean = df.iloc[:, col_start:col_end].apply(lambda x: np.mean(x[~np.isin(x, miss_set)]))
        return mean
 
简单测试
 
filepath = 'santander-customer-satisfaction/test.csv'
df = readcsv(filepath)
# 假设32, np.nan和111是属于不正常的值
mean = meanValue(df, 0, 3, [32, np.nan, 111])
print('去除了不正常值的均值：')
print(mean)
 
测试结果
 
 
关于众数＆最大值＆最小值＆出现频率在前几的数据
 
统计众数需要借助 scipy的stats中的mode函数即　stats.mode(list)
统计最大值＆最小值借助numpy中的max&min
统计出现频率最高的几位使用形如　df.iloc[:, :].value_counts().iloc[0:5]的函数
 
如有问题，请指教

 
 
统计的目的
 

 一切统计指标的量化，目的只有两个：
 

 1 给投资人讲好故事
 

 2 App更好的发展
 

 站在投资人的角度，比较看重的App统计指标有：
 

 1 用户规模
 

 2 用户质量
 

 3 App的发展前景
 

 4 商业变现/转化
 
上帝指标
 

 既然知道了投资人最看重的指标，老板自然会努力将每一点的故事都讲好。站在老板的角度，为了保证以上列举的每一方面都达到投资人满意的程度，老板会从更加细节的角度去审查，监督，推动App的发展。老板通过会推动产品和运营去保证这些细节指标。衡量一个产品好坏状态的指标如下：
 

 1 新增用户
 

 2 活跃用户
 

 3 留存用户
 

 4 流失用户
 

 5 转化用户
 

 6 用户传播
 
上帝指标用来发现问题
 

 上述指标是产品当前状态的一个量化的展现。只有量化的指标才能带来精确化的把控。这些数字指标中，通常被用来把握产品的状态，以及发现产品当前存在的问题，或者寻找产品可提高的关键点。
 

 指标下降，通过和该指标以往数字的环比得出
 

 指标需要提高，通过和业界平均值或者和竟品的同一个指标对比得出
 
哪些指标用来解决问题？
 

 当发现产品问题或者找到产品可优化点之后，数据统计可以帮助我们寻找原因，衡量解决策略的效果。
 

 发现问题的原因有很多方法。首先可以根据对用户的认知，猜测问题的原因。“没有对比就没有发现“。通过将用户分为不同的群体（同期群，不同时间段群体，活跃/沉默群体等），对比各个群体的行为特点或者属性特点，提取出群体特征，根据特征总结出原因。根据原因对症下药，产品和运营改变一些策略。对于新策略的效果，是必须通过事实和数据来验证的。
 

 下面是用来发现问题原因常用的一些数字指标分类，通常这些指标会进行多维度交叉，细化用户群体，来获得最终原因。
 

 1 用户属性分析
 

 2 功能分析
 

 3 渠道分析
 

 4 用户规模，质量
 

 5 参与度分析
 

 6 用户行为分析
 
策略衡量指标
 

 衡量新策略效果的指标可以使用上面所有的指标。
 
数据分析的常用策略
 

 在使用数据进行分析的过程中，有很多成熟的分析策略，可以帮助我们发现问题，这些策略有：
 

 1 用户行为统计
 

 2 漏斗分析
 

 3 留存分析
 

 4 转化分析
 

 5 流失分析
 

 6 用户洞察
 

 7 用户群细分
 
Append
 

 下面列举了一些常用的数据分析指标，见下图：
 

 
 

 
 
 
 
 
 
 
 
 作者简介：屈世超，对高并发系统设计开发感兴趣，现专注于大数据开发工作。曾任职小米科技公司服务端后台开发工程师，现担任快看漫画数据开发负责人。