定义：
 
异常值，即在数据集中存在不合理的值，又称离群点。比如年龄为-1，笔记本电脑重量为1吨等，都属于异常值的范围。从集合角度来看，异常值即离群点，如下图所示：
 
 
判别方法：
 
1.简单统计分析
 
对属性值进行一个描述性的统计，从而查看哪些值是不合理的。比如对年龄这个属性进行规约：年龄的区间在[0:200]，如果样本中的年龄值不再该区间范围内，则表示该样本的年龄属性属于异常值。
 
2. 3δ原则
 
当数据服从正态分布：
 
根据正态分布的定义可知，距离平均值3δ之外的概率为 P(|x-μ|>3δ) <= 0.003 ，这属于极小概率事件，在默认情况下我们可以认定，距离超过平均值3δ的样本是不存在的。 因此，当样本距离平均值大于3δ，则认定该样本为异常值。
 
 
当数据不服从正态分布：
 
当数据不服从正态分布，可以通过远离平均距离多少倍的标准差来判定，多少倍的取值需要根据经验和实际情况来决定。
 
3．箱型图分析
 
箱型图提供了一个识别异常值的标准，即大于或小于箱型图设定的上下界的数值即为异常值，箱型图如下图所示：
 
 
首先我们定义下上四分位和下四分位。
 
上四分位我们设为 U，表示的是所有样本中只有1/4的数值大于U 
 同理，下四分位我们设为 L，表示的是所有样本中只有1/4的数值小于L
 
那么，上下界又是什么呢？
 
我们设上四分位与下四分位的插值为IQR，即：IQR=U-L
 
那么，上界为 U+1.5IQR ，下界为： L - 1.5IQR
 
箱型图选取异常值比较客观，在识别异常值方面有一定的优越性。
 
常用处理方法：
 
异常值的处理方法常用有四种：
 
1.删除含有异常值的记录
 
2.将异常值视为缺失值，交给缺失值处理方法来处理
 
3.用平均值来修正
 
4.不处理
 
需要强调的是，如何判定和处理异常值，需要结合实际。
 
参考
 
 
 
《python数据分析与挖掘实战》
 

1，什么是异常值？
    异常值即是样本数据中的离群点，将那些明显与其他样本不同的数据视为异常值。异常值虽然数量较少，但是对于模型（对异常值敏感的模型）的影响很大，所以必须对异常值进行处理。
 

 
 


 
2，异常值的来源
    异常值的来源主要分为人为误差和自然误差，具体来说包括以下几类：数据输入错误、测量误差、实验误差、故意异常值、数据处理错误、抽样错误、自然异常值。总而言之，在数据处理的任何环节都有可能产生异常值。
 
3,异常值识别
    最常用的检测异常值的方法是可视化，从可视化结果中发现离群点，从而发现异常值，具体可以使用各种可视化方法，如Box plot，Histogram，Scatter Plot。同时也还可通过统计学的方法识别异常值：
 （1）简单统计分析：对属性值进行一个描述性的统计，从而查看哪些值是不合理的。比如对年龄这个属性进行规约：年龄的区间在[0:200]，如果样本中的年龄值不在该区间范围内，则表示该样本的年龄属性属于异常值。
 （2）小于5%或大于95%的任何值都可以被认为是异常值，这种判定方法是比较粗糙的。
 （3）3δ原则：根据正态分布的定义可知，距离平均值3δ之外的概率为 P(|x-μ|>3δ) <= 0.003 ，这属于极小概率事件，在默认情况下我们可以认定，距离超过平均值3δ的样本是不存在的。因此，当样本距离平均值大于3δ，则认定该样本为异常值。当数据不服从正态分布，可以通过远离平均距离多少倍的标准差来判定，多少倍的取值需要根据经验和实际情况来决定。
 （4）箱线图分析：箱线图（Boxplot）也称箱须图（Box-whisker Plot），是利用数据中的五个统计量：最小值、第一四分位数、中位数、第三四分位数与最大值来描述数据的一种方法，它也可以粗略地看出数据是否具有有对称性，分布的分散程度等信息。箱线图识别异常点的具体方法如下：首先计算出第一四分位数（Q1）、中位数、第三四分位数（Q3）。中位数我们都知道，就是将一组数字按从小到大的顺序排序后，处于中间位置（也就是50%位置）的数字。 同理，第一四分位数、第三四分位数是按从小到大的顺序排序后，处于25%、75%的数字。令 IQR=Q3−Q1，那么 Q3+1.5(IQR) 和 Q1−1.5(IQR) 之间的值就是可接受范围内的数值，这两个值之外的数认为是异常值。在Q3＋1.5IQR（四分位距）和Q1-1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限；在Q3＋3IQR和Q1－3IQR处画两条线段，称其为外限。 处于内限以外位置的点表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值（mild outliers），在外限以外的为极端的异常值的异常值（extreme outliers）。箱型图选取异常值比较客观，在识别异常值方面有一定的优越性。

 

 
 

4，异常值处理
    异常值的处理方法类似于缺失值处理方法：
 （1）删除：删除含有异常值的样本。
 （2）视为缺失值：将异常值视为缺失值，使用缺失值处理方法来处理。
 （3）单独处理：如果有大量异常值，应该在统计模型中单独对待它们。 其中一个方法是将异常数据视为单独的一组，为两组样本分别建立模型，然后组合输出。
 
参考：
 https://blog.csdn.net/jyxmust/article/details/80659324

异常值是指那些在数据集中存在的不合理的值，需要注意的是，不合理的值是偏离正常范围的值，不是错误值。比如人的身高为-1m，人的体重为1吨等，都属于异常值的范围。虽然异常值不常出现，但是又会对实际项目分析有影响，造成结果的偏差，所以在数据挖掘的过程中不能不重视。
 
异常值出现的原因
 
数据集中的异常值可能是由于传感器故障、人工录入错误或异常事件导致。如果忽视这些异常值，在某些建模场景下就会导致结论的错误（如线性回归模型、K均值聚类等），所以在数据的探索过程中，有必要识别出这些异常值并处理好它们。
 
异常值检测
 
简单统计分析
 
最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出合理的范围。
 
3σ原则
 
3σ原则是建立在正态分布的等精度重复测量基础上而造成奇异数据的干扰或噪声难以满足正态分布。
 
 正态分布，又叫做高斯分布。特征为中间高两边低左右对称。
 
正态分布特性：
 
集中性：曲线的最高峰位于正中央，并且位置为均数所在的位置。
对称性：以均数所在的位置为中心呈左右对称，并且曲线两段无限趋近于横轴。
均匀变动性：正态分布曲线以均数所在的位置为中心均匀向左右两侧下降。
 
正态分布函数公式如下：
 
 如果一组测量数据中的某个测量值的残余误差的绝对值 νi>3σ，则该测量值为坏值，应剔除。通常把等于 ±3σ的误差作为极限误差,对于正态分布的随机误差，落在 ±3σ以外的概率只有 0.27%，它在有限次测量中发生的可能性很小，故存在3σ准则。3σ准则是最常用也是最简单的粗大误差判别准则，它一般应用于测量次数充分多( n ≥30)或当 n>10做粗略判别时的情况。
 
σ代表标准差,μ代表均值
 
样本数据服从正态分布的情况下：
 
数值分布在(μ-σ,μ+σ)中的概率为0.6826
数值分布在(μ-2σ,μ+2σ)中的概率为0.9544
数值分布在(μ-3σ,μ+3σ)中的概率为0.9974
 
 可以认为，Y 的取值几乎全部集中在（μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%。
 
箱线图
 
箱线图是通过数据集的四分位数形成的图形化描述，是非常简单而且效的可视化离群点的一种方法。
 上下须为数据分布的边界，只要是高于上须，或者是低于下触须的数据点都可以认为是离群点或异常值。
 
 下四分位数：25%分位点所对应的值(Q1)
 
中位数：50%分位点对应的值(Q2)
 
上四分位数：75%分位点所对应的值(Q3)
 
上须：Q3+1.5(Q3-Q1)
 
下须：Q1-1.5(Q3-Q1)
 
其中Q3-Q1表示四分位差
 
异常值处理
 
删除
 
直接将含有异常值的记录删除，通常有两种策略：整条删除和成对删除。这种方法最简单简单易行，但缺点也不容忽视，一是在观测值很少的情况下，这种删除操作会造成样本量不足;二是，直接删除、可能会对变量的原有分布造成影响，从而导致统计模型不稳定。
 
视为缺失值
 
视为缺失值，利用处理缺失值的方法来处理。这一方法的好处是能够利用现有变量的信息，来填补异常值。需要注意的是，将该异常值作为缺失值处理，需要根据该异常值(缺失值)的特点来进行，针对该异常值(缺失值)是完全随机缺失、随机缺失还是非随机缺失的不同情况进行不同处理。
 
平均值修正
 
如果数据的样本量很小的话，也可用前后两个观测值的平均值来修正该异常值。这其实是一种比较折中的方法，大部分的参数方法是针对均值来建模的，用平均值来修正，优点是能克服了丢失样本的缺陷，缺点是丢失了样本“特色”。
 
盖帽法
 
整行替换数据框里99%以上和1%以下的点，将99%以上的点值=99%的点值；小于1%的点值=1%的点值。
 
 
分箱法
 
分箱法通过考察数据的“近邻”来光滑有序数据的值。有序值分布到一些桶或箱中。
 分箱法包括等深分箱：每个分箱中的样本量一致；等宽分箱：每个分箱中的取值范围一致。
 
回归插补
 
发现两个相关的变量之间的变化模式，通过使数据适合一个函数来平滑数据。
 若是变量之间存在依赖关系，也就是y=f(x)，那么就可以设法求出依赖关系f，再根据x来预测y，这也是回归问题的实质。实际问题中更常为见的假设是p(y)=N(f(x))，N为正态分布。假设y是观测值并且存在噪声数据，根据我们求出的x和y之间的依赖关系，再根据x来更新y的值，这样就能去除其中的随机噪声，这就是回归去噪的原理 。
 
多重插补
 
多重插补的处理有两个要点：先删除Y变量的缺失值然后插补
 1)被解释变量有缺失值的观测不能填补，只能删除，不能自己乱补；
 2)只对放入模型的解释变量进行插补。
 
不处理
 
根据该异常值的性质特点，使用更加稳健模型来修饰，然后直接在该数据集上进行数据挖掘。

异常值分析是检验数据是否有录入错误数据和不合常理的数据。不加剔除的把异常值代入数据分析过程中，会对结果产生不良影响，而对异常值的分析其原因，常常成为为发现问题的而改进决策的契机。
 
异常值是指样本中的个别值，其数值明显偏离其余的数据。异常值通常也称为离群点，所以异常值分析也叫做离群点分析。
 
异常值分析通常有以下几种：
 
（1）简单统计量分析
 
最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。
 
（2）3σ原则
 
如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为，属于极个别的小概率事件
 
（3）箱型图分析
 
箱型图提供了识别异常值的一个标准：异常值通常被定义为小于或大于的值。Q1 -1.5IQR称为下四分位数，表示全部观察值中有四分之一的数据取值比它下；Q2 -1.5IQR称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数和下四分位数之差，期间包含了全部观察值的一般。
 
如果数据记录和属性比较多，使用人工分辨的方法就不切实际，所以这里需要编写程序来检测出含有缺失值的记录和属性以及缺失率个数和缺失率等
 
以下就是箱型图利用 python进行生成分析一下：
 
#-- coding: utf-8 --
 
import pandas as pd
 
catering_sale = ‘path’ #餐饮数据
 
data = pd.read_excel(catering_sale, index_col = u’日期’) #读取数据，指定“日期”列为索引列
 
import matplotlib.pyplot as plt #导入图像库
 
plt.rcParams[‘font.sans-serif’] = [‘SimHei’] #用来正常显示中文标签
 
plt.rcParams[‘axes.unicode_minus’] = False #用来正常显示负号
 
plt.figure() #建立图像
 
p = data.boxplot(return_type=‘dict’) #画箱线图，直接使用DataFrame的方法
 
x = p[‘fliers’][0].get_xdata() # 'flies’即为异常值的标签
 
y = p[‘fliers’][0].get_ydata()
 
y.sort() #从小到大排序，该方法直接改变原对象
 
#用annotate添加注释
 
#其中有些相近的点，注解会出现重叠，难以看清，需要一些技巧来控制。
 
#以下参数都是经过调试的，需要具体问题具体调试。
 
for i in range(len(x)):
 
if i>0:
 
plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
 
else:
 
plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))
 
plt.show() #展示箱线图
 
数据处理-利用 python进行异常值分析
 另外提供的参数还有平均值、标准差、最小值、最大值等。