1，什么是异常值？

   异常值即是样本数据中的离群点，将那些明显与其他样本不同的数据视为异常值。异常值虽然数量较少，但是对于模型（对异常值敏感的模型）的影响很大，所以必须对异常值进行处理。


2，异常值的来源

   异常值的来源主要分为人为误差和自然误差，具体来说包括以下几类：数据输入错误、测量误差、实验误差、故意异常值、数据处理错误、抽样错误、自然异常值。总而言之，在数据处理的任何环节都有可能产生异常值。
3,异常值识别

   最常用的检测异常值的方法是可视化，从可视化结果中发现离群点，从而发现异常值，具体可以使用各种可视化方法，如Box plot，Histogram，Scatter Plot。同时也还可通过统计学的方法识别异常值：

（1）简单统计分析：对属性值进行一个描述性的统计，从而查看哪些值是不合理的。比如对年龄这个属性进行规约：年龄的区间在[0:200]，如果样本中的年龄值不在该区间范围内，则表示该样本的年龄属性属于异常值。

（2）小于5%或大于95%的任何值都可以被认为是异常值，这种判定方法是比较粗糙的。

（3）3δ原则：根据正态分布的定义可知，距离平均值3δ之外的概率为 P(|x-μ|>3δ) <= 0.003 ，这属于极小概率事件，在默认情况下我们可以认定，距离超过平均值3δ的样本是不存在的。因此，当样本距离平均值大于3δ，则认定该样本为异常值。当数据不服从正态分布，可以通过远离平均距离多少倍的标准差来判定，多少倍的取值需要根据经验和实际情况来决定。

（4）箱线图分析：箱线图（Boxplot）也称箱须图（Box-whisker Plot），是利用数据中的五个统计量：最小值、第一四分位数、中位数、第三四分位数与最大值来描述数据的一种方法，它也可以粗略地看出数据是否具有有对称性，分布的分散程度等信息。箱线图识别异常点的具体方法如下：首先计算出第一四分位数（Q1）、中位数、第三四分位数（Q3）。中位数我们都知道，就是将一组数字按从小到大的顺序排序后，处于中间位置（也就是50%位置）的数字。 同理，第一四分位数、第三四分位数是按从小到大的顺序排序后，处于25%、75%的数字。令 IQR=Q3−Q1，那么 Q3+1.5(IQR) 和 Q1−1.5(IQR) 之间的值就是可接受范围内的数值，这两个值之外的数认为是异常值。在Q3＋1.5IQR（四分位距）和Q1-1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限；在Q3＋3IQR和Q1－3IQR处画两条线段，称其为外限。 处于内限以外位置的点表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值（mild outliers），在外限以外的为极端的异常值的异常值（extreme outliers）。箱型图选取异常值比较客观，在识别异常值方面有一定的优越性。


4，异常值处理

   异常值的处理方法类似于缺失值处理方法：

（1）删除：删除含有异常值的样本。

（2）视为缺失值：将异常值视为缺失值，使用缺失值处理方法来处理。

（3）单独处理：如果有大量异常值，应该在统计模型中单独对待它们。 其中一个方法是将异常数据视为单独的一组，为两组样本分别建立模型，然后组合输出。
参考：

https://blog.csdn.net/jyxmust/article/details/80659324

数据挖掘中异常值分析是保证数据质量的前提，它在数据处理的阶段是数据探索阶段，总之，找出数据的异常值，有利于我们最终得出的模型的稳定性。
异常值分析主要有三种方法：
1.简单的统计量分析：
   我们可以先对采集到的数据做一个描述性的估计，最常用的方法就是最大值与最小值.用来判断这个变量是否超出常规的人们的理解等，你比如说，我们可以对一个人的年龄的属性列进行统计，假设得到的年龄最小值为-1，最大值为130.这显然是不符合常规的，在我们数据的异常值分析阶段是要pass掉的/
2.箱型图分析
  箱型图是判断是判断数据的异常值的最为直观的一个方法，他的异常值被定义为可能出现在上四分位数以上的部分与下四分位数以下的部分.当然，并不是说在这样的范围内的数都是异常值，但是可以肯定的是，异常值是一定在这里产生的。
  为了首先感知我们数据的基本情况，在Python的Pandas库中，只需要读入要处理的数据，然后使用describe()函数，就可以查看数据的基本情况.这里面涉及到数据的很多属性，比如说可以查看缺失值，最小值，最大值等.
为了更加直观我们的异常值分析，我们可以通过画箱型图的方式对其进行实现.
  
# -*- coding: utf-8 -*-
"""
Created on Tue Apr 10 20:58:14 2018

@author: Administrator
"""
import pandas as pd
catering_sale='E:/catering_sale.xls'
data=pd.read_excel(catering_sale,index_col=u'日期') #读取数据，指定"日期"列为索引
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
#建立图像
plt.figure()
#画箱线图
p=data.boxplot(return_type='dict')
x=p['fliers'][0].get_xdata()
y=p['fliers'][0].get_ydata()
y.sort()
for i in range(len(x)):
    if i>0:
        plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.05-0.8/(y[i]-y[i-1]),y[i]))
    else:
        plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.08,y[i]))
plt.show()
 上面就是画箱型图的代码，得到的结果为：

上面的箱型图可以这样理解：
处于下界与上界之间的数据，我们认为是正常值，这里在箱型图上对应的就是两个横线之间的部分，而在这两个横线之外的两个部分就认为是异常值的产生区域，这里的数据已经在箱型图上显示出来了，一共有八个数据,这时我们可以猜想，靠近上下界的数据，如4065.2与4060.3，这两个数据与上界相差不大，也可以认为是正常的数据，而距离上下界的较大的数据，如22.0等，就可以认为是异常数.
这就带来的问题就是，我们要确定一个异常值的标准，确定到底在哪个区间的数据是正常的数据,比如在400-5000这个区间的数据我们认为是正常的，那么其余的数据都可以认为是异常的数据。
 分析出异常数据，接下来就可以进行剔除了。

爱数据点评：

  在数据挖掘中，数据预处理占据了数据挖掘大数据的时间。同时数据预处理过程的好坏，也直接决定了后续数据挖掘模型的预测效果和实用性。这其中很重要一个方面是对于异常数据的识别，因为异常数据的处理直接会造成模型性能。


异常检测方法
异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。
常见的异常成因：数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类）的思想），自然变异，以及数据测量或收集误差。
异常检测的方法：

（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。

（2）基于邻近度的技术：通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象。

（3）基于密度的技术：仅当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。

 
统计方法


统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。大部分用于离群点检测的统计学方法都是构建一个概率分布模型，并考虑对象有多大可能符合该模型。离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。异常检测的混合模型方法：对于异常检测，数据用两个分布的混合模型建模，一个分布为普通数据，而另一个为离群点。
       聚类和异常检测目标都是估计分布的参数，以最大化数据的总似然（概率）。聚类时，使用EM算法估计每个概率分布的参数。然而，这里提供的异常检测技术使用一种更简单的方法。初始时将所有对象放入普通对象集，而异常对象集为空。然后，用一个迭代过程将对象从普通集转移到异常集，只要该转移能提高数据的总似然（其实等价于把在正常对象的分布下具有低概率的对象分类为离群点）。（假设异常对象属于均匀分布）。异常对象由这样一些对象组成，这些对象在均匀分布下比在正常分布下具有显著较高的概率。
       优缺点：

（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；

（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。

 
基于邻近度的离群点检测


一个对象是异常的，如果它远离大部分点。这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。一个对象的离群点得分由到它的k-最近邻的距离给定。离群点得分对k的取值高度敏感。如果k太小（例如1），则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。
优缺点：

（1）简单；

（2）缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；

（3）该方法对参数的选择也是敏感的；

（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。

 
基于密度的离群点检测


从基于密度的观点来说，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。需要小心的选择d，如果d太小，则许多正常点可能具有低密度，从而具有高离群点得分。如果d太大，则许多离群点可能具有与正常点类似的密度（和离群点得分）。使用任何密度定义检测离群点具有与基于邻近度的离群点方案类似的特点和局限性。特殊地，当数据包含不同密度的区域时，它们不能正确的识别离群点。为了正确的识别这种数据集中的离群点，我们需要与对象邻域相关的密度概念，也就是定义相对密度。常见的有两种方法：

（1）使用基于SNN密度的聚类算法使用的方法；

（2）用点x的密度与它的最近邻y的平均密度之比作为相对密度。使用相对密度的离群点检测（局部离群点要素LOF技术）：首先，对于指定的近邻个数（k），基于对象的最近邻计算对象的密度density(x,k)，由此计算每个对象的离群点得分；然后，计算点的邻近平均密度，并使用它们计算点的平均相对密度。这个量指示x是否在比它的近邻更稠密或更稀疏的邻域内，并取作x的离群点得分（这个是建立在上面的离群点得分基础上的）。
优缺点：

（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；

（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；

（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。

基于聚类的技术

一种利用聚类检测离群点的方法是丢弃远离其他簇的小簇。这个方法可以和其他任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值。这种方案对簇个数的选择高度敏感。使用这个方案很难将离群点得分附加到对象上。一种更系统的方法，首先聚类所有对象，然后评估对象属于簇的程度（离群点得分）（基于原型的聚类可用离中心点的距离来评估，对具有目标函数的聚类技术该得分反映删除对象后目标函数的改进（这个可能是计算密集的））。基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇。离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。还有一种更复杂的方法：取一组不能很好的拟合任何簇的特殊对象，这组对象代表潜在的离群点。随着聚类过程的进展，簇在变化。不再强属于任何簇的对象被添加到潜在的离群点集合；而当前在该集合中的对象被测试，如果它现在强属于一个簇，就可以将它从潜在的离群点集合中移除。聚类过程结束时还留在该集合中的点被分类为离群点（这种方法也不能保证产生最优解，甚至不比前面的简单算法好，在使用相对距离计算离群点得分时，这个问题特别严重）。
   对象是否被认为是离群点可能依赖于簇的个数（如k很大时的噪声簇）。该问题也没有简单的答案。一种策略是对于不同的簇个数重复该分析。另一种方法是找出大量小簇，其想法是（1）较小的簇倾向于更加凝聚，（2）如果存在大量小簇时一个对象是离群点，则它多半是一个真正的离群点。不利的一面是一组离群点可能形成小簇而逃避检测。
       优缺点：

（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；

（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；

（3）产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；

（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

浅谈数据挖掘中的数据处理（缺失值处理以及异常值检测）
参考文章：
 
（1）浅谈数据挖掘中的数据处理（缺失值处理以及异常值检测）
 
（2）https://www.cnblogs.com/xiaohuahua108/p/6237906.html
 
备忘一下。