1，什么是异常值？
   异常值即是样本数据中的离群点，将那些明显与其他样本不同的数据视为异常值。异常值虽然数量较少，但是对于模型（对异常值敏感的模型）的影响很大，所以必须对异常值进行处理。

2，异常值的来源
   异常值的来源主要分为人为误差和自然误差，具体来说包括以下几类：数据输入错误、测量误差、实验误差、故意异常值、数据处理错误、抽样错误、自然异常值。总而言之，在数据处理的任何环节都有可能产生异常值。

3,异常值识别
   最常用的检测异常值的方法是可视化，从可视化结果中发现离群点，从而发现异常值，具体可以使用各种可视化方法，如Box plot，Histogram，Scatter Plot。同时也还可通过统计学的方法识别异常值：
（1）简单统计分析：对属性值进行一个描述性的统计，从而查看哪些值是不合理的。比如对年龄这个属性进行规约：年龄的区间在[0:200]，如果样本中的年龄值不在该区间范围内，则表示该样本的年龄属性属于异常值。
（2）小于5%或大于95%的任何值都可以被认为是异常值，这种判定方法是比较粗糙的。
（3）3δ原则：根据正态分布的定义可知，距离平均值3δ之外的概率为 P(|x-μ|>3δ) <= 0.003 ，这属于极小概率事件，在默认情况下我们可以认定，距离超过平均值3δ的样本是不存在的。因此，当样本距离平均值大于3δ，则认定该样本为异常值。当数据不服从正态分布，可以通过远离平均距离多少倍的标准差来判定，多少倍的取值需要根据经验和实际情况来决定。
（4）箱线图分析：箱线图（Boxplot）也称箱须图（Box-whisker Plot），是利用数据中的五个统计量：最小值、第一四分位数、中位数、第三四分位数与最大值来描述数据的一种方法，它也可以粗略地看出数据是否具有有对称性，分布的分散程度等信息。箱线图识别异常点的具体方法如下：首先计算出第一四分位数（Q1）、中位数、第三四分位数（Q3）。中位数我们都知道，就是将一组数字按从小到大的顺序排序后，处于中间位置（也就是50%位置）的数字。 同理，第一四分位数、第三四分位数是按从小到大的顺序排序后，处于25%、75%的数字。令 IQR=Q3−Q1，那么 Q3+1.5(IQR) 和 Q1−1.5(IQR) 之间的值就是可接受范围内的数值，这两个值之外的数认为是异常值。在Q3＋1.5IQR（四分位距）和Q1-1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限；在Q3＋3IQR和Q1－3IQR处画两条线段，称其为外限。 处于内限以外位置的点表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值（mild outliers），在外限以外的为极端的异常值的异常值（extreme outliers）。箱型图选取异常值比较客观，在识别异常值方面有一定的优越性。

4，异常值处理
   异常值的处理方法类似于缺失值处理方法：
（1）删除：删除含有异常值的样本。
（2）视为缺失值：将异常值视为缺失值，使用缺失值处理方法来处理。
（3）单独处理：如果有大量异常值，应该在统计模型中单独对待它们。 其中一个方法是将异常数据视为单独的一组，为两组样本分别建立模型，然后组合输出。

参考：
https://blog.csdn.net/jyxmust/article/details/80659324

通过鉴别故障来检测异常对任何业务来说都很重要。本文作者总结了五种用于检测异常的方法，下面一起来看看吧。

什么是异常/离群点？

在统计学中，离群点是并不属于特定族群的数据点，是与其它值相距甚远的异常观测。离群点是一种与其它结构良好的数据不同的观测值。

例如，你可以很清楚地看到这个列表中的离群点：[20,24,22,19,29,18,4300,30,18]

当观测值是一堆数字且都是一维时，辨别离群点很容易，但如果有数以千计的观测值或数据是多维的，你可能会需要更机智的方法来检测这些离群点。

我们为什么要关注异常值？

检测离群点或异常值是数据挖掘的核心问题之一。数据的爆发和持续增长以及物联网设备的传播，使我们重新思考处理异常的方式以及通过观察这些异常来构建的应用场景。

我们现在可以通过智能手表和手环每几分钟检测一次心率。检测心率数据中的异常可以帮助预测心脏疾病。交通模式中的异常检测可以帮助预测事故。异常检测还可用于识别网络基础设施和服务器间通信的瓶颈。因此，基于异常检测构建的使用场景和解决方案是无限的。

我们需要检测异常的另一个原因是，当为机器学习模型准备数据集时，这一点很重要：检测所有的离群点并解决它们或者第一时间弄清楚为什么会存在这些离群点。

下面，作者将从最简单的方法开始，带领我们探索五种检测异常的常用方法。

方法 1—均方差

在统计学中，如果一个数据分布近似正态，那么大约 68% 的数据值会在均值的一个标准差范围内，大约 95% 会在两个标准差范围内，大约 99.7% 会在三个标准差范围内。

因此，如果你有任何数据点超过标准差的 3 倍，那么这些点很有可能是异常值或离群点。

下面看一些代码。

import numpy as np
import matplotlib.pyplot as plt
seed(1)
anomalies = []
# multiply and add by random numbers to get some real values
data = np.random.randn(50000) * 20 + 20
# Function to Detection Outlier on one-dimentional datasets.
def find_anomalies(random_data):
# Set upper and lower limit to 3 standard deviation
random_data_std = std(random_data)
random_data_mean = mean(random_data)
anomaly_cut_off = random_data_std * 3
lower_limit = random_data_mean - anomaly_cut_off
upper_limit = random_data_mean + anomaly_cut_off
print(lower_limit)
# Generate outliers
for outlier in random_data:
if outlier > upper_limit or outlier < lower_limit:
anomalies.append(outlier)
return anomalies
find_anomalies(data)

这段代码的输出是一组大于 80 或小于-40 的值。注意，输入的数据集是一维的。接下来，我们探索一些用于多维数据集的更先进方法。

方法 2—箱形图

箱形图是数字数据通过其四分位数形成的图形化描述。这是一种非常简单但有效的可视化离群点的方法。考虑把上下触须作为数据分布的边界。任何高于上触须或低于下触须的数据点都可以认为是离群点或异常值。这里是绘制箱形图的代码：

import seaborn as sns
import matplotlib.pyplot as plt
sns.boxplot(data=random_data)

上述代码绘制了下图。正如你所看到的，任何高于 75 或低于-35 的点都被认为是离群点。结果和上面方法 1 非常接近。

箱形图剖析：

四分位间距 (IQR) 的概念被用于构建箱形图。IQR 是统计学中的一个概念，通过将数据集分成四分位来衡量统计分散度和数据可变性。

简单来说，任何数据集或任意一组观测值都可以根据数据的值以及它们与整个数据集的比较情况被划分为四个确定的间隔。四分位数会将数据分为三个点和四个区间。

四分位间距对定义离群点非常重要。它是第三个四分位数和第一个四分位数的差 (IQR = Q3 -Q1)。在这种情况下，离群点被定义为低于箱形图下触须（或 Q1 − 1.5x IQR）或高于箱形图上触须（或 Q3 + 1.5x IQR）的观测值。

来源：维基百科

方法 3—DBScan 聚类

DBScan 是一种用于把数据聚成组的聚类算法。它同样也被用于单维或多维数据的基于密度的异常检测。其它聚类算法比如 k 均值和层次聚类也可用于检测离群点。在本例中，作者将展示一个使用 DBScan 的示例。在开始之前，需要先了解一些重要的概念：

核心点：为了理解核心点的概念，我们需要访问一些用于定义 DBScan 任务的超参数。第一个超参数是 min_samples。这只是形成簇所需的最小核心点数量。第二个重要的超参数是 eps。eps 可以视为同一个簇中两个样本之间的最大距离。

边界点与核心点位于同一个簇中，但前者距离簇的中心要远得多。

图源：https://stackoverflow.com/questions/34394641/dbscan-clustering-what-happens-when-border-point-of-one-cluster-is-considered

其它任何点都被称作噪声点，它们是不属于任何簇的数据点。它们可能是异常的或非异常的，需要进一步研究。

以上代码的输出为 94。这是噪声点的总数。SKLearn 标记噪声点为-1。这种方法的缺点是维度越高，精度就越低。你还需要做一些假设，例如估计 eps 的正确值，这可能是一个挑战。

from sklearn.cluster import DBSCAN
seed(1)
random_data = np.random.randn(50000,2) * 20 + 20
outlier_detection = DBSCAN(min_samples = 2, eps = 3)
clusters = outlier_detection.fit_predict(random_data)
list(clusters).count(-1)

方法 4—孤立森林

孤立森林是一种无监督学习算法，属于组合决策树家族。这种方法和以上所有方法都不同。之前的所有方法都在试图寻找数据的常规区域，然后将任何在此定义区域之外的点都视为离群点或异常值。

这种方法的工作方式不同。它明确地隔离异常值, 而不是通过给每个数据点分配一个分数来分析和构造正常的点和区域。它利用了这样一个事实：异常值只是少数，并且它们具有与正常实例非常不同的属性值。

该算法适用于高维数据集，并且被证明是一种非常有效的异常检测方法。由于本文关注的是实现，而不是理论，因此作者不打算进一步讨论算法的工作原理。但是，周志华合著的论文《Isolation Forest》涵盖了其工作方式的全部细节。

from sklearn.ensemble import IsolationForest
import numpy as np
np.random.seed(1)
random_data = np.random.randn(50000,2) * 20 + 20
clf = IsolationForest( behaviour = "new", max_samples=100, random_state = 1, contamination= "auto")
preds = clf.fit_predict(random_data)
predsfrom sklearn.ensemble import IsolationForest
import numpy as np
np.random.seed(1)
random_data = np.random.randn(50000,2) * 20 + 20
clf = IsolationForest( behaviour = "new", max_samples=100, random_state = 1, contamination= "auto")
preds = clf.fit_predict(random_data)
preds

这段代码会输出序列中每个数据点的预测结果。如果结果是-1，说明这个特定数据点是离群点。如果是 1，就说明该数据点不是离群点。

方法 5—Robust Random Cut Forest

Random Cut Forest (RCF) 算法是亚马逊用于异常检测的无监督算法。它也通过关联异常分数来工作。较低的分数值表示数据点点是正常的，较高的分数值则表示数据中存在异常。

「低」和「高」的定义取决于应用，但一般实践表明，超过平均分三个标准差的分数被认为是异常的。算法的细节可以在论文《Robust Random Cut Forest Based Anomaly Detection On Streams》里找到。

这个算法的优点在于它可以处理非常高维的数据。它还可以处理实时流数据（内置 AWS Kinesis Analytics）和离线数据。

作者在下面的视频中更详细地解释了这个概念：

https://youtu.be/yx1vf3uapX8

本文给出了与孤立森林相比的一些性能基准。本文的研究结果表明，RCF 比孤立森林更准确、更快速。

完整的代码可以在这里找到：

https://github.com/awslabs/amazon-sagemaker-examples/tree/master/introduction_to_amazon_algorithms/random_cut_forest

结论

我们生活的世界里数据每秒钟都在增长。如果使用不当，数据会随着时间而贬值。在在线数据流或离线数据集中发现异常对于识别业务中的问题，主动构建解决方案以在问题发生之前发现问题，甚至在探索性数据分析（EDA）阶段为 ML 准备数据集都至关重要。

原文链接：https://towardsdatascience.com/5-ways-to-detect-outliers-that-every-data-scientist-should-know-python-code-70a54335a623

异常值是指那些在数据集中存在的不合理的值，需要注意的是，不合理的值是偏离正常范围的值，不是错误值。比如人的身高为-1m，人的体重为1吨等，都属于异常值的范围。虽然异常值不常出现，但是又会对实际项目分析有影响，造成结果的偏差，所以在数据挖掘的过程中不能不重视。

异常值出现的原因

数据集中的异常值可能是由于传感器故障、人工录入错误或异常事件导致。如果忽视这些异常值，在某些建模场景下就会导致结论的错误（如线性回归模型、K均值聚类等），所以在数据的探索过程中，有必要识别出这些异常值并处理好它们。

异常值检测

简单统计分析

最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出合理的范围。

3σ原则

3σ原则是建立在正态分布的等精度重复测量基础上而造成奇异数据的干扰或噪声难以满足正态分布。

正态分布，又叫做高斯分布。特征为中间高两边低左右对称。

正态分布特性：

• 集中性：曲线的最高峰位于正中央，并且位置为均数所在的位置。
• 对称性：以均数所在的位置为中心呈左右对称，并且曲线两段无限趋近于横轴。
• 均匀变动性：正态分布曲线以均数所在的位置为中心均匀向左右两侧下降。

正态分布函数公式如下：

如果一组测量数据中的某个测量值的残余误差的绝对值 νi>3σ，则该测量值为坏值，应剔除。通常把等于 ±3σ的误差作为极限误差,对于正态分布的随机误差，落在 ±3σ以外的概率只有 0.27%，它在有限次测量中发生的可能性很小，故存在3σ准则。3σ准则是最常用也是最简单的粗大误差判别准则，它一般应用于测量次数充分多( n ≥30)或当 n>10做粗略判别时的情况。

σ代表标准差,μ代表均值

样本数据服从正态分布的情况下：

• 数值分布在(μ-σ,μ+σ)中的概率为0.6826
• 数值分布在(μ-2σ,μ+2σ)中的概率为0.9544
• 数值分布在(μ-3σ,μ+3σ)中的概率为0.9974
  
  可以认为，Y 的取值几乎全部集中在（μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%。

箱线图

箱线图是通过数据集的四分位数形成的图形化描述，是非常简单而且效的可视化离群点的一种方法。
上下须为数据分布的边界，只要是高于上须，或者是低于下触须的数据点都可以认为是离群点或异常值。

下四分位数：25%分位点所对应的值(Q1)

中位数：50%分位点对应的值(Q2)

上四分位数：75%分位点所对应的值(Q3)

上须：Q3+1.5(Q3-Q1)

下须：Q1-1.5(Q3-Q1)

其中Q3-Q1表示四分位差

异常值处理

删除

直接将含有异常值的记录删除，通常有两种策略：整条删除和成对删除。这种方法最简单简单易行，但缺点也不容忽视，一是在观测值很少的情况下，这种删除操作会造成样本量不足;二是，直接删除、可能会对变量的原有分布造成影响，从而导致统计模型不稳定。

视为缺失值

视为缺失值，利用处理缺失值的方法来处理。这一方法的好处是能够利用现有变量的信息，来填补异常值。需要注意的是，将该异常值作为缺失值处理，需要根据该异常值(缺失值)的特点来进行，针对该异常值(缺失值)是完全随机缺失、随机缺失还是非随机缺失的不同情况进行不同处理。

平均值修正

如果数据的样本量很小的话，也可用前后两个观测值的平均值来修正该异常值。这其实是一种比较折中的方法，大部分的参数方法是针对均值来建模的，用平均值来修正，优点是能克服了丢失样本的缺陷，缺点是丢失了样本“特色”。

盖帽法

整行替换数据框里99%以上和1%以下的点，将99%以上的点值=99%的点值；小于1%的点值=1%的点值。

分箱法

分箱法通过考察数据的“近邻”来光滑有序数据的值。有序值分布到一些桶或箱中。
分箱法包括等深分箱：每个分箱中的样本量一致；等宽分箱：每个分箱中的取值范围一致。

回归插补

发现两个相关的变量之间的变化模式，通过使数据适合一个函数来平滑数据。
若是变量之间存在依赖关系，也就是y=f(x)，那么就可以设法求出依赖关系f，再根据x来预测y，这也是回归问题的实质。实际问题中更常为见的假设是p(y)=N(f(x))，N为正态分布。假设y是观测值并且存在噪声数据，根据我们求出的x和y之间的依赖关系，再根据x来更新y的值，这样就能去除其中的随机噪声，这就是回归去噪的原理 。

多重插补

多重插补的处理有两个要点：先删除Y变量的缺失值然后插补
1)被解释变量有缺失值的观测不能填补，只能删除，不能自己乱补；
2)只对放入模型的解释变量进行插补。

不处理

根据该异常值的性质特点，使用更加稳健模型来修饰，然后直接在该数据集上进行数据挖掘。