本文同步更新在我的微信公众号里面，公众号文章地址：

https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247484313&idx=1&sn=568015a62bf99ca5b6bd282b465244be&chksm=ec65321cdb12bb0a772814204ac5f48136c99f44a39ff34f5bde115ab5630948a40f747a39f0#rd

本文同步更新在我的知乎专栏中：

分类中解决类别不平衡问题 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/36381828

1.什么是类别不平衡问题

如果不同类别的训练样例数目稍有差别，通常影响不大，但若差别很大，则会对学习过程造成困扰。例如有998个反例，但是正例只有2个，那么学习方法只需要返回一个永远将新样本预测为反例的学习器，就能达到99.8%的精度；然而这样的学习器往往没有价值，因为它不能预测出任何正例。

类别不平衡（class-imbalance）就是指分类任务中不同类别的训练样例数目差别很大的情况。在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当，在使用OvR（一对其余，One vs. Rest，简称OvR）、MvM（多对多，Many vs. Many，简称MvM）策略后产生的二分类任务扔可能出现类别不平衡现象，因此有必要了解类别不平衡性处理的基本方法。

2.解决类别不平衡问题

2.1欠采样方法

(1)什么是欠采样方法

直接对训练集中多数类样本进行“欠采样”（undersampling），即去除一些多数类中的样本使得正例、反例数目接近，然后再进行学习。

(2)随机欠采样方法

随机欠采样顾名思义即从多数类中随机选择一些样样本组成样本集 。然后将样本集 从 中移除。新的数据集 。

缺点：

随机欠采样方法通过改变多数类样本比例以达到修改样本分布的目的，从而使样本分布较为均衡，但是这也存在一些问题。对于随机欠采样，由于采样的样本集合要少于原来的样本集合，因此会造成一些信息缺失，即将多数类样本删除有可能会导致分类器丢失有关多数类的重要信息。

为了克服随机欠采样方法导致的信息缺失问题，又要保证算法表现出较好的不均衡数据分类性能，出现了欠采样法代表性的算法EasyEnsemble和BalanceCascade算法。

(3)欠采样代表性算法-EasyEnsemble

算法步骤：

1)从多数类中有放回的随机采样n次，每次选取与少数类数目相近的样本个数，那么可以得到n个样本集合记作。

2)然后，将每一个多数类样本的子集与少数类样本合并并训练出一个模型，可以得到n个模型。

3)最终将这些模型组合形成一个集成学习系统，最终的模型结果是这n个模型的平均值。

(4)欠采样代表性算法-BalanceCascade

BalanceCascade算法基于Adaboost，将Adaboost作为基分类器，其核心思路是：

1)在每一轮训练时都使用多数类与少数类数量相等的训练集，训练出一个Adaboost基分类器。

2)然后使用该分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率（False Positive Rate）,将所有判断正确的类删除。

3)最后，进入下一轮迭代中，继续降低多数类数量。

扩展阅读：

Liu X Y, Wu J, Zhou Z H. Exploratory undersampling for class-imbalance learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009, 39(2): 539-550.

这篇论文提出了两种欠采样的方法：EasyEnsemble和BalanceCascade。

2.2过采样方法

(1)什么是过采样方法

对训练集里的少数类进行“过采样”（oversampling），即增加一些少数类样本使得正、反例数目接近，然后再进行学习。

(2)随机过采样方法

随机过采样是在少数类中随机选择一些样本，然后通过复制所选择的样本生成样本集，将它们添加到中来扩大原始数据集从而得到新的少数类集合。新的数据集。

缺点：

对于随机过采样，由于需要对少数类样本进行复制来扩大数据集，造成模型训练复杂度加大。另一方面也容易造成模型的过拟合问题，因为随机过采样是简单的对初始样本进行复制采样，这就使得学习器学得的规则过于具体化，不利于学习器的泛化性能，造成过拟合问题。

为了解决随机过采样中造成模型过拟合问题，又能保证实现数据集均衡的目的，出现了过采样法代表性的算法SMOTE和Borderline-SMOTE算法。

(3)过采样代表性算法-SMOTE

SMOTE全称是Synthetic Minority Oversampling即合成少数类过采样技术。SMOTE算法是对随机过采样方法的一个改进算法，由于随机过采样方法是直接对少数类进行重采用，会使训练集中有很多重复的样本，容易造成产生的模型过拟合问题。而SOMT算法的基本思想是对每个少数类样本，从它的最近邻中随机选择一个样本 （ 是少数类中的一个样本），然后在 和 之间的连线上随机选择一点作为新合成的少数类样本。

SMOTE算法合成新少数类样本的算法描述如下：

1).对于少数类中的每一个样本，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。

2).根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本，从其k近邻中随机选择若干个样本，假设选择的是 。

3).对于每一个随机选出来的近邻，分别与按照如下公式构建新的样本。

我们用图文表达的方式，再来描述一下SMOTE算法。

1).先随机选定一个少数类样本 。

2).找出这个少数类样本 的K个近邻（假设K=5），5个近邻已经被圈出。

3).随机从这K个近邻中选出一个样本 （用绿色圈出来了）。

4).在少数类样本 和被选中的这个近邻样本 之间的连线上，随机找一点。这个点就是人工合成的新的样本点（绿色正号标出）。

SMOTE算法摒弃了随机过采样复制样本的做法，可以防止随机过采样中容易过拟合的问题，实践证明此方法可以提高分类器的性能。但是SMOTE算法也存以下两个缺点：

1)由于对每个少数类样本都生成新样本，因此容易发生生成样本重叠的问题。

2)在SMOTE算法中，出现了过度泛化的问题，主要归结于产生合成样本的方法。特别是，SMOTE算法对于每个原少数类样本产生相同数量的合成数据样本，而没有考虑其邻近样本的分布特点，这就使得类间发生重复的可能性增大。

解释缺点2)的原因：结合前面所述的SMOTE算法的原理，SMOTE算法产生新的人工少数类样本过程中，只是简单的在同类近邻之间插值，并没有考虑少数类样本周围多数类样本的分布情况。如3图所示，绿色正号1、2分布在多数类样本周围，它们离多数类样本最近，这就导致它们有可能被划分成多数类样本。因此从3图中可以看出，SMOTE算法的样本生成机制存在一定的盲目性。

为了克服以上两点的限制，多种不同的自适应抽样方法相继被提出，其中具有代表性的算法包括Borderline-SMOTE算法。

扩展阅读：

Chawla N V, Bowyer K W, Hall L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16: 321-357.

这篇论文提出了SMOTE算法。

(4)Borderline-SMOTE算法介绍

对于Borderline-SMOTE算法最感兴趣的就是用于识别少数类种子样本的方法。在Borderline-SMOTE算法中，识别少数类种子样本的过程如下：

1)首先，对于每个 ,确定一系列最近邻样本集，成该数据集为，且。

2)然后，对每个样本，判断出最近邻样本集中属于多数类样本的个数，即： 。

3)最后，选择满足下面不等式的 。

上面式子表明，只有最近邻样本集中多数类多于少数类的那些 才会被选中形成“危险集”(DANGER)。因此，DANGER集中的样本代表少数类样本的边界（最容易被错分的样本）。然后对DANGER集中使用SMOTE算法在边界附近产生人工合成少数类样本。

我们可以看出，如果。 即： 的所有k个最近邻样本都属于多类。如4图所示的样本点C，我们就认为样本点C是噪声且它不能生成合成样本。

通过上面的介绍，我们对Borderline-SMOTE算法有了一定的了解。为了让大家理解的更透彻这个算法，我再给大家画一个流程图，详细介绍一下。

流程图5中，训练样本集为F，少数类样本 。

1)步骤一：

(i)计算少数类样本集中每一个样本在训练集F中的k个最近邻。

(ii)然后，根据这k个最近邻对 中的样本进行归类：

• 假设这k个最近邻都是多数类样本，则我们将该样本定义为噪声样本，将它放在集合中。
• 反正k个最近邻都是少数类样本则该样本是远离分类边界的，将其放入S集合中。
• 最后，K个最近邻即有多数类样本又有少数类样本，则认为是边界样本，放入B集合中。

2)步骤二：

(i)设边界样本集，计算B集合中的每一个样本，在少数类样本集中的K个最近邻，组成集合 。

(ii)随机选出s(1<s<n)个最近邻。

(iii)计算出它们各自与该样本之间的全部属性的差值 。。

(iv)然后乘以一个随机数 。如果 是集合或S集合中的样本，则 。

(v)最后生成的人工少数类样本为： 。

3)步骤三:

重复步骤2的过程，直到生成人工少数类样本的数目满足要求，达到均衡样本集的目的后结束算法。

扩展阅读：

Han H, Wang W Y, Mao B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//International Conference on Intelligent Computing. Springer, Berlin, Heidelberg, 2005: 878-887.

这篇文章提出了Borderline-SMOTE算法。

2.3代价敏感学习(cost-sensitive learning)

(1)代价矩阵

采样算法从数据层面解决不平衡数据的学习问题；在算法层面上解决不平衡数据学习的方法主要是基于代价敏感学习算法（Cost-Sensitive Learning）。

在现实任务中常会遇到这样的情况：不同类型的错误所造成的后果不同。例如在医疗诊断中，错误地把患者诊断为健康人与错误地把健康人诊断为患者，看起来都是犯了“一次错误”，但是后者的影响是增加了进一步检查的麻烦，前者的后果却可能是丧失了拯救生命的最佳时机；再如，门禁系统错误地把可通行人员拦在门外，将使得用户体验不佳，但错误地把陌生人放进门内，则会造成严重的安全事故；在信用卡盗用检查中，将正常使用误认为是盗用，可能会使用户体验不佳，但是将盗用误认为是正常使用，会使用户承受巨大的损失。为了权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”（unequal cost）。

代价敏感学习方法的核心要素是代价矩阵，如表1所示。其中 表示将第类样本预测为第类样本的代价。一般来说， ;若将第0类判别为第1类所造成的损失更大，则 ;损失程度相差越大， 的值差别越大。当 相等时为代价不敏感的学习问题。

表1：代价矩阵

(2)代价敏感学习方法

基于以上代价敏感矩阵的分析，代价敏感学习方法主要有以下三种实现方式，分别是：

1).从学习模型出发，对某一具体学习方法的改造，使之能适应不平衡数据下的学习，研究者们针对不同的学习模型如感知机、支持向量机、决策树、神经网络等分别提出了其代价敏感的版本。以代价敏感的决策树为例，可以从三个方面对其进行改造以适应不平衡数据的学习，这三个方面分别是决策阈值的选择方面、分裂标准的选择方面、剪枝方面，这三个方面都可以将代价矩阵引入。

2).从贝叶斯风险理论出发，把代价敏感学习看成是分类结果的一种后处理，按照传统方法学习到一个模型，以实现损失最小为目标对结果进行调整，优化公式如下所示。此方法的优点在于它可以不依赖所用的具体分类器，但是缺点也很明显，它要求分类器输出值为概率。

3).从预处理的角度出发，将代价用于权重调整，使得分类器满足代价敏感的特性，下面讲解一种基于Adaboost的权重更新策略AdaCost算法。

(3)AdaCost算法

要想了解AdaCost算法，我们得先知道Adaboost算法，如图6所示。Adaboost算法通过反复迭代，每一轮迭代学习到一个分类器，并根据当前分类器的表现更新样本的权重，如图中红框所示，其更新策略为正确分类样本权重降低，错误分类样本权重增大，最终的模型是多次迭代模型的一个加权线性组合。分类越准确的分类器将会获得越大的权重。

AdaCost算法修改了Adaboost算法的权重更新策略，其基本思想是对代价高的误分类样本大大地提高其权重，而对于代价高的正确分类样本适当地降低其权重，使其权重降低相对较小。总体思想是代价高样本权重增加得大降低的慢。其样本权重按照如下公式进行更新。其中 分别表示样本被正确和错误分类情况下的 的取值。

2.4不平衡学习的评价方法

(1)F1度量

这一部分涉及到模型的评价方法，如果你还没有学习过，可以看我的公众号之前发的关于这部分文章。同时，我也把链接地址贴出来，供大家快速学习。

【错误率、精度、查准率、查全率和F1度量】详细介绍

ROC曲线和AUC面积理解

例如在癌症预测的场景中，假设没有患癌症的样本为正例，患癌症的样本为反例，反例占的比例很少（大概0.1%），如果直接把分类器设置为预测都是正例，那么精度和查准率的值都是99.9%。可见精度、错误率和查准率都不能表示不平衡数据下的模型表现。而F1值则同时考虑了少数类的查准率和召回率，因此能衡量不平衡数据下模型的表现。

(2)G-Mean

G-Mean是另外一个指标，也能评价不平衡数据的模型表现，其计算公式如下。

(3)ROC曲线和AUC面积

我的这篇文章把ROC曲线和AUC面积分析的全面。ROC曲线和AUC面积可以很好的评价不平衡数据的模型表现。

ROC曲线和AUC面积理解

3.如何选择

(1)在正负样本都非常少的情况下，应该采用数据合成的方式，例如：SMOTE算法和Borderline-SMOTE算法。

(2)在正负样本都足够多且比例不是特别悬殊的情况下，应该考虑采样的方法或者是加权的方法。

总结：

本文主要介绍了分类中类别不均衡时学习中常用的算法及评价指标，算法主要从数据和模型两个层面介绍，数据层面的算法主要关于过采样和欠采样以及改进的算法，模型方面主要讲解了基于代价的敏感学习。评价指标主要讲解了F1度量、G-Mean和ROC曲线AUC面积。

Reference:

（1）Liu X Y, Wu J, Zhou Z H. Exploratory undersampling for class-imbalance learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009, 39(2): 539-550.

（2）Chawla N V, Bowyer K W, Hall L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16: 321-357.

（3）Han H, Wang W Y, Mao B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//International Conference on Intelligent Computing. Springer, Berlin, Heidelberg, 2005: 878-887.

（4）EasyEnsemble和BalanceCascade论文下载地址：https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/tsmcb09.pdf

（5）SMOTE算法期刊页面：https://www.jair.org/index.php/jair/article/view/10302

（6）SMOTE算法论文下载地址：https://www.jair.org/index.php/jair/article/view/10302/24590

（7）Borderline-SMOTE算法论文下载地址：http://sci2s.ugr.es/keel/keel-dataset/pdfs/2005-Han-LNCS.pdfhttp://

（8）不均衡学习的抽样方法 - CSDN博客https://blog.csdn.net/u011414200/article/details/50664266

（9）不平衡数据下的机器学习方法简介https://www.jianshu.com/p/3e8b9f2764c8

（10）非平衡分类问题 | BalanceCascade方法及其Python实现https://zhuanlan.zhihu.com/p/36093594

数据类别不平衡问题处理

转载地址

1.什么是类别不平衡问题

如果不同类别的训练样例数目稍有差别，通常影响不大，但若差别很大，则会对学习过程造成困扰。例如有998个反例，但是正例只有2个，那么学习方法只需要返回一个永远将新样本预测为反例的学习器，就能达到99.8%的精度；然而这样的学习器往往没有价值，因为它不能预测出任何正例。

类别不平衡（class-imbalance）就是指分类任务中不同类别的训练样例数目差别很大的情况。在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当，在使用OvR（一对其余，One vs. Rest，简称OvR）、MvM（多对多，Many vs. Many，简称MvM）策略后产生的二分类任务扔可能出现类别不平衡现象，因此有必要了解类别不平衡性处理的基本方法。

2.解决类别不平衡问题

2.1欠采样方法

(1)什么是欠采样方法

直接对训练集中多数类样本进行“欠采样”（undersampling），即去除一些多数类中的样本使得正例、反例数目接近，然后再进行学习。

(2)随机欠采样方法

随机欠采样顾名思义即从多数类中随机选择一些样样本组成样本集 。然后将样本集 从 中移除。新的数据集 。

缺点：

随机欠采样方法通过改变多数类样本比例以达到修改样本分布的目的，从而使样本分布较为均衡，但是这也存在一些问题。对于随机欠采样，由于采样的样本集合要少于原来的样本集合，因此会造成一些信息缺失，即将多数类样本删除有可能会导致分类器丢失有关多数类的重要信息。

为了克服随机欠采样方法导致的信息缺失问题，又要保证算法表现出较好的不均衡数据分类性能，出现了欠采样法代表性的算法EasyEnsemble和BalanceCascade算法。

(3)欠采样代表性算法-EasyEnsemble

算法步骤：

1)从多数类中有放回的随机采样n次，每次选取与少数类数目相近的样本个数，那么可以得到n个样本集合记作。

2)然后，将每一个多数类样本的子集与少数类样本合并并训练出一个模型，可以得到n个模型。

3)最终将这些模型组合形成一个集成学习系统，最终的模型结果是这n个模型的平均值。

图1：EasyEnsemble算法

(4)欠采样代表性算法-BalanceCascade

BalanceCascade算法基于Adaboost，将Adaboost作为基分类器，其核心思路是：

1)在每一轮训练时都使用多数类与少数类数量相等的训练集，训练出一个Adaboost基分类器。

2)然后使用该分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率（False Positive Rate）,将所有判断正确的类删除。

3)最后，进入下一轮迭代中，继续降低多数类数量。

图2：BalanceCascade算法

扩展阅读：

Liu X Y, Wu J, Zhou Z H. Exploratory undersampling for class-imbalance learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009, 39(2): 539-550.

这篇论文提出了两种欠采样的方法：EasyEnsemble和BalanceCascade。

2.2过采样方法

(1)什么是过采样方法

对训练集里的少数类进行“过采样”（oversampling），即增加一些少数类样本使得正、反例数目接近，然后再进行学习。

(2)随机过采样方法

随机过采样是在少数类中随机选择一些样本，然后通过复制所选择的样本生成样本集，将它们添加到中来扩大原始数据集从而得到新的少数类集合。新的数据集。

缺点：

对于随机过采样，由于需要对少数类样本进行复制来扩大数据集，造成模型训练复杂度加大。另一方面也容易造成模型的过拟合问题，因为随机过采样是简单的对初始样本进行复制采样，这就使得学习器学得的规则过于具体化，不利于学习器的泛化性能，造成过拟合问题。

为了解决随机过采样中造成模型过拟合问题，又能保证实现数据集均衡的目的，出现了过采样法代表性的算法SMOTE和Borderline-SMOTE算法。

(3)过采样代表性算法-SMOTE

SMOTE全称是Synthetic Minority Oversampling即合成少数类过采样技术。SMOTE算法是对随机过采样方法的一个改进算法，由于随机过采样方法是直接对少数类进行重采用，会使训练集中有很多重复的样本，容易造成产生的模型过拟合问题。而SOMT算法的基本思想是对每个少数类样本，从它的最近邻中随机选择一个样本 （ 是少数类中的一个样本），然后在 和 之间的连线上随机选择一点作为新合成的少数类样本。

SMOTE算法合成新少数类样本的算法描述如下：

1).对于少数类中的每一个样本，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。

2).根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本，从其k近邻中随机选择若干个样本，假设选择的是 。

3).对于每一个随机选出来的近邻，分别与按照如下公式构建新的样本。

我们用图文表达的方式，再来描述一下SMOTE算法。

1).先随机选定一个少数类样本 。

2).找出这个少数类样本 的K个近邻（假设K=5），5个近邻已经被圈出。

3).随机从这K个近邻中选出一个样本 （用绿色圈出来了）。

4).在少数类样本 和被选中的这个近邻样本 之间的连线上，随机找一点。这个点就是人工合成的新的样本点（绿色正号标出）。

SMOTE算法摒弃了随机过采样复制样本的做法，可以防止随机过采样中容易过拟合的问题，实践证明此方法可以提高分类器的性能。但是SMOTE算法也存以下两个缺点：

1)由于对每个少数类样本都生成新样本，因此容易发生生成样本重叠的问题。

2)在SMOTE算法中，出现了过度泛化的问题，主要归结于产生合成样本的方法。特别是，SMOTE算法对于每个原少数类样本产生相同数量的合成数据样本，而没有考虑其邻近样本的分布特点，这就使得类间发生重复的可能性增大。

解释缺点2)的原因：结合前面所述的SMOTE算法的原理，SMOTE算法产生新的人工少数类样本过程中，只是简单的在同类近邻之间插值，并没有考虑少数类样本周围多数类样本的分布情况。如3图所示，绿色正号1、2分布在多数类样本周围，它们离多数类样本最近，这就导致它们有可能被划分成多数类样本。因此从3图中可以看出，SMOTE算法的样本生成机制存在一定的盲目性。

图3：SOMTE算法结果

为了克服以上两点的限制，多种不同的自适应抽样方法相继被提出，其中具有代表性的算法包括Borderline-SMOTE算法。

扩展阅读：

Chawla N V, Bowyer K W, Hall L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16: 321-357.

这篇论文提出了SMOTE算法。

(4)Borderline-SMOTE算法介绍

对于Borderline-SMOTE算法最感兴趣的就是用于识别少数类种子样本的方法。在Borderline-SMOTE算法中，识别少数类种子样本的过程如下：

1)首先，对于每个 ,确定一系列最近邻样本集，成该数据集为，且。

2)然后，对每个样本，判断出最近邻样本集中属于多数类样本的个数，即： 。

3)最后，选择满足下面不等式的 。

上面式子表明，只有最近邻样本集中多数类多于少数类的那些 才会被选中形成“危险集”(DANGER)。因此，DANGER集中的样本代表少数类样本的边界（最容易被错分的样本）。然后对DANGER集中使用SMOTE算法在边界附近产生人工合成少数类样本。

我们可以看出，如果。 即： 的所有k个最近邻样本都属于多类。如4图所示的样本点C，我们就认为样本点C是噪声且它不能生成合成样本。

图4：基于在边界上样本的数据建立

通过上面的介绍，我们对Borderline-SMOTE算法有了一定的了解。为了让大家理解的更透彻这个算法，我再给大家画一个流程图，详细介绍一下。

图5：Borderline-SMOTE算法流程图

流程图5中，训练样本集为F，少数类样本 。

1)步骤一：

(i)计算少数类样本集中每一个样本在训练集F中的k个最近邻。

(ii)然后，根据这k个最近邻对 中的样本进行归类：

• 假设这k个最近邻都是多数类样本，则我们将该样本定义为噪声样本，将它放在集合中。
• 反正k个最近邻都是少数类样本则该样本是远离分类边界的，将其放入S集合中。
• 最后，K个最近邻即有多数类样本又有少数类样本，则认为是边界样本，放入B集合中。

2)步骤二：

(i)设边界样本集，计算B集合中的每一个样本，在少数类样本集中的K个最近邻，组成集合 。

(ii)随机选出s(1<s<n)个最近邻。

(iii)计算出它们各自与该样本之间的全部属性的差值 。。

(iv)然后乘以一个随机数 。如果 是集合或S集合中的样本，则 。

(v)最后生成的人工少数类样本为： 。

3)步骤三:

重复步骤2的过程，直到生成人工少数类样本的数目满足要求，达到均衡样本集的目的后结束算法。

扩展阅读：

Han H, Wang W Y, Mao B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//International Conference on Intelligent Computing. Springer, Berlin, Heidelberg, 2005: 878-887.

这篇文章提出了Borderline-SMOTE算法。

2.3代价敏感学习(cost-sensitive learning)

(1)代价矩阵

采样算法从数据层面解决不平衡数据的学习问题；在算法层面上解决不平衡数据学习的方法主要是基于代价敏感学习算法（Cost-Sensitive Learning）。

在现实任务中常会遇到这样的情况：不同类型的错误所造成的后果不同。例如在医疗诊断中，错误地把患者诊断为健康人与错误地把健康人诊断为患者，看起来都是犯了“一次错误”，但是后者的影响是增加了进一步检查的麻烦，前者的后果却可能是丧失了拯救生命的最佳时机；再如，门禁系统错误地把可通行人员拦在门外，将使得用户体验不佳，但错误地把陌生人放进门内，则会造成严重的安全事故；在信用卡盗用检查中，将正常使用误认为是盗用，可能会使用户体验不佳，但是将盗用误认为是正常使用，会使用户承受巨大的损失。为了权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”（unequal cost）。

代价敏感学习方法的核心要素是代价矩阵，如表1所示。其中 表示将第类样本预测为第类样本的代价。一般来说， ;若将第0类判别为第1类所造成的损失更大，则 ;损失程度相差越大， 的值差别越大。当 相等时为代价不敏感的学习问题。

表1：代价矩阵

(2)代价敏感学习方法

基于以上代价敏感矩阵的分析，代价敏感学习方法主要有以下三种实现方式，分别是：

1).从学习模型出发，对某一具体学习方法的改造，使之能适应不平衡数据下的学习，研究者们针对不同的学习模型如感知机、支持向量机、决策树、神经网络等分别提出了其代价敏感的版本。以代价敏感的决策树为例，可以从三个方面对其进行改造以适应不平衡数据的学习，这三个方面分别是决策阈值的选择方面、分裂标准的选择方面、剪枝方面，这三个方面都可以将代价矩阵引入。

2).从贝叶斯风险理论出发，把代价敏感学习看成是分类结果的一种后处理，按照传统方法学习到一个模型，以实现损失最小为目标对结果进行调整，优化公式如下所示。此方法的优点在于它可以不依赖所用的具体分类器，但是缺点也很明显，它要求分类器输出值为概率。

3).从预处理的角度出发，将代价用于权重调整，使得分类器满足代价敏感的特性，下面讲解一种基于Adaboost的权重更新策略AdaCost算法。

(3)AdaCost算法

要想了解AdaCost算法，我们得先知道Adaboost算法，如图6所示。Adaboost算法通过反复迭代，每一轮迭代学习到一个分类器，并根据当前分类器的表现更新样本的权重，如图中红框所示，其更新策略为正确分类样本权重降低，错误分类样本权重增大，最终的模型是多次迭代模型的一个加权线性组合。分类越准确的分类器将会获得越大的权重。

图6：Adaboost算法

AdaCost算法修改了Adaboost算法的权重更新策略，其基本思想是对代价高的误分类样本大大地提高其权重，而对于代价高的正确分类样本适当地降低其权重，使其权重降低相对较小。总体思想是代价高样本权重增加得大降低的慢。其样本权重按照如下公式进行更新。其中 分别表示样本被正确和错误分类情况下的 的取值。

2.4不平衡学习的评价方法

(1)F1度量

这一部分涉及到模型的评价方法，如果你还没有学习过，可以看我的公众号之前发的关于这部分文章。同时，我也把链接地址贴出来，供大家快速学习。

【错误率、精度、查准率、查全率和F1度量】详细介绍

ROC曲线和AUC面积理解

表2：分类结果混淆矩阵

例如在癌症预测的场景中，假设没有患癌症的样本为正例，患癌症的样本为反例，反例占的比例很少（大概0.1%），如果直接把分类器设置为预测都是正例，那么精度和查准率的值都是99.9%。可见精度、错误率和查准率都不能表示不平衡数据下的模型表现。而F1值则同时考虑了少数类的查准率和召回率，因此能衡量不平衡数据下模型的表现。

(2)G-Mean

G-Mean是另外一个指标，也能评价不平衡数据的模型表现，其计算公式如下。

(3)ROC曲线和AUC面积

我的这篇文章把ROC曲线和AUC面积分析的全面。ROC曲线和AUC面积可以很好的评价不平衡数据的模型表现。

ROC曲线和AUC面积理解

3.如何选择

(1)在正负样本都非常少的情况下，应该采用数据合成的方式，例如：SMOTE算法和Borderline-SMOTE算法。

(2)在正负样本都足够多且比例不是特别悬殊的情况下，应该考虑采样的方法或者是加权的方法。

总结：

本文主要介绍了分类中类别不均衡时学习中常用的算法及评价指标，算法主要从数据和模型两个层面介绍，数据层面的算法主要关于过采样和欠采样以及改进的算法，模型方面主要讲解了基于代价的敏感学习。评价指标主要讲解了F1度量、G-Mean和ROC曲线AUC面积。

Reference:

（1）Liu X Y, Wu J, Zhou Z H. Exploratory undersampling for class-imbalance learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009, 39(2): 539-550.

（2）Chawla N V, Bowyer K W, Hall L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16: 321-357.

（3）Han H, Wang W Y, Mao B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//International Conference on Intelligent Computing. Springer, Berlin, Heidelberg, 2005: 878-887.

（4）EasyEnsemble和BalanceCascade论文下载地址：https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/tsmcb09.pdf

（5）SMOTE算法期刊页面：https://www.jair.org/index.php/jair/article/view/10302

（6）SMOTE算法论文下载地址：https://www.jair.org/index.php/jair/article/view/10302/24590

（7）Borderline-SMOTE算法论文下载地址：http://sci2s.ugr.es/keel/keel-dataset/pdfs/2005-Han-LNCS.pdfhttp://

（8）不均衡学习的抽样方法 - CSDN博客https://blog.csdn.net/u011414200/article/details/50664266

（9）不平衡数据下的机器学习方法简介https://www.jianshu.com/p/3e8b9f2764c8

（10）非平衡分类问题 | BalanceCascade方法及其Python实现https://zhuanlan.zhihu.com/p/36093594

这章内容是有点多。。差点写吐了🤮

数据库完整性的概念及分类

数据的完整性
防止数据库中存在不符合语义的数据，也就是防止数据库中存在不正确的数据
防范对象：不合语义的、不正确的数据
数据的安全性
保护数据库 防止恶意的破坏和非法的存取
防范对象：非法用户和非法操作

(1)什么是数据库完整性?

数据库完整性(DB Integrity)是指DBMS应保证的DB的一种特性–在任何情
况下的正确性、有效性和一致性
广义完整性：语义完整性、并发控制、安全控制、DB故障恢复等
狭义完整性：专指语义完整性，DBMS通常有专门的完整性管理机制与程
序来处理语义完整性问题。(本讲专指语义完整性)

关系模型中有完整性要求

 实体完整性
实体完整性是对关系中的记录唯一性，也就是主键的约束。准确地说，实体完整性
是指关系中的主属性值不能为Null且不能有相同值。定义表中的所有行能唯一的标
识,一般用主键,唯一索引 unique关键字,及identity属性比如说我们的身份证号
码,可以唯一标识一个人。

 参照完整性
参照完整性是对关系数据库中建立关联关系的数据表间数据参照引用的约束，也就是
对外键的约束。准确地说，参照完整性是指关系中的外键必须是另一个关系的主键有
效值，或者是NULL。参考完整性维护表间数据的有效性,完整性,通常通过建立外部
键联系另一表的主键实现,还可以用触发器来维护参考完整性

 用户自定义完整性
用户定义完整性（User-defined Integrity）是对数据表中字段属性的约束，
用户定义完整性规则（User-defined integrity）也称域完整性规则。包括字段
的值域、字段的类型和字段的有效规则（如小数位数）等约束，是由确定关系结构时
所定义的字段的属性决定的。如，百分制成绩的取值范围在0~100之间等。

(2)为什么会产生完整性问题?

不正当的数据库操作，如输入错误、操作失误、程序处理失误等

数据库完整性管理的作用:
 防止和避免数据库中不合理数据的出现
 DBMS应尽可能地自动防止DB中语义不合理现象
 如DBMS不能自动防止，则需要应用程序员和用户在进行数据库操作时处处加以小心，每写一条SQL语句都要考虑是否符合语义完整性，这种工作负担是非常沉重的，因此应尽可能多地让DBMS来承担。

(3)怎样保证数据库完整性?

 DBMS允许用户定义一些完整性约束规则(用SQL-DDL来定义)
 当有DB更新操作时，DBMS自动按照完整性约束条件进行检查，以确保更
新操作符合语义完整性

完整性约束条件(或称完整性约束规则)的一般形式
Integrity Constraint ::= ( O，P，A，R)
√ O：数据集合：约束的对象？
列、多列(元组)、元组集合
√ P：谓词条件：什么样的约束？
√A：触发条件：什么时候检查？
√ R：响应动作：不满足时怎么办？

(4)数据库完整性的分类

按约束对象分类
域完整性约束条件：
施加于某一列上，对给定列上所要更新的某一候选值是否可以接受进行
约束条件判断，这是孤立进行的

关系完整性约束条件：
施加于关系/table上，对给定table上所要更新的某一候选元组是否可
以接受进行约束条件判断，或是对一个关系中的若干元组和另一个关系
中的若干元组间的联系是否可以接受进行约束条件判断

按约束来源分类
结构约束：
来自于模型的约束，例如函数依赖约束、主键约束(实体完整性)、外键
约束(参照完整性)，只关心数值相等与否、是否允许空值等；

内容约束：
来自于用户的约束，如用户自定义完整性，关心元组或属性的取值范
围。例如Student表的Sage属性值在15岁至40岁之间等。

按约束状态分类
静态约束：
要求DB在任一时候均应满足的约束；例如Sage在任何时候都应满足大
于0而小于150(假定人活最大年龄是150)。

动态约束：
要求DB从一状态变为另一状态时应满足的约束；例如工资只能升，不
能降：工资可以是800元，也可以是1000元；可以从800元更改为1000
元，但不能从1000元更改为800元。

利用SQL语言实现数据库的静态完整性

(1)SQL语言支持的约束类别

静态约束：
列完整性—域完整性约束
表完整性–关系完整性约束

动态约束：
触发器

(2)SQL语言实现约束的方法-Create Table

CreateTable有三种功能：定义关系模式、定义完整性约束和定义物理存储特性

 定义完整性约束条件：
	列完整性
	表完整性

   USE 数据库名 CREATE TABLE 表名 (列名 类型(大小) DEFAULT'默认值' CONSTRAINT 约束名 约束定义,

                                                         列名 类型(大小) DEFAULT'默认值' CONSTRAINT 约束名 约束定义,  

                                                         列名 类型(大小) DEFAULT'默认值' CONSTRAINT 约束名 约束定义,

                                                         ... ...);

Col_constr列约束

一种域约束类型，对单一列的值进行约束

{ NOT NULL | //列值非空
[ CONSTRAINT constraintname ] //为约束命名，便于以后撤消
{ UNIQUE //列值是唯一
| PRIMARY KEY //列为主键
| CHECK (search_cond) //列值满足条件,条件只能使用列当前值
| REFERENCES tablename [(colname) ]
[ON DELETE { CASCADE | SET NULL } ] } }
//引用另一表tablename的列colname的值，如有ON DELETE CASCADE 或ON DELETE SET
NULL语句，则删除被引用表的某列值v 时，要将本表该列值为v 的记录删除或列值更新为
null；缺省为无操作 。

Col_constr列约束：只能应用在单一列上，其后面的约束如UNIQUE,
PRIMARY KEY及search_cond只能是单一列唯一、单一列为主键、和单一列相关

示例:

table_constr表约束：
一种关系约束类型，对多列或元组的值进行约束

是应用在关系上，即对关系的多列或元组进行约束，列约束是其特例

示例：

check中的条件可以是Select-From-Where内任何Where后的语句，包含
子查询。

Create Table中定义的表约束或列约束可以在以后根据需要进行撤消或追
加。撤消或追加约束的语句是 Alter Table(不同系统可能有差异)

(3)SQL语言实现约束的方法-断言

一个断言就是一个谓词表达式，它表达了希望数据库总能满足的条件

1.表约束和列约束就是一些特殊的断言

2.SQL还提供了复杂条件表达的断言。其语法形式为：

CREATE ASSERTION <assertion-name> CHECK <predicate>

3.当一个断言创建后，系统将检测其有效性，并在每一次更新中测试更新是
否违反该断言。

4.断言测试增加了数据库维护的负担，要小心使用复杂的断言

利用SQL语言实现数据库的动态完整性

触发器：Mysql–触发器

数据库安全性的概念及分类

(1)数据库安全性的概念

数据库安全性是指DBMS应该保证的数据库的一种特性(机制或手段)：免受
非法、非授权用户的使用、泄漏、更改或破坏

数据的安全级别: 绝密(Top Secret), 机密(Secret),可信(Confidential)
和无分类(Unclassified)

数据库系统DBS的安全级别：物理控制、网络控制、操作系统控制、
DBMS控制

(2)数据库安全性的分类

DBMS的安全机制

自主安全性机制：存取控制(AccessControl)
通过权限在用户之间的传递，使用户自主管理数据库安全性

强制安全性机制：
通过对数据和用户强制分类，使得不同类别用户能够访问不同类
别的数据

推断控制机制：(可参阅相关文献)
① 防止通过历史信息，推断出不该被其知道的信息；
② 防止通过公开信息(通常是一些聚集信息)推断出私密信息(个体信
息)，通常在一些由个体数据构成的公共数据库中此问题尤为重要

数据加密存储机制：(可参阅相关文献)
通过加密、解密保护数据，密钥、加密/解密方法与传输

(3)数据库管理员的责任和义务

DBA的责任和义务
 熟悉相关的法规、政策，协助组织的决策者制定好相关的安全策略

 规划好安全控制保障措施，例如，系统安全级别、不同级别上的安全控制
措施，对安全遭破坏的响应，

 划分好数据的安全级别以及用户的安全级别

 实施安全性控制：DBMS专门提供一个DBA账户，该账户是一个超级用户
或称系统用户。DBA利用该账户的特权可以进行用户账户的创建以及权限授
予和撤消、安全级别控制调整等

数据库自主安全性机制

(1)数据库自主安全性

自主安全性机制：
①通常情况下，自主安全性是通过授权机制来实现的。

②用户在使用数据库前必须由DBA处获得一个账户，并由DBA授予该账户一
定的权限，该账户的用户依据其所拥有的权限对数据库进行操作; 同时，该帐
户用户也可将其所拥有的权利转授给其他的用户(账户)，由此实现权限在用户
之间的传播和控制。

 授权者：决定用户权利的人
 授权：授予用户访问的权利

(2)DBMS怎样实现数据库自主安全性

①DBMS允许用户定义一些安全性控制规则(用SQL-DCL来定义)

② 当有DB访问操作时，DBMS自动按照安全性控制规则进行检查，检查通过
则允许访问，不通过则不允许访问

(3)数据库自主安全性访问规则

DBMS将权利和用户(账户)结合在一起，形成一个访问规则表，依据该规则
表可以实现对数据库的安全性控制

 { AccessRule｝通常存放在数据字典或称系统目录中，构成了所有用
户对DB的访问权利;
 用户多时，可以按用户组建立访问规则
 访问对象可大可小(目标粒度Object granularity):属性/字段、记录/元
组、关系、数据库
 权利：包括创建、增、删、改、查等
 谓词：拥有权利需满足的条件

示例：

(4)自主安全性的实现方式

第1种：存储矩阵

第2种：视图

============================

利用SQL语言实现数据库自主安全性

(1)SQL语言的用户与权利

数据库安全性控制是属于DCL范畴

授权机制—自主安全性；视图的运用

关系级别(普通用户) <-- 账户级别(程序员用户) <-- 超级用户(DBA)

 (级别1)Select : 读(读DB, Table, Record, Attribute, … )

 (级别2)Modify : 更新
	 Insert : 插入(插入新元组, … )
	 Update : 更新(更新元组中的某些值, …)
	 Delete : 删除(删除元组, …)
 
 (级别3)Create : 创建(创建表空间、模式、表、索引、视图等)
 	  Create : 创建
	  Alter : 更新
	  Drop : 删除

级别高的权利自动包含级别低的权利。如某人拥有更新的权利，它也自动
拥有读的权利。在有些DBMS中，将级别3的权利称为账户级别的权利，而将
级别1和2称为关系级别的权利。

(2)SQL-DCL的命令及其应用

授权命令:

2.授权
grant privileges on dbname.tablename to 'username'@'host' identified by 'password' [with grant option]
 
-- privileges:用户的操作权限,如SELECT , INSERT , UPDATE 等（具体详见下表）,如果要授予所的权限,则使用all
-- dbname:数据库名，tablename:表名，如果是所有表的话，则dbname.*
-- with grant option:命令中不带这个，则，该用户username不能将权限授予其他人，反之，则可以
 
/* 
举个例子：
grant selelct on test.* to 'lzh'@'localhost' identified by '123456';
grant all on  *.* to 'lzh'@'%' with grant option;
*/

示例：

收回授权命令

4.撤销用户权限
 revoke privilege on dbname.tablename from 'username'@'host'
 
-- privilege:同授权部分

# 示例：revoke select on employee from UserB;

安全性控制的其他简介

(1)自主安全性的授权过程及其问题

授权过程:

第一步：DBA创建DB, 并为每一个用户创建一个账户
<假定建立了五个用户：UserA, UserB, UserC, UserD, UserE>

第二步：DBA授予某用户账户级别的权利
<假定授予UserA>

第三步：具有账户级别的用户可以创建基本表或视图, 他也自动成为该表或
该视图的属主账户，拥有该表或该视图的所有访问 权利
<假定UserA创建了Employee, 则UserA就是Employee表的属主账户>

第四步：拥有属主账户的用户可以将其中的一部分权利授予另外的用户，该
用户也可将权利进一步授权给其他的用户…
<假定UserA将读权限授予UserB, 而userB又将其拥有的权限授予UserC,
如此将权利不断传递下去。>

注意授权的传播范围:

① 当一个用户的权利被收回时，通过其传播给其他用户的权利也将被收回

②如果一个用户从多个用户处获得了授权，则当其中某一个用户收回授权时
，该用户可能仍保有权利。例如UserC从UserB和UserE处获得了授权，当
UserB收回时，其还将保持UserE赋予其的权利。

(2)强制安全性

①强制安全性通过对数据对象进行安全性分级
绝密(Top Secret), 机密(Secret),可信(Confidential)和无分类(Unclassified)
② 同时对用户也进行上述的安全性分级
③从而强制实现不同级别用户访问不同级别数据的一种机制

强制安全性机制的实现

DBMS引入强制安全性机制, 可以通过扩展关系模式来实现
	 关系模式: R(A1: D1, A2: D2, …, An:Dn)
	 对属性和元组引入安全性分级特性或称分类特性
	R(A1: D1, C1, A2: D2, C2…, An:Dn, Cn, TC
	)
		其中 C1,C2,…,Cn分别为属性D1,D2,…,Dn的安全分类特性; TC为元
		组的分类特性

这样, 关系中的每个元组, 都将扩展为带有安全分级的元组, 例如