本文同步更新在我的微信公众号里面，公众号文章地址：

https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247484313&idx=1&sn=568015a62bf99ca5b6bd282b465244be&chksm=ec65321cdb12bb0a772814204ac5f48136c99f44a39ff34f5bde115ab5630948a40f747a39f0#rd

本文同步更新在我的知乎专栏中：

分类中解决类别不平衡问题 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/36381828

1.什么是类别不平衡问题

如果不同类别的训练样例数目稍有差别，通常影响不大，但若差别很大，则会对学习过程造成困扰。例如有998个反例，但是正例只有2个，那么学习方法只需要返回一个永远将新样本预测为反例的学习器，就能达到99.8%的精度；然而这样的学习器往往没有价值，因为它不能预测出任何正例。

类别不平衡（class-imbalance）就是指分类任务中不同类别的训练样例数目差别很大的情况。在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当，在使用OvR（一对其余，One vs. Rest，简称OvR）、MvM（多对多，Many vs. Many，简称MvM）策略后产生的二分类任务扔可能出现类别不平衡现象，因此有必要了解类别不平衡性处理的基本方法。

2.解决类别不平衡问题

2.1欠采样方法

(1)什么是欠采样方法

直接对训练集中多数类样本进行“欠采样”（undersampling），即去除一些多数类中的样本使得正例、反例数目接近，然后再进行学习。

(2)随机欠采样方法

随机欠采样顾名思义即从多数类中随机选择一些样样本组成样本集 。然后将样本集 从 中移除。新的数据集 。

缺点：

随机欠采样方法通过改变多数类样本比例以达到修改样本分布的目的，从而使样本分布较为均衡，但是这也存在一些问题。对于随机欠采样，由于采样的样本集合要少于原来的样本集合，因此会造成一些信息缺失，即将多数类样本删除有可能会导致分类器丢失有关多数类的重要信息。

为了克服随机欠采样方法导致的信息缺失问题，又要保证算法表现出较好的不均衡数据分类性能，出现了欠采样法代表性的算法EasyEnsemble和BalanceCascade算法。

(3)欠采样代表性算法-EasyEnsemble

算法步骤：

1)从多数类中有放回的随机采样n次，每次选取与少数类数目相近的样本个数，那么可以得到n个样本集合记作。

2)然后，将每一个多数类样本的子集与少数类样本合并并训练出一个模型，可以得到n个模型。

3)最终将这些模型组合形成一个集成学习系统，最终的模型结果是这n个模型的平均值。

图1：EasyEnsemble算法

(4)欠采样代表性算法-BalanceCascade

BalanceCascade算法基于Adaboost，将Adaboost作为基分类器，其核心思路是：

1)在每一轮训练时都使用多数类与少数类数量相等的训练集，训练出一个Adaboost基分类器。

2)然后使用该分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率（False Positive Rate）,将所有判断正确的类删除。

3)最后，进入下一轮迭代中，继续降低多数类数量。

图2：BalanceCascade算法

扩展阅读：

Liu X Y, Wu J, Zhou Z H. Exploratory undersampling for class-imbalance learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009, 39(2): 539-550.

这篇论文提出了两种欠采样的方法：EasyEnsemble和BalanceCascade。

2.2过采样方法

(1)什么是过采样方法

对训练集里的少数类进行“过采样”（oversampling），即增加一些少数类样本使得正、反例数目接近，然后再进行学习。

(2)随机过采样方法

随机过采样是在少数类中随机选择一些样本，然后通过复制所选择的样本生成样本集，将它们添加到中来扩大原始数据集从而得到新的少数类集合。新的数据集。

缺点：

对于随机过采样，由于需要对少数类样本进行复制来扩大数据集，造成模型训练复杂度加大。另一方面也容易造成模型的过拟合问题，因为随机过采样是简单的对初始样本进行复制采样，这就使得学习器学得的规则过于具体化，不利于学习器的泛化性能，造成过拟合问题。

为了解决随机过采样中造成模型过拟合问题，又能保证实现数据集均衡的目的，出现了过采样法代表性的算法SMOTE和Borderline-SMOTE算法。

(3)过采样代表性算法-SMOTE

SMOTE全称是Synthetic Minority Oversampling即合成少数类过采样技术。SMOTE算法是对随机过采样方法的一个改进算法，由于随机过采样方法是直接对少数类进行重采用，会使训练集中有很多重复的样本，容易造成产生的模型过拟合问题。而SOMT算法的基本思想是对每个少数类样本，从它的最近邻中随机选择一个样本 （ 是少数类中的一个样本），然后在 和 之间的连线上随机选择一点作为新合成的少数类样本。

SMOTE算法合成新少数类样本的算法描述如下：

1).对于少数类中的每一个样本，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。

2).根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本，从其k近邻中随机选择若干个样本，假设选择的是 。

3).对于每一个随机选出来的近邻，分别与按照如下公式构建新的样本。

我们用图文表达的方式，再来描述一下SMOTE算法。

1).先随机选定一个少数类样本 。

2).找出这个少数类样本 的K个近邻（假设K=5），5个近邻已经被圈出。

3).随机从这K个近邻中选出一个样本 （用绿色圈出来了）。

4).在少数类样本 和被选中的这个近邻样本 之间的连线上，随机找一点。这个点就是人工合成的新的样本点（绿色正号标出）。

SMOTE算法摒弃了随机过采样复制样本的做法，可以防止随机过采样中容易过拟合的问题，实践证明此方法可以提高分类器的性能。但是SMOTE算法也存以下两个缺点：

1)由于对每个少数类样本都生成新样本，因此容易发生生成样本重叠的问题。

2)在SMOTE算法中，出现了过度泛化的问题，主要归结于产生合成样本的方法。特别是，SMOTE算法对于每个原少数类样本产生相同数量的合成数据样本，而没有考虑其邻近样本的分布特点，这就使得类间发生重复的可能性增大。

解释缺点2)的原因：结合前面所述的SMOTE算法的原理，SMOTE算法产生新的人工少数类样本过程中，只是简单的在同类近邻之间插值，并没有考虑少数类样本周围多数类样本的分布情况。如3图所示，绿色正号1、2分布在多数类样本周围，它们离多数类样本最近，这就导致它们有可能被划分成多数类样本。因此从3图中可以看出，SMOTE算法的样本生成机制存在一定的盲目性。

图3：SOMTE算法结果

为了克服以上两点的限制，多种不同的自适应抽样方法相继被提出，其中具有代表性的算法包括Borderline-SMOTE算法。

扩展阅读：

Chawla N V, Bowyer K W, Hall L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16: 321-357.

这篇论文提出了SMOTE算法。

(4)Borderline-SMOTE算法介绍

对于Borderline-SMOTE算法最感兴趣的就是用于识别少数类种子样本的方法。在Borderline-SMOTE算法中，识别少数类种子样本的过程如下：

1)首先，对于每个 ,确定一系列最近邻样本集，成该数据集为，且。

2)然后，对每个样本，判断出最近邻样本集中属于多数类样本的个数，即： 。

3)最后，选择满足下面不等式的 。

上面式子表明，只有最近邻样本集中多数类多于少数类的那些 才会被选中形成“危险集”(DANGER)。因此，DANGER集中的样本代表少数类样本的边界（最容易被错分的样本）。然后对DANGER集中使用SMOTE算法在边界附近产生人工合成少数类样本。

我们可以看出，如果。 即： 的所有k个最近邻样本都属于多类。如4图所示的样本点C，我们就认为样本点C是噪声且它不能生成合成样本。

图4：基于在边界上样本的数据建立

通过上面的介绍，我们对Borderline-SMOTE算法有了一定的了解。为了让大家理解的更透彻这个算法，我再给大家画一个流程图，详细介绍一下。

图5：Borderline-SMOTE算法流程图

流程图5中，训练样本集为F，少数类样本 。

1)步骤一：

(i)计算少数类样本集中每一个样本在训练集F中的k个最近邻。

(ii)然后，根据这k个最近邻对 中的样本进行归类：

• 假设这k个最近邻都是多数类样本，则我们将该样本定义为噪声样本，将它放在集合中。
• 反正k个最近邻都是少数类样本则该样本是远离分类边界的，将其放入S集合中。
• 最后，K个最近邻即有多数类样本又有少数类样本，则认为是边界样本，放入B集合中。

2)步骤二：

(i)设边界样本集，计算B集合中的每一个样本，在少数类样本集中的K个最近邻，组成集合 。

(ii)随机选出s(1<s<n)个最近邻。

(iii)计算出它们各自与该样本之间的全部属性的差值 。。

(iv)然后乘以一个随机数 。如果 是集合或S集合中的样本，则 。

(v)最后生成的人工少数类样本为： 。

3)步骤三:

重复步骤2的过程，直到生成人工少数类样本的数目满足要求，达到均衡样本集的目的后结束算法。

扩展阅读：

Han H, Wang W Y, Mao B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//International Conference on Intelligent Computing. Springer, Berlin, Heidelberg, 2005: 878-887.

这篇文章提出了Borderline-SMOTE算法。

2.3代价敏感学习(cost-sensitive learning)

(1)代价矩阵

采样算法从数据层面解决不平衡数据的学习问题；在算法层面上解决不平衡数据学习的方法主要是基于代价敏感学习算法（Cost-Sensitive Learning）。

在现实任务中常会遇到这样的情况：不同类型的错误所造成的后果不同。例如在医疗诊断中，错误地把患者诊断为健康人与错误地把健康人诊断为患者，看起来都是犯了“一次错误”，但是后者的影响是增加了进一步检查的麻烦，前者的后果却可能是丧失了拯救生命的最佳时机；再如，门禁系统错误地把可通行人员拦在门外，将使得用户体验不佳，但错误地把陌生人放进门内，则会造成严重的安全事故；在信用卡盗用检查中，将正常使用误认为是盗用，可能会使用户体验不佳，但是将盗用误认为是正常使用，会使用户承受巨大的损失。为了权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”（unequal cost）。

代价敏感学习方法的核心要素是代价矩阵，如表1所示。其中 表示将第类样本预测为第类样本的代价。一般来说， ;若将第0类判别为第1类所造成的损失更大，则 ;损失程度相差越大， 的值差别越大。当 相等时为代价不敏感的学习问题。

表1：代价矩阵

(2)代价敏感学习方法

基于以上代价敏感矩阵的分析，代价敏感学习方法主要有以下三种实现方式，分别是：

1).从学习模型出发，对某一具体学习方法的改造，使之能适应不平衡数据下的学习，研究者们针对不同的学习模型如感知机、支持向量机、决策树、神经网络等分别提出了其代价敏感的版本。以代价敏感的决策树为例，可以从三个方面对其进行改造以适应不平衡数据的学习，这三个方面分别是决策阈值的选择方面、分裂标准的选择方面、剪枝方面，这三个方面都可以将代价矩阵引入。

2).从贝叶斯风险理论出发，把代价敏感学习看成是分类结果的一种后处理，按照传统方法学习到一个模型，以实现损失最小为目标对结果进行调整，优化公式如下所示。此方法的优点在于它可以不依赖所用的具体分类器，但是缺点也很明显，它要求分类器输出值为概率。

3).从预处理的角度出发，将代价用于权重调整，使得分类器满足代价敏感的特性，下面讲解一种基于Adaboost的权重更新策略AdaCost算法。

(3)AdaCost算法

要想了解AdaCost算法，我们得先知道Adaboost算法，如图6所示。Adaboost算法通过反复迭代，每一轮迭代学习到一个分类器，并根据当前分类器的表现更新样本的权重，如图中红框所示，其更新策略为正确分类样本权重降低，错误分类样本权重增大，最终的模型是多次迭代模型的一个加权线性组合。分类越准确的分类器将会获得越大的权重。

图6：Adaboost算法

AdaCost算法修改了Adaboost算法的权重更新策略，其基本思想是对代价高的误分类样本大大地提高其权重，而对于代价高的正确分类样本适当地降低其权重，使其权重降低相对较小。总体思想是代价高样本权重增加得大降低的慢。其样本权重按照如下公式进行更新。其中 分别表示样本被正确和错误分类情况下的 的取值。

2.4不平衡学习的评价方法

(1)F1度量

这一部分涉及到模型的评价方法，如果你还没有学习过，可以看我的公众号之前发的关于这部分文章。同时，我也把链接地址贴出来，供大家快速学习。

【错误率、精度、查准率、查全率和F1度量】详细介绍

ROC曲线和AUC面积理解

例如在癌症预测的场景中，假设没有患癌症的样本为正例，患癌症的样本为反例，反例占的比例很少（大概0.1%），如果直接把分类器设置为预测都是正例，那么精度和查准率的值都是99.9%。可见精度、错误率和查准率都不能表示不平衡数据下的模型表现。而F1值则同时考虑了少数类的查准率和召回率，因此能衡量不平衡数据下模型的表现。

(2)G-Mean

G-Mean是另外一个指标，也能评价不平衡数据的模型表现，其计算公式如下。

(3)ROC曲线和AUC面积

我的这篇文章把ROC曲线和AUC面积分析的全面。ROC曲线和AUC面积可以很好的评价不平衡数据的模型表现。

ROC曲线和AUC面积理解

3.如何选择

(1)在正负样本都非常少的情况下，应该采用数据合成的方式，例如：SMOTE算法和Borderline-SMOTE算法。

(2)在正负样本都足够多且比例不是特别悬殊的情况下，应该考虑采样的方法或者是加权的方法。

总结：

本文主要介绍了分类中类别不均衡时学习中常用的算法及评价指标，算法主要从数据和模型两个层面介绍，数据层面的算法主要关于过采样和欠采样以及改进的算法，模型方面主要讲解了基于代价的敏感学习。评价指标主要讲解了F1度量、G-Mean和ROC曲线AUC面积。

Reference:

（1）Liu X Y, Wu J, Zhou Z H. Exploratory undersampling for class-imbalance learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009, 39(2): 539-550.

（2）Chawla N V, Bowyer K W, Hall L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16: 321-357.

（3）Han H, Wang W Y, Mao B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//International Conference on Intelligent Computing. Springer, Berlin, Heidelberg, 2005: 878-887.

（4）EasyEnsemble和BalanceCascade论文下载地址：https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/tsmcb09.pdf

（5）SMOTE算法期刊页面：https://www.jair.org/index.php/jair/article/view/10302

（6）SMOTE算法论文下载地址：https://www.jair.org/index.php/jair/article/view/10302/24590

（7）Borderline-SMOTE算法论文下载地址：http://sci2s.ugr.es/keel/keel-dataset/pdfs/2005-Han-LNCS.pdfhttp://

（8）不均衡学习的抽样方法 - CSDN博客https://blog.csdn.net/u011414200/article/details/50664266

（9）不平衡数据下的机器学习方法简介https://www.jianshu.com/p/3e8b9f2764c8

（10）非平衡分类问题 | BalanceCascade方法及其Python实现https://zhuanlan.zhihu.com/p/36093594

一、数据不平衡

1.1 什么是数据不平衡

在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀，都会存在“长尾现象”，也就是所谓的“二八原理”。

以二分类问题为例，假设正类的样本数量远大于负类的样本数量，通常情况下把样本类别比例超过4:1（也有说3:1）的数据就可以称为不平衡数据。

不平衡程度相同（即正负样本比例类似）的两个问题，解决的难易程度也可能不同，因为问题难易程度还取决于数据量。可以把问题根据难度从小到大排个序：大数据+分布均衡<大数据+分布不均衡<小数据+数据均衡<小数据+数据不均衡。

1.2 数据不平衡会产生什么问题

样本不平衡会使得我们的分类模型存在很严重的偏向性，但是从一些常用的指标上又无法看出来。举一个极端一点的例子，如果正负样本比例为100:1,那岂不是把全部样本都判定为正样本就有99%+的分类准确率了。从测试结果上来看，就表现为有太多的False Positive。

二、解决方法

在机器学习中，处理样本不平衡问题，主要有3种策略：从数据角度、从算法层面和模型评价层面。
从数据角度出发，通常的方法包括了：

2.1 采样

采样方法是通过对训练集进行处理使其从不平衡的数据集变成平衡的数据集，在大部分情况下会对最终的结果带来提升。采样分为过采样和欠采样。这种方法最大的优点是简单。

过采样

过采样是把小众类复制多份。

过采样后的数据集中会反复出现一些样本，训练出来的模型会有一定的过拟合。

过采样会把小众样本复制多份，一个点会在高维空间中反复出现，这会导致一个问题，那就是运气好就能分对很多点，否则分错很多点。为了解决这一问题，可以在每次生成新数据点时加入轻微的随机扰动，经验表明这种做法非常有效。

欠采样

欠采样是从大众类中剔除一些样本，或者说只从大众类中选取部分样本。

欠采样的缺点是最终的训练集丢失了数据，模型只学到了总体模式的一部分。丢弃大量数据，和过采样一样会存在过拟合的问题。

因为欠采样会丢失信息，如何减少信息的损失呢？

第一种方法叫做EasyEnsemble，利用模型融合的方法（Ensemble）：多次欠采样（放回采样，这样产生的训练集才相互独立）产生多个不同的训练集，进而训练多个不同的分类器，通过组合多个分类器的结果得到最终的结果。

第二种方法叫做BalanceCascade，利用增量训练的思想（Boosting）：先通过一次欠采样产生训练集，训练一个分类器，对于那些分类正确的大众样本不放回，然后对这个更小的大众样本欠采样产生训练集，训练第二个分类器，以此类推，最终组合所有分类器的结果得到最终结果。

第三种方法是利用KNN试图挑选那些最具代表性的大众样本，叫做NearMiss，这类方法本质上是一种原型选择(prototype selection)方法，即从多数类样本中选取最具代表性的样本用于训练，计算量很大。

还可以采用聚类的方法，假设少数类样本数量为N，那就将多数类样本分为N个簇，取每个簇的中心点作为多数类的新样本，再加上少数类的所有样本进行训练。这样就可以保证了多数类样本在特征空间的分布特性。

还可以通过某种规则来清洗重叠的数据，从而达到欠采样的目的，而这些规则往往也是启发性的。如Tomek Link和Edited Nearest Neighbours(ENN)。这种数据清洗方法最大的缺点是无法控制欠采样的数量。

2.2 数据合成

数据合成方法是利用已有样本生成更多样本，其实也可以归类于过采样方法，这类方法在小数据场景下有很多成功案例，比如医学图像分析等。

现在的主流过采样方法就是通过某种方式人工合成一些少数类样本，从而达到类别平衡的目的，而这其中的鼻祖就是SMOTE。

SMOTE (synthetic minority oversampling technique) 的思想概括起来就是在少数类样本之间进行插值来产生额外的样本。具体地，对于一个少数类样本$x_i$使用K近邻法(k值需要提前指定)，求出离$x_i$距离最近的k个少数类样本，其中距离定义为样本之间n维特征空间的欧氏距离。然后从k个近邻点中随机选取一个，使用下列公式生成新样本：
$$x_{new}=x_i+({\hat{x}}_i-x_i)\times \delta$$
其中${\hat{x}}_i$为选出的k近邻点，$\delta \in [0,1]$是一个随机数。下图就是一个SMOTE生成样本的例子，使用的是3-近邻，可以看出SMOTE生成的样本一般就在$x_i$和${\hat{x}}_i$相连的直线上：

SMOTE为每个小众样本合成相同数量的新样本，这带来一些潜在的问题：一方面是增加了类之间重叠的可能性，另一方面是生成一些没有提供有益信息的样本。为了解决这个问题，出现两种方法：Borderline-SMOTE与ADASYN。

Borderline-SMOTE的解决思路是寻找那些应该为之合成新样本的小众样本。即为每个小众样本计算K近邻，只为那些K近邻中有一半以上大众样本的小众样本生成新样本。直观地讲，只为那些周围大部分是大众样本的小众样本生成新样本，因为这些样本往往是边界样本。确定了为哪些小众样本生成新样本后再利用SMOTE生成新样本。

ADASYN名为自适应合成抽样(adaptive synthetic sampling)，其最大的特点是根据数据分布情况自动决定不同少数类样本需要产生多少不同数量的合成样本，而不是像SMOTE那样对每个少数类样本合成同数量的样本。
其流程为：首先计算需要合成的样本总量G，然后对于每个少类别样本xi，找出其K近邻个点，并计算分布比例$\Gamma$，最后对每个少类别样本xi计算需要合成的样本数量gi，再用SMOTE算法合成新样本。

2.2.1 文本数据的合成

后文中的focal loss 方法，针对像深度神经网络这些复杂的模型，具有很好的使用价值，但是针对传统分类器，小样本集情况下，实施有一定的难度。而简单过采样和欠采样对与文本分类问题效果几乎为0。

对于文本数据，可以采用文本生成的方式，解决文本样本不均衡的问题。首先分析样本数少的类别，通过文本句法依赖分析，文本词性标记分析词的相关属性，然后采用同义词替换的方式生成新的文本。实验结果证明，方法简单有效。

还可以进行一些句子顺序打乱以及句内词序打乱的操作进行小类的数据增强。 将数据增强结合过采样是比较直观有效的做法。

2.2.2 图像数据的合成

属于图像数据增强范畴，包括图像翻转、平移、旋转、缩放，分离单个r、g、b三个颜色通道以及添加噪声等等。

2.3 加权

我们还可以通过加权的方式来解决数据不平衡的问题，即对不同类别分错的代价不同，在训练分类器时，为少数类样本赋予更大的权值，为多数类样本赋予较小的权值。

这种方法的难点在于设置合理的权重，实际应用中一般让各个分类间的加权损失值近似相等。当然这并不是通用法则，还是需要具体问题具体分析。

2.4 改变模型评价

2.4.1 选择合适的评估方式

准确度这个评价指标在类别不均衡的分类任务中并不能work，甚至进行误导（分类器不work，但是从这个指标来看，该分类器有着很好的评价指标得分）。

对于极端的类别不平衡的评估问题，我们一般用的指标有（前面是全局评估，最后一个是点评估）：

• 混淆矩阵
• Precision和Recall
• F1得分
• Kappa（Cohen kappa）
• ROC曲线和AUC
• mean Average Precesion（mAP），指的是在不同召回下的最大精确度的平均值
• Precision@Rank k。假设共有n个点，假设其中k个点是少数样本时的Precision。这个评估方法在推荐系统中也常常会用。

选择哪个评估标准需要取决于具体问题。

2.4.2 调整阈值

大部分模型的默认阈值为输出值的中位数，如逻辑回归的输出范围为[0,1]，当某个样本的输出大于0.5就会被划分为正例，反之为反例。当类别不平衡时，采用默认的分类阈值可能会导致输出全部为反例，产生虚高的准确度，导致分类失败。因此，可以选择调整阈值，使得模型对于较少的类别更为敏感。

2.4.3 改变损失函数（OHEM和Focal loss）

以下两个方法最开始适用于图像上，但是NLP领域也可以借鉴。

OHEM

OHEM（online hard example miniing）算法的核心思想是根据输入样本的损失进行筛选，筛选出hard example，表示对分类和检测影响较大的样本，然后将筛选得到的这些样本应用在随机梯度下降中训练。在实际操作中是将原来的一个ROI Network扩充为两个ROI Network，这两个ROI Network共享参数。其中前面一个ROI Network只有前向操作，主要用于计算损失；后面一个ROI Network包括前向和后向操作，以hard example作为输入，计算损失并回传梯度。

算法优点：1、对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决，这种在线选择方式针对性更强。2、随着数据集的增大，算法的提升更加明显（作者是通过在COCO数据集上做实验和VOC数据集做对比，因为前者的数据集更大，而且提升更明显，所以有这个结论）。

Focal loss

Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。主旨是：ssd按照ohem选出了loss较大的，但忽略了那些loss较小的easy的负样本，虽然这些easy负样本loss很小，但数量多，加起来的loss较大，对最终loss有一定贡献。作者想把这些loss较小的也融入到loss计算中。但如果直接计算所有的loss，loss会被那些easy的负样本主导，因为数量太多，加起来的loss就大了。也就是说，作者是想融入一些easy example，希望他们能有助于训练，但又不希望他们主导loss。这个时候就用了公式进行衰减那些easy example，让他们对loss做贡献，但又不至于主导loss，并且通过balanced crossentropy平衡类别。

OHEM是只取3:1的负样本去计算loss，之外的负样本权重置零，而focal loss取了所有负样本，根据难度给了不同的权重。

focal loss相比OHEM的提升点在于，3:1的比例比较粗暴，那些有些难度的负样本可能游离于3:1之外。之前实验中曾经调整过OHEM这个比例，发现是有好处的，现在可以试试focal loss了。

可以参考本人的另一篇博文：论文笔记：Focal Loss for Dense Object Detection

2.5 一分类/无监督/半监督

对于正负样本极不平衡的场景，我们可以换一个完全不同的角度来看待问题：把它看做一分类（One Class Learning）或异常检测（Novelty Detection）问题或变化趋势检测问题。

一分类方法的重点不在于捕捉类间的差别，而是为其中一类进行建模，经典的工作包括One-class SVM等。

异常检测指的是从数据中找到那些异常值，比如你案例中的“广告”。无监督的异常检测一般依赖于对于数据的假设，比如广告和正常的文章内容很不相同，那么一种假设是广告和正常文章间的欧式距离很大。无监督异常检测最大优势就是在于不需要数据标签，如果在对数据假设正确时效果甚至可以比监督学习更好，尤其是当获取标签成本很高时。

变化趋势检测类似于异常点检测，不同在于其通过检测不寻常的变化趋势来识别。如通过观察用户模式或银行交易来检测用户行为的不寻常改变。

此外还可以尝试半监督异常集成学习，简单而言，可以现在原始数据集上使用多个无监督异常方法来抽取数据的表示，并和原始的数据结合作为新的特征空间。在新的特征空间上使用集成树模型，比如xgboost，来进行监督学习。无监督异常检测的目的是提高原始数据的表达，监督集成树的目的是降低数据不平衡对于最终预测结果的影响。这个方法还可以和主动学习结合起来，进一步提升系统的性能。当然，这个方法最大的问题是运算开销比较大，需要进行深度优化。具体做法可以参考：

Zhao, Y.; Hryniewicki, M.K. XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning. In Proceedings of the International Joint Conference on Neural Networks (IJCNN), Rio, Brazil, 8–13 July 2018.

2.5.1 不平衡文本数据的半监督

高维数据上的半监督异常检测：考虑到文本文件在转化后往往维度很高，可以尝试一下最近的一篇KDD文章，主要是找到高维数据在低维空间上的表示，以帮助基于距离的异常检测方法。文章如下：

Pang, G., Cao, L., Chen, L. and Liu, H., 2018. Learning Representations of Ultrahigh-dimensional Data for Random Distance-based Outlier Detection. arXiv preprint arXiv:1806.04808.

三、如何选择

如何根据实际问题选择合适的方法呢？接下来谈谈一些我的经验。

1、在正负样本都非常之少的情况下，应该采用数据合成的方式；

2、在负样本足够多，正样本非常之少且比例及其悬殊的情况下，应该考虑一分类方法；

3、在正负样本都足够多且比例不是特别悬殊的情况下，应该考虑采样或者加权的方法。

4、采样和加权在数学上是等价的，但实际应用中效果却有差别。尤其是采样了诸如Random Forest等分类方法，训练过程会对训练集进行随机采样。在这种情况下，如果计算资源允许过采样往往要比加权好一些。

5、另外，虽然过采样和欠采样都可以使数据集变得平衡，并且在数据足够多的情况下等价，但两者也是有区别的。实际应用中，我的经验是如果计算资源足够且小众类样本足够多的情况下使用过采样，否则使用欠采样，因为过采样会增加训练集的大小进而增加训练时间，同时小的训练集非常容易产生过拟合。

6、对于欠采样，如果计算资源相对较多且有良好的并行环境，应该选择Ensemble方法。

四、总结

1、怎样解决样本不平衡问题：

主要三个方面，数据，模型和评估方法。

从数据的角度出发，通常的方法包括：

• 扩充数据集
• 过采样
• 欠采样
• 数据合成
• 基于异常检测的方式

从算法的角度出发，通常的方法包括：

• 尝试不同的分类算法

  决策树往往在类别不均衡数据上表现不错。它使用基于类变量的划分规则去创建分类树，因此可以强制地将不同类别的样本分开。

• 对小类错分进行加权惩罚

  如penalized-SVM和penalized-LDA算法。

• 从重构分类器的角度出发

  仔细对你的问题进行分析与挖掘，是否可以将你的问题划分成多个更小的问题，而这些小问题更容易解决。你可以从这篇文章In classification, how do you handle an unbalanced training set?中得到灵感。例如：

  • 将你的大类压缩成小类
  • 使用One Class分类器（将小类作为异常点）
  • 使用集成方式，训练多个分类器，然后联合这些分类器进行分类
  • 将二分类问题改成多分类问题

从评估的角度出发，通常的方法包括：

• 选择合适的评估指标
• 选择合适的损失函数
• 选择合适的阈值
• 设置不同类别的权重

2、经验：

参考网址：
【小夕精选】如何优雅而时髦的解决不均衡分类问题 - 夕小瑶的卖萌屋
怎样解决样本不平衡问题？（较全，有经验总结）
聊一聊深度学习中的样本不平衡问题
机器学习之类别不平衡问题 (3) —— 采样方法（详细讲了多种过采样和欠采样的方法，并对比了效果）
欠采样（undersampling）和过采样（oversampling）会对模型带来怎样的影响？ - 微调的回答 - 知乎（含部分方法在不同数据集上的实验结果）

 类别不平衡问题

在二分类问题中，通常假设正负类别相对均衡（混淆矩阵），然而实际应用中类别不平衡的问题，如100, 1000, 10000倍的数据偏斜是非常常见的，比如疾病检测中未患病的人数远超患病的人数，产品质量检测中合格产品数量远超不合格产品等。在检测信用卡欺诈问题中，同样正例的数目稀少，而且正例的数量会随着时间和地点的改变而不断变化，分类器要想在不断变化的正负样本中达到好的检测效果是非常困难的。

---

由于类别不平衡问题的特性使然，一般常使用于评估分类器性能的准确率和错误率可能就不再适用了。因为在类别不平衡问题中我们主要关心数目少的那一类能否被正确分类，而如果分类器将所有样例都划分为数目多的那一类，就能轻松达到很高的准确率，但实际上该分类器并没有任何效果。

---

True Positive (真正例，TP)：实际为正例，预测为正例。

False Negative (假负例，FN)：实际为正例，预测为负例。

True Negative (真负例，TN)：实际为负例，预测为负例。

False Positive (假正例，FP)：实际为负例，预测为正例。 

                                     F1 score =

 F1 score 是一个综合指标，为Precision和Recall的调和平均 (harmonic mean)，数值上一般接近于二者中的较小值

因此如果F1 score比较高的话，意味着Precision和Recall都较高。