写在前面： 自2018年来，Bert在多个NLP领域都取得了颠覆性的成绩，诸如词性标注、问答系统等等。它本身采用的依然是Transform的机制，但是对于文本它是双向编码表示，，也就是Bert的全称： Bidirectional Encoder Representations from Transformers。现在对于Bert的使用和衍生变种很多很多，比如 Bert as service（可部署到服务器上，方便快捷版的Bert）、 Bert-NER（用来做实体识别）、 Bert-utils（句向量的引入）等等。实际上，针对很多人来说，我们仅仅是使用者、而不需要发费过多的时间在这上面去研究原理， 实用至上。
本文介绍的是文本的多分类问题，旨在为大家提供一种快速上手复杂神经模型的思路，其他可以类比。

一、从无到有第一步

假设现在你需要解决一个文本的多分类问题，如新闻文章划分（军事？体育？财经？）或者网上政务留言文本分类后交给各个部门（环境保护部门？民政部门？工商管理部门？），列举这些例子就是为了说明文本分类在很多领域都很重要，我们常说：“聚类、分类、关联能解决99%的数据挖掘问题”，灵活转化问题才是最重要的。扯远了哈，你已经明确你有一个文本多分类的问题，第一步就是收集分类的手段，而不要考虑文本，这样做的好处一会再说。把问题拆解开来，分类手段有啥？（百度即可），哦！决策树、朴素贝叶斯、SVM、高级点的LightGBM、神经网络等都可以，把它们记录下来，熟悉它们的使用方法（输入输出很重要），适应的范围和优缺点，原理的话，学有余力你可以学习。最快的方法是找代码直接看直接调通。
加入文本二字，你自然就会想到，文本是字符，上述这些方法的输入都是数值（向量）。好了，恭喜你，你已经在走那些大神走过的路了。文本编码有啥方法呀？问问度娘（或者来CSDN也可~ _~），词袋模型，one-hot模型，TF-IDF方法，word2vec（2 = to，英文中的通假字了解一下）等等，映入眼帘，当然，你肯定还会看到Bert的身影，别着急，一步一步来。同样的方法，你把每种方法的实现、优缺点等搞懂，你就知道适合你的任务的编码方式是啥了。
总结一下，第一步你需要做的就是不停的查、不停的下载代码、调代码。很简单对吧，但是并非如此哦，你可能一步一步陷入某个理论中不能自拔，查完这个发现不懂就去查另一个，套娃既视感，做正确的选择很重要。

二、搭配起来作比较

很神奇吧，你现在知道文本的编码有那么多、分类的方法有那么多，即便筛选掉那些你觉得肯定对你任务不合适的方法，这样排列组合的形式还是有很多。那么对任务上下游方法进行搭配就很重要了。谁也不会知道那个效果好，那就多搭配搭配试一试，比较各个模型组合起来的效果。对于分类问题比较好的衡量标准就是F-Score和准确率，一般来说准确率用的可能要多一些。但是在竞赛中F-Score是更为常见的。
这里可以回答为啥我们要把问题分开考虑了，因为想要你的模型比别人效果好，必须要有创新，而直接关联的去查找文本多分类的资料，你得到的只能是别人用过的。你可能会说，你只追求效果好，那也行，但是如果你要写论文的化，你就知道这个有多重要了。
针对那些需要写论文等文字资料的童鞋，推荐一下几个绘制图标的好工具：

1. processon：在线绘制流程图，在每一章的开头给一幅“本章架构图”，很加分；
2. echarts：不想循规蹈矩的用excel绘制统计图表，echarts这款很适合你，简单JavaScript语法很容易上手，而且官网上给出了许多实例，改改数据就能用。

三、言归正传扯代码

前面说的都是铺垫，在很多你不熟悉的领域都是很好的思路，技术更新那么快，快速上手你需要技巧的~
下面我就来介绍我在某一次文本分类任务中的使用的bert-util+传统分类模型，并且我也会在接下来介绍一些Bert原生分类器的原理和方法。

1.Bert-util详解

这里插几句，说下我为啥选择Bert-util。在最开始我使用的也是Bert-master（就是谷歌给的那一款），天啊！我发现Bert只能截断指定长度的文本，比如一个文本1000个汉字，受限于max_position_embeddings
注意这个是直接截断的！直接截断的！万一信息量文档后面集中分布，那该咋办，(╯▽╰)，我也不知道。我在网上找到这个Bert-util，标题说的是“一行代码生成句向量”，但是实际使用的过程中发现还是不行，这个弊端并没有被作者修正。我不知道用“ 弊端”这个词对不对，因为它本身可能并不适合文档级别的文本
那我为啥还选择Bert-util呢？
很显然的是，Bert-util能够很好完成输入一个文本序列给出一个向量。你会问Bert-master不行吗？也可以，但是他是通过【CLS】实现的，说白了他是给每一个字一个向量，但是【CLS】作为一个特殊字符，本身不具有语义的特征，通过Bert内在机制，【CLS】对应的向量本身是可以作为这个序列特征的文本表示。你可以理解为Bert将序列的全部信息给了【CLS】，万千宠爱集于一身，O(∩_∩)O~
选择了Bert-util是一种偶然，为了解决Bert的弊端却没有解决，但是Bert-util代码很容易理解，易于与下面的传统分类方法结合。
下面怼代码了，做好准备：
A：下载Bert-util代码（上面给了链接），下载Bert的中文模型（谷歌给咱跑的不用白不用，高性能机器上也要一周）：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
添加到Bert-util的目录中。（下图展示了位置，请自行忽略我自己产生的垃圾数据）

切记不要修改中文模型的任何文件，包括文件名。
B：把中文模型的文件路径添加进去，在args.py文件中。

C：新建一个run.py文件，写入以下内容：

from bert.extrac_feature import BertVector
bv = BertVector()
print（bv.encode(['我爱你中国！'])）

注意输入格式是列表，尤其是在你批量传入的时候。
D：批量的时候要保存向量以便于后续的下游的传统分类任务，在extract_feature.py中修改如下：

这里我是保存到一个txt里，其实就是要遍历prediction，你想咋保存就咋保存吧。
E：这里你就可以跑你新建的run.py了，注意第一次运行时会新建一个tmp/result/graph文本，它保存了模型的一些参数等信息。注意如果你不调整参数的话，第二次就可以直接使用这个了。但是，一旦调整了参数就必须把tem文件夹直接删除，或者重命名也可以。
F：调参是一个很玄学的事情。bert-util的调参在args.py和modeling.py中，每个参数的具体含义都是很显而易见的。这个模型运行代价不是很大，一般的笔记本就能跑，调参就自己试一试吧，一般batch_size设为32比较好，学习率尽可能低，一般到十万分位。温馨提示，调参时注意记录，无论是写论文还是指导下一步调参都很重要。

（args.py）

（modeling.py）

2.下游的传统分类手段

（1）基于概率模型的朴素贝叶斯分类器：朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器。优点在于数据集较小的情况下的仍旧可以处理多类别问题使用于标称数据。面对Bert生成的序列向量，朴素贝叶斯并没有很好的处理能力，主要原因是：其一，Bert生成向量的各维度是连续属性；其二，Bert生成向量各个维度并不是完全独立的。因此这种分类方法在原理上来讲不会具有很好的分类效果；
（2）基于网络结构的SVM分类方法：支持向量机的思想来源于感知机，是一种简单的浅层神经网络。但SVM较一般的神经网络具有更好的解释性和更完美的数学理论支撑。SVM的目的在于寻求划分各类的超平面。当然，支持向量机可实现非线性分类，利用核函数将数据抽象到更高维的空间，进而将非线性问题转换为线性问题；
（3）基于树模型的LightGBM分类器：LightGBM是对一般决策树模型和梯度提升决策树模型XGBoost的一种改进。内部使用Histogram的决策树算法和带有深度限制的Leaf-wise的叶子生长策略，主要优势在于更快的训练效率、低内存占用以及适用大规模并行化数据处理。（来自我的某篇小论文）

代码实现我都不好意思说，为啥呢？因为Sklearn里封装的太棒了，当然LightGBM要单独安装使用。
分享以下Sklearn的中文文档，你想做的它都有：https://www.cntofu.com/book/170/index.html
传统分类器也有调参的过程，祝君好运！O(∩_∩)O

3.Bert原生的分类器

bert本身就具有很好的分类器，也就是基于【CLS】进行分类，“CLS”本身就是classify的缩写。如何使用一查一大堆。不再赘述了。一般来说，Bert原生的分类器分类的准确性比较高，其实他就是在网络后通过Fine-Tuning机制添加少量的神经网络层，一般都有softmax层，这个大家可以了解一下。

好了，这篇扯得有点多，也有点乱，不过大家按照这个来，你完全可以完成一个文本的（多）分类任务，并且你可以按照这个思路完成任何你不熟悉的领域。

关于我的代码就不给了，需要私我，我常在哦！有问题也可以留言评论，欢迎交流，一起进步！
————————END——————————

论文简介：对偶对比学习：如何将对比学习用于有监督文本分类
论文标题：Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation
论文链接：https://arxiv.org/abs/2201.08702
代码链接：https://github.com/hiyouga/dual-contrastive-learning
论文作者：{Qianben Chen}
知乎笔记：https://zhuanlan.zhihu.com/p/466685216

论文摘要

对比学习在无监督环境下通过自我监督进行表征学习方面取得了显著的成功。然而，有效地使对比学习适应于监督学习任务在实践中仍然是一个挑战。在这项工作中，作者提出了一个对偶对比学习(DualCL)框架，在同一空间内同时学习输入样本的特征和分类器的参数。具体来说，DualCL将分类器的参数视为关联到不同标签的增强样本，然后利用其进行输入样本和增强样本之间的对比学习。对5个基准文本分类数据集及对应低资源版本数据集的实验研究表明，DualCL分类精度明显得到提高，并证实了DualCL能够实现样本判别表示的效果。

DualCL简介

表示法学习是当前深度学习的核心。在无监督学习的背景下，对比学习最近已被证明是获得下游任务的通用表征的有效方法。简单地说，无监督对比学习采用了一个损失函数，它迫使同一样本的不同“视角”的表示向量相似，而不同样本的表示向量则不同。最近对比学习的有效性方面被证明是由于同时实现了“对齐性”【alignment】和“一致性”【uniformity】。

对比学习方法也适用于监督表示学习 ，以往研究中也使用了类似的对比损失，基本原理是坚持同一类中样本的表示是相似的，不同类的样本表示是相似的。 清楚的。 然而，尽管取得了成功，但与无监督对比学习相比，这种方法的原则性似乎要差得多。 例如，表示的统一性不再有效； 也不是必需的，通俗来讲就是特征的在空间分布不再均匀，所以我们认为标准的监督对比学习方法对于监督表示学习来说并不自然。 另外存在一个事实就是，即这种对比学习方法的结果并没有直接给我们一个分类器，需要开发另一种分类算法来解决分类任务。

接下来我们讲讲DualCL提出的动机，作者为了旨在开发一种更自然的方法来实现在监督任务下的对比学习。作者关键动机是监督表示学习应该包括学习两种参数：一个是输入$x$在适当的空间特征$z$,用来满足分类任务需求，另一个是分类器的参数，或者作用于分类器空间的参数$\theta$；我们将这个分类器称为$x$的“one example”分类器。在这种观点下，自然将样本$x$联想到两种参数：一个为维度为$d$的$z\in {\mathbb{R}}^d$，用来表示特征；一个是分类器参数$\theta \in {\mathbb{R}}^{d\times K}$，其中$K$代表样本中分类总数。那么有监督的表示学习可以认为是为输入样本$x$生成$(z,\theta )$。

为了保证分类器$\theta$对于特征$z$有效，只需要保证${\theta }^{T}z$与样本$x$的标签保持对齐，可以通过softmax归一化的概率与交叉熵进行约束。除此之外，在对比学习方法可以用来强制对这些$(z，\theta )$表示进行约束，具体来讲，我们将${\theta }^{\ast }$记为样本$x$的真实标签对应分类器$\theta$的理想参数，这里我们可以设计两种对比损失。第一个loss用来对比$(z,{\theta }^{\ast })$与多个$(z^{\prime },{\theta }^{\ast })$,其中$z^{\prime }$代表与样本$x$不同类别的样本特征；第二个loss用来对比$(z,{\theta }^{\ast })$与多个$(z,{\theta }^{\prime \ast })$,其中${\theta }^{\prime }$代表样本的不同类别对应分类器参数，作者将这种学习框架叫做dual contrastive learning（DualCL），对偶对比学习。

在对比学习基础之上，正如论文标题，DualCL可以认为是一种独特的数据增强方法。具体来说，对于每个样本$x$，其$\theta$的每一列都可以被视为“标签启发的输入表示”，或者是在特征空间中注入了标签信息的$x$的增强视图。表1中说明了这种方法的强大之处，从左边的两个图片可以看出，标准的对比学习不能利用标签信息。相反，从右边的两个图来看，DualCL有效地利用标签信息对其类中的输入样本进行分类。

在论文实验中，作者在5个基准文本分类数据集上验证了DualCL的有效性。通过使用对偶比损失对预先训练好的语言模型(BERT和RoBERTa)进行微调，DualCL与现有的对比学习监督基线相比获得了最好的性能。作者还发现，DualCL提高了分类精度，特别是在低资源的场景下。此外通过可视化所学习的表征和注意力图，对DualCL给出了一些可解释性分析。

论文贡献可以总结如下：

• 1)提出了双对比学习(DualCL)，自然地将对比损失与有监督任务相结合；
• 2)引入标签感知数据增强来获得输入样本的多个视图，用于DualCL的训练；
• 3)在5个基准文本分类数据集上实证验证了DualCL框架的有效性；

DualCL原理

“对偶”表示有监督的对比学习方法目的就是：第一个是在适当空间中对分类任务的输入进行判别表示，第二个是构建监督任务的分类器，学习到分类器空间中分类器的参数。接下来我们看看DualCL的核心部分。

标签启发式的数据增强

为了获得训练样本的不同视图（views）表示，作者利用数据增强的思想来获得特征$z_i$和分类器${\theta }_i$的表示。具体来讲就是将分类器每个类别的对应参数${\theta }_i$作为$z_i$的独特表示，记为${\theta }_i^k$,称为标签感知输入表示，将标签$k$信息注入到的$x_i$,作为额外增强视图。

在实践中，将标签集合 { 1 , . . . , K } \{1,...,K\} {1,...,K}插入到输入序列$x_i$,可以得到一个新的输入序列$r_i\in {\mathbb{R}}^{L+K}$，然后通过PLMS（Bert或者Roberta）模型作为编码器$f$，来获取输入序列的每个token特征，其中[CLS]特征作为样本$x_i$的特征$z_i$，插入的标签对应为标签启发的输入表示${\theta }_i^k$。标签的名称作为标记，形成序列$r_i$，如“positive”、“negative”等。对于包含多个单词的标签，我们采用token特征的平均池化来获得具有标签感知的输入表示。这个操作和之前一篇论文很相似，大家可以有兴趣可以阅读：Bert还可以这么用：融合标签向量到BERT

对偶对比损失

利用输入样本$x_i$的特征表示$z_i$和分类器${\theta }_i$，DualCL作用就是将${\theta }_i^T{z}_i$的softmax归一化概率与$x_i$的标签对齐。将${\theta }_i^{\ast }$表示${\theta }_i$的某一列，对应于$x_i$的真实标签索引，DualCL期望${\theta }_i^{\ast T}{z}_i$点积是最大化的。为了学习更好的$z_i$和${\theta }_i$，DualCL利用不同训练样本之间的关系定义了对偶对比损失，如果$x_j$与$x_i$有相同的标签，那么试图最大化${\theta }_i^{\ast T}{z}_j$，而如果$x_j$与$x_i$有不同的标签，则最小化${\theta }_i^{\ast T}{z}_j$。

给定一个来自输入样本$x_i$的锚点$z_i$， { θ j ∗ } j ∈ P i \{ \theta^*_j \}_j\in P_{i} {θj∗​}j​∈Pi​是正样本集合， { θ j ∗ } j ∈ A i   ∣ P i \{ \theta^*_j \}_j\in A_i \ | P_i {θj∗​}j​∈Ai​ ∣Pi​是负样本集合，关于z的对比损失可以定义如下：

同理，给定一个来自输入样本$x_i$的锚点${\theta }_i^{\ast }$， { z j } j ∈ P i \{ z_j \}_j\in P_{i} {zj​}j​∈Pi​是正样本集合， { z j } j ∈ A i   ∣ P i \{ z_j \}_j\in A_i \ | P_i {zj​}j​∈Ai​ ∣Pi​是负样本集合，关于z的对比损失可以定义如下：

对偶比损失是上述两个对比损失项的组合：
$${\mathcal{L}}_{\mathcal{D}ual}={\mathcal{L}}_z+{\mathcal{L}}_{\theta }$$

对比训练和有监督预测

为了充分利用监督信号，DualCL还期望${\theta }_i$是一个很好的$z_i$分类器。因此作者使用一个改进版本的交叉熵损失来最大化每个输入样本$x_i$的${\theta }_i^{\ast T}{z}_i$：

最后，最小化这两个训练目标来训练编码器$f$。这两个目标同时提高了特征的表示质量和分类器的表示质量。总体损失应为：
$${\mathcal{L}}_{overall}={\mathcal{L}}_{\mathcal{C}\mathcal{E}}+\lambda {\mathcal{L}}_{\mathcal{D}ual}$$
其中，$\lambda$是一个控制双对比损失项权重的超参数。

在分类过程中，我们使用训练好的编码器$f$来生成输入句子$x_i$的特征表示$z_i$和分类器${\theta }_i$。这里的${\theta }_i$可以看作是一个“one-example”的分类器，例如$x_i$,我们将${\theta }_i^T{z}_i$的argmax结果作为模型预测：
$${\hat{y}}_i=argmax({\theta }_i^k\cdot z_i)$$

图1说明了对偶对比学习的框架，其中$e_{CLS}$是特征表示，$e_{POS}$和$e_{NEG}$是分类器表示。在这个具体的例子中，我们假设具有“positive”类的目标样本作为锚点，并且有一个正样本具有相同的类标签，而有一个具有不同的类标签的负样本。对偶对比损失旨在同时将特征表示吸引到正样本之间的分类器表示上，并将特征表示排斥到负样本之间的分类器上。

表示之间的对偶性

对比损失采用点积函数作为表示之间相似性的度量,这就使得DualCL中的特征表示$z$和分类器表示$\theta$之间存在双重关系。在线性分类器中，输入特征与参数之间的关系也出现了类似的现象。然后我们可以将$\theta$看作是一个线性分类器的参数，这样预先训练好的编码器$f$就可以为每个输入样本生成一个线性分类器。因此，DualCL很自然地学习如何为每个输入样本生成一个线性分类器来执行分类任务。

实验设置

数据集

论文采用了SST-2、SUBJ、TREC、PC和CR四种数据集，数据集相关统计如下：

实验结果

从结果中可以看出，除了使用RoBERTa的TREC数据集外，同时使用BERT和RoBERTa编码器在几乎所有设置中都取得了最好的分类性能。与具有完整训练数据的CE+CL相比，DualCL对BERT和RoBERTa的平均改善率分别为0.46%和0.39%。此外，我们观察到，在10%的训练数据下，DualCL的性能明显大于CE+CL方法，在BERT和RoBERTa上分别高出0.74%和0.51%。同时，CE 和 CE+SCL 的性能无法超越 DualCL。 这是因为CE方法忽略了样本之间的关系，CE+SCL方法不能直接学习分类任务的分类器。

此外论文发现双重对比损失项有助于模型在所有五个数据集上实现更好的性能。 它表明利用样本之间的关系有助于模型在对比学习中学习更好的表示。

案例分析

为了验证DualCL是否能够捕获信息特征，作者还计算了[CLS]标记的特征与句子中每个单词之间的注意得分。首先在整个训练集上微调RoBERTa编码器。然后我们计算特征之间的$l_2$距离，并可视化图4中的注意图。结果表明，在对情绪进行分类时，所捕获的特征是不同的。上面的例子来自SST-2数据集，我们可以看到我们的模型更关注表达“积极”情绪的句子“predictably heart warming”。下面的例子来自CR数据集，我们可以看到我们的模型对表达“消极”情绪的句子更关注“small”。相反，CE方法没有集中于这些鉴别特征。结果表明DualCL能够成功地处理句子中的信息性关键词。

论文总结

• 在本研究中，从文本分类任务的角度，提出了一种对偶对比学习方法DualCL，来解决监督学习任务。
• 在DualCL中，作者使用PLMs同时学习两种表示形式。一个是输入示例的鉴别特征，另一个是该示例的分类器。我们引入了具有标签感知的数据增强功能来生成输入样本的不同视图，其中包含特征和分类器。然后设计了一个对偶对比损失，使分类器对输入特征有效。
• 对偶对比损失利用训练样本之间的监督信号来学习更好的表示,通过大量的实验验证了对偶对比学习的有效性。

核心代码

关于Dual-Contrastive-Learning实现，大家可以查看开源代码：

https://github.com/hiyouga/Dual-Contrastive-Learning/blob/main/main_polarity.py

 def _contrast_loss(self, cls_feature, label_feature, labels):
        normed_cls_feature = F.normalize(cls_feature, dim=-1)
        normed_label_feature = F.normalize(label_feature, dim=-1)
        list_con_loss = []
        BS, LABEL_CLASS, HS = normed_label_feature.shape
        normed_positive_label_feature = torch.gather(normed_label_feature, dim=1,
                                                     index=labels.reshape(-1, 1, 1).expand(-1, 1, HS)).squeeze(1)  # (bs, 768)
        if "1" in self.opt.contrast_mode:
            loss1 = self._calculate_contrast_loss(normed_positive_label_feature, normed_cls_feature, labels)
            list_con_loss.append(loss1)
        if "2" in self.opt.contrast_mode:
            loss2 = self._calculate_contrast_loss(normed_cls_feature, normed_positive_label_feature, labels)
            list_con_loss.append(loss2)
        if "3" in self.opt.contrast_mode:
            loss3 = self._calculate_contrast_loss(normed_positive_label_feature, normed_positive_label_feature, labels)
            list_con_loss.append(loss3)
        if "4" in self.opt.contrast_mode:
            loss4 = self._calculate_contrast_loss(normed_cls_feature, normed_cls_feature, labels)
            list_con_loss.append(loss4)
        return list_con_loss

    def _calculate_contrast_loss(self, anchor, target, labels, mu=1.0):
        BS = len(labels)
        with torch.no_grad():
            labels = labels.reshape(-1, 1)
            mask = torch.eq(labels, labels.T)  # (bs, bs)
            # compute temperature using mask
            temperature_matrix = torch.where(mask == True, mu * torch.ones_like(mask),
                                             1 / self.opt.temperature * torch.ones_like(mask)).to(self.opt.device)
            # # mask-out self-contrast cases, 即自身对自身不考虑在内
            # logits_mask = torch.scatter(
            #     torch.ones_like(mask),
            #     1,
            #     torch.arange(BS).view(-1, 1).to(self.opt.device),
            #     0
            # )
            # mask = mask * logits_mask
        # compute logits
        anchor_dot_target = torch.multiply(torch.matmul(anchor, target.T), temperature_matrix)  # (bs, bs)
        # for numerical stability
        logits_max, _ = torch.max(anchor_dot_target, dim=1, keepdim=True)
        logits = anchor_dot_target - logits_max.detach()  # (bs, bs)
        # compute log_prob
        exp_logits = torch.exp(logits)  # (bs, bs)
        exp_logits = exp_logits - torch.diag_embed(torch.diag(exp_logits))  # 减去对角线元素，对自身不可以
        log_prob = logits - torch.log(exp_logits.sum(dim=1, keepdim=True) + 1e-12)  # (bs, bs)
        # in case that mask.sum(1) has no zero
        mask_sum = mask.sum(dim=1)
        mask_sum = torch.where(mask_sum == 0, torch.ones_like(mask_sum), mask_sum)
        # compute mean of log-likelihood over positive
        mean_log_prob_pos = (mask * log_prob).sum(dim=1) / mask_sum.detach()
        loss = - mean_log_prob_pos.mean()
        return loss

参考资料

ICML 2020: 从Alignment 和 Uniformity的角度理解对比表征学习
https://blog.csdn.net/c2a2o2/article/details/117898108