精华内容
下载资源
问答
  • 【论文泛读178】通过对比对抗训练改进文本分类
    2021-07-27 17:25:00

    贴一下汇总贴:论文阅读记录

    论文链接:《Improved Text Classification via Contrastive Adversarial Training》

    一、摘要

    我们提出了一种简单而通用的方法来规范基于Transformer的编码器的微调,用于文本分类任务。具体来说,在微调过程中,我们通过扰动模型的单词嵌入来生成对立示例,并对干净的和对立的示例执行对比学习,以便教导模型学习噪声不变的表示。通过对干净的和敌对的例子以及额外的对比目标的训练,我们观察到相对于干净例子的标准微调的一致改进。在几个GLUE基准测试任务中,我们的微调BERTaLarge模型的性能平均比BERTaLarge基线高1.7%,我们的微调RoBERTaLarge比RoBERTaLarge基线提高了1.3%。此外,我们还使用三个意向分类数据集在不同领域验证了我们的方法,其中我们的微调RoBERTaLarge比RoBERTaLarge基线平均高出1–2%。

    二、结论

    在本文中,我们描述了CAT,一种简单有效的方法,用于调整基于变压器的编码器的微调。通过利用对抗性训练和对比学习,我们的系统始终优于标准的文本分类微调方法。我们使用强基线模型,并在一系列GLUE基准任务和三个不同设置的意图分类数据集上评估我们的方法。样本效率和剔除测试显示了将我们的对抗性和对比性目标结合起来对改进文本分类的积极效果。未来,我们计划研究额外的单词级目标来补充句子级对比学习目标,以便将我们的方法扩展到其他自然语言处理任务。

    三、架构

    基于文本分类任务微调基于Transformer的编码器的方法的模型架构:

    • 使用快速梯度符号方法,通过扰动编码器的单词嵌入矩阵V来生成对抗性例子。然后我们用交叉熵损失训练干净的和扰动的例子。此外,我们引入了第三种,对比损失,它使干净例子的表示和它们对应的扰动例子彼此接近,以便模型学习噪声不变的表示。

    在这里插入图片描述

    更多相关内容
  • 数据库分类及主流数据库对比

    千次阅读 2019-11-11 09:52:54
    2 数据库对比 1 数据库分类 数据库根据数据结构可分为关系型数据库和非关系型数据库。非关系型数据库中根据应用场景又可分为键值(Key-Value)数据库、列存储数据库、面向文档数据库、搜索引擎数据库等。 1.1 ...

    数据库使用系列专栏:数据库使用系列文章


    目录

    1 数据库分类

    1.1 关系型数据库

    1.2 非关系型数据库

    2 数据库对比


    1 数据库分类

    数据库根据数据结构可分为关系型数据库和非关系型数据库。非关系型数据库中根据应用场景又可分为键值(Key-Value)数据库、列存储数据库、面向文档数据库、搜索引擎数据库等。

    1.1 关系型数据库

    这种类型的数据库是最古老的数据库类型,关系型数据库模型是把复杂的数据结构归结为简单的二元关系(即二维表格形式), 如图2是一个二维表的实例。通常该表第一行为字段名称,描述该字段的作用,下面是具体的数据。在定义该表时需要指定字段的名称及类型。

    图一 数据库表实例

    在关系型数据库中,对数据的操作几乎全部建立在一个或多个关系表格上。在大型系统中通常有多个表,且表之间有各种关系。实际使用就是通过对这些关联的表格分类、合并、连接或选取等运算来实现数据库的管理。

    典型产品:MySQL、SqlServer、Oracle、PostgreSQL、SQLite等。

    1.2 非关系型数据库

    键值存储数据库

    键值数据库是一种非关系数据库,它使用简单的键值方法来存储数据。键值数据库将数据存储为键值对集合,其中键作为唯一标识符。

    图2 键值存储数据示意图

    如图2是某公有云的键值存储示意图,其中键包含分区键和排序键,而值包含更多的实际信息。比如实际使用是可以以学号为键,姓名、性别、年龄和班级等信息为值进行存储。实际存储形式很灵活,是业务需求自行定义即可。

    典型产品:Redis、Memcached等。

    列存储数据库

    列式存储(column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是对表中数据的存储形式的差异。

    图3 列存储数据

    如图3是传统行数据库和列数据库表中数据在磁盘上的存储形式的差异对比。对于行存储数据库,表中的数据是以行为单位逐行存储在磁盘上的;而对于列存储数据库,表中的数据则是以列为单位逐列存储在磁盘中。

    列存储解决的主要问题是数据查询问题。我们知道,平时的查询大部分都是条件查询,通常是返回某些字段(列)的数据。对于行存储数据,数据读取时通常将一行数据完全读出,如果只需要其中几列数据的情况,就会存在冗余列,出于缩短处理时间的考量,消除冗余列的过程通常是在内存中进行的。而列存储,每次读取的数据是集合的一段或者全部,不存在冗余性问题。这样,通过这种存储方式的调整,使得查询性能得到极大的提升。

    典型产品:HBase等。

    面向文档数据库

    此类数据库可存放并获取文档,可以是XML、JSON、BSON等格式,这些文档具备可述性(self-describing),呈现分层的树状结构(hierarchical tree data structure),可以包含映射表、集合和纯量值。数据库中的文档彼此相似,但不必完全相同。文档数据库所存放的文档,就相当于键值数据库所存放的“值”。文档数据库可视为其值可查的键值数据库。

    典型产品:MongDB、CouchDB等。

    图形数据库

    图形数据库顾名思义,就是一种存储图形关系的数据库。图形数据库是NoSQL数据库的一种类型,它应用图形理论存储实体之间的关系信息。关系型数据用于存储明确关系的数据,但对于复杂关系的数据存储却有些力不从心。如图4这种人物之间的关系,如果用关系型数据库则非常复杂,用图形数据库将非常简单。

    图4 图形数据库示例

    典型产品:Neo4J、InfoGr id等。

    搜索引擎存储

    搜索引擎数据库是应用在搜索引擎领域的数据存储形式,由于搜索引擎会爬取大量的数据,并以特定的格式进行存储,这样在检索的时候才能保证性能最优。

    典型产品:Solr、Elasticsearch等。

    2 数据库对比

    几种主流关系型数据库对比:

    数据库优势缺点
    MySQL1)MySQL性能卓越,服务稳定,很少出现异常宕机。
    2)MySQL开放源代码且无版权制约,自主性及使用成本低,版本更新较快。
    3)MySQL软件体积小,安装使用简单,并且易于维护,安装及维护成本低。
    4)MySQL支持多种操作系统,提供多种API接口,支持多种开发语言,特别对流行的PHP语言有很好的支持。
    数据量大时处理性能不及Oracle
    SqlServer1)真正的客户机/服务器体系结构
    2)图形化的用户界面,使系统管理和数据库管理更加直观、简单
    3)丰富的编程接口工具,为用户进行程序设计提供了更大的选择余地
    4)与WinNT完全集成,利用了NT的许多功能,如发送和接受消息,管理登录安全性等,SQL Server也可以很好地与Microsoft  BackOffice产品集成。
    5)提供数据仓库功能,这个功能只在Oracle和其他昂贵的DBMS中才有。
    只能在Windows系统下运行
    Oracle

    1)Oracle 能在所有主流平台上运行 

    2)Oracle 性能高,保持开放平台下TPC-D和TPC-C世界记录   

    3)获得最高认证级别的ISO标准认证

    价格昂贵
    PostgreSQL1)PostgreSQL 的稳定性极强, Innodb 等引擎在崩溃、断电之类的灾难场景下抗打击能力有了长足进步。
    2)PG 性能高速度快。任何系统都有它的性能极限,在高并发读写,负载逼近极限下,PG的性能指标仍可以维持双曲线甚至对数曲线,到顶峰之后不再下降。
    3)PG 多年来在 GIS 领域处于优势地位,因为它有丰富的几何类型,实际上不止几何类型,PG有大量字典、数组、bitmap 等数据类型。
    4)PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统
    5)PG对数据量大的文本以及SQL处理较快
     
    SQLite

    1)零配置,SQlite3不用安装,不用配置,不用启动,关闭或者配置数据库实例。当系统崩溃后不用做任何恢复操作,再下次使用数据库的时候自动恢复 

    2SQLite是被设计成轻量级,自包含的,不依赖服务进程                  

    3)采用无数据类型,所以可以保存任何类型的数据,SQLite采用的是动态数据类型,会根据存入值自动判断                                                       

    4)可移植,可运行在不同操作系统上

    数据量不宜过大,sql语句执行相比其他数据库效率较低

    几种主流非关系型数据库对比:

    数据库优势缺点
    Redis1)支持内存缓存,这个功能相当于Memcached
    2)支持持久化存储,这个功能相当于MemcacheDb,ttserver
    3)数据类型更丰富。比其他key-value库功能更强
    4)支持主从集群,分布式
    5)支持队列等特殊功能
     
    Memcached开源的、高性能的、具有分布式内存对象的纯缓存系统不支持持久化
    HBase

    1)适合存储半结构化或非结构化数据

    2)高可用和海量数据以及很大的瞬间写入量

    3)记录很稀疏,RDBMS的行有多少列是固定的,为null的列浪费了存储空间。HBase为null的Column不会被存储,这样既节省了空间又提高了读性能。

    1)不适合于大范围扫描查询
    2)不直接支持 SQL 的语句查询
    MongoDB

    1)弱一致性(最终一致),更能保证用户的访问速度

    2)查询与索引方式灵活,是最像SQL的Nosql

    3)内置GridFS,支持大容量的存储

    4)内置Sharding,支持复制集、主备、互为主备、自动分片等特性

    5)第三方支持丰富 6)性能优越

    1)单机可靠性比较差 2)磁盘空间占用比较大

    3)大数据量持续插入,写入性能有较大波动

    架构设计有一句流行语:不以业务模型为基础的架构设计都是耍流氓。同样数据库选型也应该根据自己业务需求选择最适合自己的数据库

    展开全文
  • 论文简介:对偶对比学习:如何将对比学习用于有监督文本分类 论文标题:Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation论文链接:https://arxiv.org/pdf/1905.09788.pdf...

    论文简介:对偶对比学习:如何将对比学习用于有监督文本分类

    论文标题:Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation

    论文链接:https://arxiv.org/pdf/1905.09788.pdf

    代码链接:https://github.com/hiyouga/dual-contrastive-learning

    论文作者:{Qianben Chen}

    1

    论文摘要

    对比学习在无监督环境下通过自我监督进行表征学习方面取得了显著的成功。然而,有效地使对比学习适应于监督学习任务在实践中仍然是一个挑战。在这项工作中,作者提出了一个对偶对比学习(DualCL)框架,在同一空间内同时学习输入样本的特征和分类器的参数。具体来说,DualCL将分类器的参数视为关联到不同标签的增强样本,然后利用其进行输入样本和增强样本之间的对比学习。对5个基准文本分类数据集及对应低资源版本数据集的实验研究表明,DualCL分类精度明显得到提高,并证实了DualCL能够实现样本判别表示的效果

    2

    DualCL简介

    表示法学习是当前深度学习的核心。在无监督学习的背景下,对比学习最近已被证明是获得下游任务的通用表征的有效方法。简单地说,无监督对比学习采用了一个损失函数,它迫使同一样本的不同“视角”的表示向量相似,而不同样本的表示向量则不同。最近对比学习的有效性方面被证明是由于同时实现了“对齐性”【alignment】和“一致性”【uniformity】。

    对比学习方法也适用于监督表示学习 ,以往研究中也使用了类似的对比损失,基本原理是坚持同一类中样本的表示是相似的,不同类的样本表示是相似的。清楚的。然而,尽管取得了成功,但与无监督对比学习相比,这种方法的原则性似乎要差得多。例如,表示的统一性不再有效;也不是必需的,通俗来讲就是特征的在空间分布不再均匀,所以我们认为标准的监督对比学习方法对于监督表示学习来说并不自然。另外存在一个事实就是,即这种对比学习方法的结果并没有直接给我们一个分类器,需要开发另一种分类算法来解决分类任务。

    接下来我们讲讲DualCL提出的动机,作者为了旨在开发一种更自然的方法来实现在监督任务下的对比学习。作者关键动机是监督表示学习应该包括学习两种参数:一个是输入在适当的空间特征,用来满足分类任务需求,另一个是分类器的参数,或者作用于分类器空间的参数;我们将这个分类器称为的“one example”分类器。在这种观点下,自然将样本联想到两种参数:一个为维度为的,用来表示特征;一个是分类器参数,其中代表样本中分类总数。那么有监督的表示学习可以认为是为输入样本生成。

    为了保证分类器对于特征有效,只需要保证与样本的标签保持对齐,可以通过softmax归一化的概率与交叉熵进行约束。除此之外,在对比学习方法可以用来强制对这些,θ表示进行约束,具体来讲,我们将记为样本的真实标签对应分类器的理想参数,这里我们可以设计两种对比损失。第一个loss用来对比与多个,其中代表与样本不同类别的样本特征;第二个loss用来对比与多个,其中代表样本的不同类别对应分类器参数,作者将这种学习框架叫做dual contrastive learning(DualCL),对偶对比学习

    在对比学习基础之上,正如论文标题,DualCL可以认为是一种独特的数据增强方法。具体来说,对于每个样本,其θ的每一列都可以被视为“标签启发的输入表示”,或者是在特征空间中注入了标签信息的的增强视图。表1中说明了这种方法的强大之处,从左边的两个图片可以看出,标准的对比学习不能利用标签信息。相反,从右边的两个图来看,DualCL有效地利用标签信息对其类中的输入样本进行分类。图片

    在论文实验中,作者在5个基准文本分类数据集上验证了DualCL的有效性。通过使用对偶比损失对预先训练好的语言模型(BERT和RoBERTa)进行微调,DualCL与现有的对比学习监督基线相比获得了最好的性能。作者还发现,DualCL提高了分类精度,特别是在低资源的场景下。此外通过可视化所学习的表征和注意力图,对DualCL给出了一些可解释性分析。

    论文贡献可以总结如下:

    • 1)提出了双对比学习(DualCL),自然地将对比损失与有监督任务相结合;

    • 2)引入标签感知数据增强来获得输入样本的多个视图,用于DualCL的训练;

    • 3)在5个基准文本分类数据集上实证验证了DualCL框架的有效性;

    3

    DualCL原理

    图片“对偶”表示有监督的对比学习方法目的就是:第一个是在适当空间中对分类任务的输入进行判别表示,第二个是构建监督任务的分类器,学习到分类器空间中分类器的参数。接下来我们看看DualCL的核心部分。

    标签启发式的数据增强

    为了获得训练样本的不同视图(views)表示,作者利用数据增强的思想来获得特征和分类器的表示。具体来讲就是将分类器每个类别的对应参数作为的独特表示,记为,称为标签感知输入表示,将标签信息注入到的,作为额外增强视图。

    在实践中,将标签集合插入到输入序列,可以得到一个新的输入序列,然后通过PLMS(Bert或者Roberta)模型作为编码器,来获取输入序列的每个token特征,其中[CLS]特征作为样本的特征,插入的标签对应为标签启发的输入表示。标签的名称作为标记,形成序列,如“positive”、“negative”等。对于包含多个单词的标签,我们采用token特征的平均池化来获得具有标签感知的输入表示。这个操作和之前一篇论文很相似,大家可以有兴趣可以阅读:Bert还可以这么用:融合标签向量到BERT

    对偶对比损失

    利用输入样本的特征表示和分类器θ,DualCL作用就是将θ的softmax归一化概率与的标签对齐。将θ表示θ的某一列,对应于的真实标签索引,DualCL期望θ点积是最大化的。为了学习更好的和θ,DualCL利用不同训练样本之间的关系定义了对偶对比损失,如果与有相同的标签,那么试图最大化θ,而如果与有不同的标签,则最小化θ。

    给定一个来自输入样本的锚点,是正样本集合,是负样本集合,关于z的对比损失可以定义如下:图片

    同理,给定一个来自输入样本的锚点,是正样本集合,是负样本集合,关于z的对比损失可以定义如下:图片

    对偶比损失是上述两个对比损失项的组合:

    对比训练和有监督预测

    为了充分利用监督信号,DualCL还期望θ是一个很好的分类器。因此作者使用一个改进版本的交叉熵损失来最大化每个输入样本的θ:图片

    最后,最小化这两个训练目标来训练编码器。这两个目标同时提高了特征的表示质量和分类器的表示质量。总体损失应为:

    其中,λ是一个控制双对比损失项权重的超参数。

    在分类过程中,我们使用训练好的编码器来生成输入句子的特征表示和分类器θ。这里的θ可以看作是一个“one-example”的分类器,例如,我们将θ的argmax结果作为模型预测:

    图1说明了对偶对比学习的框架,其中是特征表示,和是分类器表示。在这个具体的例子中,我们假设具有“positive”类的目标样本作为锚点,并且有一个正样本具有相同的类标签,而有一个具有不同的类标签的负样本。对偶对比损失旨在同时将特征表示吸引到正样本之间的分类器表示上,并将特征表示排斥到负样本之间的分类器上。

    表示之间的对偶性

    对比损失采用点积函数作为表示之间相似性的度量,这就使得DualCL中的特征表示和分类器表示θ之间存在双重关系。在线性分类器中,输入特征与参数之间的关系也出现了类似的现象。然后我们可以将θ看作是一个线性分类器的参数,这样预先训练好的编码器就可以为每个输入样本生成一个线性分类器。因此,DualCL很自然地学习如何为每个输入样本生成一个线性分类器来执行分类任务。

    4

    实验设置

    数据集

    论文采用了SST-2、SUBJ、TREC、PC和CR四种数据集,数据集相关统计如下:图片

    实验结果

    从结果中可以看出,除了使用RoBERTa的TREC数据集外,同时使用BERT和RoBERTa编码器在几乎所有设置中都取得了最好的分类性能。与具有完整训练数据的CE+CL相比,DualCL对BERT和RoBERTa的平均改善率分别为0.46%和0.39%。此外,我们观察到,在10%的训练数据下,DualCL的性能明显大于CE+CL方法,在BERT和RoBERTa上分别高出0.74%和0.51%。同时,CE 和 CE+SCL 的性能无法超越 DualCL。这是因为CE方法忽略了样本之间的关系,CE+SCL方法不能直接学习分类任务的分类器。

    图片此外论文发现双重对比损失项有助于模型在所有五个数据集上实现更好的性能。它表明利用样本之间的关系有助于模型在对比学习中学习更好的表示。

    图片

    案例分析

    为了验证DualCL是否能够捕获信息特征,作者还计算了[CLS]标记的特征与句子中每个单词之间的注意得分。首先在整个训练集上微调RoBERTa编码器。然后我们计算特征之间的距离,并可视化图4中的注意图。结果表明,在对情绪进行分类时,所捕获的特征是不同的。上面的例子来自SST-2数据集,我们可以看到我们的模型更关注表达“积极”情绪的句子“predictably heart warming”。下面的例子来自CR数据集,我们可以看到我们的模型对表达“消极”情绪的句子更关注“small”。相反,CE方法没有集中于这些鉴别特征。结果表明DualCL能够成功地处理句子中的信息性关键词。

    图片

    5

    论文总结

    • 在本研究中,从文本分类任务的角度,提出了一种对偶对比学习方法DualCL,来解决监督学习任务。

    • 在DualCL中,作者使用PLMs同时学习两种表示形式。一个是输入示例的鉴别特征,另一个是该示例的分类器。我们引入了具有标签感知的数据增强功能来生成输入样本的不同视图,其中包含特征和分类器。然后设计了一个对偶对比损失,使分类器对输入特征有效。

    • 对偶对比损失利用训练样本之间的监督信号来学习更好的表示,通过大量的实验验证了对偶对比学习的有效性。

    6

    核心代码

    关于Dual-Contrastive-Learning实现,大家可以查看开源代码:

    https://github.com/hiyouga/Dual-Contrastive-Learning/blob/main/main_polarity.py

     def _contrast_loss(self, cls_feature, label_feature, labels):
            normed_cls_feature = F.normalize(cls_feature, dim=-1)
            normed_label_feature = F.normalize(label_feature, dim=-1)
            list_con_loss = []
            BS, LABEL_CLASS, HS = normed_label_feature.shape
            normed_positive_label_feature = torch.gather(normed_label_feature, dim=1,
                                                         index=labels.reshape(-1, 1, 1).expand(-1, 1, HS)).squeeze(1)  # (bs, 768)
            if "1" in self.opt.contrast_mode:
                loss1 = self._calculate_contrast_loss(normed_positive_label_feature, normed_cls_feature, labels)
                list_con_loss.append(loss1)
            if "2" in self.opt.contrast_mode:
                loss2 = self._calculate_contrast_loss(normed_cls_feature, normed_positive_label_feature, labels)
                list_con_loss.append(loss2)
            if "3" in self.opt.contrast_mode:
                loss3 = self._calculate_contrast_loss(normed_positive_label_feature, normed_positive_label_feature, labels)
                list_con_loss.append(loss3)
            if "4" in self.opt.contrast_mode:
                loss4 = self._calculate_contrast_loss(normed_cls_feature, normed_cls_feature, labels)
                list_con_loss.append(loss4)
            return list_con_loss
    
        def _calculate_contrast_loss(self, anchor, target, labels, mu=1.0):
            BS = len(labels)
            with torch.no_grad():
                labels = labels.reshape(-1, 1)
                mask = torch.eq(labels, labels.T)  # (bs, bs)
                # compute temperature using mask
                temperature_matrix = torch.where(mask == True, mu * torch.ones_like(mask),
                                                 1 / self.opt.temperature * torch.ones_like(mask)).to(self.opt.device)
                # # mask-out self-contrast cases, 即自身对自身不考虑在内
                # logits_mask = torch.scatter(
                #     torch.ones_like(mask),
                #     1,
                #     torch.arange(BS).view(-1, 1).to(self.opt.device),
                #     0
                # )
                # mask = mask * logits_mask
            # compute logits
            anchor_dot_target = torch.multiply(torch.matmul(anchor, target.T), temperature_matrix)  # (bs, bs)
            # for numerical stability
            logits_max, _ = torch.max(anchor_dot_target, dim=1, keepdim=True)
            logits = anchor_dot_target - logits_max.detach()  # (bs, bs)
            # compute log_prob
            exp_logits = torch.exp(logits)  # (bs, bs)
            exp_logits = exp_logits - torch.diag_embed(torch.diag(exp_logits))  # 减去对角线元素,对自身不可以
            log_prob = logits - torch.log(exp_logits.sum(dim=1, keepdim=True) + 1e-12)  # (bs, bs)
            # in case that mask.sum(1) has no zero
            mask_sum = mask.sum(dim=1)
            mask_sum = torch.where(mask_sum == 0, torch.ones_like(mask_sum), mask_sum)
            # compute mean of log-likelihood over positive
            mean_log_prob_pos = (mask * log_prob).sum(dim=1) / mask_sum.detach()
            loss = - mean_log_prob_pos.mean()
            return loss
    
    

    7

    参考资料

    ICML 2020: 从Alignment 和 Uniformity的角度理解对比表征学习 https://blog.csdn.net/c2a2o2/article/details/117898108

    关于我

    你好,我是对白,清华计算机硕士毕业,现大厂算法工程师,拿过8家大厂算法岗SSP offer(含特殊计划),薪资40+W-80+W不等。

    高中荣获全国数学和化学竞赛二等奖。

    本科独立创业五年,两家公司创始人,拿过三百多万元融资(已到账),项目入选南京321高层次创业人才引进计划。创业做过无人机、机器人和互联网教育,保研清华后退居股东。

    我每周至少更新三篇原创,分享人工智能前沿算法、创业心得和人生感悟。我正在努力实现人生中的第二个小目标,上方关注后可以加我微信交流。

    期待你的关注,我们一起悄悄拔尖,惊艳所有在这里插入图片描述

    展开全文
  • 大概想法是把几个不同的案例取长补短,把图像分类的功能学会 有的时候需要提前观察一下数据,这样才好感同身受 基于cnn实现垃圾分类 https://www.heywhale.com/mw/project/5d26a62b688d36002c58a627/dataset Q1...

    CNN卷积神经网络实战案例
    大概想法是把几个不同的案例取长补短,把图像分类的功能学会

    有的时候需要提前观察一下数据,这样才好感同身受

    基于cnn实现垃圾分类
    https://www.heywhale.com/mw/project/5d26a62b688d36002c58a627/dataset

     Q1:这个应该是读取图片的日常功能

     

     Q2:这个随机展示6张图片是怎么个操作?

     Q3:这tm是什么数据分组的方式

     决策树疑问处理+

    Q2:分叉树的形象到底如何理解,Q3:还有最大深度的确定
    Q1:决策树到底是回归还是什么?
    形象化难以接受和理解
    分类还比较好理解,但是回归是什么鬼?——剪枝又是什么意思

     这幅图一画,我大概有点明白了

     

     

     

    Q4:bagging,boosting是什么?

    Q5:设置约束

     Q6:设置超参数
    代码实现,日后如何找寻以及确认,其他的模型能否按照相同的逻辑套用
    知道超参数的含义后,以及其内部的调整和变动,会带来什么样的影响?

    Q7:HMM是什么?-隐马尔科夫,的进化以及迭代

     

     Q8:ASR system

    为什么决策树对于缺失值具有一定的忍耐性

     用剪枝来解决过拟合的问题!

     

     

     

     Q9:这段的目的是什么?能不能直接调用,后续可能需要修改什么内容

     

     这个好像是需要下载
    https://www.jb51.net/article/195212.htm
    python语音识别指南终极版

     

     Q2:两个差不多的图像数据集,为何在测试集和训练集的划分手段上差异这么大呢?

     Q3:为啥别人加载前面几张图片就不用reshape这么麻烦的操作

     Q1:这是干啥的?加载个数据集,什么时候加batch,什么时候不用batch

     epoch类似于高,一共整体再循环多少次
    batch_size是每一批次的数目
    iterations是一个批次内部需要拆分的数目
    Q1.1:因为这道题本身的数据集差异,所以对应解锁的方式不同?

     

     Q4:X_train是什么?这么麻烦?
    虽然说她麻烦,但他确实没有用mageDataGeneraterI

     Q6:把这几篇使用的cnn模型汇总一下,然后跟现有的最先进的模型汇合一下

     Q5:前面不是有个reshape吗?
    这个维度和维数的坑,跟那边一块解决掉

     Q5.1:有哪几个指标或者维数需要解决的
    batch,channels,height,width  ?没有length
    Q5.2:最大池化层的作用是什么?
    model.add(MaxPooling2D(pool_size=(2,2))
    过滤器多少的选择32或者64,卷积核大小会不会有差异?
    input_shape图像输入维度
    Q5.3model.add(Flatten())添加展平层+Dropout内部参数如何敲定?

     

    Q1:PIL包引出Image别的库怎么没有这个操作?

    从导入的库是不是嫩看出血差异
    Q3:这波转化又是什么意思?

    直接用最全能的,然后进行其他的替换和格式的统一,便是成功!

    展开全文
  • 带钢表面缺陷检测分类不同图像增强方式的对比研究1、直接使用图像数据进行深度学习2、图像增强图像分析形态学top-hat变换图像锐化3、图像增强后的深度学习总结 基于钢材表面缺陷库进行多种缺陷检测分类实验,对比...
  • 池化层的作用: 1.下采样 2.降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量、减小内存消耗等等。各种说辞吧,总的理解就是减少参数量。 3.实现非线性 4.扩大感受野 5.实现不变形(平移不变性、...
  • 博主以往已经整理过图神经网络用于推荐系统,整理过对比学习用于推荐系统。 图神经网络用于推荐系统问题(PinSage,EGES,SR-GNN) 图神经网络用于推荐系统问题(NGCF,LightGCN) 图神经网络用于推荐系统问题(IMP...
  • 磁盘阵列RAID原理、种类及性能优缺点对比 磁盘阵列(Redundant Arrays of Independent Disks,RAID) 1. 存储的数据一定分片; 2. 分基于软件的软RAID(如mdadm)和基于硬件的硬RAID(如RAID卡); 3. RAID卡...
  • 对比了中欧抗震标准中有关钢结构抗震设计的若干条文,包括抗震设防目标、场地分类、抗震设计反应谱抗弯框架结构的设计地震作用。结果表明:在对场地条件以及地震作用的计算方法进行一定换算的基础上,对于D类场地下不...
  • 我始终坚信越努力越幸运 ⭐️ 那些打不倒我们的终将会让我们变得强大 希望在编程道路上深耕的小伙伴都会越来越好 文章目录 数据库概念及作用【了解】 数据库的功能 数据库的分类及特点【了解】 数据库的分类 不同...
  • 对比学习及其应用

    千次阅读 2021-05-07 20:50:32
    对比学习 1. 什么是对比学习 对比学习是一种机器学习技术,通过训练模型哪些数据点相似或不同,来学习没有标签的数据集的一般特征。 Contrastive learning is a machine learning technique used to learn the ...
  • 机器学习的分类与主要算法对比

    万次阅读 多人点赞 2017-05-31 23:22:21
    机器学习的分类与主要算法对比重要引用:Andrew Ng Courera Machine Learning;从机器学习谈起;关于机器学习的讨论;机器学习常见算法分类汇总;LeNet Homepage;pluskid svm 首先让我们瞻仰一下当今机器学习领域...
  • 论文简介:对偶对比学习:如何将对比学习用于有监督文本分类论文标题:Dual Contrastive Learning: Text Classification via Label-Awa...
  • 讲述新老土地利用分类对比及地类认定依据。土地利用现状分类即土地综合分类,在土地资源管理中应用最为广泛。掌握土地利用现状是国家制定国民经济计划和有关政策,发挥土地宏观调控作用,加强土地管理,合理利用土地...
  • 对比学习

    2021-05-10 16:46:58
    可以说,所有在损失函数中采用负例的对比学习方法,都是靠负例的Uniformity特性,来防止模型塌陷的,这包括SimCLR系列Moco系列等很多典型对比学习模型。 上图更形象地说明了这一点,只不过没有将数据画在单位超...
  • 土地分类标准对比

    2013-03-29 09:03:43
    土地资源分类标准对比,方便工作人员整合两类数据,充分发挥数据的作用
  • 模型的分类对比

    千次阅读 2018-08-23 22:00:38
    缺点:简单模型有时不能充分体现出复杂作用机制 ❺ 算法模型 代表:随机森林 优点:可描绘复杂的数据,精确度高 缺点:可解释性弱 从学习对象角度进行划分 ❻ 生成模型 vs 判别模型:联合分布 ...
  • 同期上期数据对比处理示例.sql --雇员数据CREATE TABLE Employee( ID int, --雇员编号(主键) Name nvarchar(10), --雇员名称Dept nvarchar(10)) -很多企业都会将两年的数据用图表做数据对比,然后根据对比结果做出...
  • 目录0,参考文献和前置知识和阅读注意1,[ECCV20]Contrastive Learning for Unpaired Image-to-Image Translation1.1,创新点和架构1.2,multi-layer、patchwise的对比学习 0,参考文献和前置知识和阅读注意 参考...
  • 所以对比学习的出现,是图像领域为了解决“在没有更大标注数据集的情况下,如何采用自监督预训练模式,来从中吸取图像本身的先验知识分布,得到一个预训练的模型”。对比学习是自监督学习的一种,也就是说,不依赖...
  • 而且用这个代理任务和nce loss去做对比学习取得了不错的无监督表征学习的结果,同时提出了用别的结构存储这些大量的负样本,以及如何进行动量的更新,为后续的对比学习的工作产生了推进的作用。 1.2 InvaSpread ...
  • 文章目录MoCo 系列自监督MoCo V1前言动量对比Dictionary as a queueMomentum update代理任务Shuffling BN实验MoCo V2MoCo V3参考 自监督 监督学习在视觉领域应用广泛且成熟,但是也存在着一些挑战:监督学习需要大量...
  • (*^▽^*)拉登老师经常...今天就再来跟着拉老师一起,学习表格设计的小技巧吧~今天为你们讲解的表格问题是「对数据做好分类的统计」。问题描述:之前公司设计的质量数据报表,是品质改善会议的材料,和主要议题。但...
  • 叙:损失函数的一般表示为 L(y,f(x)),为了便于不同损失函数的比较,常将其表示为单变量的函数,在回归问题中这个变量为y−f(x),在分类问题中则为yf(x)。 1.回归问题的损失函数 回归问题中y和f(x)皆为实数∈R,因此...
  • 序列比对概念相应工具的对比

    千次阅读 2019-09-07 10:42:44
    序列比对概念相应工具的对比 0x01 概念和意义 在生物信息学研究中,最基本的部分是序列比对,而最基本的操作是比对,主要可分为双系列比对和多序列比对,辨别序列之间的差异,同时发现生物序列中的机构和功能信息,...
  • 自监督学习之对比学习

    千次阅读 2021-03-07 19:50:35
    对比学习一般是自监督学习的一种方式 什么是自监督学习 自监督学习主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对网络进行训练,从而可以学习到对下游...
  • ETCD结构、特点和zookeeper对比

    千次阅读 2021-11-09 22:09:57
    文章目录etcd 是什么etcd结构简介etcd 数据通道etcd通信架构应用场景和ZK对比 etcd 是什么 etcd 这个名字由两部分组成: etc 和 d ,即 UNIX/Linux操作系统的“/etc” 目录和分布式( distributed )首字母的“d ”...
  • bagging的偏差和方差boosting的偏差和方差模型的独立性算法对比 k邻近(KNN) 基础算法 KNN是通过测量不同特征值之间的距离进行分类。它的的思路是: 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样 本...
  • 机器学习模型对比

    2021-08-04 18:00:39
    1.SVM和LR(逻辑回归) 1.1 相同点 都是线性分类器。本质上都是求一个最佳分类超平面。都是监督学习算法。 都是判别模型。通过决策函数,判别输入...SVM算法中仅支持向量起作用,大部分样本的增减对模型无影响;而L

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 122,860
精华内容 49,144
关键字:

对比的种类及作用