精华内容
下载资源
问答
  • 目标检测基础-制作自己的数据集
    2021-11-01 22:21:21

    Pascal VOC2012数据集文件结构:

    1.打开项目文件夹->data->predefined_classes.txt修改标注类别信息

    2.打开软件(labelImg)

    3.设置图像文件所在目录,以及标注文件保存目录

    4.标注图像,并保存

    5.若要修改源代码在项目的libs->labelFile.py文件中修改

    1.数据集中主要有三个文件,一个是标注的图像信息的文件夹,一个是存放图像的文件夹,还有一个记录多少个类的txt文件。

    2.在当前文件夹下按住shift健,右键打开powershell。

    3.然后修改chage Save Dir,选择annotations保存就好。

    4.然后选择create\nRectBox来绘制矩形框。

    5.然后选择过后,如果觉得这个样本比较难检测就点上difficult。

    6.标记完之后就点击save,之后该标注信息就会保存在annotations文件夹下。

     

     

    更多相关内容
  • ECGData-数据集

    2021-03-19 14:57:39
    a01.csv a01er.csv a02.csv a01r.csv a03.csv a03er.csv a02er.csv a02r.csv a03r.csv a04er.csv a04r.csv a05.csv a04.csv a06.csv a07.csv a08.csv a09.csv a10.csv ...x35.csv
  • 根据智能体过去的经验数据集内一系列的图像、动作和奖励,Dreamer 可以学习世界模型,具体过程如下图所示: Dreamer 从经验中学习世界模型:通过使用过去的图像 (o1–o3) 和动作 (a1–a2),计算出一系列压缩模型状态...

    文 / Google Research 学生研究员 Danijar Hafner

    关于人工智能体如何选择动作来实现目标的研究,目前进展迅速,这在很大程度上得益于强化学习 (RL) 的使用。无模型 (Model-free) 强化学习方法通过试错来学习预测成功动作,让 DeepMind 的 DQN 能够玩 Atari 游戏,也让 AlphaStar 可以在星际争霸 II(Starcraft II) 游戏中击败世界冠军,不过由于这种方法需要大量的环境交互,在真实场景中的实用性也因此受到了限制。

    相较之下, 基于模型的 强化学习方法能额外学习环境的简化模型。这一 世界模型 让智能体能够预测潜在动作序列的结果,能够在假设场景中的新情境中训练并做出明智决策,从而减少实现目标所必需的试错次数。过去,学习精确的世界模型并利用此类模型学习成功行为的方法一直存在挑战。虽然在近期的研究中,如我们的深度规划网络 (Deep Planning Network, PlaNet),通过从图像中学习精确世界模型的方法在该领域取得一些突破,但是基于模型的方法依然受制于规划机制,需考虑到无效或算力消耗太高等方面的,其解决复杂任务的能力也因此受阻。

    今天,在与 DeepMind 的合作之下,我们推出 Dreamer,这是一种从图像中学习世界模型并使用此模型来学习长期行为的强化学习 (RL) 智能体。通过模型预测的反向传播,Dreamer 能够利用世界模型进行高效的行为学习。通过从原始图像中学习计算 压缩模型状态 (Compact Model States) ,智能体只需使用一块 GPU 即可从成千上万的预测序列中高效地并行学习。在给定原始图像输入的 20 个连续控制任务基准测试中,Dreamer 在性能、数据效率和计算时间三个方面均达到最高水准 (state-of-the-art)。为促进强化学习的进一步发展,我们正在向研究社区发布源代码。

    Dreamer 的工作原理

    Dreamer 包括三个非常典型的基于模型的学习方法流程:学习世界模型,从世界模型做出的预测中学习行为,以及在环境中使用学习来的行为以获取新反馈。在学习行为时,Dreamer 使用估值网络 (Value Network) 将规划范畴之外的奖励也纳入考量,同时使用行动网络 (Actor Network) 来高效地计算动作。这三个流程可并行执行,并不断重复,直至智能体实现其目标:

    Dreamer 智能体的三个流程:智能体从过去的经验中学习得到世界模型。根据此模型的预测,智能体随后学习用于预测未来奖励的估值网络和用于选择动作的行动网络。行动网络用于与环境的交互

    学习世界模型

    Dreamer 使用 PlaNet 世界模型,该模型基于从输入图像计算出的一系列 压缩模型状态(Compact Model States) 来预测结果,而不是直接从一个图像来预测下一个。智能体能够自动学习生成模型状态(如物体类型、物体位置以及物体与周围环境的交互等有助于预测未来结果的概念)。根据智能体过去的经验数据集内一系列的图像、动作和奖励,Dreamer 可以学习世界模型,具体过程如下图所示:

    Dreamer 从经验中学习世界模型:通过使用过去的图像 (o1–o3) 和动作 (a1–a2),计算出一系列压缩模型状态(如图中绿色圆圈所示),并使用这些状态重构图像 (ô1–ô3),然后预测奖励 (r̂1–r̂3)

    使用 PlaNet 世界模型的一大优势在于,通过使用压缩模型状态而非图像来预测,可显著提升计算效率。这使得模型能够在单个 GPU 上即可并行预测数千个序列。该方法还有助于实现泛化,进而实现准确的长期视频预测。为深入挖掘该模型的工作原理,我们通过将压缩模型状态解码回图像来可视化预测到的序列,如下所示,我们在 DeepMind Control Suite 与 DeepMind Lab 环境中分别执行一个任务:

    使用压缩模型状态进行提前预测可在复杂环境中实现长期预测:此处显示的两个序列为智能体以前从未遇到过的序列。在给定五个图像输入后,模型能够对其进行重构并预测出未来 50 步的图像

    高效行为学习

    以往开发的基于模型的智能体通常有两种选择动作的方式,一是通过多个模型预测来进行规划,二是使用世界模型代替模拟器来重用现有的无模型技术。这两种设计都需要很大的计算量,并且无法充分利用学习得到的世界模型。此外,即使是性能强大的世界模型,其精确预测未来的能力也有限,这使得以往很多基于模型的智能体都存在短视问题。Dreamer 通过对其世界模型预测的反向传播,获得估值网络与行动网络,进而克服此类限制。

    Dreamer 通过预测到的状态序列对奖励梯度进行反向传播,以此高效学习行动网络来预测成功动作,而这一点在无模型的方法中是不可能实现的。这让 Dreamer 能够了解到其动作的微小变化会如何影响未来的奖励预测,使其能够朝着奖励最大化的方向优化其行动网络。为考虑超出预测范畴的奖励,估值网络会预估每个模型状态的未来奖励总和。然后,这些奖励和价值将反向传播以优化行动网络,使其选择改进后的动作:

    Dreamer 从模型状态的预测序列中学习长期行为:Dreamer 会首先学习每个状态的长期值 (v̂2–v̂3),然后通过状态序列将这些值反向传播至行动网络,预测可产生高奖励和价值的动作 (â1–â2)

    Dreamer 与 PlaNet 在许多方面存在不同。对于环境中的给定情境,PlaNet 在各种不同的动作序列预测中搜索最佳动作。相比之下, Dreamer 则可通过分离规划与行动以规避这一成本高昂的搜索过程。只要在预测序列上对其行动网络进行训练,Dreamer 无需额外搜索就可以计算与环境交互的动作。此外,Dreamer 使用估值函数来考虑规划范畴以外的奖励,并利用反向传播实现高效规划。

    控制任务上的表现

    我们已依据 20 个多样化任务组成的标准基准对 Dreamer 进行评估,任务中包含连续动作和图像输入。任务包括平衡和捕捉对象,以及各种模拟机器人的移动。这些任务设计用于对强化学习智能体提出各种挑战,包括预测碰撞的困难度、稀疏奖励、混沌动态、微小但相关的对象、高自由度和 3D 透视:

    Dreamer 学习并解决了 20 个有图像输入的颇有挑战的连续控制任务(上图仅展示其中的 5 个任务)。可视化效果显示出智能体从环境中接收的相同 64x64 图像

    我们将 Dreamer 与此前性能最佳的基于模型的智能体 PlaNet、目前常用的无模型智能体 A3C,以及目前在此基准上性能最佳的无模型智能体 D4PG(结合无模型强化学习的一些优势)等模型进行对比。基于模型的智能体可以实现 500 万帧以内的高效学习,对应的模拟时间为 28 小时。无模型智能体的学习速度更慢,需要 1 亿帧,对应的模拟时间为 23 天。

    以 20 个任务为基准,Dreamer 的平均得分为 823 分,超过性能最佳的无模型智能体 (D4PG) 的 786分,同时学习需要的环境交互仅为 1/20。此外,在几乎所有任务上,均优于此前最佳的基于模型的智能体 (PlaNet) 的最终性能。在计算时间上,训练 Dreamer 仅需 16 个小时,而其他方法则需要 24 个小时。四个智能体的最终性能如下图所示:

    就最终性能、数据效率和计算时间而言,Dreamer 在 20 个任务基准上的表现远超之前性能最佳的无模型 (D4PG) 和基于模型的 (PlaNet) 方法

    除了在连续控制任务上执行的主要实验之外,我们还将 Dreamer 应用于具有离散动作的任务,以验证其通用性。为此,我们选择 Atari 游戏和 DeepMind Lab 级别的任务,这些任务要求智能体能够兼具反应性行为和远见的行为,有空间意识,以及理解视觉效果更加多元化的场景。最终行为的可视化效果如下所示,从图中可知,Dreamer 也能高效学习以解决这些更具挑战的任务:

    Dreamer 在 Atari 游戏和 DeepMind Lab 级别任务上习得成功的行为,这些任务具有离散动作和视觉差异化更大的场景,其中包括有多个目标的 3D 环境

    结论

    我们的研究表明,仅从世界模型预测的序列中学习行为就可以解决来自图像输入的颇具挑战的视觉控制任务,性能上也超越了此前的无模型方法。此外,Dreamer 还证明通过压缩模型状态的预测序列来反向传播价值梯度,进而学习行为的方法非常成功,且具有鲁棒性,可以解决多样化的连续和离散控制任务。我们相信,Dreamer 可为强化学习的进一步发展奠定坚实基础,包括实现更好的表征学习、不确定性预估的定向探索、时间抽象和多任务学习等。

    致谢

    该项目由 Timothy Lillicrap、Jimmy Ba 和 Mohammad Norouzi 合作完成。此外,我们还要感谢在整个项目期间,对我们的论文草稿发表意见并随时提供反馈的 Google Brain 团队全体成员。

    如果您想详细了解 本文讨论 的相关内容,请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题:

    • 源代码(阅读原文)
      https://github.com/google-research/dreamer

    • Dreamer
      https://arxiv.org/pdf/1912.01603.pdf

    • DQN
      https://arxiv.org/pdf/1312.5602v1.pdf

    • AlphaStar 
      https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii

    • 真实场景
      https://ai.googleblog.com/2019/01/soft-actor-critic-deep-reinforcement.html

    • 深度规划网络 
      https://ai.googleblog.com/2019/02/introducing-planet-deep-planning.html

    • DeepMind 
      https://deepmind.com/

    • PlaNet
      https://ai.googleblog.com/2019/02/introducing-planet-deep-planning.html

    • DeepMind Control Suite 

      https://github.com/deepmind/dm_control

    • DeepMind Lab
      https://github.com/deepmind/lab

    • PlaNet
      https://arxiv.org/pdf/1811.04551.pdf

    • A3C
      https://arxiv.org/pdf/1602.01783.pdf

    • D4PG
      https://arxiv.org/pdf/1804.08617.pdf

    更多 AI 相关阅读:

    展开全文
  • 两种注意力机制为通道注意力机制(channel-wise attention)和扩展自我注意力机制(self-attention mechanisms) 摘要 本文提出了一种基于注意力机制的卷积循环神经网络(ACRNN),用于从脑电信号中提取更多的特征...

     论文及源码见个人主页:https://download.csdn.net/download/qq_45874683/85063985

    (论文加源码)基于DEAP的脑电情绪识别(CNN,RNN和两种不同的注意力机制)六种模型做对比,包含DE特征

            两种注意力机制为通道注意力机制(channel-wise attention)和扩展自我注意力机制(self-attention mechanisms)

    这篇论文的思路特别好:

            将CNN,RNN和通道注意力机制(channel-wise attention)和扩展自我注意力机制(self-attention mechanisms)混合起来,同时通过通过注意力机制计算出各个通道权重,筛选出更有价值的通道。同时采用DE作为频域特征,结合时域特征和空间特征三大特征相融合考虑。模型方面:CNN+RNN(CNN-RNN)、通道性注意机制+CNN+RNN(A-CNN-RNN)和CNN+RNN+扩展自我注意机制(CNN-RNN-A)、连续卷积神经网络(Conti-CNN)、图卷积神经网络(GCNN)和卷积复发注意力模型(CRAM)介绍了六种深度学习方法和两种传统方法进行比较,六大模型相互对比,在DEAP数据库的效价和觉醒分类任务中,平均情绪识别准确率分别为92.74%和93.14%!希望大家能好好理解阅读。


    摘要

            本文提出了一种基于注意力机制的卷积循环神经网络(ACRNN),用于从脑电信号中提取更多的特征,提高情感识别的准确性。首先,提出的ACRNN采用了一种基于通道的注意力机制来自适应地分配不同通道的权重,并利用CNN来提取编码脑电信号的空间特征。然后,为了探索脑电信号的时域特征,将扩展的自我注意力机制集成到RNN中,根据脑电信号的内在相似性重新编码重要性。我们在DEAP和DREAMER数据库上进行了大量实验。实验结果表明,所提出的ACRNN优于现有的ACRNN。


    通道的权重:

            为了从空间信息中提取更多的判别特征,一些方法采用通道选择方法来选择更多相关通道。与传统方法不同,传统方法需要首先人工选择相关通道,在本研究中,我们首先采用了一种自适应通道机制,即以概率分布作为权重,并根据变换后的权重对EEG信号进行重新编码。然后利用CNN提取编码信号的空间特征。此外,RNN用于探索EEG信号的时间特征,但这也忽略了不同EEG样本的重要性。请注意,扩展的自我注意力机制可以应用于LSTM,以利用其长期依赖性。我们将扩展-自我注意机制集成到RNN中,以探索不同EEG样本的重要性,因为该机制可以根据EEG信号的相似性来更新权重。因此,将这两种注意力机制整合到我们的框架中,可以获得更具辨别力的EEG信号的时间和空间特征。


    主要贡献:

            在本文中,我们提出了基于注意力机制的卷积循环神经网络(ACRNN)来处理基于EEG的情绪识别。原始脑电信号可以通过不同通道之间的内在关系和时间切片之间的时间依赖性来获取空间信息,因此,所提出的ACRNN可以在卷积层学习多通道脑电的空间特征,并通过LSTM网络探索不同时间切片的时间特征。此外,通道注意力机制(channel-wise attention)和扩展自我注意力机制(self-attention mechanisms)可以分别提取更具辨别力的空间和时间特征。在两个可公开使用的数据库(即DEAP和DREAMER)上对所提出的模型进行了评估,并且所提出的方法在两个数据库中证明了与识别精度相关的优越性能。我们的主要贡献总结如下:

    1) 我们开发了一个数据驱动的ACRNN框架,用于基于EEG的情绪识别。该框架将通道注意力机制集成到CNN中,以探索空间信息,可以考虑通道注意力机制对不同通道的重要性,以及CNN对多通道EEG信号的空间信息。此外,ACRNN将扩展的自我注意机制集成到RNN中,用于探索脑电信号的时间信息,它可以通过LSTM来考虑不同的时间信息,并通过扩展的自我注意来考虑每个脑电样本的内在相似性。

    2) 我们在DEAP和DREAMER数据库上进行了实验,实验结果表明,在DEAP数据库的效价和觉醒分类任务中,平均情绪识别准确率分别为92.74%和93.14%。此外,该方法在DREAMER数据库的配价、唤醒和优势分类任务中的平均准确率分别为97.79%、97.98%和97.67%。


    相关技术:

    脑电图情绪识别的一般流程:

    (i) 测试方案:首先,记录使用的刺激类型、试验持续时间、受试者人数、性别和待识别情绪。然后,受试者接触刺激物,例如音乐或电影[2],[3]。

    (ii)EEG记录:记录电极数量和测试持续时间,然后通过电极记录EEG信号。然后,受试者在每次试验后通过标记脑电图记录来评估他们的情绪状态[2],[3]。

    (iii)预处理:为了避免EEG信号中的伪影,例如眨眼,EEG信号应使用伪影消除方法进行预处理,例如盲源分离和独立分量分析[33]。

    (iv)特征提取:为了从EEG信号中提取相关的情绪特征,需要探索EEG信号的信息,例如,EEG在时间、频率和空间域的特征[9]。

    (v) 可以使用各种分类器对提取的特征进行分类,例如贝叶斯、支持向量机、决策树和深度学习分类器[34]。根据分类器是否基于用户相关数据进行训练,EEG情绪识别也可分为用户相关任务和用户无关任务。

    Channel-wise Attention(通道注意力机制) :

            注意力在人类感知中起着重要作用。例如,人类可以利用一系列的部分瞥见,有选择地聚焦于突出部分,以更好地捕捉视觉结构。受人类注意机制的启发,空间注意机制(spatial attention mechanisms )被提出用于各种视觉任务,例如语义注意(semantic attention)、多层注意(multi-layer attention)和通道注意( channel-wise attention)。通道注意力机制表现出优越的性能,因为它可以改变不同通道的权重来探索特征图的信息;因此,它可以提取有关通道的更重要的信息。因此,基于通道的注意机制被用来利用特征通道之间的相互依赖性。

            一般来说,通道注意力机制可以压缩全局空间信息并生成通道性统计信息。此外,它可以通过CNN进行培训,因此,它可以集成到CNN架构中。考虑到多通道脑电信号通过通道包含空间信息,可将通道注意集成到CNN中,以探索脑电信号通道之间的重要性,并通过CNN提取更具辨别力的空间信息。

    Self Attention(自我注意力机制):

            自我注意是一种内部注意机制,它将单个序列的不同位置关联起来,以基于重要性得分对序列数据进行编码。此外,自我注意机制很受欢迎,因为它可以改进长期依赖性建模。注意函数可以描述为将查询和一组键值对映射到输出,其中查询、键、值和输出都是向量。输出作为值的加权和计算,其中分配给每个值的权重由查询与相应键的兼容函数计算。自我注意力在简单的语言问答和语言建模任务中表现良好。在EEG识别任务中,为了增加训练样本的数量,一个EEG试验通常被分割成几个输入样本。然而,许多方法忽略了不同脑电样本的重要性。受自我注意力机制的启发,我们采用这种技术来进一步探索脑电样本之间的时间依赖性。


    实验方法:

            在这一部分中,我们首先介绍了提出的EEG情绪识别框架,然后介绍了我们的原始EEG信号预处理技术。最后,我们详细描述了所提出的ACRN的构造。

    整体思路:

            通常,大多数基于EEG的情绪识别研究都集中在首先提取相关特征,然后使用提取的特征对受试者的情绪状态进行分类。实际上,原始脑电信号包含丰富的空间和时间信息,可以提取这些信息来识别受试者的情绪状态。所提出的ACRNN是一种数据驱动方法,它将通道和扩展的自我注意机制同时集成到CNN-RNN中。此外,ACRNN可以提取空间和时间信息作为特征,并使用softmax函数对提取的特征进行分类。因此,这种端到端技术提高了基于EEG的情绪识别的准确性。首先,我们将脑电样本分为训练样本和测试样本。然后,分别通过去除基线信号对训练样本和测试样本进行预处理。此外,使用切片窗口技术对标签进行预处理。接下来,我们使用训练样本来训练所提出的ACRNN模型,计算交叉熵损失,并使用Adam优化器更新网络参数。最后,利用训练后的模型识别测试样本的情绪状态,并以分类精度作为最终识别结果。

    ACRNN框架:

     (具体思路见论文)

    实验步骤:

    介绍了六种深度学习方法和两种传统方法进行比较

    数据集介绍:

    DEAP:不再介绍,之前的文章介绍过。

    DREAMER:

            这是一个多模态数据库,记录了通过视听刺激激发情感期间记录的EEG和ECG信号。记录了23名参与者(14名男性和9名女性)的信号,并要求参与者记录每次刺激后的觉醒、效价和优势度水平。使用情绪化EPOC系统以128 Hz的采样率记录EEG信号。每部电影的剪辑长度为65到393秒,足以引发单一情绪。此外,记录的EEG信号包含基线信号,通常在每个电影剪辑前持续4秒。此外,大多数眼部伪影(眨眼、眼球运动、心脏干扰等)已通过线性相位FIR滤波器去除。此外,为了避免用多种情绪污染数据,在每个剪辑的最后180秒期间捕获的记录被用于进一步分析。额定值的阈值被放置在中间,其中小于或等于3的值表示低价、唤醒和占优,大于3的值表示高价、唤醒和支配。

            我们对每个受试者的不同试验中的所有样本进行了打乱。然后,我们使用10倍交叉验证来评估所提出的方法和基线方法的性能。以10倍验证过程的平均性能作为最终实验结果。

    实验平台:

            该模型使用TensorFlow框架实现,并经过onan NVIDIA TITAN Xp pascal GPU的训练。此外,使用Adam优化器最小化交叉熵损失函数,并以0.0001的学习率优化网络参数,dropout正则化设置为0.5。为了在训练中获得更好的表现,采用了批量标准化。卷积核的大小为a×b,高度为a=32(DEAP)和a=14(DREAMER),宽度为b=40。kernels为k=40,pooling大小为1×75,step为10。此外,我们将LSTM中隐藏状态的维度设置为64。

    结果和分析

            为了验证该方法的有效性,我们在两个数据库上进行了大量实验。为了验证注意力机制的性能,我们设计了三个模型来展示通道性注意力和扩展自我注意力机制的影响,包括CNN+RNN(CNN-RNN)、通道性注意机制+CNN+RNN(A-CNN-RNN)和CNN+RNN+扩展自我注意机制(CNN-RNN-A)。这些模型的详细信息如表所示。

            CNN-RNN模型由CNN和LSTM网络组成,旨在验证基线框架的有效性,该框架可以使用级联框架从原始EEG信号中提取情感特征。A-CNN-RNN模型由通道注意机制、CNN和LSTM网络组成,旨在验证通道注意机制对基线框架的有效性。CNN-RNN-A模型由CNN、LSTM网络和扩展自我注意组成,旨在验证基线框架下扩展自我注意机制的有效性。此外,我们将提出的方法与三种最新的深度学习方法进行了比较:连续卷积神经网络(Conti-CNN)、图卷积神经网络(GCNN)和卷积复发注意力模型(CRAM)。Conti-CNN可以结合多个波段的特征来提高识别精度,GCNN可以采用不同的熵(DE)特征作为输入,并使用频谱图滤波来提取特征和识别情绪,CRAM可以利用CNN来编码EEG信号的高级表示,并利用反复注意机制来探索时间动力学。此外,我们使用了两种传统的基于特征的分类器进行比较,包括支持向量机(SVM)和决策树(DT)。所有方法均采用与ACRNN相同的预处理,即基线信号去除和滑动窗口。

            对于传统分类器,我们使用(微分熵)DE特征作为输入。DE特征具有在低频和高频能量之间区分EEG模式的平衡能力,通常用作EEG情绪识别的频域特征。将带通滤波器应用于EEG信号,以获得近似服从高斯分布的子带信号。因此,定义了五个子频带:1)δ(1-3Hz);2) θ(4-7赫兹);3) α(8-13赫兹);4) β(14-30赫兹);5)伽马(31-50赫兹)。注意,我们从后面的四个子带信号中提取了DE特征,因为更高的频带(约30-100 Hz)更适合于EEG情绪识别。最后的特征向量是来自所有通道的特征的串联。对于DEAP,最终特征向量为4×32=128维,每个主题产生800个样本。对于DREAMER,最终的特征向量是4×14=56维,每个受试者产生1250个样本。

            在我们的工作中,我们使用提出的ACRNN在同一个受试者上进行了实验,并比较了受试者依赖的EEG情绪识别方法。我们将样本数据分为训练集和测试集,然后使用10倍交叉验证。通常,10倍交叉验证将数据分成10个相等的数据子集,其中一个子集用作测试集,其他九个子集构成训练集。这个过程重复了10次。对于DEAP数据库,训练样本数为720,每个受试者的剩余80个样本用作测试样本。对于DREAMER数据库,训练样本和测试样本的数量分别为1125和125。

            为了进一步分析通道注意力机制的贡献,我们进行了通过通道注意力机制计算脑电信号通道权重的实验。图6和7分别显示了DEAP和DREAMER中的平均通道权重。DEAP数据集中有32个通道,DREAMER数据集中有14个通道。如图所示,DEAP和DREAMER脑电信号的通道权重在通道注意机制上都是不同的。图6显示了在DEAP数据库中,FC5、P3、C4、P8在二维上的信道权重明显大于其他信道。图7显示了在DREMAER数据库中,T8和F8的通道权重在三维上明显大于其他通道。电极按照国际10-20系统放置在两个数据库中,更大重量通道和大脑区域之间的关系如表4所示。这些结果也与一些研究一致,这些研究表明,与情绪相关的脑电图信号主要分布在额叶、颞叶和顶叶。更大的通道权重也表明给定的通道与情绪更相关,在EEG信号中更重要。

            表5显示了在DEAP数据库中提出和比较的方法对价态和唤醒的平均识别准确率。可以看出,与基线框架CNN-RNN相比,A-CNN-RNN的平均识别准确率在两个维度上分别提高了约30%和25%,因为通道方向的注意力集中在不同通道之间的空间特征上。此外,与A-CNN-RNN相比,所提出的ACRNN将平均识别准确率提高了0.6%和0.5%,因为ACRNN结合了通道和扩展的自我注意机制来提取EEG信号的时空注意信息。此外,我们发现CNN-RNN-A在两个维度上的识别准确率比CNN-RNN提高了约27%,因为CNN-RNN-A的扩展自我注意机制根据每个样本的重要性提取注意信息。此外,与CNN-RNN-A相比,所提出的ACRNN在两个维度上的识别准确率提高了约3%,因为所提出的模型同时利用了这两种注意机制。实验结果表明,与Conti-CNN、CRAM和GCNN三种深度学习方法相比,ACRNN的平均识别率分别提高了10%、8%和5%。与传统方法相比,ACRNN的识别性能优于传统方法,如DT和SVM。

            表6显示了DREAMER数据库中获得的比较方法的平均识别精度。如图所示,DREAMER数据库中的情绪识别准确率显著提高。例如,与Conti CNN、GCNN和CRAM相比,所提出的ACRNN将平均识别准确率分别提高了15%、9%和5%。因此,在所有比较的方法中,所提出的ACRNN可以达到最佳的识别精度,实验结果证明了将这两种注意机制整合到CNN-RNN中的有效性。

            为了证明所提出的方法的性能,并对每个方法进行比较,我们对每个方法进行了实验。图8、9、10、11和12显示了每个受试者在每个维度上的平均准确度和标准偏差。可以看出,传统的SVM和DT方法在某些对象上取得了良好的平均识别精度,但标准差非常大。此外,在一些受试者中,比较的方法表现更差。然而,我们发现这三种基于注意的方法在每个受试者上都取得了更好的平均识别准确率,并且标准偏差小于比较方法。因此,实验结果表明,对于每个受试者,基于注意力的方法比比较的方法效果更好。此外,实验结果表明,该神经网络结合了通道注意力和扩展的自我注意力,为脑电情感识别提供了更多的鉴别信息,在两个公共数据库上都能获得更高的识别准确率。

    结论:

            传统的脑电识别方法首先从原始脑电信号中手动提取特征,然后利用分类器对这些特征进行分类。近年来,深度学习方法采用端到端技术从原始脑电信号中识别情绪。然而,从原始信号中提取更具鉴别能力的特征用于脑电情感识别仍然具有挑战性。因此,需要一个区分框架来从原始EEG信号中识别情绪状态。

            考虑到原始脑电信号通过不同通道之间的内在关系和时间切片之间的时间依赖性包含空间信息,我们提出了ACRNN来提取空间和时间注意力信息,并对受试者的情绪状态进行分类。在该框架中,基于通道的注意力机制通过给不同通道分配权重,从脑电信号中提取通道间的差异,而CNN则通过对所有通道的脑电信号进行卷积运算,将特征映射提取为空间信息。与一些基于大脑认知功能的方法不同,它们需要关注EEG通道并设计相关特征。

            我们提出的方法采用了基于信道的注意来在不同的信道中分配权重。为了进一步分析不同通道的重要性,我们计算了平均通道权重。我们可以发现DEAP和DREAMER脑电信号的通道权重根据通道注意机制的不同而不同。在DEAP数据库中,FC5、P3、C4、P8在二维上的通道权重明显大于其他通道,T8和F8在三维上的通道权重明显大于DREMAER数据库中的其他通道。结果表明,与情绪相关的EEG信号主要分布在额叶、颞叶和顶叶,这与现有研究一致。还可以看出,计算出的权重越大的通道与情绪的关系越密切,因此在基于EEG的情绪识别中更为重要。为了证明通道注意力机制的有效性,我们将通道性注意整合到基线CNN-RNN框架中,实验结果表明,与DEAP和DREAMER数据库上的CNN-RNN模型相比,A-CNN-RNN的通道注意机制可以将通道转换为概率分布作为权重,并根据转换后的权重重新编码EEG信号,因此,与CNN-RNN模型相比,A-CNN-RNN的通道注意可以将平均准确度提高约30%。此外,扩展自我注意机制旨在探索不同脑电样本的重要性。为了证明扩展自我注意机制的有效性,我们将其整合到基线CNN-RNN框架中,实验结果表明,在这些数据库上,扩展自我注意比CNN-RNN模型的平均准确率分别提高了27%和29%。实验结果还表明,扩展的自我注意机制通过基于样本间相似性的概率评分来关注更重要的脑电样本。

            总之,在两个数据库中,通道式注意和扩展自我注意机制的平均准确率提高了25%以上。这表明,这些注意机制可以提高EEG情绪识别,并获得类似的识别结果。然而,与扩展自我注意相比,在DEAP和DREAMER数据库中,通道式注意的平均识别准确率分别提高了约2%和1%。这表明通道性注意的表现略好于扩展自我注意。总之,提出的ACRNN是一个级联框架,集成了通道注意和扩展的自我注意机制。它能同时有效地提取时空注意特征。此外,我们的所有实验结果都是通过10倍交叉验证获得的,高精度和低标准差也证明了所提出的ACRN可以实现更高的识别精度。

    总结:

            在本文中,我们提出了一种用于脑电情感识别的端到端深度学习方法。该神经网络综合考虑了脑电信号的空间信息、时间信息和注意力信息。此外,我们将通道性注意整合到CNN中,CNN可以提取空间注意特征,通道性注意可以提取通道间的注意信息。我们还将扩展的自我注意整合到RNN中,RNN可以根据每个样本的重要性提取注意信息。最后,大量实验结果表明,在DEAP数据库中,所提出的ACRNN对价分类和觉醒分类任务的平均准确率分别为93.72%和93.38%。此外,所提出的ACRNN在DREAMER数据库中的配价、觉醒和优势分类任务的平均准确率分别为97.93%、97.78%和98.23%。与现有方法相比,所提出的ACRNN方法明显提高了DEAP和DREAMER数据库中的EEG情绪识别准确率。在未来的工作中,我们将研究基于注意机制的试验性脑电情感识别和主体间脑电情感识别。

     论文及源码见个人主页:https://download.csdn.net/download/qq_45874683/85063985

    (论文加源码)基于DEAP的脑电情绪识别(CNN,RNN和两种不同的注意力机制)六种模型做对比,包含DE特征

            

    展开全文
  • 一文详细介绍情绪识别常用的数据集SEED 本文详细介绍了脑机接口情绪识别常用的数据集,主要有SEED, SEED-IV, SEED-V, DEAP, CIAIC。 SEED SEED数据集下载地址 SEED数据集不开放给个人使用,若想使用必须写申请。 .....

    本文详细介绍了脑机接口情绪识别常用的数据集,主要有SEED, SEED-IV, SEED-V, DEAP, CIAIC。

    SEED

    SEED数据集下载地址
    SEED数据集不开放给个人使用,若想使用必须写申请。

    采集情况

    1. 每组实验有15个trials,每个trial的实验过程如下图所示

    在这里插入图片描述

    图1 一个trial的实验过程

    每一个trail的设置过程分为,开始前的5s暗示,4min的电影片段,45s的自我评估,15s的休息过程。

    1. 一共有15个subject,7个男生,8个女生。

    文件介绍

    在官网得到许可后下载的文件夹包括两部分:“Preprocessed_EEG” 和 “Extracted_Features”

    1. Preprocessed_EEG文件介绍
      已经采用了一些预处理过程:降采样到200hz,使用了0-75Hz的低通滤波器,已经提取了电影期间的脑电图片段,也就是4min左右的脑电图。一共有45个.mat文件,分别代表15个受试者的每人3次实验。还有一个label.mat代表15次实验的标签,SEED数据集的情绪标签有三类,(negative, neutral, positive),其中标签是(-1 ,0 ,1)。一次实验的数据如图所示:

      在这里插入图片描述

      图2 一个experiment的文件内容(channel × data)
    2. Extracted_Features文件介绍
      这个文件提供了所有经过特征提取之后的数据,包扣DE(differential entropy)特征,DASM(differential asymmetry)特征,rational asymmetry(RASM)特征。所有特征经过传统的移动平均或者线性动态系统(LDS)进一步平滑。
      在这里插入图片描述

    图3 Extracted_Features文件部分内容

    SEED-IV

    以下内容翻译自官网介绍https://bcmi.sjtu.edu.cn/~seed/seed-iv.html

    采集情况

    1. 依然是15个subject,每个subject在不同天做3个session,每个session包括24个trials,一共有72个电影片段,所以每个受试者做的3个session看的电影片段都是不同的。

    在这里插入图片描述

    图4 一个trial的实验过程
    1. 但是与SEED数据集不同的一点在于,SEED-IV采集了眼部运动的数据

    文件介绍

    1. eeg_raw_data
      文件夹里包含三个文件“1”,“2”,“3”,分别代表每个受试者的3个session,每个文件夹里包含15个.mat文件,命名方式为:
      {Subject}_{Date}.mat。

    在这里插入图片描述
    在这里插入图片描述
    2.eeg_feature_smooth
    这个文件夹和eeg_raw_data文件夹的结构一样,现在对每一个具体的.mat文件介绍:
    在这里插入图片描述
    有两种特征提取方式(PSD,DE),两种数据平滑方式(LDS, movingAve),组合一下就是4种方式。在每种方式下,进行数据处理,提取的是4s片段,所以2min左右的视频,一个trial大概有30个左右的sample,每组数据的的shape代表:(channel_number × sample_number × frequency_bands)

    1. eye_raw_data
      这个文件夹包含了眼部移动信息,每个session包含5个文件(blink, event, fixation, pupil, saccade)。

    在这里插入图片描述
    blink文件内容如下图所示:
    在这里插入图片描述
    24:一个session有24个实验或者24个电影片段 ,n×1:n代表眨眼次数,n位置的数值代表眨眼时间。

    event文件内容如下图所示:

    在这里插入图片描述
    24:一个session有24个实验或者24个电影片段, 28:28种与眼部有关的事件,位置上的数值代表该事件发生的一个度量。
    在这里插入图片描述
    fixation文件内容如下图所示:
    在这里插入图片描述
    24:一个session有24个实验或者24个电影片段, n×1:n眼部固定不动的次数,n位置上的数值代表本次固定不动的时间

    pupil文件内容如下图所示:

    在这里插入图片描述
    24:一个session有24个实验或者24个电影片段, n×4:n代表记录瞳孔信息的次数,4代表与瞳孔度量相关的4种属性

    saccade文件内容如下图所示:

    在这里插入图片描述
    24: 一个session有24个实验或者24个电影片段, n×2:n代表记录扫视的次数,2代表扫视的时间与角度

    1. channel Order and Readme
      分别介绍了62通道顺序和72个电影片段的label信息。

    CIAIC多模态情感识别数据

    数据下载http://challenge.xfyun.cn/topic/info?type=eeg

    该数据集是由西北工业大学智能声学与临境通信研究中心提供消声室低噪声环境下的情绪数据库,其中包括在四种不同情绪唤起刺激条件下的脑电(EEG)数据。相比其他数据库,该数据提供了高质量、丰富的数据库。挑战赛数据库包括60名受试者在理想低噪声环境下,在平和、开心、愤怒、伤心四种情绪唤起刺激材料下的脑电数据,数据时长约为40小时。低噪声理想环境数据采集于西北工业大学消声暗室环境,大幅降低噪声以及电磁干扰。

    采集情况

    目标情绪包含:开心,伤心,愤怒,平和。 在预实验阶段,共选出8个能够诱发目标情绪的电影片段,每个情绪包含两个诱发影片。实验过程中,8个视频随机播放,被试先观看一个诱发视频,调动出单一的目标情绪,然后在此种情绪的影响下带有感情地朗读事先准备好的30句文本,接着填写自我情绪评价表,完成后休息片刻,继续下一个影片的播放。实验设备安放及流程图如下图所示:
    在这里插入图片描述

    实验过程

    文件介绍

    竞赛数据包含60个被试者的脑电数据,数据名称为subject.mat。每一个subject.mat文件包含四种数据:channel_location, data, fs, name.
    其中channel_location为68个脑电通道的名称及坐标位置。68通道包含:62通道的脑电数据,M1, M2两通道为双耳后突起处的电极点,4通道的眼电信号。眼电电极的安放位置如图所示:

    在这里插入图片描述

    眼电电极安装位置

    data 为161维的cell数据格式,是采集到的68通道脑电信号。name 是161维cell数据,为data对应的标签信号。
    在这里插入图片描述
    name中,sad表示悲伤, neu为平和情绪,hap代表开心,ang为愤怒。各单元格的元素意义为:sad_1_per 为被试观看第一个(1)影片时,感受(perceive)到的悲伤(sad)情绪,sad_1_exp 为被试观看第一个(1)影片后,在第一个影片情绪的影响下,表达(express)出来的悲伤(sad)情绪 … ang_2_per为被试观看第二个(2)影片时,感受(perceive)到的愤怒(angry)的情绪,ang_2_exp为被试在第二个愤怒影片的影响下,表达(express)出的愤怒(angry)情绪。data 中各单元格中的数据为“通道数*时长”,通道:68维脑电通道, 时长:被试观看影片的时长或者是被试有感情地表达文本的时长。fs 为脑电信号采样率,为1000Hz。本次竞赛共60个被试的脑电数据,训练数据为前48个被试的脑电数据,标签为: ‘sad’= 1, ‘neu’ = 2, ‘hap’ = 3, ’ang’ = 4. 测试数据为10个被试者的脑电数据, 其中一个样本长度为1秒,进行预测。

    DEAP

    与上面几个数据集相比,DEAP算是比较早的一个研究情感的数据集。
    DEAP(Database for Emotion Analysis using Physiological Signals), 该数据库是由来自英国伦敦玛丽皇后大学,荷兰特温特大学,瑞士日内瓦大学,瑞士联邦理工学院的Koelstra等人通过实验采集得到的,用来研究人类情感状态的多通道数据,可以公开免费获取。

    采集情况

    可以参考脑机接口社区博客

    文件情况

    一般可以采用官方经过python预处理之后的脑电数据做分析,他们把原始数据下采样至128Hz,去除了EOG伪像,并且应用4.0-45.0Hz的带通频率滤波器,数据取平均值作为通用参考,并将数据分为60秒钟的实验(需要自己删除前3s的实验准备过程的数据)。

    data_preprocessed_python里面包含了s01~s32的32个.dat文件,每个文件包含两个数组:

    在这里插入图片描述
    在这里插入图片描述

    SEED-V

    SEED-V数据集下载https://bcmi.sjtu.edu.cn/~seed/downloads.html#seed-v-access-anchor

    在这里插入图片描述

    实验过程

    在这里插入图片描述

    目标情绪

    采集情况

    为了研究情绪识别的稳定性以及确保刺激的有效性,每一个受试者要参加三次实验。每次实验需要看15个电影片段(目标情绪有:happy, sad, disgust, neutral, fear五种,15个片段每种情绪3个片段),一次实验总的时间被控制在50min左右。采集设备为62通道的ESI NeuroScan System 和SMI eye-tracking glasses

    在播放每个电影片段之前会有15s的时间告诉受试者本次实验希望激发的目标情绪以及电影片段的一个背景。每段影片播放之后会有15s或30s的自我评估加休息时间,如果影片是激发恐惧情绪或厌恶情绪的,则有30s。如果是剩下的3种情绪,则有15s。

    在自测部分,要求被试根据电影片段的刺激效果进行评分。 评分范围为0-5分,其中5分表示刺激效果最好,0分表示最差。 如果参与者在观看快乐视频后感到快乐,应该给他们 4-5 分,如果他们没有任何感觉,应该给他们 0 分。 需要注意的是,如果正在观看平静情绪的电影片段 ,如果被试情绪波动,得分应为0分,自然状态为5分。

    这是我个人认为这几个数据集中自我评估非常合理的一种方式,必须让受试者评价电影片段是否可以诱导出我们想要的情绪,这样的采集的数据集才比较准确。

    文件情况

    1. 文件夹 EEG_DE_features
      这个文件夹包括16个受试者的DE特征,和一个用来加载数据的样例代码,数据被命名的方式为“subjectID_sessionID.npz”。例如文件“1_123”意味着这个文件是第一个受试者三个session的DE特征合集。

    2. 文件夹EEG_raw
      这个文件夹包括从Neuroscan设备上采集的原始数据和一个用来加载数据的样例代码。数据被命名的方式为“subjectID_sessionID.cnt”。例如文件“1_1_20180804.cnt”代表第一个受试者一个session的数据。注意:session的序号是基于刺激材料而不是基于时间。

    3. 文件夹Eye_movement_features
      这个文件夹包含了提取的眼部移动特征数据

    4. 文件夹Eye_raw
      这个文件夹包含了eye tracking device提取的原始数据

    5. 文件夹src:
      这个文件夹包含了两个子文件夹,有两个模型,模型来源于paper
      Wei Liu, Jie-Lin Qiu, Wei-Long Zheng and Bao-Liang Lu, Comparing Recognition Performance and Robustness of Multimodal Deep Learning Models for Multimodal Emotion Recognition, IEEE Transactions on Cognitive and Developmental Systems, 2021.

    6. 文件 trial_start_end_timestamp.txt:
      这个文件包含了电影的开始和终止的时间

    7. 文件emotion_label_and_stimuli_order.xlsx
      这个文件包含了情绪标签和刺激序号

    8. 文件Participants_info.xlsx
      这个文件包含了被试的元信息

    9. 文件Scores.xlsx
      这个文件包含了被试的反馈信息(打分)

    展开全文
  • Spark 的主要抽象是分布式的元素集合(distributed collection of items),称为RDD(Resilient Distributed Dataset,弹性分布式数据集),它可被分发到集群各个节点上,进行并行操作。RDDs 可以通过 Hadoop ...
  • 数据集采用的是脑电研究中最常用的DEAP和SEED数据集并且在两个数据集中都取得了很高的准确率。都达到了92%左右的准确率。: 论文设计了一种新模型,称为四维卷积递归神经网络。该模型将多通道脑电信号的频域...
  • 搜狐新闻文本分类数据集

    千次阅读 2019-05-19 23:54:39
    搜狐新闻文本分类数据集 数据集:https://pan.baidu.com/s/1V6o20temK2v3j-bo16x94g 提取码:fech
  • 手写汉字识别数据集的预处理

    千次阅读 2019-04-18 17:57:37
    之前写的数据预处理过于简单,好多朋友不懂,这次认真写一下。...下载地址为:分别是训练和测试 一共包含3000多个汉字 http://www.nlpr.ia.ac.cn/databases/download/feature_data/HWDB1.1trn_gnt...
  • https://physionet.org/cgi-bin/atm/ATMPhysioBankATM是一个工具箱包括可以显示带...选取其中一个运动想象数据集。这个数据集包括1500多个一分钟和两分钟的脑电图记录,这些记录来自109名志愿者。受试者在使用BCI ...
  • 数据集 开源框架/算法/模型/数据集 TensorFlow 和 PyTorch 迎来了“后浪” 2020 年最具潜力的 44 个顶级开源项目 1750亿参数,史上最大AI模型GPT-3上线:不仅会写文章、答题,还懂数学 GPT-3 1750亿...
  • 我们已经看到了ImageNet对物体识别做出了特别大的贡献,但作为一个数据集,这是一个有局限的数据集。它只有一个信息位,就是场景中的主要对象。ImageNet之后,社区的同事提出了许多关于数据集的有趣想法。Harry...
  • https://blog.csdn.net/dreamer2020/article/details/51284789 https://blog.csdn.net/supersalome/article/details/78849581 */ import org.apache.spark.ml.feature.{Imputer, StandardScaler} import org....
  • 激励帖 冲呀 dreamer

    2019-07-17 23:37:23
    660,因为都是选择填空,主要考察的还是对概念的理解,感觉算是必做的习题。660我刷了两遍,自己买了一本,同学给了一本,第一遍刷的时候,感觉有些题目还是有难度的,因为复习的时候疏忽了很多细节,做660是一个...
  • RL 算法在动态生成的数据集上进行训练,复杂的判别目标可能会显著增加训练所需时间。 因此,CURL 使用实例判别而不是 patch 判别。我们可将类似于 SimCLR 和 MoCo 这样的对比实例判别设置,看做最大化一张图像与其...
  • 我们已经看到了ImageNet对物体识别做出了特别大的贡献,但作为一个数据集,这是一个有局限的数据集。它只有一个信息位,就是场景中的主要对象。ImageNet之后,社区的同事提出了许多关于数据集的有趣想法。Harry...
  • 中文数据乱码的问题本质是字符的问题,字符指的是二进制与字符的对应关系。 案例:环境(编码为gbk(windows默认编码)的cmd窗口下),插入中文数据insert into student values(4,'六子','男');,此时就可能会出现...
  • Python的情况Python的分组和Java分组实现在实际开发中,涉及到分组和排序,可以使用Pandas中的分组,在使用Pandas中的,在使用Panda之前,可以使用Python内建的数据结构实现分组Java分组,思路类似,这里展示了两种...
  • 文章标题

    2017-05-12 13:50:33
    %%将数据划分为测试数据集和训练数据集 test_label=M(start_idx:end_idx,8); % %训练数据集占 3 / 4 ,测试占 1 / 4 M ( start_idx: end_idx, : )=[]; train_data= M ( : , 1 : 7 ); train_label= M ( : , 8 ); %...
  • c将数据存储到文件中

    2021-08-11 03:34:04
    c将数据存储到文件中 内容精选换一换Teleport方式数据快递服务使用流程如图1和表1。支持将OBS上的数据导入到离线分析创建的表中。创建OBS表时指定的路径必须是文件夹,若建表路径是文件将导致导入数据失败。导入数据...
  • 结果表明,在一系列不同数据集上进行预训练的GCC可以实现与其特定任务和从头开始训练的同行相比具有竞争力或更好的性能。这表明,预训练和微调范式为图表示学习提供了巨大的潜力…” PDF下载链接:...
  • 实验结果非常令人鼓舞,我们在5个知识数据集3个浮游生物和2个珊瑚数据集上进行的实验表明,这种不同的CNN模型在异构集合中的融合相对于其他所有现有技术方法都提供了显着的性能改进。经过测试的问题。这项工作的主要...
  • infobright是开源的MySQL数据仓库解决方案,它基于在MySQL上二次开发,infobright主要实现的就是一个存储引擎,但因为它自身存储逻辑跟关系型数据库根本不同,所以,它不能像InnoDB那样直接作为插件挂接到mysql,它...
  • RE2020.txt

    2020-05-20 16:31:15
    数据集是百度2020关系抽取数据集,包括训练集、验证集和测试集、schema.json。本次竞赛数据集共包含 48个已定义好的schema和超过21万中文句子,其中包括17万训练集,2万验证集和2万测试集.
  • NUAA_photograph.zip

    2021-06-22 09:55:11
    NUAA 人脸活体检测数据集
  • 定长字符串(char)在定义的时候,就已经确定了该数据在磁盘存储的长度。 char(n):n代表长度length,即字符串的长度,最大长度可以为255, 例如:在utf8编码环境下,存储char(4)这种类型的数据,需要4*3=12个字节的...
  • DREAMER数据集实验结果 结论 本文将 GCB-net 引入到情绪识别中,利用 EEG-channel 信号识别情绪,构建了可以探索图结构数据更深层次信息的网络。在这项工作中,首先使用图卷积层来处理图结构输入,然后堆叠多个规则...
  • pandas数据读取

    2022-02-16 15:56:48
    # 读取普通分隔数据:read_table # 可以读取txt,csv import os os.chdir('C:/Users/Hjx/Desktop/') data1 = pd.read_table('data1.txt', delimiter=',',header = 0, index_col=1) print(data1) # delimiter:用于...
  • pvpgn战网命令

    2021-01-28 14:51:59
    不带参数则列出所有命令/whois /whereis /where参数: 作用: 查找该玩家的基本信息,包括他的编号和所在位置(频道或游戏中)例子: /whereis =SDR=Dreamer/msg /whisper /m /w参数: 作用: 给该玩家发送悄悄话例子: /w =...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 402
精华内容 160
关键字:

dreamer数据集