精华内容
下载资源
问答
  • 脉冲控制的时变时滞复值忆阻器神经网络的指数稳定
  • 在Filippov系统和线性控制器的框架下,矩阵度量和Halanay不等式可以保证基于忆阻器神经网络的指数同步和反同步标准。这些标准在实践中非常容易实现。最后,通过两个数值例子说明了理论结果的正确性。结果表明,矩阵...
  • Figure 1 Figure 2 神经网络转载:https://www.cnblogs.com/marsggbo/p/12074297.html

    在这里插入图片描述
    Figure 1

    在这里插入图片描述
    Figure 2

    神经网络转载:https://www.cnblogs.com/marsggbo/p/12074297.html

    展开全文
  • 将传统Fourier神经网络忆阻器相结合,用忆阻器做突触,构建新型的忆阻Fourier神经网络.推导忆导变化与权值更新的关系,提出忆阻突触权值更新规则,构建单输入忆阻Fourier神经网络,提出忆阻...
  • 本文研究了基于忆阻器神经网络的有限时间同步。的目的解决的问题是设计一个合适的控制器来实现驱动器和驱动器之间的有限时间同步。响应系统。与以前的工作不同,这种基于限忆器的有限时间同步将得以实现右侧不连续...
  • 结合忆阻器的记忆特征和细胞神经网络高效并行处理能力,将忆阻器作为可编程连接权值,提出了一种具有忆阻器特性的细胞神经网络 . 计算机仿真验证了提出的忆阻细胞神经网络用于图像去噪和边缘提取的有效性 .
  • 本文通过构造混合脉冲和反馈控制,首先提出了忆阻时延神经网络的同步问题。 然后,基于微分包含,通过脉冲控制理论,特殊不等式和Lyapunov型泛函获得了忆阻延迟神经网络的几个同步准则。 为了推导同步条件,混合...
  • 本文提出并研究了基于忆阻器的混沌神经网络模型,该模型充分利用具有独特存储能力的忆阻器以简单的方式实现时空求和。 此外,所提出的基于忆阻器的混沌神经网络的联想记忆能力已通过常规方法得到了证明,包括叠加...
  • 忆阻器神经形态计算

    2021-06-14 16:24:21
    忆阻器神经形态计算 ** 现阶段,ANN已经取得重大的进展,是人工智能领域重要的信息处理技术,ANN是由一个神经节点网络组成,这些网络由加权突触相互连接。ANN的结构分为前馈网络和递归网络。具体的神经网络理论在这...

    **

    忆阻器神经形态计算

    **

    现阶段,ANN已经取得重大的进展,是人工智能领域重要的信息处理技术,ANN是由一个神经节点网络组成,这些网络由加权突触相互连接。ANN的结构分为前馈网络和递归网络。具体的神经网络理论在这就不进行一一介绍,如果你们感兴趣可以去阅读《pytorch机器学习从入门到实战》和周志华的《机器学习》。

    但是在人工传感系统与生物感官系统存在较大差距,如分类精度不高、功耗高、集成密度低等。首先,传感器阵列的响应在许多情况下是非常相似的;其次,气体传感器跨单元和跨时间的固有变异性分散了传感单元的响应。一些传统的分类模型对于一些原始问题中工作得很好,例如,对具有固定浓度的特定气体进行分类,但传感阵列在真实的环境中是很复杂的,现实环境中通常由多种气体所组成,包含不可预测的成分和浓度。而这些是普通的机器学习模型所解决不了的。

    对于此类问题,在InfoMat. 2021;1–10.这篇文章中已经进行了详细的描述:
    在这里插入图片描述
    对于不同类型的气体,利用PCA降维后是很难进行分辨的。因此最好的办法是对其进行升维,对于一些难于线性可分的数据,升维以后,就可能线性可分。虽然SNN可以进行尖峰脉冲编码,与生物体相似,然而,SNN与当前的计算体系结构不兼容,需要特定的电路。CNN虽然可以提取出特定的传感特征,但是与RNN相同,需要大量的功耗,对于一些并不是那么复杂的动力学混沌任务,并不建议大材小用。

    ESN,全称Echo State Network,回声状态网络,也可以称为储备池计算(Reservoir Computing),RC系统的输出是从时间数据中非线性提取的高维特征,其他特定参数都是固定的,只有输出权重需要训练,这样就大大降低了系统所需的功耗。实践证明,RC系统对于时间序列预测任务具有极高的表现力。对于利用RC系统对数字进行识别,大家有兴趣可以看看Schaetti这篇文章《Echo State Networks-based Reservoir Computing for MNIST Handwritten Digits Recognition》,网上有开源的code,一艘就能搜到。

    但是对于硬件的RC系统,却没有进行广泛的报道。忆阻器由于其特殊的混沌动力学功能,许多基于忆阻器的系统被设计成通过连接不同类型的传感器来执行不同的任务,如视觉感知,触觉感知,感知增强等功能。再次不多赘述,我现在也要引出这篇文章的重点:利用忆阻器的混沌系统产生虚拟节点,单个器件就能实现一个拥有几百上千神经元储备池的功能,如果没有忆阻器,我们硬件搭建一个储备池网络是十分复杂的。
    在这里插入图片描述
    在Heejun Yang这篇《In-sensor reservoir computing forlanguage learning via

    two-dimensional memristors》文章中已经进行了详细的解释。

    大致的意思就是利用光脉冲或者电脉冲,对图像进行编码,绿色的部分代表“1”,白色部分代表“0”,把脉冲顺序施加到忆阻器中,就可以完成编码工作,但现有的文章中,都有一个共性的问题,并不是直接对传感数据进行处理,而都是需要人为的进行编码工作,并不是最优化的传感内计算。这方面的工作有很多,光2021年nature,science的工作就有好几篇。

    并且,对于忆阻器而言,温度对忆阻器的影响极大,很多器件耐受温度难以超过100度,这也是未来需要进一步优化的工作。

    当然,对于忆阻器的神经形态计算,这只是冰山一角,从忆阻器基前馈神经网络,利用忆阻器的电导态进行前馈和反馈,现在这方面在仿真上已经相对成熟,对与硬件系统的搭建,仍然是一个比较困难的问题。再到安全计算,LSTM加速等,忆阻器的潜在价值正在逐步被发现,相信以后忆阻器可以真正与CMOS集成,在不破坏计算机底层架构的情况下,对我们的算法进行加速,对后续算力的不足和总线上能耗的损失具有重大意义。

    后续我会经常更新这方面的内容,欢迎大家指点修正。

    展开全文
  • 本文研究了基于分数阶忆阻器神经网络的射影同步。 从Caputo的分数导数和分数阶微分不等式的组合可以得出足够的条件。 给出了两个数值例子来说明主要结果的有效性。 本文的结果扩展并改进了有关分数阶神经网络同步...
  • 完全硬件实现的忆阻器卷积神经网络 原文标题:Fully hardware-implemented memristor convolutional neural network 作者:Peng Yao.et al. 期刊:Nature 这篇是2020年初清华大学发表在nature上的文章,当时就看见很...

    完全硬件实现的忆阻器卷积神经网络(CNNs)

    原文标题:Fully hardware-implemented memristor convolutional neural network
    作者:Peng Yao.et al.
    期刊:Nature
    这篇是2020年初清华大学发表在nature上的文章,当时就看见很多媒体报道,这篇文章也是去年WOS(Web of Science)上忆阻器方面被引次数最多的三篇文章之一(被引45次)。以下只翻译了摘要,后续翻译会更新。

    摘要:
    忆阻器实现的神经形态计算系统,提供了一种训练神经网络的高速、低功耗的方法。然而,作为图像识别最重要的的模型之一——卷积神经网络(CNNs),还没有用忆阻器交叉开关阵列——一种忆阻器在交点处的交叉点阵列,实现完全硬件化。而且,由于良率低、变化大和器件的其他不理想特性,实现堪比软件CNNs的处理结果是非常有挑战性的。这里,我们报告了高良率、高性能和统一的忆阻器交叉阵列的制造方法,这些阵列是用于实现CNNs的,它们集成了8块2048个单元的忆阻器阵列来提高并行计算的能力。除此之外,我们提出了一种高效的混合训练方法来适应器件的不完美之处,并且提高系统的总体性能。我们建立了一个5层忆阻器CNN网络来实现MNIST图像识别,实现了96%以上的正确率。除了用共享输入的不同内核做并行卷积计算,忆阻器阵列中多个相同内核的复制被证明可以并行处理不同的输入。在能量效率方面,基于忆阻器的CNN神经形态系统比最先进的图像处理单元(GPU)高两个数量级,而且表现出可以拓展为更大的网络,例如残差神经网络。我们的结果有望提供一种可行的用于深度神经网络和边缘计算的硬件解决方案,这种基于忆阻器的方案将没有"冯诺依曼瓶颈"。

    正文:
    CNNs已经成为最重要的深度神经网路之一,在图像处理相关的任务中扮演着重要的角色,例如图像识别、图像分割和物体识别。一个典型的CNN计算过程包括大量的滑动卷积操作。在这方面,非常需要能够支持并行乘累加运算(MAC)的计算单元。这种需求已经导致了传统计算系统的重新设计以在更高的性能和更低的功耗下执行CNN,重新设计的范围从总体的应用平台,例如图像处理单元(GPUs),到特定应用的加速器。然而,在计算效率方面更进一步的改进将最终受限于这些体系的冯诺依曼架构,在这种架构中,内存和处理单元在物理上的分离导致了大量的能量消耗和单元间数据交换的巨大时间延迟。相比之下,基于忆阻器的神经形态计算提供了富有前景的无冯诺依曼计算模式,因此消除了数据传输的代价。通过直接使用欧姆定律来做乘法和基尔霍夫电流定律来做加法,一个忆阻器阵列能够实现并行存内MAC操作,造就了速度和能量效率显著提升的模拟存内计算。

    基于忆阻器的神经形态计算方面的研究涵盖了大量的主题,从器件优化到系统实现。一些有关存内计算的实际应用的试验性证明也被报道了。最近的研究报道证实了对于MNIST手写数字数据库应用图像识别的二层和三层忆阻器多层感知器。然而,一个完整的、对于更加复杂的图像识别任务更加必要的CNN,还没有在一个基于全忆阻器的硬件系统中实现。原因主要存在于缺乏实现忆阻器CNN的高效解决方法:首先,生产的忆阻器CNN经常有低良率和忆阻器阵列不统一的问题。第二,很难实现和软件结果相媲美的表现(例如,图像识别正确率),原因是器件的不完美,例如工艺偏差、电导漂移和器件状态死锁。第三,由于需要在不同的输入批次之间滑动,CNN中的关键卷积操作是需要时间的,这通常是一系列过程,并且对于全连接向量-矩阵乘法(VMM)将导致忆阻器卷积器和忆阻器阵列之间的速度不匹配。

    在本研究中,一个用于MNIST数字图像识别的完全5层忆阻器CNN被成功地证实。优化的材料堆栈使得2048个1T1R构成的阵列中有着可靠的和统一的模拟开关特性。通过(我们所)建议使用的混合训练策略,对于整个测试数据集的识别准确率达到了96.19%。更进一步地,将卷积核复制到三个并行的忆阻器卷机器将忆阻器CNN的延迟大约减少了1/3。我们的高集成度的神经形态系统提供了一种可行的方案来显著提升CNN的效率,方法是通过消除基于忆阻器的卷积计算和全连接VMM的吞吐量差距。

    实现具有实用价值的忆阻器神经计算系统通常需要集成多个忆阻器交叉开关阵列。通常,将权重分散到不同的阵列对于并行计算是有利的,在(神经)网络的规模逐渐增加的情况下,这逐渐变得必需。然而,之前关于神经网络的验证依赖于单个阵列,主要是由于生产高度可重复阵列的挑战。忆阻器阵列的偏差和不理想特性被视为实现神经形态计算的巨大障碍。

    这里我们提出一种用于神经网络的通用忆阻器计算架构。忆阻器单元使用TiN/TaO_x/HfO_x/TiN构成的材料堆栈,在增强(置位)和抑制(复位)过程中通过调节电场和热量,表现出连续的电导调控能力。材料和制造过程和传统的CMOS过程相兼容,所以忆阻器阵列可以方便地在晶圆代工厂中的后道工序中生产,来达到减少过程偏差和实现高重复率的目的。在相同的编程条件下,生产的交叉阵列表现出统一的模拟开关特性。因此,一个多忆阻器阵列硬件系统就用一块定制的PCB板和一块FPGA评估板搭建好了。正如系统原理图所展现的,这个系统主要由8个忆阻器处理单元构成。每个处理单元有其自己的集成2048个单元的忆阻器阵列。每个忆阻器连接到一个晶体管的漏极,即形成一种1T1R的配置方式。每个忆阻器阵列有着128*161T1R个单元构成的集合。其中有着128条平行的字线和128条水平的电源线,并且有着16条垂直的位线。这个阵列表现出出人意料地可重复的多级电导状态。图中展现出在32种不同的电导状态中,1024个忆阻器的分布,其中所有的曲线都是无重叠地分离着的。冲击脉宽50ns、相同的置位和复位冲击串用于闭环编程操作,来达到一个特定的电导状态。测量流程在方法部分阐述。

    正如图2所展示的,一个5层CNN建立在一个忆阻器硬件系统上来识别MNIST手写数字图像。CNN中详细的数据流和相应的忆阻器映射在方法部分描述。

    实现基于忆阻器的卷积操作需要执行在不同的核之间的滑动操作。忆阻器阵列在共享不同核的输入的条件下,可以很高效的实现并行MAC。图2b展示了一个典型的卷积示例在滑动过程中的示意图,图2c揭示了在1T1R忆阻器阵列中的相关操作。输入值依据它被量化的位码、通过脉冲的数量来编码。一个有符号的核权重,被映射到一对忆阻器的电导的差分。在这种方法下,一个核中的所有权重都被映射到两行电导上:一行通过正的脉冲输入来表示正的权重,另一行通过大小相等的负脉冲来表示负的权重。在将编码脉冲输入到位线之后,通过两条差分电源线上的输出电流被探测和求和。差分电流是相应于输入批量(数据)和选中核的加权和。有着不同权重的不同核被映射到不同对的差分行,并且整个忆阻器阵列在相同的输入下并行地执行MAC。所有想要的加权和结果可以同时得到。

    在典型的CNN训练中,有必要根据最后的输出反向传播目标梯度,来达到更新所有权重的目的。这项任务要求相当复杂的操作,来将编码读脉冲从后向前、一层一层地应用于电源线。而且,由于器件的不理想特性,例如非线性和非对称的电导调节,训练一个复杂的深度神经网路是有挑战性的。相比于纯粹的原位训练方案,异位训练看起来像是一条利用了已有的高性能参数的捷径。然而,不可避免的硬件缺陷,例如器件缺陷和导线的寄生电阻与电容,将使得在把异地学习到的权重转移到忆阻器电导时,权重变得模糊并且使系统的性能下降。因此,异位训练在正常情况下需要提前了解硬件的情况,并且基于这种代价高昂的认识,使用软件来学习权重。

    为了避免各种不理想的器件特性,我们提出一种混合训练方法来实现忆阻器卷积神经网络。在图3a中展示的整个流程表包含两个阶段。首先,一个CNN模型进行异位训练,之后所有被确定的权重通过一种闭合回路写入的方法传输到忆阻器处理单元。

    展开全文
  • 将自旋忆阻器与细胞神经网络相结合形成忆阻细胞神经网络作为算法的硬件. 最后, 对彩色图像的边缘提取进行数值仿真, 抗噪性检测, 与传统边缘提取算法对比分析, 并计算各算法边缘提取结果的FOM (figure of merit) 值...
  • 具有时变时滞的忆阻器递归神经网络周期动力学的新结果
  • 结合忆阻器的记忆特征和细胞神经网络高效并行处理能力,将忆阻器作为可编程连接权值,提出了一种具有忆阻器特性的细胞神经网络.计算机仿真验证了提出的忆阻细胞神经网络用于图像去噪和边缘提取的有效性.
  • 本文涉及具有时滞的基于分数阶忆阻器神经网络的自适应同步问题。 通过将自适应控制,线性延迟反馈控制和分数阶不等式相结合,可以得出足够的条件来确保驱动器-响应系统实现同步。 最后,给出了两个数值样本来证明...
  • 基于忆阻器的连续学习混沌神经网络
  • 使用纳米级忆阻器实现紧凑且节能的突触元件引起了人们对构建神经网络电路的广泛兴趣。 忆阻神经网络不仅可以提供强大的计算能力,而且还表现出智能行为,例如认知和联想记忆。 本文设计了一种具有联想记忆和记忆丧失...
  • 基于记忆控制的基于忆阻器的时延神经网络同步
  • 基于忆阻器的混沌神经网络指数同步的新结果
  • 基于忆阻器神经网络应用研究

    千次阅读 2020-08-23 17:38:49
    来源:文章转载自期刊《微纳电子与智能制造》,作者:陈 佳,潘文谦,秦一凡,王 峰,李灏阳,李 祎,缪向水。摘 要 基于忆阻突触器件的硬件神经网络是神经形态计算的重要发展方向,...

    来源:文章转载自期刊《微纳电子与智能制造》,作者:陈 佳,潘文谦,秦一凡,王 峰,李灏阳,李 祎,缪向水。

    摘 要

           基于忆阻突触器件的硬件神经网络是神经形态计算的重要发展方向,是后摩尔时代突破传统冯·诺依曼计算架构的有力技术候选。综述了国内外忆阻硬件神经网络的近期发展现状,从器件发展和神经网络两个方面,详细阐述了忆阻器这一新兴信息器件在神经形态计算中所发挥的角色作用,讨论了依然存在的关键问题和技术挑战。忆阻器为实现存算一体化架构和超越摩尔定律提供了技术障碍突破的可行方案。

    引 言

    在当今数据量爆炸式增长的背景下,传统计算架构遭遇冯·诺依曼瓶颈,晶体管微缩,摩尔定律已难以延续,这已成为继续提升计算系统性能过程中难以克服的技术障碍[1-4]。神经形态计算概念的提出无疑是可以实现技术突破的一大曙光,人脑信息处理系统的复杂程度是最先进的超级计算机也无法媲美的。在已报道的神经形态计算架构芯片中,其计算能力显著提高,并且体积和能耗远小得多。因此,神经形态计算架构的发展在软件和硬件领域都被极度重视,有望替换当前计算系统架构。

    而在众多用于实现神经形态计算的硬件元件中,忆阻器以其高集成度、低功耗、可模拟突触可塑性等特点成为一大有力备选。忆阻器早在1971年就由蔡少棠教授[5]以第4种无源基本电路元件的概念提出,2008年由惠普实验室首次在 Pt/TiO2/Pt三明治叠层结构中通过实验验证[6]。忆阻器首先因其电阻转变效应而被提出用作阻变存储器并被广泛研究。2010年密歇根大学卢伟教授团队[7]提出可以通过操控忆阻器件中离子迁移过程而精细调控器件电导值,率先在Si:Ag忆阻器中实验模拟实现了突触权重调节行为和脉冲时序依赖突触可塑性,从而掀起了忆阻人工神经突触和神经网络的研究热潮。

    1.神经形态计算与忆阻器件

    1.1 神经形态计算

    自1965年由英特尔(Intel)创始人之一GordonMoore提出摩尔定律以来,半导体行业的技术发展已经遵循这一定律超过了半个世纪,晶体管技术节点已经微缩到5nm以下,如图1所示[2]。但近年来,由于硅技术的物理极限,摩尔定律的发展被预言面临终结,芯片上的电子元器件不可能无限制地缩小。因此以密度驱动发展的晶体管技术也逐渐达到物理极限,超越摩尔定律的多功能新兴信息器件可能成为后摩尔时代信息技术中不可或缺的基石。

    图1.摩尔定律

    在大数据时代背景下,传统数据处理方法中存储器与处理器相分离的架构带来了冯·诺依曼瓶颈问题,即存储器和处理器的运行速度均能达到相当水平,但连接这两部分的总线传输速度远远达不到要求,频繁的数据通信消耗了大部分信息处理的时间和功耗。这种处理方法已经无法满足物联网、边缘计算等新应用需求。相比之下,人脑神经系统的信息活动具有大规模并行、分布式存储与处理、自组织、自适应和自学习等特征,数据存储与处理没有明显的界限,在处理非结构化数据等情况下具有非凡的优势。人工智能就是研究、开发用于模拟、延伸和扩展人的智能的系统,对人的意识、思维的信息过程进行模拟,在当今时代背景下具有巨大潜力。所以,未来的计算机体系结构可能需要改变传统的把计算和存储分开的冯·诺依曼架构,利用非易失存储器件,打破“存储墙”,模拟人脑处理机制,构建存储与计算相融合的存算一体计算架构,如图2所示。

    图2.传统冯·诺依曼计算架构与基于非易失存储器的存算一体化架构

    神经形态计算的研究与发展是通向未来人工智能时代,构建新型存算一体架构的赛道之一。在神经形态计算的研究领域,类神经网络与新型神经形态硬件是两大基础研究,在此研究基础上,结合对生物大脑机制的愈加深入了解,最终实现人工智能。

    在类神经网络方面,以深度学习为基础的神经网络研究已经普遍存在于人工智能领域。神经网络,即以数学模型来模拟人脑神经元及突触的结构,并结合多层次传导来模拟神经元的互联结构,现如今已大量应用于人工智能。神经网络的发展一方面是基于对生物大脑的理解更贴切地去模拟其工作机制,如第三代人工神经网络——脉冲神经网络的提出与发展;另一方面是以片上网络配合软硬件以数学建模的方式来模拟脑内神经传导系统,目标侧重于理解脑部信号传导的方式,以从计算仿真角度反向助于了解大脑的运作方式。

    在新型神经形态硬件方面,器件、电路以及整体架构设计都是极其重要的研究方向。在器件方面,基于新兴非易失性存储器的神经形态计算近来引起人们极大的关注,其中包括忆阻器[8]、相变存储器[9]、铁电存储器[10]、自旋电子器件[11]等,它们可用于模拟生物神经元和突触的特性,更重要的是它们都可能成为模拟存算一体计算的基础技术。在电路设计方面,主要是实现仿生信号的产生与处理,以及模拟-数字混合信号的高效处理。在整体架构设计方面,实现存算一体化是核心目标,有助于大幅减少数据迁移开销,提高处理效率,克服冯·诺依曼瓶颈和存储墙问题。

    1.2 忆阻器件

    忆阻器是一个简单的金属-绝缘体-金属(MIM)三明治结构,在电压操作下能实现阻态翻转,如图3(a)、(b)所示。对于双极性忆阻器来说,施加正电压能将器件从高阻态转变为低阻态,称为SET过程,反之施加负电压能将器件从低阻态重新转变为高阻态,称为RESET过程。因此,忆阻器在初期被广泛作为阻变存储器开展研究,在器件结构、材料等方面得到广泛研究并不断提出其优化设计方案。2011年,美国密歇根大学卢伟教授团队以忆阻器的导电丝生长与断裂的阻变机制为出发点,验证了器件的电导可以在电压脉冲激励下逐渐变化,即导电丝可以在外部激励下逐渐生长和断裂,从而贴切地模拟了生物突触权重在外界刺激下的逐渐增强或减弱,如图3(c)、(d),并通过实验验证了器件对生物突触可塑性—脉冲时序依赖可塑性(STDP)的可模拟性。自此,忆阻突触器件成为神经形态计算中新型电子突触器件的有力候选者之一。

    忆阻器作为电子突触器件主要包括以下几个特点:

    (1)具有良好的生物突触特性模拟性。作为突触器件必须具备基本的生物突触特性,如长时程增强(long-term potentiation,LTP)和长时程抑制(longterm depression,LTD),脉冲时序依赖可塑性(spiketiming dependent plasticity,STDP),脉冲频率依赖可塑性(spike-rate dependent plasticity,SRDP)等[12];

    (2)突触单元在特征尺寸、功耗、速度等方面具有优于传统晶体管突触电路的明显优势;

    (3)忆阻突触器件具备可扩展性,包括在材料方面能被广泛应用,同时在集成度上也能大规模扩展。单个突触器件的功能是基本需求,而大规模扩展和应用是必要考虑的路线,忆阻器与晶体管进行集成的1T1R阵列就是一个研究瞩目的规模扩展应用方向。

    图3.忆阻器件基本特性及其生物突触可拟性

    近年来,基于忆阻器的神经网络存算一体加速器倍受学术界和工业界的关注。研究表明,数据在CPU和片外存储之间的传输消耗的能量比一个浮点运算所消耗的能量高2个数量级。一方面,基于忆阻器的内存加速器将计算与存储紧密结合,从而省去传统的冯·诺依曼体系结构的中心处理器和内存之间的数据传输,进而提升整体系统的性能并节省大部分的系统能耗。另一方面,通过在忆阻器阵列外部加入一些功能单元,阵列能在几乎一个读操作的延迟内完成一次矩阵乘加计算(multiplication andaccumulation,MAC),如图4所示,且不随着输入维度的增加而增加,而MAC运算在神经网络计算中被非常频繁地使用,是其主要耗能来源之一。因此,基于忆阻突触器件的神经网络应用是神经形态计算研究中的热门方向[13-23]。

    图4.在忆阻器阵列中实现矩阵乘加运算(MAC)

    2.技术发展现状

    目前,神经形态计算的具体实现包括软件和硬件两个方面。对于神经形态计算的软件实现方面,即类神经网络,由于现有计算机系统的冯·诺伊曼瓶颈问题,即使神经网络本身具有分布式、并行式等计算特点,但依托于传统计算机架构在大数据计算时仍然会被限制其运算速度,且功耗极大。因而神经网络的硬件化实现是当前从根本上解决冯·诺依曼瓶颈问题的重要路线。如美国DARPA资助 IBM、HP、HRL公司联合密歇根大学、斯坦福大学等研究机构开展的“突触计划”(SYNAPSE Project,神经形态可扩展的自适应可塑性电子系统)等都展现了国际上对于神经网络硬件化实现的关注与投入。以IBM的TrueNorth芯片[24]、寒武纪的DaDianNao芯片[25],清华大学的天机芯片[26]等为例,目前很多神经形态芯片的实现都是基于传统金属-氧化物-半导体(metal-oxide-semiconductor,CMOS)晶体管。而在神经系统中,突触数量远远超过神经元数目,基于传统CMOS晶体管的突触电路会消耗大量面积和功耗。

    因此近年来,基于新型电子突触器件的神经形态计算芯片研究火热,在目前的IoT时代发展潮流下,是边缘计算的强有力载体。美国密歇根大学卢伟教授团队[27]第一款基于忆阻器交叉阵列的通用存算一体化芯片,同时实现了3种人工智能的算法,包括多层感知机、稀疏编码以及无监督学习算法。中国台湾清华大学的张孟凡教授研究组[28]利用1T1R器件阵列和65nm CMOS工艺的控制和读出电路的集成实现了一个1Mb的忆阻存算一体处理器,可同时实现神经网络的模拟计算和可重构逻辑的数字计算,同时利用了忆阻器件的多值突触特性和二值阻变特性,充分展示了忆阻突触器件在神经形态计算应用中的优势。

    3.基于忆阻器件的神经网络

    人工网络的发展源自于1943年McCulloch和Pitts[29]提出的首个用建模描述大脑信息处理过程的M-P神经元模型,进而于1949年,Hebb[30]提出了一种突触是联系可变的假设,促进了神经网络的学习算法的研究,直到1957年 Rosenblat[31]提出了感知机模型,它被称为是首个比较完整的人工神经网络,并且首次把神经网络的研究应用在实际工程中。至此,关于人工神经网络的相关研究进入了热潮。

    自忆阻器被用作电子突触器件以来,由于忆阻器中离子的迁移十分类似于神经突触中神经递质的扩散过程,于是利用忆阻器来模拟神经网络中的突触成为一大趋势,被广泛运用在神经网络中存储突触权值。大量的实验证明,用忆阻器来模拟神经网络中的突触将会有很大的前景优势。具体地,忆阻器作为一种基本的无源器件,所具有的纳米级尺寸及非易失性,不仅能够在模拟神经突触时实现突触权值的不断变化,实现存算一体化,还可以构建集成度比较高的神经网络结构,这使得人工神经网络不仅具有学习记忆的能力,同时其功能也变得更加多样化[32-39]。

    3.1 多层感知机

    多层感知机模型,网络结构如图5所示,普遍被称为人工神经网络,是基于第一代神经网络——感知机模型的应用扩展。由于单层感知机只能解决基本逻辑线性问题,其表示用一条直线分割的空间,因此为解决非线性问题,通过在输入层与输出层之间加入隐藏层,用以实现异或问题的解决,最简单的多层感知机只有一个隐藏层,层与层之间是全连接的。以简单的3层结构为例,从输入层输入向量X,输入层与隐藏层的神经元以全连接方式互连,从而产生突触连接权重矩阵 W,将输入向量X与权重矩阵W进行矩阵向量乘法运算,即可以得到隐藏层的输出向量H,以此类推,输入信息可以在全连接的层之间通过权重矩阵向前传播,得到输出结果Y。在多层感知机中,最常采用的权重更新算法是反向传播算法,通过理想的输出结果Z与实际输出结果Y产生误差值,将误差值通过全连接多层网络反向传递,以误差函数梯度下降的方法,更新各层之间的权重矩阵值,以将最终输出的误差值收敛到最小。

    不难看出,在多层感知机神经网络的计算过程中,输入信息向量与权重矩阵之间的矩阵向量乘法运算消耗了大量计算资源,因而利用忆阻交叉阵列并行一步实现矩阵向量乘法计算,可以大大减少硬件化神经网络的能耗。在基于忆阻突触器件的多层感知机应用中,忆阻交叉阵列被用来存储突触权重矩阵,每一个交叉点处的忆阻器的电导值被用来表示一个突触连接的权重值[40-42]。

    图5.多层感知机结构示意图

    清华大学吴华强教授团队[41]2017年在NatureCommunication上发表研究成果,如图6所示,利用1T1R器件单元模拟突触特性,实现双向的器件电导调制,并在1K的1T1R阵列中实现了3层全连接多层感知机,并通过在线学习的方式实现了耶鲁人脸数据库的灰度人脸图像识别,对9000个加入噪声影响的测试图片识别率可达到88.08%。与基于常规计算平台的Intel Xeon Phi处理器的神经网络计算对比,基于1T1R阵列的神经网络在片上计算方式上能耗相比低1 000倍,在片外计算方式上能耗相比低20倍。

    图6.在1T1R阵列中实现人脸识别任务

    美国加利福尼亚大学圣芭芭拉分校Strukov教授团队[42]设计制备了20×20的金属氧化物交叉阵列,如图7所示,在器件方面,该忆阻器的中间功能层采用TiO2-x与Al2O3叠层,Al2O3叠层作为阻挡层的引入使得器件的基本I-V特性变得更加非线性,这种非线性的引入有助于忆阻器的0T1R阵列中漏电流问题的抑制。同时根据器件截面图,器件制备过程中底电极沉积成三角形形状,这样的设计一方面可以让功能层更好地覆盖下电极,另一方面也可以以此降低顶电极的接触电阻。在此研究成果基础上,该团队进一步地将忆阻器交叉阵列与传统 CMOS外围电路进行互联,设计实现了单隐藏层的多层感知机用于分类功能,硬件设计复杂度提高了10倍以上,离线学习的分类准确度高达97%以上。

    图7.利用Pt/Al2O3/TiO2−x/Ti/Pt忆阻阵列实现三层全连接感知机网络

    3.2 卷积神经网络

    卷积神经网络(convolutional neural network,CNN)的出现解决了图像对于神经网络来说的难点:大量的图像处理数据导致成本高、效率低;在数字化的过程中很难保留原有的图像特征,导致图像处理的准确率不高。CNN通过卷积运算降维,减小参数复杂度,将复杂问题简化后再做处理,并且用类似视觉的方式保留了图像的特征,当图像做翻转、旋转或者变换位置时,它也能有效地进行识别。典型的CNN由3部分构成:卷积层、池化层和全连接层,如图8所示,简单来描述:卷积层通过卷积操作提取图像中的局部特征;池化层通过平均池化或最大池化操作(特殊的卷积操作)来大幅降低参数量级(降维);全连接层类似传统神经网络的部分,用来实现分类功能输出分类识别结果。因此,卷积神经网络相较于多层感知机应用更广泛,泛化能力更强大。

    基于忆阻器交叉阵列实现卷积神经网络主要包括两个部分:卷积操作部分和全连接层部分。一方面,忆阻器阵列可以存储卷积核值,实现一步完成输入信息与卷积核的矩阵向量乘法计算,大大提高计算效率;另一方面,卷积神经网络的全连接层部分即为一个多层感知机,如前所述也可以利用忆阻器交叉阵列并行实现[43-46]。

    图8.卷积神经网络结构示意图

    法国的Garbin等[45]首次展示了基于多个并联二值HfO2忆阻器实现一个突触功能来搭建脉冲CNN,如图9所示,基于对器件编程条件的影响进行实验和理论研究,发现即使在器件变化较大的情况下,也可以实现具有高保真度的视觉模式识别(模式识别率>94%)。该工作证实了将忆阻器用作CNN中突触器件的可行性,并且基于氧化物的忆阻器件具有低开关能耗和高操作耐久性。

    图9.利用HfO2忆阻器实现卷积神经网络

    IBM团队Gokmen等[46]提出了利用硬件的并行性将卷积层映射到忆阻阵列的方法,以及具体研究了如何在忆阻器上进行CNN训练,如图10所示,提出了噪声和边界管理技术以解决在阵列上执行的计算施加的噪声和边界限制影响CNN的训练准确性的问题,并且讨论了器件随机可变性对网络的影响以及解决的方法,进一步探讨基于忆阻器的卷积神经网络可行性。

    图10.卷积层映射到忆阻阵列的方法

    3.3.二值神经网络

    二值神经网络(binarized neural network,BNN)是神经网络“小型化”探索中一个重要的方向。神经网络中有两个部分可以被二值化,一是网络的权重,二是网络的中间结果。通过把浮点单精度的权重变成+1或-1,存储空间大小变为原来的1/32,计算量变为原来的1/58。其中,权值参数W,必须包含实数型的参数,然后将实数型权值参数二值化得到二值型权值参数,即Binarize操作,如图11所示。具体二值化方法为:大于等于0,取+1;否则,取-1。因此,仅用+1/-1构成权值矩阵和网络传播参数,压缩芯片体积并加速了计算过程,大大减少了存储大小和访问操作,并以逐位操作取代大多数算术操作,这将大大提高能耗效率,更适合应用于设备端的边缘计算。而忆阻器件最基本的高低阻态的二值转变特性非常完美地满足了二值神经网络对于突触器件的需求,特别地,相较于忆阻器件的多值突触特性,其二值特性更稳定,从器件工程方面来说也更容易实现。因此,基于忆阻器件的二值神经网络从硬件实现方面来说极具挖掘性。

    图11.二值神经网络中的二值化流程图

    北京大学康晋锋教授团队[47]在基于忆阻器件的二值神经网络实现上,首次提出了一种新的硬件实现方法,如图12所示,利用非线性突触单元来构建用于在线训练的BNN。通过忆阻器阵列设计和演示基于2T2R的突触单元,以实现BNN 中突触的基本功能:二进制权重(sign(W))读取和模拟权重更新(W +ΔW)。通过MNIST对基于2T2R突触单元的BNN的性能进行了评估,识别准确率达到97.4%。

    图12.基于2T2R突触阵列的二值神经网络示意图

    亚利桑那州立大学Yu课题组[48]用忆阻器交叉阵列实现二值神经网络计算加速,具体地采用XNOR同或逻辑加速和bit-counting并行操作来代替复杂的乘法累加操作,如图13所示,并且在基于手写字体数据集的多层感知机上实现98.43%识别准确率,在基于CIFAR-10数据集的卷积神经网络上实现86.08%的准确率,分别比理想情况下降0.34%和2.39%的识别精度,该工作能耗为141.18TOPS/W,相较于顺序逐行读取的忆阻神经网络,能耗效率提高约33倍,验证了二值神经网络的在速度和能耗上的潜在优势。

    图13.忆阻器交叉阵列实现二值神经网络计算加速方法

    3.4 长短期记忆网络

    长短期记忆网络(long short- term memory,LSTM),是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的事件。LSTM是一种特殊的循环神经网络,为解决循环神经网络(recurrent neural network,RNN)结构中存在的“梯度消失”问题而提出,网络结构如图14所示。LSTM在设计上明确避免了长期依赖的问题,主要归功于LSTM精心设计的“门”结构(输入门、遗忘门和输出门)消除或者增加信息到单元状态的能力,使得LSTM能够记住长期的信息。在LSTM中,第一阶段是遗忘门,遗忘层决定哪些信息需要从单元状态中被遗忘,下一阶段是输入门,输入门确定哪些新信息能够被存放到单元状态中,最后一个阶段是输出门,输出门确定输出什么值。同样,利用忆阻阵列实现突触功能以及存算一体,在LSTM这种循环网络有很大优势,可以实现高度并行的高速低功耗操作,是基于忆阻器件的又一神经网络功能实现。

    图14.长短期记忆网络的结构示意图

    美国马萨诸塞大学杨建华团队[49]首先在128×64的1T1R阵列上实现了LSTM神经网络,如图15所示,利用忆阻器交叉阵列来存储LSTM在不同时间步长中共享的突触权重,并执行了全球航空旅客人数预测任务和人类步态识别任务,分别验证了忆阻LSTM执行线性回归预测类任务和模式识别类任务的可行性,验证了忆阻阵列作为低延时、低功耗的边缘推断平台运行LSTM神经网络的可行性,有助于规避“冯·诺依曼瓶颈”问题。

    图15.基于忆阻突触阵列的LSTM网络以预测下个月的航空公司乘客人数

    IBM公司的Burr团队[50]在器件非一致性较高的情况下将权重参数映射和编码到相变存储器(phasechange memory, PCM)电导中,采用了两对器件分别表示高低位权重、权重裁切、单向电导调节等方法,网络设计如图16所示,实现了LSTM的前向推断,并且首次在2.5M大小的阵列中实现了近似软件的文本预测准确率,同时对比了多种不同方法对权重映射准确度和预测准确度的影响。

    图16.基于相变存储器件单元的长短期记忆网络实现方法

    4.总结

    总的来说,基于忆阻器的神经网络应用是神经形态计算不可或缺的研究方向。忆阻器以自身的突触可塑性、低功耗、高效率、可集成等优势在神经网络应用中被大量研究,实现了多样化的忆阻神经网络,包括多层感知机、卷积神经网络、长短期记忆网络等。忆阻器主要被用作神经网络中的突触器件,其在脉冲下的多值调控特性完美地实现突触权重硬件化映射,能够存储突触权重矩阵并实现原位计算。忆阻器交叉阵列的并行矩阵乘加运算能力实现了神经网络计算的加速神经网络计算。因此,基于忆阻器的神经网络是其硬件化的有效实现方案,为构建存算一体化的新型计算架构提供解决办法。

    但在神经网络的硬件化实现方面,仍然存在许多亟待解决的问题,以及需要深入思考的困惑。主要包括以下几个方面:

    (1)忆阻器件的突触特性仍需进一步提高,如忆阻器的多值电导调控特性,在当前研究中只考虑了脉冲连续施加情况下电导的连续改变,但对于实际应用来说,稳定且非易失的每一个电导状态是必要的。因此,如何定义忆阻器的电导连续变化过程中的多值,以及如何从器件工程层面改善器件的稳定多值特性,是目前忆阻突触器件在实际硬件实现过程中的一大难题。

    (2)忆阻器的导电丝阻变机理造成了器件本征的不可消除的噪声问题。由于导电丝在形成和断裂过程中都不可能完全受外部施加的激励所控制,其随机性不可消除,因此使得忆阻器的本征噪声问题无法解决。而在神经网络应用中,这一本征噪声问题的影响是否会对系统造成损耗还不可获知,需要更进一步的研究和实验验证。

    (3)在当前的研究成果中,忆阻阵列具有传统CMOS逻辑电路不可比拟的并行计算能力和存储与计算相融合的特点,但忆阻突触器件的模拟计算特性与外围CMOS数字电路无法完全兼容,数模/模数转换成为忆阻阵列与CMOS集成的电路设计的难点。过于复杂的外围电路会提高系统的整体功耗,与忆阻阵列的引入初衷相悖。

    参考文献:

    [1] MOORE G. Moore’s law[J]. Cramming more components onto integrated circuits[J]. Electronics, 1965, 38(8): 114-117. 

    [2] HOLT W M. 1.1 Moore’s law: a path going forward[C]//2016 IEEE International Solid-State Circuits Conference(ISSCC). IEEE, 2016: 8-13. 

    [3] JONES V F R. A polynomial invariant for knots via vonNeumann algebras[M]. New Developments in The Theory of Knots, 1985. 

    [4] BACKUS J W. Can programming be liberated from thevon Neumann style? A functional style and its algebra ofprograms[J]. Communications of the ACM, 1978, 21(8):613-641. 

    [5] CHUA L. Memristor-the missing circuit element[J].IEEE Transactions on Circuit Theory, 1971, 18(5): 507-519. 

    [6] STRUKOV D B, SNIDER G S, STEWART D R, et al.The missing memristor found[J]. Nature, 2008, 453(7191): 80-83. 

    [7] JO S H, CHANG T, EBONG I, et al. Nanoscale mersister device as synapse in neuromorphic systems[J]. NanoLetters, 2010, 10(4): 1297-1301. 

    [8] CHEN J, LIN C Y, LI Y, et al. LiSiOx- based analogmemristive synapse for neuromorphic computing[J].IEEE Electron Device Letters, 2019, 40(4): 542-545. 

    [9] AMBROGIO S, NARAYANAN P, TASI H, et al. Equivalent- accuracy accelerated neural- network training usinganalogue memory[J]. Nature, 2018, 558(7708): 60-67. 

    [10] JERRY M, CHEN P Y, ZHANG J, et al. FerroelectricFET analog synapse for acceleration of deep neural network training[C]// 2017 IEEE International Electron Devices Meeting (IEDM). IEEE, 2017: 6.2.1-6.2.4. 

    [11] WU M H, HONG M C, CHANG C C, et al. Extremelycompact integrate-and-fire STT-MRAM neuron: A pathway toward all- spin artificial deep neural network[C]//2019 Symposium on VLSI Technology. IEEE, 2019: T34-T35. 

    [12] LI Y, ZHONG Y, ZHANG J, et al. Activity- dependentsynaptic plasticity of a chalcogenide electronic synapsefor neuromorphic systems[J]. Scientific Reports, 2014, 4 (6184): 4906. 

    [13] CHEN P Y, PENG X, YU S. NeuroSim: A circuit-levelmacro model for benchmarking neuro-inspired architectures in online learning[J]. IEEE Transactions on Computer- Aided Design of Integrated Circuits and Systems,2018, 37(12): 3067-3080. 

    [14] DEGUCHI Y, MAEDA K, SUZUKI S, et al. Error-reduction controller techniques of TaOx- based ReRAM fordeep neural networks to extend data- retention lifetimeby over 1700x[C]// 2018 IEEE International MemoryWorkshop (IMW). IEEE, 2018: 1-4. 

    [15] DIEHL P U, COOK M. Unsupervised learning of digitrecognition using spike- timing- dependent plasticity[J].Frontiers in Computational Neuroscience, 2015, 9(429):99. 

    [16] GOKMEN T, ONEN M, WILFRIED H. Training deepconvolutional neural networks with resistive cross- pointdevices[J]. Frontiers in Neuroscience, 2017, 11: 538. 

    [17] GOKMEN T, VLASOV Y. Acceleration of deep neuralnetwork training with resistive cross- point devices: design considerations[J]. Frontiers in Neuroscience, 2016,10(51): 333. 

    [18] ESSER S K, MEROLLA P A, ARTHUR J V, et al. Convolutional networks for fast energy- efficient neuromorphic computing[J]. Proceedings of the National Academy of Sciences, 2016, 113(41): 11441-11446.

    [19] CHEN L, LI J, CHEN Y, et al. Accelerator-friendly neural- network training: learning variations and defects inRRAM crossbar[C]// 2017 Design, Automation & Testin Europe Conference & Exhibition (DATE). IEEE,2017: 19-24. 

    [20] CHANG C C, LIU J C, SHEN Y L, et al. Challengesand opportunities toward online training acceleration using RRAM- based hardware neural network[C]// 2017IEEE International Electron Devices Meeting (IEDM).IEEE, 2017: 11.6.1-11.6.4. 

    [21] TRUONG S N, MIN K S. New memristor-based crossbar array architecture with 50-% area reduction and48-% power saving for matrix- vector multiplication ofanalog neuromorphic computing[J]. Journal of Semiconductor Technology and Science, 2014, 14(3): 356-363. 

    [22] CHOI S, SHIN J H, LEE J, et al. Experimental demonstration of feature extraction and dimensionality reduction using memristor networks[J]. Nano Letters, 2017, 17(5): 3113-3118. 

    [23] HU M, GRAVES C E, LI C, et al. Memristor‐based analog computation and neural network classification with adot product engine[J]. Advanced Materials, 2018, 30(9):1705914. 

    [24] NURSE E, MASHFORD B S, YEPES A J, et al. Decoding EEG and LFP signals using deep learning: headingTrueNorth[C]// Proceedings of the ACM InternationalConference on Computing Frontiers. ACM, 2016: 259-266. 

    [25] LUO T, LIU S, LI L, et al. Dadiannao: A neural networksupercomputer[J]. IEEE Transactions on Computers,2016, 66(1): 73-88. 

    [26] PEI J, DENG L, SONG S, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture[J].Nature, 2019, 572: 106-111. 

    [27] CAI F, CORRELL J, LEE S H, et al. A fully integratedreprogrammable memristor – CMOS system for efficientmultiply – accumulate operations[J]. Nature Electronics,2019, 2(7): 290-299. 

    [28] CHEN W H, DOU C, LI K X, et al. CMOS-integratedmemristive non- volatile computing- in- memory for AIedge processors[J]. Nature Electronics, 2019, 2: 1-9. 

    [29] MCCULLOCH W S, PITTS W. A logical calculus of theideas immanent in nervous activity[J]. The Bulletin ofMathematical Biophysics, 1943, 5(4): 115-133. 

    [30] HEBB D O. The organization of behavior: a neuropsychological theory[J]. American Journal of Physical Medicine & Rehabilitation, 2013, 30(1): 74-76. 

    [31] ROSENBLATT F. The perceptron: a probabilistic modelfor information storage and organization in the brain[J].Psychological Review, 1958, 65(6): 386-408. 

    [32] WANG Z R, JOSHI S, SAVEL’EV S, et al. Fully memristive neural networks for pattern classification with unsupervised learning[J]. Nature Electronics, 2018, 1(2):137-145. 

    [33] CAI F, CORRELL J, LEE S H, et al. A fully integratedreprogrammable memristor – CMOS system for efficientmultiply – accumulate operations[J]. Nature Electronics,2019, 2(7): 290-299. 

    [34] IELMINI D, AMBROGIO S, MILO V, et al. Neuromorphic computing with hybrid memristive/CMOS synapsesfor real-time learning[C]// 2016 IEEE International Symposium on Circuits and Systems (ISCAS). IEEE, 2016:1386-1389. 

    [35] CHEN P Y, YU S. Partition SRAM and RRAM basedsynaptic arrays for neuro- inspired computing[C]// 2016IEEE International Symposium on Circuits and Systems(ISCAS). IEEE, 2016: 2310-2313. 

    [36] KIM S G, HAN J S, KIM H, et al. Recent advances inmemristive materials for artificial synapses[J]. AdvancedMaterials Technologies, 2018, 3(12): 1800457. 

    [37] TSAI H, AMBROGIO S, NARAYANAN P, et al. Recentprogress in analog memory- based accelerators for deeplearning[J]. Journal of Physics D: Applied Physics,2018, 51(28): 283001. 

    [38] SUNG C, HWANG H, YOO I K. Perspective: a reviewon memristive hardware for neuromorphic computation[J]. Journal of Applied Physics, 2018, 124(15): 151903. 

    [39] CRISTIANO G, GIORDANO M, AMBROGIO S, et al.Perspective on training fully connected networks with resistive memories: device requirements for multiple conductances of varying significance[J]. Journal of AppliedPhysics, 2018, 124(15): 151901. 

    [40] LI C, BELKIN D, LI Y, et al. Efficient and self-adaptivein-situ learning in multilayer memristor neural networks[J]. Nature Communications, 2018, 9(1): 2385. 

    [41] YAO P, WU H, GAO B, et al. Face classification usingelectronic synapses[J]. Nature Communications, 2017, 8:15199. 

    [42] BAYAT F M, PREZIOSO M, CHAKRABARTI B, et al.Implementation of multilayer perceptron network withhighly uniform passive memristive crossbar circuits[J].Nature Communications, 2018, 9(1): 2331. 

    [43] KWAK M, PARK J, WOO J, et al. Implementation ofconvolutional kernel function using 3- D TiOx resistiveswitching devices for image processing[J]. IEEE Transactions on Electron Devices, 2018, 65(10): 4716-4718. 

    [44] YAKOPCIC C, ALOM M Z, TAHA T M. Memristorcrossbar deep network implementation based on a convolutional neural network[C]// 2016 International JointConference on Neural Networks (IJCNN). IEEE, 2016:963-970. 

    [45] GARBIN D, VIANELLO E, BICHLER O, et al. HfO2-based OxRAM devices as synapses for convolutionalneural networks[J]. IEEE Transactions on Electron Devices, 2015, 62(8): 2494-2501. 

    [46] GOKMEN T, ONEN M, HAENSCH W, et al. Trainingdeep convolutional neural networks with resistive crosspoint devices[J]. Frontiers in Neuroscience, 2017, 11:538. 

    [47] ZHOU Z, HUANG P, XIANG Y C, et al. A new hardware implementation approach of BNNs based on nonlinear 2T2R synaptic cell[C]// 2018 IEEE InternationalElectron Devices Meeting (IEDM). IEEE, 2018: 20.7.1-20.7.4. 

    [48] SUN X, YIN S, PENG X, et al. XNOR-RRAM: a scalable and parallel resistive synaptic architecture for binary neural networks[C]// 2018 Design, Automation &Test in Europe Conference & Exhibition (DATE). IEEE,2018: 1423-1428. 

    [49] LI C, WANG Z, RAO M, et al. Long short-term memory networks in memristor crossbar arrays[J]. Nature Machine Intelligence, 2019, 1(1): 49-57. 

    [50] TSAI H, AMBROGIO S, MACKIN C, et al. Inferenceof long-short term memory networks at software-equivalent accuracy using 2.5M analog phase change memorydevices[C]// 2019 Symposium on VLSI Technology.IEEE, 2019: T82-T83.

    文献引用:

    陈佳,潘文谦,秦一凡,等. 基于忆阻器的神经网络应用研究[J]. 微纳电子与智能制造, 2019, 1(4): 24-38.

    CHEN Jia, PANWenqian, QIN Yifan, et al. Research of neural network based on memristor[J]. Micro/nano Electronics and Intelligent Manufacturing, 2019, 1(4): 24-38.

    《微纳电子与智能制造》刊号:CN10-1594/TN

    主管单位:北京电子控股有限责任公司

    主办单位:北京市电子科技科技情报研究所

                   北京方略信息科技有限公司

    未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

      如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

    展开全文
  • 本文设计了一种基于双重相同忆阻器的新型突触单元,并在此基础上提出了一种新的神经网络电路架构。 整个网络由硬件友好的重量同时扰动(WSP)算法训练。 基于WSP算法的神经网络的硬件实现只涉及前馈电路,不需要...
  • 基于忆阻器交叉阵列的卷积神经网络电路设计
  • 具有时变时滞的忆阻器BAM神经网络周期解的存在性和全局指数稳定性
  • 改进型细胞神经网络实现的忆阻器混沌电路
  • 具有多比例延迟的基于忆阻器的递归神经网络的灵敏性
  • 基于忆阻器神经网络中皮层信号传播及其时空模式的研究
  • 为了探究忆阻器的稳定性问题对忆阻神经网络性能的影响,基于等效电阻拓扑结构的忆阻器模型,搭建了一个将忆阻器作为突触的BP神经网络,并利用MNIST数据集对该网络进行训练和测试。忆阻器的稳定性问题通过设置忆阻器...

空空如也

空空如也

1 2 3 4 5
收藏数 92
精华内容 36
关键字:

忆阻器神经网络