精华内容
下载资源
问答
  • 脑神经网络都具有形状偏好,相关研究论文《Cognitive psychology for deep neural networks: A shape bias case study》被国际机器学习学会(IMLS)收录。 谷歌DeepMind 团队的研究将认知

    谷歌DeepMind 团队的研究将认知心理学和深度神经网络结合在一起,并发现两者在小样本词汇学习过程中具有相似之处——DNN 和脑神经网络都具有形状偏好,相关研究论文《Cognitive psychology for deep neural networks: A shape bias case study》被国际机器学习学会(IMLS)收录。

    谷歌DeepMind 团队的研究将认知心理学(cognitive psychology)和深度神经网络(deep neural network,DNN)结合在一起,并发现两者在小样本词汇学习(从一个示例中猜出一个单词的意思,one-shot word learning)过程中具有相似之处——DNN 和脑神经网络都具有形状偏好(shapebias),相关研究论文《Cognitive psychology for deep neural networks: A shape bias case study》被国际机器学习学会(IMLS)收录。深度学习和神经科学的学科交叉对未来的发展方向具有很强的指导意义,这项研究也为DNN 的机理以及脑神经网络的理论基础研究提供了一种可行的解决思路,而真正破解DNN 和脑神经科学的黑箱问题依然任重道远。

    两个黑箱问题

    DNN 在很多复杂任务上取得了前所未有的进展,如人脸识别、围棋以及Atari游戏,但是其解决方案也远远超出了我们的理解范围,成为了一个名副其实的黑箱。这种黑箱模型在很大程度上能够简单便捷地解决许多实际问题,但是从科学研究和实际应用的角度上看,我们需要理解并改变世界,只有破解DNN 的黑箱问题之后,才能更好地运用并改善该模型,同时提升实际应用中的可靠性。

    在这种黑箱问题背景下,建立更加优秀而且可理解的神经网络系统成为一个热门的研究方向。许多研究者都认可:DNN 的图像处理模型与动物的视觉处理通路具有相似之处,动物的视觉处理通路存在感受野、方向选择性以及分级处理等特性,而模仿动物视觉信息处理的DNN 也具有类似的特性;此外,DNN的快速发展也促进了视觉神经科学方面的研究,形成了有效的正反馈;从更加宏观的角度来看,感受野、方向选择性、分级处理这些特性也会使DNN 和动物视觉信息处理在更高层次上具有一定的相似性。这种共同点以及两者相互促进的机制正是开展DNN 黑箱问题与认知心理学的交叉研究的基础。破解DNN 黑箱问题,首当其冲的是为该问题建立一套完整的问题描述方法及实验研究方法;由于DNN 与脑神经网络存在一定的共性,因此DNN 黑箱问题与脑神经科学的交叉研究正是一种行之有效的方法。尽管脑神经网络是一个更加庞大的黑箱,但是人们对于大脑的解码走在DNN黑箱问题的前面,对大脑的研究已经建立了一套系统的研究方法,这套研究方法也可以作为DNN 黑箱问题的基础。

    DNN 与脑神经网络的异同点

    认知心理学是研究脑神经网络的一门重要学科,认识心理学中一个经典的案例是考察儿童如何识别和标识物体,探索儿童如何从一个示例中猜出一个单词的意义;认知心理学的研究成果表明,儿童会通过采用归纳偏好来消除许多不正确的推理,而且形状偏好强于颜色偏好。在人工智能中,能够进行小样本学习的深度神经网络(matching network),凭借一个孤立样本,就取得了ImageNet 图像分类任务中目前最佳性能,而且该模型也更倾向于形状偏好。小样本学习的能力和形状偏好特性是DNN 与脑神经网络的共性,但是DNN和大脑终究就是两个差异很大的模型,一点小的共性难以弥补两者之间的鸿沟。

    首先,DNN 和大脑的拓扑结构有很大的差别,DNN 往往具有非常规则的连接,而真实的脑神经网络之间的连接极其复杂,而且不同物种的脑神经网络连接也会有所不同;如大小鼠、猫和猴存在感受野以及视觉信息分级处理的机制,但是大小鼠没有功能柱,而猫和猴存在功能柱(具有相同感受野并具有相同功能的视皮层神经元,在垂直于皮层表面的方向上呈柱状分布);猫和狗的视锥细胞非常少,对颜色不敏感,猴和树鼩则具有丰富的颜色视觉;青蛙和兔子这类的低等动物的视觉信息处理系统对运动的物体非常敏感;每一类生物在漫长的进化过程中,都已经形成了最适应其生存环境的形态结构,而目前DNN 模型的拓扑结构与任何一种生物的神经网络结构都相去甚远。此外,DNN 的计算方式与大脑的信息处理方式也有很大不同,DNN 一般都是确定性的数学模型,给定输入之后,按照给定的计算流程,所有的中间变量以及最后的输出都是确定的;对于大脑来说,给定一个输入,会得到一个确定的输出,但是中间变量不是确定的(即每次看到一个苹果时,大脑会认出这是一个苹果,但是每次都只观察视觉信息处理过程中很小的一个神经环路时,这个环路的状态是变化的,而这种变化却不影响最终的输出)。从输入到输出,DNN 只有一条确定的路,而大脑每一次都走了一条不同的路,这就是DNN 的确定性与脑神经网络的不确定性之间的矛盾。

    加强深度学习与脑科学交叉研究

    DeepMind 团队认为这项形状偏好的研究表明:认知心理学工具具有揭示DNN 隐藏计算过程的能力,同时能够提供一个人类词汇学习的计算模型,对此我们持一定的怀疑态度。首先,DNN 和大脑的拓扑结构具有很大的差异,即使二者具有感受野、方向选择性、信息分级处理、以及形状偏好等形同特性,也并不能说明二者的计算过程有多少相似性;此外,学习和记忆也是认知心理学中亟待解决的黑箱问题,在得到透彻理解之前,并不能单方面地成为破解DNN 的黑箱问题的武器。值得肯定的是,深度学习与脑科学的交叉研究是未来必然的发展趋势;在2016 年,《Nature Neuroscience》上的一篇文章介绍了一种对更高层的视觉皮层的神经活动进行建模的目标驱动分层卷积神经网络(Goal-driven hierarchical convolutional neural networks,HCNNs),该研究表明目标驱动的HCNNs 能够揭示视觉皮层信息处理过程形成和发展的机理[2];神经科学和认识心理学并不是单纯的实验科学,只有基于DNN 这一类有效的理论分析方法,才能将二者推向更高的层次;从另一个角度看,随着对脑神经网络认识的深入,人们能够发掘出脑神经网络更多的特性,这些特性很有可能成为不断理解与完善DNN 模型的切入点,成为破解DNN黑箱问题的可行途径。

    展开全文
  • 1.6 脑神经网络信息大规模获取和脑计划 进入 21 世纪以来,认知科学得到更为 充分的关注。在全球范围内启动了多个脑 科学的重大科研计划。2013 年,美国启动 脑计划;2014 年,欧盟也实施了人脑计划; 此外,日本、...

    1.6 脑神经网络信息大规模获取和脑计划

    进入 21 世纪以来,认知科学得到更为 充分的关注。在全球范围内启动了多个脑 科学的重大科研计划。2013 年,美国启动 脑计划;2014 年,欧盟也实施了人脑计划; 此外,日本、中国等国相继或正在进行国 家级的脑科研项目。

    美国的脑计划称为 The Brain Research through Advancing Innovative Neurotechnologies ( 简称 BRAIN),它由美国国防部 (DARPA)、 国家卫生研究院 (NIH)、国家自然科学基金 (NSF) 支持,由生物学问题研究总统委员会 指导,由艾伦脑科学研究所(Allen Institute for Brain Science)、霍华德 • 休斯医学研 究所 (the Howard Hughes Medical Institute) 和 Kavli 基金会 (The Kavli Foundation) 提 供咨询建议,其目标是开发和应用创新技 术,实现脑功能特别是脑运行动态的图像 理解 [36]。

    欧盟的脑计划称为 Human Brain Project( 简 称 HBP)[37]。其目标有 Neuroinformatics、Brain Simulation、High-performance Analytics and Computing、Medical Informatics、Neuromorphic Computing、Neurorobotics 六项。

    在这些计划及其相关研究中,一个重 要特点是除传统的脑电分析、核磁共振分 析外,还将采用新方法以大规模获取脑神 经网络的信息,如神经生物的显微成像技 术、声光成像技术,可以获得脑组织样品 超大规模神经元三维扫描。分析技术也从 传统的相关性分析技术扩展到深度学习技术。这些计划的一个基本信念是,随着脑的 物理特性的解释,人类长期以来认为的意识 之谜可能随着当今理论与技术的突破,特别 是人工智能的突破被揭开。宇宙和意识在哲 学上被视为本体的“两极”,宇宙学在过去 二三百年来发生了巨大飞跃,已经提出了宇 宙发生和未来的多个模型及其相关的定律, 相比之下,对人自己的“小宇宙”——意识 却认识不足。意识的科学研究应该在未来不 久产生众多的突破性认识。

    image

    展开全文
  • 最近开始看有关类计算的文章,发现中科大王煦法教授的相关研究,与预期的方向有些许重叠,便...目前,受这些系统的生物信息处理机制启发,人工神经网络、人工遗传 算法、人工免疫算法以及人工内分泌算法已成为人...

    最近开始看有关类脑计算的文章,发现中科大王煦法教授的相关研究,与预期的方向有些许重叠,便找到其团队的一些文章,学习参考。
    下面是有关部分内容的学习笔记。

    人体的内分泌调节系统

    高等生物体内的控制系统主要包括神经系统、免疫系统、遗传系统和内分泌系统。这些控制系统体现了高度的智能性和自适应性。目前,受这些系统的生物信息处理机制启发,人工神经网络、人工遗传算法、人工免疫算法以及人工内分泌算法已成为人工智能研究的热点。

    内分泌系统是人体的重要控制系统。它与其他系统相辅相成,共同调节机体的生长发育和新陈代谢,维持机制的内平衡。内分泌系统主要通过一种称为荷尔蒙的物质对机体进行调节。激素由内分泌腺
    体分泌,释放到血液中,随血液循环到达生物体全身,对整个机体起到调节作用。
    神经内分泌调节系统
    神经系统与内分泌系统在许多方面是相互关联,互相作用的。一方面,神经系统接受体内外环境刺激,产生神经信号刺激内分泌系统,对内分泌系统有着调控作用;另一方面,内分泌系统分泌荷尔蒙,对神经系统有着重要影响,生理学将两大系统的复合称为神经内分泌系统,其生理联系和作用在下丘脑和垂体集中体现,两者形成一种自反馈的调节机制。

    EMNCS模型

    基于内分泌系统与神经系统相互作用的机制,国内外已经有一些研究者进行了人工内分泌系统计算模型的研究。中科大王煦法教授团队提出了一种 EMNCS (endocrine modulated neural control system)控制模型。该模型充分体现了内分泌系统与神经系统之间的相互作用机制,克服了传统的神经网络模型不能动态适应环境变化的缺点,提高了控制系统的自适应能力。
    EMNCS控制模型
    EMNCS模型的核心是神经网络控制系统与内分泌系统。内分泌系统感知内外环境并分泌激素,激
    素的浓度由外环境或EMNCS系统内环境状态决定。内分泌激素通过调节神经网络系统的参数来影
    EMNCS系统的表现。传统的神经网络权重是固定的,不能随环境的变化而调整,因此不能适应动态变化的环境。该模型通过激素动态调节神经网络的参数,达到动态控制的目的。

    此模型的特点是:

    1). 内分泌系统根据环境变化动态调节神经网络的参数;
    2). 内分泌系统不仅接受外环境输入也接受内环境输入。一个控制系统要达到真正的长期自治,就不仅要考虑外界环境因素,还要考虑自身的状态。

    神经系统从外环境接收信息,处理后发出神经信号,刺激内分泌系统。内分泌系统由内分泌腺体组成,它在受到神经信号刺激后,分泌相应的荷尔蒙,并通过回路反馈调节神经系统。神经系统的功能有两方面,一是学习和记忆,二是输出决策。这两方面同时发生,神经系统感知系统所处环境状态,根据已有记忆做出决策,系统根据决策进行调整,使自身的环境状态发生改变。

    内分泌系统的功能是评估神经系统,并利用评估反馈指导神经系统学习,同时它还影响系统决策。内分泌系统由状态评估模块,状态记录模块及 Focus 调控模块组成。状态评估模块的作用是根据系统当前状态,对神经系统的决策做出评估,并将评估结果反馈给神经系统,神经系统根据反馈进行学习,学习方式可以根据具体情况制定。状态记录模块用于记录系统状态,供评估反馈使用。

    由此可以得出此模型算法流程图:
    EMNCS模型算法流程图
    下一篇博客将会进一步介绍此算法模型在实例中的应用,并给出仿真条件与结果。

    展开全文
  • state-of-the-art “one learning algorithm”hypothesis vectorized implementation

    在这里插入图片描述
    state-of-the-art
    “one learning algorithm”hypothesis
    vectorized implementation

    展开全文
  • 要了解神经网络对内分泌的影响,必须要先了解人体中三大系统(神经系统,内分泌系统和免疫系统)之间的关系。 内分泌系统并不是独立地对机体进行调节,而是和神经系统、免疫系统有着紧密的结合,共同对机体进行调节...
  • 但考虑到 RCN 模型所需要的训练量远小于其他模型,比如在这场测试赛中,对手经过 790 万张图片的训练,而 RCN 的训练量仅仅只有 1406 张图片,所以毫无疑问,RCN 全面碾压了传统神经网络。 这个极高的训练效率,...
  • 可以说,一个神经网络的计算,都是按照前向或反向传播过程组织的。 首先我们计算出一个新的网络的输出(前向过程),紧接着进行一个反向传输操作。 后者我们用来计算出对应的梯度或导数。计算图解释了为什么我们用...
  • 这种方法检测大脑的电微态,即短时间内头皮电压分布保持半稳定性,其反映大规模网络节点之间的活动具有准同时性。微状态代表了自发性意识加工的结构链,它们的发生和时间动态决定了心理状态的质量。神经和精神疾病的...
  • 神经网络能解决非线性的复杂的模型问题,而且通过增加网络的层数将具备更加强大的学习能力,另外如果再改造改造层的结构则变成各类深度学习模型,例如CNN RNN之类的。 神经网络一般被用来捕捉复杂情况下的特征,比如...
  • 神经网络与大脑

    2020-04-23 18:00:52
    大脑皮层是eval模式下的神经网络模型,正在工作着的。(最后几层的全连接层, 分类用) 海马体是存储数据集的(DataSet) 模型参数存在大脑皮层的下方区域。 每天睡觉的时候,大脑就会开始自动进行网络的训练,...
  • 从大脑结构到人工神经网络

    千次阅读 多人点赞 2019-07-12 09:02:26
    神经网络能解决非线性的复杂的模型问题,而且通过增加网络的层数将具备更加强大的学习能力,另外如果再改造改造层的结构则变成各类深度学习模型,例如CNN RNN之类的。 神经网络一般被用来捕捉复杂情况下的特征,比如...
  • 神经网络 vs 大脑

    2016-09-11 08:29:00
    海马区域(负责记忆的关键区域) ...1. 左右 大脑分为左右两个半球,由称为胼胝体的结构连接; 大脑的左右半球只有一个主要区别:右半球控制身体左侧,左半球控制身体右侧; 2. 皮层(各种) ...
  • 我正在尝试使用Python和Pybrain包构建一个简单的神经网络。因为我开始学习方法和Pybrain包。我试着用我现有的一些真实数据制作一个非常简单的神经网络!在我知道我的数据有一个潜在的连接,但是代码根本不收敛,而且...
  • 卷积神经网络概念与原理

    万次阅读 多人点赞 2016-09-05 10:00:27
    一、卷积神经网络的基本概念 ...近年来卷积神经网络在多个方向持续发力,在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至电波分析方面均有突破。 卷积神经网络与普通神经网络的区别在于,卷
  • 神经网络 - 前馈神经网络 人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的,试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。神经网络是...
  • 基于Spiking神经网络运动分类研究
  • 中国科学院自动化研究所曾毅团队将大脑中基于好奇学习的规则与更具生物合理性的脉冲神经网络(Spiking Neural Networks, SNNs)相结合,在达到同等正确率的情况下,极大降低计算能耗。与该课题组由副研究员张铁林、...
  • 来源 | 新智元(ID:AI_era)编辑 | 肖琴MIT的三位科学家首次用大脑视觉神经网络模型,实现了控制动物大脑的神经元活动。这是使用人工神经网络来理解真实神经网络的一大突破,相关研究发表在上周Science杂志。这不是...
  • 【摘要】中国科学院自动化研究所曾毅研究团队将好奇机制与脉冲神经网络(Spiking Neural Networks, SNNs)相结合,提出基于好奇心的SNN (CBSNN)模型,在达到同等正确率的情况下,极大降低计算能耗。相关论文发表于国际...
  • 这种“方”真的来了……基于百度大脑,自动化深度学习工具AutoDL不仅从1.0版本进化至2.0版本,在自动设计效果上,它设计出的神经网络已经全面超过人类专家设计的网络效果。不过这并不代表人工智能将替代人类,它将是...
  • 然而,对于大脑神经系统的疾病或损伤引发的神经细胞死亡,科学家们始终束手无策,毕竟大脑神经元的功能远比其他器官细胞的功能要复杂。不过,最近科学家们终于看到了希望,来自西班牙 Biocruces 健康研究所的 Paol.....
  • 人的大脑神经网络的复杂程度有人说,只有银河系可以比拟。总所周知,神经网络就是模仿大脑神经网络用数学知识构造的模型。单个神经元还是比较简单的。神经元一个神经元有树突,轴突,和细胞体等部分。树突接受输入...
  • 基于回声状态神经网络运动皮层神经信号建模,周汉英,王永骥,回声状态神经网络(ESN)既是一种全新的回归神经网络,又是一种全新的学习方法。它的特点是通过大量神经元组成一个稀疏连接的网络
  • 学校|东北大学硕士生 研究方向|情绪识别 引言 论文动机  生理学研究表明精神分裂症...此外,大多数研究中提出的架构侧重于单一领域的一种连接度量,如用于功能连接的Pearson相关系数,没有考虑大脑网络的连接方向性
  • 这种“方”真的来了……基于百度大脑,自动化深度学习工具AutoDL不仅从1.0版本进化至2.0版本,在自动设计效果上,它设计出的神经网络已经全面超过人类专家设计的网络效果。不过这并不代表人工智能将替代人类,它将是...
  • 在中国的社交网络领域,今日头条(抖音)等异军突起,对腾讯的优势地位产生了挑战,在这篇文章中用互联网大脑模型,分析了腾讯和今日头条产生竞争的关键领域,并提出腾讯和今日头条在形成社交网络(类脑神经网络)...
  • 机器之心报道机器之心编辑部MIT 的三位科学家成功地用自己创建的人工神经网络控制了猴子大脑皮层的神经活动。三位研究者分别是 MIT 大脑与行为科学系主任 James DiCarlo、MIT 博士后 Pouya Bashivan 和 Kohitij Kar...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,752
精华内容 1,100
关键字:

脑神经网络