精华内容
下载资源
问答
  • 生物神经元
    千次阅读
    2021-04-02 10:28:04

    生物神经元

    生物神经元主要由细胞体和突起两部分组成。细胞体主要负责神经元的代谢和营养,内部含有细胞核和细胞器。细胞核是遗传物质存储和复制的场所,同时控制细胞的代谢活动;细胞器包括线粒体、高尔基体等,主要负责执行细胞生命活动的多种生物学功能。突起按结构不同可分为轴突和树突。树突是细胞体的延伸,分支较为复杂,主要接收其他神经元传递过来的信息;轴突比树突长,主要在轴膜上传导神经冲动。生物神经元具有感受刺激和传导兴奋的作用,是神经系统的基本结构和功能单位。

    人工神经元

    人工神经元可表示不同的对象,例如字母、特征、概念或者一些有意义的抽象模式。在人工神经网络中,人工神经元可分为三类:输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据;输出单元实现系统处理结果的输出;隐单元是处在输入和输出单元之间,不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度,信息的表示和处理体现在网络处理单元的连接关系中。

    更多相关内容
  • 然而,从神经科学家的角度来看,深度学习神经元和生物神经元之间的差异是众多且不同的。 本文将首先描述生物神经元的一些关键特征,以及如何简化它们以获得深度学习神经元。然后我们将推测这些差异...

    https://www.toutiao.com/a6669391886744027662/

     

    近年来,"深度学习"AI模型经常被吹捧为"像大脑一样工作",因为它们由模仿生物大脑的人工神经元组成。然而,从神经科学家的角度来看,深度学习神经元和生物神经元之间的差异是众多且不同的。

    生物神经元的工作原理对深度学习神经元的启发

     

    本文将首先描述生物神经元的一些关键特征,以及如何简化它们以获得深度学习神经元。然后我们将推测这些差异如何对深度学习网络施加限制,以及如何朝着更现实的生物神经元模型的方向发展,如我们目前所知道的那样。

    生物神经元

    典型的生物神经元是单个细胞,每个细胞由细胞主体和从该体延伸的许多卷须组成。身体或体细胞容纳用于维持基本细胞功能和能量加工的机器(例如,含有DNA的细胞核,以及用于构建蛋白质和加工糖和氧的细胞器)。有两种类型的卷须:树突,从其他神经元接收信息并将其带到细胞体;轴突,从细胞体发送信息到其他神经元。

    生物神经元的工作原理对深度学习神经元的启发

     

    从发射神经元到接收神经元的信息传输大致由三个阶段组成。首先,发射神经元产生空间和时间限制的电脉冲或尖峰,其沿着神经元的轴突(和轴突分支)从细胞体行进到轴突的末端。通过突触将传递神经元的轴突末端"连接"到接收神经元的树突。尖峰导致传递神经元的突触释放化学物质或神经递质,它们通过扩散在两个神经元之间短距离传播。

    生物神经元的工作原理对深度学习神经元的启发

     

    当神经递质分子与受体结合时,接受神经元上的特化受体识别(结合)特定的神经递质,并启动许多细胞事件(大多数在本文中被忽略)。其中一个事件是细胞通道的开放,它引发另一个电波,这次通过接收神经元的树突传播到它的细胞体(这可能是一个尖峰的形式,但通常这个波在空间上扩散比尖峰更多 - 基于轴突的传播 - 想想水被推入管道中。

    因此,来自一个神经元的信息可以传输到另一个神经元。当神经元从多个发射神经元接收到多个兴奋性尖峰时,该电能在神经元的细胞体内累积,如果在短时间内积累了足够的能量,神经元将产生其自身的外向尖峰,并将它们转发给其他神经元。

    为了理解从生物神经元到深度学习神经元的建模,还有三个方面需要讨论。

    • 速率编码
    • 突触强度
    • 兴奋和抑制性传播

    速率编码

    仅接收少量兴奋性尖峰的神经元将产生并发送其自身的少量尖峰(如果有的话)。如果同一神经元接收到许多兴奋性尖峰,它将(通常)发送自己的许多尖峰。虽然生物神经元中的尖峰具有明显的时间特征,但是在深度学习神经元中时间分辨率是"模糊的"。对于给定的时间单位,深度学习神经元的尖峰活动表示为多个尖峰(整数)或更典型地,平均尖峰速率(浮点数)。

    生物神经元的工作原理对深度学习神经元的启发

     

    在这个设计的例子中,视觉系统中的三个神经元接收来自眼睛中三组颜色敏感锥体细胞之一的间接输入。因此,每个神经元对特定波长的光具有最大响应,并且尖峰活动被报告为平均尖峰速率(归一化为[0,1])。因此,输入波长由三个神经元的集体尖峰率"编码"。

    然而,请注意,在生物神经元中,信息以个体或多个神经元中的尖峰的相对时间编码,而不仅仅是在个体神经元尖峰速率中。因此,在深度学习神经元中不存在这种类型的信息编码和传输。其影响将在下面进一步讨论。

    突触强度

    并非所有尖峰都是平等的。当传播的尖峰到达轴突末端时,最终在接收神经元的树突中产生的电能量取决于插入的突触的强度。这种强度反映了许多潜在的生理因素,包括可用于在传递神经元中释放的神经递质的量和接受神经元上的神经递质受体的数量。

    生物神经元的工作原理对深度学习神经元的启发

     

    无论如何,在深度学习神经元中,突触强度由单个浮点数表示,并且通常被称为突触的权重。

    兴奋性和抑制性神经递质

    到目前为止,我们只考虑了兴奋性神经传递。在这种情况下,从发射神经元接收的尖峰增加了接收神经元也会出现尖峰的可能性。这是由于受体神经元上活化受体的特殊性质。虽然过于简单化,但人们可以将神经递质及其受体分为兴奋类和抑制类类。当抑制性神经递质与抑制性受体结合时,接受神经元中树突的电能减少而不是增加。

    通常,神经元具有兴奋性和抑制性神经递质的受体,但是可以仅释放(传递)一类或另一类。

    在哺乳动物皮层中,与抑制神经元(每个尖峰释放神经递质GABA)相比,存在更多的兴奋性神经元(其与每个尖峰释放神经递质谷氨酸)。尽管如此,这些抑制性神经元对于增加接收神经元的信息选择性,关闭神经元对于信息路由以及防止癫痫活动(网络中许多神经元的混乱发射)非常重要。

    在深度学习网络中,兴奋性和抑制性神经元(分别仅具有兴奋性或抑制性神经递质的神经元)之间没有区别。所有神经元的输出活动都大于零,它是模型抑制的突触。允许突触的权重为负,在这种情况下,来自发射神经元的输入导致接收神经元的输出减少。

    深度学习神经元

    如上所述,可以组装生物神经元的简化模型以在深度学习模型中形成定型神经元。

    1. 深度学习神经元接收来自其他神经元的输入或激活。激活是生物神经元尖峰的速率编码表示。
    2. 激活乘以突触权重。这些权重是生物神经元中突触强度的模型,也是模型抑制性传递的模型,因为权重可以取负值。
    3. 将加权激活相加在一起,对在生物神经元的细胞体中发生的累积过程进行建模。
    4. 将偏差项加到总和上,模拟神经元的一般敏感性。
    5. 最后,求和值由激活函数整形 - 通常限制最小或最大输出值(或两者),例如S形函数。这模拟了生物神经元的固有最小尖峰速率(零)或最大速率(由于产生尖峰的生理机制中的细节)。

    生物神经元的工作原理对深度学习神经元的启发

     

    推进人工智能

    时间编码

    深度学习依赖于基于速率的编码,其中每个神经元的激活是单个数值,其模拟响应于给定刺激的平均尖峰速率(来自其他神经元或来自外部刺激)。集体组网络的单个层内尖峰率值通常被组织为数字向量,并且该载体被称为表示外部刺激。

    基于速率的神经编码的表达性远低于基于多个神经元上的尖峰之间的相对时间的神经代码(表示)可能的表达。作为生物学中存在这种类型代码的一个简单例子,考虑听觉系统。当声波到达我们的耳朵时,我们的大脑处理它们以确定产生声音的动物,物体或现象的类型,还估计声音来自的方向(本地化))。确定声音位置的一种方式是基于以下事实:来自右侧的声音将首先到达右耳,然后是左耳。靠近右耳和左耳的听觉神经元表现出反映这种声学定时差异的尖峰定时。由于这种时间编码,听觉神经元位于更靠内侧(靠近身体中线)接收来自两耳附近的神经元的输入并且对声音的位置具有选择性。

    生物神经元的工作原理对深度学习神经元的启发

     

    声信息通过外耳进入大脑,并通过左右耳蜗(图像中的螺旋)转换为听觉神经中的尖峰。方位角位置的感知部分地由耳朵处的声音到达时间差决定,其被编码为大脑左侧与右侧的听觉神经元中的尖峰的时间差异。身体中线附近的听觉神经元群对该时间编码敏感,并且选择性地响应入射声音的感知位置(方位角,仰角)。

    更一般地,考虑单个神经元接收来自另外两个神经元的输入的简单示例,每个神经元发送相同的输入:在100ms内均匀间隔(在时间上)的短的N系列兴奋性尖峰。在其他条件相同的情况下,这将在接收神经元中产生一些刻板的反应。相反,如果其中一个输入神经元在前20毫秒(100毫秒间隔)内发出全部尖峰,而另一个输入神经元在最后20毫秒内发送了所有尖峰,则接收神经元的响应是可能会有显着的不同。因此,即使输入神经元的尖峰率在每个场景中相同(10N尖峰/秒),时间编码也是完全不同的,并且接收神经元的响应也可能非常不同。重要的,使用时间码时可能存在许多输入 - 输出组合,即使输入尖峰的数量很少,不变或两者兼而有之。这就是我们所说的更具表现力的编码方案。关于AI,利用时间编码的模型可以想象为执行比具有相同数量的神经元的深度学习模型更复杂的任务。

    生物神经元的工作原理对深度学习神经元的启发

     

    考虑从一个神经元接收输入的神经元。上图表示来自输入神经元的三个示例性尖峰序列(尖峰被描绘为垂直线)。在像深度学习这样的基于速率的编码模型下,接收神经元的输出在每个例子中都是相同的(因为输入在每种情况下都是相同的:3个尖峰/时间单位)。在时间编码的情况下,对于每个示例,输出可以是不同的,从而适应更具表现力的AI模型。

    除了表现力之外,尖峰时间的差异可以允许模型通过模拟生物学的那些来学习 - 例如,突触的尖峰定时依赖性可塑性(STDP)。与深度学习中使用的梯度下降(反向传播)方法相比,这种学习可以在本地和有效地实现。

    抑制神经元

    基于我们对生物学和深度学习神经元的简单描述,兴奋性和抑制性神经元之间的区别可以通过深度学习神经元来模仿。即,可以简单地通过确保其深度学习等效物对其轴突与其投射的神经元的树突之间的所有突触权重具有负值来模仿生物抑制神经元。相反,当模仿生物兴奋性神经元时,这种突触应始终具有正重量。然而,如果只需要所有突触都是正值(可能通过在每次训练迭代后对权重应用ReLU函数),训练和实现将更容易,并使用激活函数产生抑制的负(正)值(兴奋性)神经元。

    技术旁白:在任何一种情况下,由于权重的零值梯度等于零,可能存在额外的训练挑战。与激活函数中的ReLU非线性不同,我们不能依赖随机梯度下降(随机选择的样本批次)来将权重值推离零。

    为什么人们想要抑制性神经元呢?为什么不像在当前的深度学习模型中那样在突触水平而不是神经元水平上实施抑制?

    这是不确定的,但一种可能性是使用显性抑制神经元有助于约束整体参数空间,同时允许促进快速学习的子网络结构的演变或发展。

    在生物系统中,大脑不用学习任何输入 - 输出关系,或执行任何可能的尖峰序列。我们生活在一个具有固定物理定律的世界中,其物种的个体成员具有许多共同的物种内行为特征,无需明确学习。

    所以,限制网络的可能电路连接和动态活动等同于限制训练方法必须搜索的解决方案空间。鉴于此,推进AI的一种方法是使用和搜索兴奋性和抑制性神经元的规范子网络结构的方法,其可以在更传统的模型训练期间模块化地组装成更大的网络(例如,通过梯度下降的监督学习)。

    抑制性神经元的另一个潜在好处,与刚刚提到的结构化规范电路的使用相关,是抑制性神经元可以有效地"关闭"大量神经元,这些神经元对于处理给定样本或任务是不必要的,从而节省能量需求(假设硬件设计利用这种情况)。此外,如果网络结构合理,这可以促进这种网络中的 - 从概念上携带来自神经元的,该其提取到用该信息执行特定子任务的神经元。例如,将低级可视信息(像素,线或弧)路由到提取对象标识的区域,确定相对对象位置的区域,或两者。

    基于低能量尖峰的硬件

    更大的生物现实主义可以使人工智能受益的另一种方式不是通过扩展的基本能力本身,而是通过提高能源效率。人脑仅消耗约 - 相当于现代紧凑型荧光灯泡 - 同时提供,比甚至耗能型深度学习模型更多的认知能力。

    即使除了这些节能之外没有对深度学习神经元做出任何其他根本性改变,利用约1000 亿个神经元和具有如此低能量要求的100-1000 万亿个突触(粗略估计)的能力可能是显着的提升AI功能。或者,当前模型可以以能源成本的一小部分运行,从而可以在边缘轻松实施,因为处理可以在本地完成,而不是无线传输原始数据到云进行处理(无线传输是一个值得注意的能量消耗)。

    相对于传统计算硬件,生物神经元的能量效率很大程度上归因于这些神经元的两个特征。

    • 首先,生物神经元仅传输短脉冲的模拟能量(尖峰)而不是维持许多表示单个浮点或整数的位。在传统硬件中,除非使用更慢类型的存储器(非RAM),否则这些位需要持续的能量流来维持0或1状态。
    • 其次,记忆与生物神经元中的处理位于同一位置。也就是说,突触强度是网络的长期记忆(循环连接可以保持短期记忆),它们参与处理(尖峰加权和传输),并且非常接近处理的其他方面(细胞体内的能量积累)。相比之下,传统硬件定期将位从RAM传输到处理器 - 相当长的距离和相当大的能量消耗。

    许多研究实验室和私营公司正致力于开发能够提供这些优势的新型硬件。展望各不相同,但我们可能会在十年内看到可行的,商业化的现成。值得注意的是,迄今为止基于深度学习神经元略微不足。然而,一旦相关硬件的可用性变得明显,利用更多神经元的能力以及将进入基于尖峰的算法的研究量的增加可能会扭转这种状况。

    结论

    在我们看来,深度学习模型和生物大脑之间的相似性近年来被许多媒体文章夸大了。尽管如此,神经科学家和许多人工智能研究人员都清楚地意识到这些差异,并且正在努力为AI模型带来更大的神经现实性,希望超越我们可能正在向前迈进的

    我们忽略了生物学和深度学习神经元之间的许多其他差异,这些差异可能解释了哺乳动物智力与当前AI之间的巨大差异。

    展开全文
  • 生物神经元

    2019-03-27 12:49:56
    人脑大约由140亿个神经元组成,神经元互相连接成神经网络 神经元是大脑处理信息的基本单元,以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像一棵枯树的枝干。它主要由细胞体、树突...

           人脑大约由140亿个神经元组成,神经元互相连接成神经网络

           神经元是大脑处理信息的基本单元,以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse,又称神经键)组成。

                                               

           从神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化学物质。

           突触有两种:兴奋性突触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。

    展开全文
  • 介绍并记录了基于 MATLAB 的交互式生物神经元电生理行为演示模拟。 介绍和简要讨论了描述生物物理模型神经元中膜电压随时间变化的微分方程,以及演示中使用的默认数值参数。 提供了一些参考文献和文​​献的基本指针...
  • 生物神经元: 上图所示为生物学中一种最常见的神经元类型,主要由树突、细胞体和轴突组成。其各部分主要职责为: 1.树突:从其他多个神经元处接受神经递质并转为电信号; 2.细胞体:处理从树突得来的所有电信号,...

    在这里插入图片描述
    生物神经元:
    上图所示为生物学中一种最常见的神经元类型,主要由树突、细胞体和轴突组成。其各部分主要职责为:
    1.树突:从其他多个神经元处接受神经递质并转为电信号;
    2.细胞体:处理从树突得来的所有电信号,如果信号值达到了动作电位,则会向轴突方向传递新的电信号;
    3.轴突:向其他神经元发送信号。
    因为一个神经元树突上的分支很多,因此可以接受很多来自其他神经元的信号,但是轴突只有一个,因此即使轴突与其他很多神经元相连,该细胞发送给其他细胞的信号只能是相同的。
    人工神经元:
    人工神经元是对生物神经元的一个抽象,将神经元之间信号的传递理解为数值的传递。在这里插入图片描述
    上图是抽象出来的人工神经单元,左边的部分对应生物神经元的树突,中间的圆圈对应细胞体,右边对应轴突。其传递的原理和生物盛景园类似,树突接收输入,细胞体处理后,由轴突将新的信号传递出去。
    如果树突接收到的输入有n个,则我们记住每一个输入为xi,神经元的输出为y,神经元的信息传递可以写成
    在这里插入图片描述
    因为神经元之间的连接强度和动作电位有所区别,例如我们在记忆 或遗忘的过程, 也许神经元之间的连接强度越强,某件事就记忆的越深刻。所以神经元之间的还要再加入连接强度和动作电位两个东西。
    因此我们在树突得每一条边上都增加了一个权重系数,也就是连接强度。至于动作电位这个东西,就相当于神经元接受的输入信号的总和,减去动作电位后,再去作为输出,为此我们在细胞体上增加了一个偏置b,来代表动作电位。如下图所示
    在这里插入图片描述
    在这里插入图片描述
    其中f()为输入信号和输出信号的转换函数,这些转换函数都具有饱和特性,常见的转化函数如下图所示:
    在这里插入图片描述

    展开全文
  • 课时148 生物神经元结构.mp4
  • 这是一款老外编写的专门用于生物神经元细胞的可视化软件,功能非常强大,提供三维的可视化功能,而且可以改变胞体、树突、轴突等的颜色,曾经使用过,效果不错!
  • 生物神经元的工作原理对深度学习神经元的启发.pdf
  • 仿生芯片可再现生物神经元行为.pdf
  • 生物神经元工作原理。

    千次阅读 2017-08-29 18:05:51
    神经网络NN: ...1.神经元个数 2.层数 3.层与层之间的连接类型。 前馈多层NN的最简单的NN。1层输入,多层隐藏层,1层输入。全连接,有向无环图。如果神经元足够多,它可以表示任何函数。用后向传播算法
  • 2018高中生物神经元的结构和功能同步精言点训练新人教版必修3
  • 网络游戏-一种以现场可编程门阵列的逻辑片为基本单元模拟生物神经元网络的方法.zip
  • 生物神经网络中,神经元之间的的突触权重与粒子扩散有关。其中粒子的扩散遵循以下的原则:1、一种类似弹簧力(漂移)的存在,试图将粒子扩散达到动态平衡。2、一种是随机的力量(类似噪声),是由粒子间之间的相互...
  • 本文网址: 目录 第1章 人体神经系统/神经网络概述 1.1 概述 1.2 人体神经系统对于人工智能的意义 ...第2章 人体神经系统的分类与组成 ...第4章 生物神经元 ...4.2 生物神经元对生物电的传播 4.3 神经元组成的网..
  • 人工智能-生物神经网络

    千次阅读 2020-11-09 23:50:05
    人工智能-生物神经网络 引言 (1)从解剖学和生理学来看,人脑是一个复杂的并行系统,它 不同于传统的 Neumann式计算机,更重要的是它具有“认 知”“意识”和“感情”等高级脑功能。 (2)人工方法摸拟这些功能,...
  • 01、生物神经元 在讨论人工神经元之前,让我们快速看一下生物神经元 ( 图1 )。它是一种看起来不寻常的细胞,主要存在于动物的大脑中。它由包含核和大多数细胞复杂成分的细胞体组成,其中许多分支延伸称为树突,再...
  • 3.2神经元模型

    千次阅读 2020-05-09 21:00:30
    神经元模型生物神经元的结构生物神经元的功能生物神经元信息处理机制M一P模型激活函数 生物神经元的结构 神经元是大脑组织的基本单元,是神经系统结构与功能的单位。不同的神经元形态不同,功能也有差异,其共性的...
  • 用于自动分类生物神经信号的工具。 目录 描述 几个研究小组使用共同的实验测量和参数收集了两个不同神经元群体的电生理数据。 该项目的目标是找到一种方法,以最佳的预测率对这些数据中的神经元进行自动分类。 该...
  • 可解释人工智能 (XAI) 领域的目标是在不牺牲预测性能的前提下构建可解释和可解释的机器学习(或深度学习)方法。卷积神经网络 (CNN) 在预测方面取得了成功,尤其是在图像分类方面。
  • 第1章 人的神经系统 1.1人体神经系统/神经网络的功能 神经系统(nervoussystem)是机体内起主导作用的系统。 (1)神经系统调节和控制人体各其他系统的复杂活动,使机体成为一个完整的统一有机体。 例如,当...
  • 本文主要介绍了由生物神经元和生物神经网络引申到人工神经元和人工神经网络,从生物学角度上理解神经元和神经网络模型。
  • 神经网络 II:神经元模型

    千次阅读 2017-10-24 10:02:01
    人工神经网络的生物原型是大脑,人脑中的神经网络是一个非常复杂的组织,其基本组成单位是神经元(神经细胞),成人的大脑中估计有1000亿个神经元之多。十九世纪末二十世纪初,在解剖学家、生物学家、医学家的共同...
  • 脉冲神经网络是一种基于生物神经元工作方式的第三代神经网络,它的最大特点是输入和输出均为一串具有时间特性的脉冲序列。在已有的脉冲神经元有监督学习算法中,基于梯度下降的学习算法通过梯度下降来调整神经元的突触...
  • 基于人脑神经元与神经信息交流机制的类脑计算模型研究 摘 要:在当下社会人工智能发展得如火如荼,但在发展火热的背后,以深度学习为代表的传统人工智能算法已经到达瓶颈期,所需的巨大的数据样本和和计算资源使研究...
  • MATLAB 程序语言编写的神经元模型Spiking Response Model 代码
  • LIF神经元介绍

    万次阅读 多人点赞 2017-07-22 15:19:19
    Integrate-And-Fire Models 基础知识 轴突:动作电位(电位差形成电流)=神经递质发放=脉冲产生 树突或细胞体:神经递质的接受=产生内外膜电位差(电流产生)=接收脉冲 ...LIF是真实神经元的简化版,
  • 原文作者:MADELINESCHIAPPA译者:李凌概要:通过对生物学习与人工智能进行的比较,我们可以建立一个更安全的基础设施系统。 通过对生物学习与人工智能进行的比较,我们可以建立一个更安全的基础设施系统。 本文由...
  • 1.认真学习并调研生物神经元信息传递机制; 2.思考并设计学习方法实现正向信号传播的神经网络模型,通过学习(训练带标签数据)获得记忆(网络神经元间的权重),并使用预测新的数据来验证学习和记忆的效果。 我们...
  • 第二点是生物神经元(神经元,又称神经元(英国拼写)和神经细胞)是如何工作的,它是一种可电激发的细胞,通过电和化学信号接收,处理和传输信息。 神经元之间的这些信号通过称为突触的专门连接发生。 神经元可以...
  • 【神经网络】神经元模型和感知器

    千次阅读 2020-07-22 17:17:04
    生物神经网络中,每个神经元与其他神经元相连,当它“兴奋”时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位。如果某神经元的电位超过了一个“阈值”,那么它就会被激活,即“兴奋”起来。 1943...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 30,056
精华内容 12,022
关键字:

生物神经元

友情链接: LOCAsis.zip