精华内容
下载资源
问答
  • 北大团队“精准删除特定记忆”登上Science子刊 “记忆操纵”一直是科幻小说中的热门话题。 在《盗梦空间》中,小李子扮演的盗梦者成功入侵并改变妻子的记忆,但这记忆最终导向了不可挽回的悲剧——妻子跳楼自杀。 ...

    转自 | 公众号:新智元

    去年,埃隆·马斯克(Elon Musk)的脑机接口初创公司Neuralink公司发布的脑机接口技术让人震撼。近日,据外媒报道,Neuralink研究已经取得很大进展,其非侵入性设备有望今年就在人体身上进行测试

    此前,Neuralink团队已经开始在老鼠和猴子身上试验这种设备的各种版本,结果令人印象深刻。在旧金山的演讲中,马斯克和他的团队描述了猴子能够用大脑控制计算机的例子。目前他们还没有对人类进行任何测试,团队希望最早在今年获得FDA的批准,并开始人体试验

    为了赋予人类这些“超能力”,马斯克的Neuralink将在人类脑部安装特殊的小工具,创建“直接皮质界面”来上传和下载想法。

    简言之,Neuralink将为人脑提供升级,这可能会使我们在拥有人类水平或更高智能的AI面前更具竞争力。而马斯克的终极目标是将人脑下载到电脑中,实现脑机融合,开启“超人认知”的全新时代

    如果这一技术真的在人脑中实现,人脑和电脑将实现互联,这也意味着我们的想法、记忆可以被下载储存,但你愿意尝试吗?

    北大团队“精准删除特定记忆”登上Science子刊

     “记忆操纵”一直是科幻小说中的热门话题。

    在《盗梦空间》中,小李子扮演的盗梦者成功入侵并改变妻子的记忆,但这记忆最终导向了不可挽回的悲剧——妻子跳楼自杀。

    在2005年奥斯卡获奖影片《美丽心灵的永恒阳光》里,男主角在发现前女友删除了两人的痛苦记忆后,也决定删去记忆,换一种角色重新开始生活。

    负面记忆能否被直接删除?这已不再只是电影情节了。就在上周,北大神经科学团队在《Science》子刊上发表了一篇通过基因编辑精准删除负面记忆的论文。

    当地时间2020 年 3 月 18 日,北京大学神经科学研究所的伊鸣研究员和万有教授团队在《 Science》子刊《Science Advances》在线发表题为《CRISPR-SaCas9系统的开发,用于在大鼠大脑中进行投影和功能特定的基因编辑》“Development of a CRISPR-SaCas9 system forprojection- and function-specific gene editing in the rat brain”的研究论文,研究人员开发出一种新基因编辑技术,在实验大鼠的脑中实现了特定记忆的精准删除。

    问题引入:

    第一个问题,记忆究竟储存在什么地方?对于特定脑区在瞬时记忆、短期和长期记忆中扮演的角色,目前已经研究得很详细,不过记忆储存的最小单位到底是脑区,神经元还是突触,还在争论之中,现在神经心理学家普遍接受的一种观点是,人类长时记忆的神经基础是神经元突触的持久性改变。

    下一个问题便是,记忆可以被编辑与删除吗?在这项突破之前,已有不少科学家做过相关研究,比如用光遗传学技术影响负责短期记忆储存的海马区、采用光线打开或者关闭大脑中神经元组等办法。2019年 7 月,澳大利亚皇家墨尔本理工大学开发出一种受光遗传学技术启发的新型类脑芯片,可模仿大脑存储和删除信息的方式。

    简介:

    目前已有的基因组编辑技术(CRISPR/Cas9),已经可以有效修饰各种细胞类型(包括神经元)中的基因。但是,大脑的构造极为复杂,即使在同一大脑区域,神经元集合在解剖学或功能上也不统一,而是分为不同的亚群,在具有特定连接或功能特征的神经元亚群中,尤其是在大鼠和非人类灵长类动物中,要实现稳定的基因敲除或基因修饰仍然具有挑战性。条件重组系统已被广泛用于以时空精度研究脑功能,但是动物模型的构建可能是劳动密集型且耗时的,特别是对于转基因大鼠而言。因此,我们需要能够实现对特定神经元群体的基因编辑——这就是这篇文章想要解决的问题。

    这篇文章的核心成果就是,科学家开发出了一种新的特定基因编辑技术(一种基于CRISPR-SaCas9系统的技术,并将其与顺行/逆行AAV载体和活性依赖性细胞标记技术结合使用)。为了证明自己技术的成功,他们把内侧前额叶皮质的特定神经元亚群的cbp(CREB结合蛋白)基因成功敲除了,并且证明了这项技术对于揭示记忆的神经元和回路基础方面的重要性。该技术的高效性和特异性可广泛应用于神经电路研究。

    开发新基因编辑技术CRISPR-SaCas9

    已有的基因编辑系统叫CRISPR-Cas9,利用的核酸内切酶叫Cas9。它可快速,高效,方便地修饰各种细胞类型中的内源基因,从而导致基因变化,从而使得我们可以对大脑中特定基因进行功能分析。它改变了生物科学领域的游戏规则,有人形象地称其为“基因魔剪”。

    但它的问题有两个:一,没法处理在复杂的神经元集合中控制扰动、单独处理某个亚群,二,病毒载体的容量有限。面对第二个问题,科学家们找到了Cas9的直系同源物SaCas9,递送载体的容量比Cas9 小 1kb 以上,但基因编辑的效率却基本一样。

    为了验证新搞出来的CRISPR-SaCas9(以下用SaCas9指代)也可解决第一个问题,即编辑特定神经元亚群中的靶基因,他们选择了对神经元兴奋性和记忆形成至关重要的CBP作为靶基因(它可产生CREB结合蛋白),在某个神经元亚群中定点敲除它。

    他们的验证思路是这样:既然CBP控制记忆形成,如果CBP被定点敲除,那么这个特定神经元亚群所携带的记忆就没有了,这就可以体现在大鼠的行为上。如果观察到大鼠确实丢失了这段记忆,那么就可以证明新技术可以修改特定亚群的基因。

    证明过程:精准删除大鼠特定记忆

    一.生物学:

    1. 实验验证SaCas9在体外可以高效灭活CBP。

    2.做实验用SaCas9进入特定神经元中敲除CBP。

    3.证实CBP的减少导致学习的消退。

    4. 证明SaCas9在成年大鼠成人神经元中具有出色的靶向特异性。

    二.行为学:

    研究团队在两个不同的实验箱里诱发大鼠对箱子的恐惧记忆,进而将基因编辑技术与神经元功能标记技术结合,通过对特定印记细胞群的基因编辑,精确删掉大鼠对其中一个箱子的记忆,而对另外一个箱子的记忆完好保留。

    研究结果:

    总的来说,这个研究有两个方向上的突破。1.CRISPR-SaCas9技术可以定点敲除基因。但是这个研究敲除的是一组特定神经元上的相关基因。功能特异性敲除应该是指,在所有细胞中,只敲除正在表达特定蛋白质的细胞的特定基因。

    2.这个研究验证了CREB 蛋白质对记忆环路的作用:敲除CREB阻断了长期记忆的形成。记忆分为短期记忆和长期记忆,如果没有干预,就会慢慢从短期记忆转为长期记忆。但是在敲除了特定细胞的CBP后,短期记忆没有办法转化为长期记忆了。

    研究意义:

    1.该功能特定的CRISPR-SaCas9系统的高效性和特异性可广泛应用于神经环路研究。可为生理、病理条件下的脑功能精确基因组干扰提供强大的策略。

    2.可能发现了消除特定记忆的办法,从而为焦虑症,恐惧症和创伤后应激障碍、慢性痛、成瘾等以“病理性记忆”为特征的疾病治疗提供新思路。

    《黑衣人2》中的记忆消除器

    论文作者之一、北京大学神经科学研究所认知神经科学实验室研究员伊鸣表示:记忆编码与储存很重要,但遗忘负面记忆也同样重要。如果负面记忆过于顽固,有时会带来负担,甚至造成疾病。慢性痛、药物成瘾、慢性应激等疾病,本质上都是患者在经历了疼痛、毒品带来的感觉或压力后,产生了难以清除的、长时间存在的“病理性记忆”。因此,这一系统可能也将为这类疾病的治疗提供新思路。

     

    那么,如果真的可以删除特定记忆,你愿意这么做么?

    作者介绍

    这篇论文的通讯作者是来自北京大学神经科学研究所的万有教授和伊鸣博士。


    万有教授,教育部和卫生部神经科学重点实验室主任、北京大学神经科学研究所所长、北京大学神经生物学系主任。博士学位,博士后学历,教授,博士生导师。科技部“973”项目首席科学家。

    主要经历:1985年于河南医科大学医疗系获医学学士学位;1990年于河南医科大学药理教研室获硕士学位,1993年于武汉同济医科大学病生教研室获博士学位,1995原北京医科大学生理教研室博士后出站。1998至2000年美国伊利诺伊大学和新泽西大学访问学者。于北京医科大学和北京大学医学部历任讲师(1996年)、副教授(1997年)和教授(2001)。

    研究方向:采用光遗传学、在体多通道记录与神经计算、胞外电生理、单细胞及脑片膜片钳、分子生物学、细胞生物学、形态学、行为药理学等多种方法,从分子—神经元—神经网络—整体不同层面,研究疼痛慢性化的学习记忆、情绪与认知及其调控机制。

         


    伊鸣博士,北京大学神经科学研究所研究员,北京大学百人计划研究员。

      

    学术经历:于北京大学医学部临床医学专业获医学学士学位,英国伦敦大学学院(University College London, UCL)解剖与发育生物学系神经科学专业获哲学博士学位(导师John O’Keefe教授,获2014年诺贝尔生理学或医学奖)。2012年2月入选北京大学青年百人计划,现为北京大学神经科学研究所研究员。

    (注:上述个人资料来自北京大学神经科学研究所网站,可能不是最新版,如有偏差请指正)

    Ref:

    https://advances.sciencemag.org/content/6/12/eaay6687.full

    https://www.smalltechnews.com/archives/107176

    http://nri.bjmu.edu.cn/jgydw/xrld/182803.htm

    http://nri.bjmu.edu.cn/ktzjj/44190.htm

    —end—

    你“在看”我吗?♡

    展开全文
  • 删除包含字符parse的所有行,vim进入文件,命令行模式下执行 :g/parse/d  

    删除包含字符parse的所有行,vim进入文件,命令行模式下执行

    :g/parse/d

     

    展开全文
  • memoizy:记忆助手-源码

    2021-03-22 18:42:30
    :broom: 清除并删除删除所有记忆的值,或仅删除一个特定参数集的值 :red_question_mark: 有条件的记忆:仅在您喜欢的情况下记忆结果。 它也适用于异步代码 :test_tube: 经过全面测试 :baby: 体积小,无依赖性 ...
  • 程序员快速记忆英文单词的专属诀窍

    千次阅读 多人点赞 2017-12-05 00:00:00
    本文来自作者 曹某某 在 GitChat 上分享 「程序员快速记忆英文单词的专属诀窍」,「阅读原文」查看交流实录。 「文末高能」 编辑 | 哈比 首先感谢选择我这个专题的所有的读者。这是我第一次在 GitChat ...

    本文来自作者 曹某某  GitChat 上分享 「程序员快速记忆英文单词的专属诀窍」,阅读原文查看交流实录。

    文末高能

    编辑 | 哈比

    首先感谢选择我这个专题的所有的读者。这是我第一次在 GitChat 做分享。我希望我的分享能够带来一些有趣和有用的东西,如果有谬误和不足,也希望在接下来的讨论中大家给我一些指导。

    谈到学习英语,以及背单词,市面上有大量大量的书籍,作为一个程序员和业余学习英语的人,我想分享的方法是在我学习英语的一些经验的基础上整理的。

    然而我的经验未免有以偏概全之嫌,因为我是一个程序员,所以我的题目是 “程序员快速记忆英文单词”,我分享的内容主要是给和我背景和经历类似的人提供一个借鉴。

    如果你的目前的词汇量在 3000~4000,或者说在大学三级四级水平附近,那么你的起点和我当时学习英语的起点差不多。如果你远远低于或者高于这个水平,也许我的经验,只能给你一些参考。

    如果你不清楚你的词汇量,可以去 扇贝网、墨墨背单词、沪江网 任意一个网站做一个测试,这通常需要 5 分钟的时间。

    对于这个词汇量,大概可以在不借助词典的情况下连蒙带猜看懂高考阅读理解的文章,但是所需要的时间比阅读同等中文材料要多好几倍。

    阅读那些句式固定的英文文档,勉强可以从中获得需要的信息,然而对于不熟悉的领域的文章,或者技术书籍,就无能为力了。只有阅读初中课本或者中考的阅读理解,才能达到舒适不费力,接近母语的水平。

    我目前的词汇量在 12000~15000 左右。达到这个水平可以流畅舒适地阅读一般的原版英文书,阅读 TOFEL 阅读理解的感觉和当年阅读高考阅读理解的感觉相当,或前者略为容易一些。

    大致推算下,高考要求的词汇量大约 2500~3000,而 TOFEL 要求在 8000~10000,也就是说,你的词汇量刚刚达到考试要求的词汇量,其实你阅读此考试水平的文章是处在能与不能的临界状态的。

    这也符合考试的特点,强调区分度,尽可能让考生的能力在考试中体现出来(大家都会或者大家都不会不能体现考试的目的)。而要顺利地阅读,需要 1.5 倍的词汇,舒适流畅地阅读,需要 2 倍的词汇。

    当你不断积累词汇量,你会发现,你能阅读的文章会越来越难,直到你需要的水平。3000~4000 词汇量阅读 1500 词汇的初中水平的文章,正好达到流畅。大学四六级的水平基本上就是一般科技文章所要求的临界水平。

    有语言学家讲,不理解词汇,你什么都看不懂,光理解词汇,你不是什么都看得懂。所以,背单词是一个对于英文水平比较低的人一开始必须经历,而且最为有效的办法。一些培训机构会强调,光背单词是没用的。

    这么说有一定的道理,但是如果你词汇量有了,你学别的就很轻松了。你就不会 “光背单词了”,而单词词汇量太少,无论是对话交流还是阅读都有障碍,除了背单词,别的方法其实都不实际。

    背单词的过程,你实际上会获得连续的进步。然而要达到一定的实用水平,则需要量变的积累引起质变。

    当你花了一个星期时间背下几百个单词后,你兴奋地想找一本英文书来看,会立刻陷入沮丧,似乎觉得没什么效果。即便你努力了一个月,你仍然无法看懂英文书,然而你会发现背过的一些生词会高频出现在这本英文书上。

    背诵英文单词最重要的是两点,一个是对目标的渴求,一个是对过程的信心。如何建立这种信心,如何相信自己一直在进步呢?上面给出了 3 个背单词网站,建议添加到收藏夹里,每个星期测试一次。

    实际上,如果你真的开始背单词了,有时候你每天都会测试下。类似你买了一台新电脑,总想着对它优化下,然后跑一个分看看是否有提高。这些测试具有一定的随机性,没必要每天测试,否则看不到明显的效果。但是如果你持续地背单词,每个星期肯定能看到除了测试误差本身以外的进步。

    还有一些词汇量测试,比如著名的 Testyourvocab,不要频繁去测试,这是因为这些测试采用的样本具有 “记忆性”。

    这就是说,相同水平的人他们给的测试单词是类似的,你会因为熟悉相同的测试用例而 “大幅进步”,然而这缺乏客观性。这样的测试,可以在你学习到某个阶段,偶尔地试一下。

    我把通过纯粹背单词的所要达到的目标定在达到 8000 词汇量。根据上面的分析,8000 词汇量刚好达到阅读一般的英文文章所需要的入门程度——不流畅但是可以读下来。

    在达到这个词汇量前,如果要通过阅读自然积累词汇,你不得不去阅读英语教育家为语言学习者专门定制的教材,这些文章会精心控制词汇量和难度。这也是一些语言学习者提出的,不要光背诵单词,而是要在阅读中积累单词的理论基础。然而阅读这些文章,你只是在学英语,而且你要花更多的时间,耽误你的工作,这是很多人因此放弃英语学习的原因。

    然而在 8000 词汇量以前,用最短的时间把单词记住,则达成了一个目标,你可以不学英语而学英语。因为你此时的词汇量已经可以直接阅读真实的英文技术文章、Quora 上的问答、英文新闻。

    那么你不用专门为了学习英文而再花时间,你学习英文和你的工作消遣其实是在做一件事。那么你想停下来都停不下来了。此时带着学习,你的词汇量会逐步增长,直到大约 1~2 万的水平。

    不可能无限增长下去,因为低频率的单词阅读再多的文章你也遇不到。英语专业的人士,甚至母语人士如果想再提高词汇量,那么得重新去背单词,对此这里不表,估计大多数人也没这个兴趣。

    本文只介绍纯粹背单词的过程,我大致把它分为三个阶段:暴力背诵阶段,通过构词法分析单词 + 暴力背诵,通过词根背诵单词。

    如果每天坚持 1~1.5 小时,那么每个阶段大概需要 4~6 周,总共需要 4 个月左右,它可以把你的词汇量从 3000~4000 提高到大概 8000 左右。

    第一阶段

    第一个阶段是暴力背诵,此时你的词汇量很小很小,阅读英文书籍放眼望去到处都是生词。然而你的水平越低,你背单词的收益就越大。如同在果园摘苹果,还没有人采摘过,到处都是顺手可以够到的苹果,采一个算一个。

    这个阶段,不要纠结某个单词是否背住了,背一个是一个。我们的目的是在词汇测试中刷分,而不是把你待背诵的单词书上的全部单词都背住。总而言之一句话,挑好背的背,背住 10 个新词,强过在一个难背的单词上花很多时间。

    这个阶段选什么单词书好呢?我觉得结合你的水平,找一本单词书上有大约 30~40% 生词的书,比如你有 3000 词汇,可以背四级,如果你有 4000 词汇,可以背考研或者六级词汇。挑选的书一定要配有 Mp3 朗读(在线下载或者配盘都可以)。

    再强调一点,我们的目的是在单位时间内背更多的单词,而不是把书上所有的单词都记住。一个阙值是,如果你完成了整本书的背诵,记住了 90%,就可以了,剩下的 10% 不要紧,还有后面的学习步骤。

    为什么要 30%~40% 的生词率呢?

    因为这是在平衡你的效率上最好的选择,过于简单,会浪费时间,生词过多,会导致背诵非常吃力,反过来也影响效率。之前说了,单词书要配 Mp3,将 Mp3 拷贝到你的手机中,利用通勤的时间用蓝牙耳机反复听。

    听的过程中不要试图马上记住,而是尽可能联想和这个单词有关的一切可联想的事物。

    这里推荐俞敏洪的词汇红宝书系列,但是这不是唯一的选择, 你可以去书店 / 图书馆找适合你的。

    说一个段子,很多的词汇书(以字母表顺序)开头的第一个单词是 abandon。含义是放弃。也许这就是很多人学习英文从入门到放弃的原因吧。你可以随便联想,比如”a 板凳的”,那么板凳为什么放弃呢?因为给放弃的人一个板凳坐着,其余人接着干。

    当然你也可以往别的地方想。再比如 ambulance,救护车,你就想,如果生了很严重的病,想 “俺不能死”,怎么办,叫救护车。也可以通过别的英文单词联想,比如 hose 是水管,可以联想到大象的鼻子,然后想到 nose。

    当你再次听到这个单词,首先想这个单词什么意思。想起来了就 Pass,听下一个。想不起来,听到单词的意思,你去回忆上次听到这个单词你联想到了什么?如果能联想起来,最好,否则联想点别的。

    之后你第三次遇到,估计你就算想不起来单词,但是也能想起来联想到的东西,然后再试图想联想的内容和单词含义有什么关系。这么反反复复听,总有很多单词能记住。

    现在知道为什么生词率要 30%~40% 了吧。因为你经常会联想下,这样后面几个词这一轮就轮空了。如果你的生词只占 1/3。

    那么很可能后面几个词是你已经认识的,你不会因为错过它们焦虑。因为你在不断记住一些词,那么不认识的词被轮空的概率就越来越低,就可以反复记住它们。

    我想你在地铁上或者公交上能把一个几十个单词的词汇表听十几遍,那么正好达到我说的记住 90%~95% 的程度。然后再花一点时间,一边看书,一边听 Mp3,把单词的发音和意思联系起来。

    对于认识的单词,简单看下,注意有的单词有一些很不同的含义,这些含义 Mp3 里可能没有说,那么带着记忆下。比如,fine 这个词大家都认识,但是它有个含义,罚款。再比如 well 有个含义叫水井,等等。带着记忆下。

    第二天在听新的词表以前,对昨天的复习下,如果基本能记起来,或者虽然昨天没记住的忘记了,但是今天又记住几个,那么再听新的词表。

    如果每天通勤花费 1 小时听 Mp3,再花半小时看书。大约可以有效记住一个红宝书上的 Wordlist,大概 100 个单词的 1/3(1/3 是你不认识的),约 30~40 个单词。整本书一般有 20~30 个 Wordlist,所以一个月就够了。

    此时你新增 1000 个单词,可能会忘记 10%,但是你把那些你觉得你记住了但是并没有记住的原来的单词激活了。所以总量上可以达到 1000。实在没记住或者忘记的,就不管它。如果你的词汇量达到 5000,那么第一个阶段完成了。

    如果你选择的不是红宝书,而是别的单词书,单词书的 Wordlist 更长,或者更短。短的话,就两个 Wordlist 放在一个播放列表里面听。长的话,就以 2 天为一个周期,第一天听 5 次,第二天再听 5 次。

    如果你基础略低,学完一本词汇书,词汇量还没有达到 5000,那么就再换一本书重复这个方法。换书的时候按照你那时候的词汇量还是选择生词率 30%~40% 的。

    请特别注意一个问题,因为你是死记硬背,所以死记硬背的难度和一个英文单词本身的难度没有什么关系,虽然六级词汇在语料中出现的概率低,但是不等于六级词汇更难记忆。

    第二阶段

    下一个阶段叫做通过构词法分析单词 + 暴力背诵阶段。

    也许你在第一个阶段背诵的时候自己也发现了,实际上一些 “生词” 是重复的。比如可能四级词汇里面有 curious,到了六级词汇有 curiosity。

    四级词汇有 respect,六级词汇有 respectively。这些单词的特点是,它们的词根是一样的,但是单词表上把它们划分成不同的单词。这个阶段的背诵方法和第一个阶段类似。

    唯一不同的是,第一个阶段记住单词的方式靠纯粹的,没有任何规律的联想。而这个阶段,则尽量将生词去联想一个已经学到的词和它的意思。比如 respectively,拆分成 respect-ive-ly。

    特别注意的是,随着单词的变化,单词的读音会发生变化,这种变化一开始觉得很费解,但是找到规律就很容易了。比如 curious 变成 curi-osity,重读放在了后面。然而按照意思拆分和按照读音拆分是不同的。

    再列举几个找找规律:major 和 ma-jority,param 和 pa-rameter,element 和 ele-mentary 除了重读位置的变化,还有长元音往往会变短,最简单的 write 和 writen。当辅音字母增加,音节就会变多,那么读一个单词就更复杂了,老外就会想着偷懒。偷懒的办法就是缩短元音。

    比如 LINQ 是 .NET 里面语言内置查询的缩写,但是它的 I 怎么读呢?这就要看它结尾 Q,是辅音字母,所以就简化了,LINQ 的读音类似 LINK。相反,LINE,因为结尾是不发音的元音 e,这个单词就发长音。搞清楚这些规律,当你听到一个新的单词(通常是长的),你就很容易用相反的规则推断出短的那个。而短的单词大部分你是认识的。

    在这个阶段通过构词法和词根记忆单词的效率比死记硬背要高大约 50%,所以花大概 1~1 个半月,可以再认识 1500~2000 单词,达到 6500~7000,这时候可以背诵考研或者六级词汇。

    第三阶段

    第三阶段通过词根背诵单词。这个阶段以词根为基础,系统地扩大词汇量。扩大的方式是,用熟悉的词根学习带有这个词根的词。以及通过带有这个词根的词学习新的词根。

    以 android 为例。这个词的意思是机器人。在英文中直译为 “类人的”。它包含两个词根,andr 人,oid 类似的。我们可以往两个维度扩展这个词,把你之前学过的包含这两个词根的都联想出来。

    比如 paranoid、asteroid、ellipsoid 以及 andrology、anthropotomy 等等。而 paranoid 里 para 又是一个词根,表示一对(靠近)。又可以联想到并行 parallel。

    当你学会越来越多的词根,就能领悟到英文单词本来的含义。比如 Picture、Photo 和 Image,都是图片。但是 pict 是描绘的意思,因此 Picture 是画出来的图片。

    Photo 是光的意思,相机通过感光的方式记录相片。Photosynthesis,这个词表示光合作用,Photo= 光,Synthe= 合成。

    Image 的含义是镜像,也就是一个一模一样的副本,所以也可以表示图像。再比如 Version 和 Edition 都是版本,它们有什么不同呢?

    如果从词根的角度来说,就很好理解了。Version 的 ver 表示变化。软件的 1.0, 2.0, 3.0 在不断改进,所以是 Version。

    而 Edition 来自 Edit,编辑。编辑就是在现有的内容的基础上整理,删除掉不需要的,添加需要的过程。

    所以相同的产品,切割不同的功能划分出 Professional、Enterprise、Home、Developer 等等版本就是 Editions。

    理解词根以后,会把暴力记忆中比较容易混淆的词轻易分开。比如 Comply 和 Compile。Very 和 Wary。Prospective 和 Perspective。

    比如 Compile,它是 com-pile,前者表示共同,后面是堆叠。因此其实编译这个词应该翻译成编纂。这也解释了为什么一些光盘刻录软件把刻录叫做 burn compilation。显然这里没有 “翻译” 什么东西。

    除了词根之外,可以利用词缀来扩展单词。

    比如 in、dis、un 等代表否定 pre 表示以前,com、co 表示公共等等。 随着接触的单词越来越多,你也会发现符合词汇的构词规律。从而构造符合英文构词规律的新词汇。比如 “共享单车” 是一个新出现的事物,那么用英文怎么表达呢?

    是 bikesharing,这是典型的名词 + 动词 + ing 构造新名词的方式,你还可以举一反三,比如云计算,cloudcomputing,等等。再比如 wise 表示 “按…”,词汇书上有 clockwise,otherwise,那么你可以举一反三用在计算机上,比如 bitwise,按位。在 C++ 里,symbol & is bit wise and.。

    凡是遇到两个单词构成的复合词,都可以寻找和发现构词的规律。

    英文中存在大量的缩写,比如作为程序员,经常会看到 UML、AJAX、FIFO、ORM、CASE… 很多缩写,将这些词所代表的缩略短语查询下,并且和已经学过的英文单词对应记忆。可以更容易记住很多本来和技术术语关系不是很密切的词汇。

    我推荐一本书外加一部电子词典软件,它们都可以在网上找到。推荐的软件叫做 Longman Exams Coach,书推荐《英语词根与单词的说文解字》。

    当你遇到一个不熟悉或者不理解的词,这个朗文的字典会给出词源和词本身的分析。而后者不但列举了常见的词根,可以直接拿来背诵,而且还提供了很多构词方面的有用信息。

    比如你会学到,辅音字母同化的规律。比如说大家都知道 in 代表否定,但是在 irrational、irrelevant 等词中,n 会被后面的词根的辅音字母同化,类似地 aggregate、accumulate 来自相同的前缀 ac,只是前者被同化了,当掌握了这样的规律,背诵词根会更加高效。

    可以找一些基于词根的单词表背诵,迅速扩大词汇量。也可以借助同义词反义词表来发现新的词汇。

    用这种方式,会不小心认识很多冷僻的词。这些词从词根的角度来说,很容易理解和记忆,然而从英语实际的使用角度来说,比较罕见。在单词书甚至比较小的词典中都没有。

    每天可以学习 3、4 组词根,英文中常见的词根也只有大约 1、2 百个,所以可以在 1 个月左右的时间,用这种方法认识 1、2 百个词根下的上千个单词。所以此时你的词汇量肯定能突破 8000。

    最后再强调下,无论背单词哪个阶段,背单词的数量都优于记住某个特定的单词。不必担心一些常见的单词被漏掉了。因为在英文中,常见的单词出现的频率会更高,而人脑本能地会记住出现频率高的单词。

    希望这些经验可以帮助到打算开始学习英文的同学。

    纯粹地背单词无法有效地覆盖特定场景下的高频词。比如说,即便你词汇量达到 8000,但是面对一家意大利餐馆的菜单,还是会遇到很多不认识的词,这些词往往是外来语,也不遵循词根、词缀的构词方法。

    如果大家感兴趣,接下来在以后的文章中,我将继续分享如何通过阅读提高英语水平,并且继续积累词汇量。

    近期热文

    高可用、高性能? 接口设计的 16 个原则

    【钓鱼】与【反钓鱼】的技术剖析

    快速了解 Java 9 平台模块系统

    机器人的「语料」,如何获取?

    一页纸,梳理你的商业模式 ,奇妙的「精益画布」


    从此

    告别黑客

    「阅读原文」看交流实录,你想知道的都在这里

    展开全文
  • RNN记忆特性

    千次阅读 2016-12-01 15:57:35
    术语称之为Long-Term Memory退化到Short-Term Memory,只能记忆短期记忆。 3.3 RNNLM 尽管Simple RNN有诸多缺陷,但Short-Term Memory毕竟聊胜于无。 [Mikolov10] 最先提出用RNN来做LM,不过并没有...

    RNN与语义分析

    RNN的祖先是1982年提出的Hopfield网络。

    Hopfield网络因为实现困难,外加没有合适应用,被86年后的前馈网络取代。

    90年代恰逢神经网络衰落期,前馈MLP在Optimization上被揪出种种弊端,又被SVM取代。

    在Represention上,CV界老一辈还在用着hand-made特征,Speech&NLP也偏重Statistics的特征。

    1990年提出的两种变种RNN,Elman&Jordan SRN同样因为没有合适的实际应用,很快又被无视。

    过了十几年,遇上了DL热潮,RNN被研究出具有挖掘语义信息的Distrubuted Represention能力。

    终于被拿来做Speech和Language Model方面语义分析相关任务。

    3.1 记忆特性

    一个时长为T的Simple RNN,unfold(展开)后实质是一个深度为T的前馈网络。

    序列上所有的输入信息、non-linearity变换的隐态信息从开始时刻,一直保留至当前时刻。

    从生物神经学角度,就是长期记忆(Long-Term Memory)特性。

    前馈网络不是万能的,尽管在CV上大放光彩,但确实不适合解决逻辑问题。

    Prolog曾经大放光彩,很多人坚信概率解决不了逻辑智能问题,但被RNN打脸了,比如下面这个问题:

    RNN就能够通过长记忆,向前搜索出输入中的关键信息。

    3.2 Gradient Vanish

    深度神经网络的头号问题就是Gradient Vanish,尤其是比MLP还要深多少倍的RNN。

    ★数学角度:[Bengio94]给出了Simple RNN出现Gradient Vanish的原因:

    tj=p+1bjhbj1h(βWβh)tpwhereβ=UpperBound |∏j=p+1t∂bhj∂bhj−1|⩽(βW⋅βh)t−pwhereβ=UpperBound

    W、h两个参数矩阵,先积后幂,导致上界突变速度飞快,要么 0 →0,要么 →∞

    如若引入大量的饱和Non-Linearity,如Sigmoid(Logistic|Tanh),那么最普遍的情况就是 Gradient0 Gradient→0

    ★生物学角度:

    术语称之为Long-Term Memory退化到Short-Term Memory,只能记忆短期记忆。

    3.3 RNNLM

    尽管Simple RNN有诸多缺陷,但Short-Term Memory毕竟聊胜于无。

    [Mikolov10]最先提出用RNN来做LM,不过并没有用Word Embedings。

    RNNLM从sentence-level切入,把一个sentence看成是一个sequence,逐个跑word推动时序。

    3.4 RNN For Speech Understanding

    [Mesnil13]则又将RNN同最近比较火的Word Embedings结合起来。

    这篇paper是Bengio组Mesnil和在微软实习的时候和Redmond研究院语音领域两位大牛Xiaodong He、Li Deng合作的。

    目测是在MS传播导师的Theano。(OS:看你们还在公式推Gradient,啊哈哈哈)

    3.4.1 Word embeddings

    回过头来再看[Mikolov13]的Word2Vec,13年开始真是全民玩起了词向量。

    [Mesnil13]总结了词向量的几点好处:

    ★以较小的维度向量,提纯出Word的N维的欧几里得空间信息,俗称降维。

    ★可以先在Wiki之类的大型Corpus上Pre-Training出部分语义语法信息,

    然后根据实际任务Fine-Tuning,符合深度学习原则。

    ★大幅度提升Generalization。

    3.4.2 Context Window

    另一个流行起来的Trick就是Context Window,Word2Vec的核心之一。

    不同的是,Word2Vec丢弃了窗口词的空间排列信息,而正常方法则选择将窗口词合并。

    [Bengio03]中的词向量,是在词典里直接取整个Dim长度的向量,设Dim=350。

    而做了Context Window之后,单个词的Dim变小,通常为(50|100),窗口大小通常为(3~19):

    [Mesnil13]给出Context Window的唯一作用:

    强化短期记忆(Short-Term)

    看起来不是很有说服力,从Word2Vec来看,起码还有这些作用:

    ★强化上下文信息捕捉能力

    ★强化语义、语法信息捕捉能力

    Long-Short Memory Network(LSTM长短期记忆网络)

    自剪枝神经网络

    Simple RNN从理论上来看,具有全局记忆能力,因为T时刻,递归隐层一定记录着时序为1的状态

    但由于Gradient Vanish问题,T时刻向前反向传播的Gradient在T-10时刻可能就衰减为0。

    从Long-Term退化至Short-Term。

    尽管ReLU能够在前馈网络中有效缓解Gradient Vanish,但RNN的深度过深,替换激活函数治标不治本。

    tj=p+1bjhbj1h(βWβh)tpwhereβ=UpperBound |∏j=p+1t∂bhj∂bhj−1|⩽(βW⋅βh)t−pwhereβ=UpperBound

    上式中指明的根源所在,由于W和h两个矩阵多次幂导致受数值影响敏感,简而言之就是深度过大。

    大部分Long-Term情况下,不需要提供路径上完整的信息,但反向传播还是循规蹈矩地穿过这些冗深度。

    解决方案之一是,设置可自主学习的参数来屏蔽掉这些无用的信息,与"降维"相似,这种方法叫"降层"

    神经网络的剪枝策略很简单,就是添加参数矩阵,经过一定周期的学习,选择性屏蔽掉输入,精简网络。

    从结构上来看,类似“树套树”,就是”神经网络套神经网络“。

    动态门结构

    简单概括:

    ★LSTM将RNN的输入层、隐层移入Memory Cell加以保护

    ★Input Gate、Forget Gate、Output Gate,通过训练参数,将Gate或开(置1)或闭(置0),保护Cell。

    在时序展开图上则更加清晰:

     

    公式定义

    原版LSTM最早在[Hochreiter&Schmidhuber 97]提出。

    今天看到的LSTM是[Gers 2002]改良过的 extended LSTM。

    extended LSTM扩展内容:

    ★Forget Gate,用于屏蔽t-1以及之前时序信息。

    在时序展开图上,由左侧锁住以保护Cell。

    ★三态门控:

    97年提出的Gate输入类似RNN,分为两态Weight矩阵:

    Wx——序列输入信息

    Wh——递归隐态输入信息

    2002年补充了第三态:

    Wc——递归Cell态输入信息

    将Cell的时序状态引入Gate,称为Peephole Weights。

    唯一作用似乎是提升LSTM精度,Alex Graves的博士论文中这么说:

    The peephole connections,meanwhile, improved the LSTM’s ability to learn tasks that require precise
    timing and counting of the internal states.

    具体实现的时候,为了增加计算效率,可以忽视:

    Theano的Tutorial中这么说道:

    The model we used in this tutorial is a variation of the standard LSTM model.

    In this variant, the activation of a cell’s output gate does not depend on the memory cell’s state .

    This allows us to perform part of the computation more efficiently (see the implementation note, below, for details).

    而CS224D Lecture8中压根就没提。

    所以双态Gate可能是更为主流的LSTM变种。

    2.1 前向传播

    输入门:

    it=Sigmoid(Wixt+Uiht1+ViCt1) it=Sigmoid(Wixt+Uiht−1+ViCt−1)      ①

    遗忘门:

    ft=Sigmoid(Wfxt+Ufht1+VfCt1) ft=Sigmoid(Wfxt+Ufht−1+VfCt−1)    ②

    输出门:

    Ot=Sigmoid(Woxt+Uoht1+VoCt) Ot=Sigmoid(Woxt+Uoht−1+VoCt)    ③

    原始Cell(RNN部分):

    Ct~=Tanh(Wcxt+Ucht1) Ct~=Tanh(Wcxt+Ucht−1)                  ④

    门套Cell:

    Ct=itCt~+ftCt1 Ct=it⋅Ct~+ft⋅Ct−1         (输入门+遗忘门)        ⑤

    ht=OtTanh(Ct)whereht=FinalOutput ht=Ot⋅Tanh(Ct)whereht=FinalOutput       (输出门)       ⑥

    ————————————————————————————————————————————————————

    仔细观察①②③④,发现除了Peephole Weights引入的 V V阵,这四个式子是一样的。

    Theano中为了GPU能够一步并行计算,没有使用Peephole Weights,这样①②③④就是一个基本并行模型:

    以相同的代码,运算数据集在空间中的不同部分。


    递归神经网络

    人类并不是从混沌状态开始他们的思考。就像你读这篇文章时,你是建立在你之前对文字的理解上。你并不是学习结束之后就丢弃掉你学到的东西,然后再从混沌状态开始。因为你的思想有持续性。 
    然而,传统的神经网络并不能做到持续记忆,这应该是传统神经网络的一个缺陷。假想一下,你想让神经网络对电影中每个时间点的事件进行分类,很明显,传统神经网络不能使用前一个事件去推理下一个事件。 
    递归神经网络可以解决这个问题。它们是带有循环的神经网络,允许信息保留一段时间。 
    递归神经网络 
    在上图中,A 代表神经网络主体,  xt  是网络输入, ht 是网络输出,循环结构允许信息从当前输出传递到下一次的网络输入。 
    这些循环让递归神经网络看起来有点神秘,然而,如果你再进一步思考一下,它与传统神经网络并没有太多不同。一个递归神经网络可以看多是一个网络的多次拷贝,每次把信息传递给他的继任者。让我们把网络展开,你会看到发生了什么。 
    递归神经网络展开

    这种链型的自然结构表明递归神经网络与序列和列表有着天然的联系,他们是处理这些序列数据天然的神经网络架构。 
    当前,它们已经被应用了!最近的几年中,RNNs在很多问题上取得了惊人的成功:语音识别,语言模型,翻译,图像注释。。。这个名单还在继续延长。我将讨论一下Andrej Karpathy在他的博文The Unreasonable Effectiveness of Recurrent Neural Network中提到的RNNs令人惊奇的特性。 它们实在是太让人惊奇了! 
    这些成功必须要归功于它们使用了“LSTMs”, 递归神经网络的一种,它在许多任务中得到了比标准版本的RNN更好的结果。几乎所有建立的递归神经网络上的,令人惊喜的结果,都是使用LSTMs得到的。这篇文章将会探索这个神奇的神经网络。

    长期依赖的问题

    人门希望RNNs能够连接之前的信息到当前的任务中,例如,使用之前的图像帧信息去辅助理解当前的帧。如果RNNs可以做到这个,它们将会特别的有用,但是它们可以做到吗?这要视情况而定。 
    有时,我们仅仅需要使用当前的信息去执行当前的任务。例如, 一个语言模型试图根据之前的单词去预测下一个单词。如果我们试图去预测“the clouds are in the sky”,我们不需要更多的上下文信息–很明显下一个单词会是sky。在类似这种相关信息和需要它的场合并不太多的情景下,RNNs可以学习使用之前的信息。 
    RNN-shorttermdepdencies

    但是,也有很多场景需要使用更多的上下文。当我们去尝试预测“I grew up in France…I speak fluent French”的最后一个单词,最近的信息表明下一个单词应该是语言的名字,但是如果我们想缩小语言的范围,看到底是哪种语言,我们需要France这个在句子中比较靠前的上下文信息。相关信息和需要预测的点的间隔很大的情况是经常发生的。 
    不幸的事,随着间隔的增大,RNNs连接上下文信息开始力不从心了、. 
    RNN-longtermdependencies
    理论上RNNs完全有能力处理这种“长期依赖(Long-term dependencies)”问题。人们可以精心的选择参数去接着这类问题。令人沮丧的是,实践表明RNNs不能完美的学习“长期依赖(Long-term dependencies)”。Hochreiter(1991)Bengio,et al,(1994)发现了一些为什么RNNs在这些问题上学习相当困难的根本原因。 
    谢天谢地,LSTMs没有这些问题。

    LSTM 网络

    长短期记忆网络–通畅叫做”LSTMs”–是一种特殊的RNNs, 它能够学习长期依赖。LSTM由Hochreiter&Schmidhuber(1997)引入,后来在很多人的努力下变得越来越精炼和流行。它们在大量的问题上有惊人的效果,现在被广泛的使用。 
    LSTMs被明确的设计用来解决长期依赖问题,记住长时间段的信息是他们的必备技能,不像RNNs那么费力去做还做不好。 
    所有的递归神经网络都有重复神经网络本身模型的链式形式。在标准的RNNs, 这个复制模块只有一个非常简单的结构,例如一个双极性(tanh)层。 
    The repeating module in a standard RNN contains a single layer.
    LSTMs 也有这种链式结构,但是这个重复模块与上面提到的RNNs结构不同:LSTMs并不是只增加一个简单的神经网络层,而是四个,它们以一种特殊的形式交互。 
    The repeating module in an LSTM contains four interacting layers.
    别担心中间到底发生了什么。我们接下来会一步一步的理解这个LSTM图。首先,我们要首先适应一下我们将会使用的符号表示方法。 
    这里写图片描述
    在上图中,每条线表示一个向量,从一个输出节点到其他节点的输入节点。这个粉红色圆圈表示逐点式操作,就像向量加法。黄色的盒子是学习好的神经网络的层。线条合表示联结,相反,线条分叉表示内容被复制到不同位置。

    LSTMs背后的核心思想

    LSTMs的核心之处就是它的神经元状态,如下图中所示,上面那条贯穿整个结构的水平线。 
    神经元状态就像是一个传送带。它的线性作用很小,贯穿整个链式结构。信息很容易在传送带上传播,状态却并不会改变。 
    这里写图片描述
    LSTM有能力删除或者增加神经元状态中的信息,这一机制是由被称为门限的结构精心管理的。 
    门限是一种让信息选择性通过的方式,它们是由Sigmoid神经网络层和逐点相乘器做成的。 
    这里写图片描述

    Sigmod层输出0~1之间的数字,描述了一个神经元有多少信息应该被通过。输出“0”意味着“全都不能通过”,输出“1”意味着“让所有都通过”。 
    一个LSTM有三个这样的门限,去保护和控制神经元状态。

    一步一步的推导LSTM

    LSTM的第一步就是决定什么信息应该被神经元遗忘。这是一个被称为“遗忘门层”的Sigmod层组成的。它输入  ht1 xt ,然后在 Ct1  的每个神经元状态输出0~1之间的数字。“1”表示“完全保留这个”,“0”表示“完全遗忘这个”。 
    让我们再次回到那个尝试去根据之前的词语去预测下一个单词的语言模型。在这个问题中,神经元状态或许包括当前主语中的性别信息,所以可以使用正确的代词。当我们看到一个新的主语,我们会去遗忘之前的性别信息。 
    这里写图片描述
    下一步就是决定我们要在神经元细胞中保存什么信息,这包括两个部分。首先,一个被称为“遗忘门层”的Sigmod层决定我们要更新的数值。然后,一个tanh层生成一个新的候选数值, Ct˜ ,它会被增加到神经元状态中。在下一步中中,我们会组合这两步去生成一个更新状态值。 
    在那个语言模型例子中,我们想给神经元状态增加新的主语的性别,替换我们将要遗忘的旧的主语。 
    这里写图片描述
    是时候去更新旧的神经元状态 Ct1 到新的神经元状态 Ct 了。之前的步骤已经决定要做什么,下一步我们就去做。 
    我们给旧的状态乘以一个 ft ,遗忘掉我们之前决定要遗忘的信息,然后我们增加 itCt˜ 。这是新的候选值,是由我们想多大程度上更新每个状态的值来度量的。 
    在语言模型中,就像上面描述的,这是我们实际上要丢弃之前主语的性别信息,增加新的主语的性别信息的地方。 
    这里写图片描述
    最后,我们要决定要输出什么。这个输出是建立在我们的神经元状态的基础上的,但是有一个滤波器。首先,我们使用Sigmod层决定哪一部分的神经元状态需要被输出;然后我们让神经元状态经过tanh(让输出值变为-1~1之间)层并且乘上Sigmod门限的输出,我们只输出我们想要输出的。 
    对于那个语言模型的例子,当我们看到一个主语的时候,或许我们想输出相关动词的信息,因为动词是紧跟在主语之后的。例如,它或许要输出主语是单数还是复数的,然后我们就知道主语联结的动词的语态了。 
    这里写图片描述

    长短期记忆神经网络的变体

    上面描述的都是常规的LSTM,但并不是所有的LSTMs都是上面这种模式。实际上,几乎每篇包含LSTMs模型的论文中,LSTMs都有一些差异,这些差异非常微小,但是它值得提及一下。 
    Gers & Schmidhuber(2000)引入了一个流行的LSTM变体,他增加了一个“窥视孔连接”。这意味着我们让门限层监视神经元状态。 
    这里写图片描述
    上图中给每个门限增加了窥视孔,但是有些论文,只给一部分门限增加窥视孔,并不是全部都加上。 
    另外一个变体是使用组合遗忘和输入门。而不是分开决定哪些神经元需要遗忘信息,哪些需要增加新的信息,我们组合起来决定。我们只遗忘那些需要被放入新信息的状态,同样,我们只在旧的信息被遗忘之后才输入新的信息。 
    这里写图片描述
    一个更神奇的LSTM变体是门递归单元(Gated Recurrent Unit, GRU),由Cho, et al(2014),它组合遗忘们和输入门为一个“更新门”,它合并了神经元状态和隐层状态,并且还做了一些其他改变。最终这个模型比标准的LSTM模型简单一些,并且变得越来越流行。 
    这里写图片描述
    这里只介绍了几个最有名的LSTM的变体,还有更多变体没有介绍,就像Yao, et al.(2015)深度门递归神经网络(Depth Gated RNNs)。这里也有一些处理长期依赖问题问题的完全不同的方法,就像Koutnik, et al(2014)提出的时钟机递归神经网络(Clockwork RNNs)。 
    这些变体中哪个是最好的?这些差异重要吗?Greff, et al. (2015)做了一个流行LSTM变体的比较,他发现这都是一样的。Jozefowicz, et al. (2015)测试了一万多种RNN结构,发现一些RNN结构在某些特定任务中结果好于LSTMs。

    结论

    文章开头,我提到了人们使用RNNs取得了卓越的成果,本质上所有的这些结果都是使用LSTMs取得的。他们的确在多数任务上表现的更好。 
    写下来一系列等式以后,LSTM s看起来挺吓人的,然而,我们在文中一步一步的解释它以后它看起来可以理解了。LSTMs在我们能够用RNNs取得的结果中取得了更大的进步。我们不禁想问:是否有比LSTMs更好的模型?学者一致认为:“有的!这里有下一步,它就是“注意力”!”(Yes! There is a next step and it’s attention!,这里的”attention”翻译成“注意力”不知道是否合适”?)一个观点是让RNN的每一步都监视一个更大的信息集合,并从中挑选信息。例如:如果你使用 RNN去为一幅图像生成注释,它会从图像中挑选中挑选一部分去预测输出单词。实际上,Xu, et al. (2015) 确实是这样做的–如果你想去探索“注意力”,这或许是一个有趣的起点!这里还有一些使用“注意力”得到的有趣的结果,并且还有更多人在使用这个。 
    “注意力”并不是唯一的RNN研究热点。例如, 格点LSTMs(Grid LSTMs),Kalchbrenner, et al. (2015)看起来非常有前途。在生产环境中使用RNNs模型,就像Gregor, et al. (2015), Chung, et al. (2015)或者 Bayer & Osendorfer (2015)–也看起来很有趣。最近几年递归神经网络很流行,从趋势来看,未来还会更流行。

    我们来按照下面的步骤理解LSTM结构以及它背后的意义:

    1. 新记忆产生:这个状态和GRUs中的新记忆产生状态是一样的。我们必须使用输入词和过去隐层状态来产生新的记忆,包括了新词.

    2. 输入门:在产生新记忆之前,我们需要判定一下我们当前看到的新词到底重不重要,这就是输入门的作用。输入门根据输入词和过去隐层状态共同判定输入值是否值得保留,从而判定它以何种程度参与生成新的记忆(或者说对新的记忆做一个约束)。因此,它可以作为输入信息更新的一个指标。

    3. 遗忘门:这个门和输入门很类似。但是它不能决定输入词有效,它能对过去记忆单元是否对当前记忆单元的计算有用做出评估。

    4. 最终记忆产生:这个阶段会根据遗忘门的作用结果,合理地忘记部分过去的记忆。再根据输入门的作用结果,产生新记忆。它将这两个结果加融合起来产生了最终的记忆

    5. 输出门:这是一个GRUs里没有显性存在的门。它的目的是从隐层状态分离最终的记忆。最终记忆包含了大量不必需要保存在隐层状态的信息,这个门限能够评估关于记忆哪部分需要显示在隐层状态中。用于评估这部分信息的中间信号叫做,它和的点乘组成最后的



    展开全文
  • 理解长短期记忆(LSTM) 神经网络

    万次阅读 多人点赞 2016-07-04 21:46:51
    声明:本文翻译自colah的博客,原文地址:Understanding LSTM NETWORK递归神经网络人类并...然而,传统的神经网络并不能做到持续记忆,这应该是传统神经网络的一个缺陷。假想一下,你想让神经网络对电影中每个时间点的
  • 每天读一点好玩心理学--记忆

    万次阅读 2018-01-19 07:55:18
    人类在获取外部信息的时候,80%靠视觉完成的。 1.什么是认知心理学 1)知觉,记忆,思考,学习,换句话说:视,听,记忆 ...手机号码一连串写出来,很难记忆,如果分成两组,每组4位数字,就好记多了,便于记忆
  • 关于shell编程需要记忆(基础)

    千次阅读 2021-02-03 13:37:39
    关于shell编程需要记忆(基础) 写完shell脚本要用chmod命令加上x(执行)权限 一、shell基础 一、通配符 文件名的扩展成为通配,通配定义了一套使用特殊字符的规则。当输入文件名作为参数的命令时,可以使用特定的...
  • k8s删除pod

    千次阅读 2019-05-07 12:06:47
    1、先删除pod 2、再删除对应的deployment 否则只是删除pod是不管用的,还会看到pod,因为deployment.yaml文件中定义了副本数量 实例如下: 删除pod [root@test2 ~]# kubectl get pod -n jenkins NAME READY ...
  • WUSTOJ 1231: 删除字符串中指定的字符 题目 原题链接 Description 明天就要英语考试了,小明明正在挑灯夜战背单词。小明明发现单词很难背,背一个忘一个。经过仔细研究,小明明发现单词难背的原因是因为某个...
  • 运行CMD,在窗口中输入NET USE命令,会列出当前的所有共享连接:删除远程共享连接,使用如下命令:...1、在命令行里输入 net use * /del ,删除远程连接,如果只想删除特定的远程连接,net use 的...
  • 安全学习记忆

    千次阅读 2017-01-06 18:18:50
    对于涉及产品知识产权、高危操作、可外部调用的内部接口等不期望向所有客户人员公开的内容,不在正式发布的面向所有客户的产品资料中公开,仅主动向客户/政府特定人员公开或仅在客户要求时再公开(与客户签署保密...
  • Python 中的列表(大小可变的数组)和字典(哈希表)就是内建于语言本身的。在核心语言中提供这些重要的构建单元,可以鼓励人们使用它们, 缩短开发时间与代码量,产生出可读性更好的代码。C不提供, c++功能不够...
  • 在当前branch上多次commit代码并且push后,发现不符合要求,需要回滚到特定的版本。步骤如下: 0、切换到需要回退的分支 git checkout master 1、查找commitId 首先用命令行打开git项目路径,输入git log命令...
  • 关键算法的参考实现,适用于编码面试,易于扩展/适应特定问题。 我在求职期间准备编码面试时从各种来源改编了这些(成功!)。 这是想法: 我发现几乎所有的编码问题都使用了几种基本算法之一。 但是,尽管我知道...
  • 计算机专业英语词汇1695词(35天记忆

    千次阅读 多人点赞 2020-03-27 09:56:16
    计算机专业英语词汇1695词 本来想自己整理的,但是觉得太浪费时间咯????所以转载了一下这个博主的文档,然后大概修改了下。...(1)首先,单词记忆是长期积累的过程,我建议这么多单词分35天记忆,...
  • linux 查看删除进程 ps命令详解

    千次阅读 2016-04-24 00:37:56
    最常用的方法是ps -aux,然后再利用一个管道符号导向到grep去查找特定的进程,然后再对特定的进程进行操作。 ############################################################ 运行 ps aux 的到如下信息: ...
  • 记忆网络系列之Key Value Memory Network

    千次阅读 2018-01-26 16:30:06
    在上一篇End to end memory network中提到,在问答系统中加入KB(knowledge bases)能...因此即使KB方式能够满足特定领域的问题,但是不能扩大规模,在任何所有领域都行得通。因此,本文Key-Value Memory Networks for Di
  • USB Safely Remove 可以祇移除特定记忆卡,也可以把整个卡片阅读机断线,这也是非常贴心的功能。 如果你是随身碟的重度使用者,USB Safely Remove 让你可以设定在随身碟(或其他装置)插入后、拔出前要做的事,...
  • 我们人脑的神经系统有两个重要机制可以解决信息过载问题:注意力和记忆机制。 我们可以借鉴人脑解决信息过载的机制,从两方面来提高神经网络处理信息的能力.一方面是注意力,通过自上而下的信息选择机制来过滤掉...
  • 相信.Net开发人员都想能够熟记各种VS快捷键以提高平时开发的效率,但苦于记忆能力太差而快捷键又特别多,特别烦,所以作罢! 下面我将简单介绍一下我记忆VS快捷键的一些方法,希望对大家有所帮助。 1、窗口快捷键 ...
  • Collection List Set Map 区别记忆

    千次阅读 2009-05-14 20:34:00
    这些都代表了Java中的集合,这里主要从其元素是否有序,是否可重复来进行区别记忆,以便恰当地使用,当然还存在同步方面的差异,见上一篇相关文章。 有序否允许元素重复否Collection否是List是是SetAbstractSet
  • Redis 中有删除单个 Key 的指令 DEL,但好像没有批量删除 Key 的指令,不过我们可以借助 Linux 的 xargs 指令来完成这个动作。 xargs介绍: 翻译:从标准输入执行命令 记忆:x 是执行的意思;args是参数列表的意思...
  • 通常来说,没有做什么特别的设定的话,都是手动加域,且使用的是管理员帐号,这种情况下是有风险的,容易被人记忆密码。所以,如果可以设置一个普通用户帐号,专门用来执行加域操作,就会降低此类风险。其实默认情况...
  • html的知识点快速记忆(一)

    千次阅读 2018-07-18 23:42:05
     <s></s> 删除 <del></del>语义更强调加粗,推荐使用;  <u></u>下划线 <ins></ins>语义更强调加粗,推荐使用。 知识点21:图像标签---  <标签名 属性1="属性1" 属性2="属性2" />   例:  />  src 属性...
  • (3)删除数据库;  (4)调整初始化参数;  (5)管理网络。  对于数据库的管理,必须要具有SYSDBA和SYSOPER的角色,才有权启动、关闭、运行数据库。SYSDBA角色拥有SYS数据表的所有权限,SYSOPER的角色拥
  • 作者:不器全文共 3375 字 3 图,阅读需要 8 分钟———— / BEGIN...心理学家一般记忆检索分为两种:识别、回忆。设想一个场景:你在街上遇到了一个人,如果你们之前见过,你可以很轻松的认出他来,但叫出他的名字却更
  • 红黑树插入删除归类

    千次阅读 2012-04-03 09:10:29
    红黑树和之前所讲的AVL树类似,都是在进行插入和删除操作时通过特定操作保持二叉查找树的平衡,从而获得较高的查找性能。自从红黑树出来后,AVL树就被放到了博物馆里,据说是红黑树有更好的效率,更高的统计性能。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 29,757
精华内容 11,902
关键字:

删除特定记忆