精华内容
下载资源
问答
  • 终身学习 机器学习 持续学习是指人们为了发展自己而进行的,以职业为导向的持续学习过程。 对于认为自己是持续学习者的人们,学习永无止境,而这些人会在日常经验中看到学习机会。 在工作中进行非正式学习活动的例子...

    终身学习 机器学习

    持续学习是指人们为了发展自己而进行的,以职业为导向的持续学习过程。 对于认为自己是持续学习者的人们,学习永无止境,而这些人会在日常经验中看到学习机会。 在工作中进行非正式学习活动的例子包括与同事进行辩论,反思反馈,在互联网上搜寻令人沮丧的问题的解决方案,尝试新事物或冒险。

    持续学习是开放组织中任何人的核心能力。 毕竟,开放式组织是建立在同行之间相互思考,争论和共同行动的基础上的。 在开放组织的歧义,话语驱动的世界中蓬勃发展,每天都需要员工掌握这些技能。

    不幸的是,科学文献在传播我们的工作学习知识方面做得很差,无法帮助个人欣赏和发展自己的学习能力。 因此,在本系列文章中,我将向您介绍非正式学习,并帮助您了解将学习视为一项技能如何在任何组织( 特别是开放组织)中蓬勃发展。

    为什么这么正式?

    迄今为止,组织学习的科学研究主要集中在正式培训而非非正式学习的设计,交付和评估上。

    投资于其员工的知识,技能和能力的发展是组织保持领先于竞争对手的重要方式。 组织通过创建或购买课程,在线课程,讲习班等形式来正式规定学习机会,这旨在指导个人就职方面的内容,就像在学校上课一样。 提供课程是组织确保其员工技能或知识保持最新状态的一种简便(如果花费昂贵)的方法。 同样,教室环境是研究人员的自然实验室,不仅使基于培训的研究和工作成为可能,而且功能强大。

    最近的估计表明,所有与工作相关的知识中有70%至80%不是在培训中学习的,而是非正式的在职知识。

    当然,人们不需要培训就可以学到一些东西。 人们通常通过研究答案,与同事交谈,反思,试验或适应变化来学习。 实际上, 最近的估计表明 ,所有与工作相关的知识中有70%至80%不是在培训中学习的,而是非正式地在职学习的。 这并不是说正式培训无效。 培训可能非常有效,但这是一种精确的干预方式。 正式就某项工作的各个方面对某人进行培训是不切实际的,尤其是当这些工作变得越来越复杂时。

    因此,非正式学习或在结构化学习环境之外进行的任何学习对于工作场所都极为重要。 实际上, 最近的科学证据表明,非正式学习比正式培训更能预测工作绩效。

    那么,为什么组织和科学界如此关注培训呢?

    周期性过程

    除了我前面提到的原因之外,研究非正式学习可能非常困难。 与正式培训不同,非正式学习发生在非结构化的环境中,高度依赖于个人,并且可能很难或无法观察。

    直到最近,关于非正式学习的大多数研究都集中于定义非正式学习的资格特征,并确定非正式学习在理论上如何与工作经验联系起来。 研究人员描述了一个动态的,周期性的过程 ,个人可以通过该过程在组织中进行非正式学习。

    与正式培训不同,非正式学习发生在非结构化的环境中,高度依赖于个人,并且可能很难或无法观察。

    在此过程中,个人和组织都有代理机构来创造学习机会。 例如,一个人可能对学习某些东西感兴趣并执行学习行为来这样做。 该组织以传递给个人的反馈的形式,可以表示需要学习。 这可能是绩效评估不佳,项目期间发表的评论,或者是组织环境中非个人指导的更广泛的变化。 这些力量在组织环境中相互作用(例如,某人尝试一个新想法并且他或她的同事认识并奖励该行为),或者通过反思在个人的思想中相互作用(例如,某人对自己的绩效反馈进行反思并决定为学习这份工作付出更多的努力)。 与培训不同,非正式学习不遵循正式的线性过程。 个人可以随时体验过程的任何部分,并同时经历过程的多个部分。

    开放式组织中的非正式学习

    特别是在开放式组织中,减少对等级制度的重视和对参与式文化的重视都助长了这种非正式的学习过程。 简而言之,开放式组织只是为个人和组织环境提供了更多互动和激发学习时刻的机会。 此外,思想和变革要求在开放组织的员工中进行更广泛的认同,而认同则需要对他人的适应性和洞察力进行评估。

    就是说,仅仅增加学习机会的数量并不能保证学习将会发生或成功。 甚至可以说,在一个开放的组织可以防止有人含糊和不公开讨论共同谁不是在连续技能学习,再学习一段时间的这种习惯,并从组织,促进本组织有效的开放的核心竞争力就像在更传统的组织中一样。

    解决这些问题需要一种以一致的方式跟踪非正式学习的方法。 最近,科学界呼吁建立一种衡量非正式学习的方法,因此可以进行系统的研究来解决非正式学习的前因和结果方面的问题。 我自己的研究集中在此调用上,并且我花了几年的时间发展和完善我们对非正式学习行为的理解,以便可以对其进行衡量。

    在本系列文章的第二部分中,我将重点关注我在一个开放式组织内进行的一项近期研究的发现,在该研究中,我测试了非正式学习行为的度量,并将其与更广泛的工作环境和个人工作成果联系起来。

    翻译自: https://opensource.com/open-organization/19/7/informal-learning-adaptability

    终身学习 机器学习

    展开全文
  • 机器学习(ML)已经成为促进数据分析和人工智能( AI)发展的重要工具。最近深 度学习取得的成功促使机器学习上升到了一个新的高度。机器学习算法已经应用于计算机科学、自然科学、工程学、社会...

    机器学习(ML)已经成为促进数据分析和人工智能( AI)发展的重要工具。最近深 度学习取得的成功促使机器学习上升到了一个新的高度。

    机器学习算法已经应用于计算机科学、自然科学、工程学、社会科学以及其他学科的几乎所有领域,实际应用甚至更为广泛。如果没有有效的机器学习算法,许多行业不会存在,也不会得到快速发展。

    目前主流的机器学习范式是在一组给定的数据集上运行机器学习算法以生成一个模型,然后将这个模型应用到真实环境的任务中,监督学习和无监督学习都是如此。我们称这种学习范式为孤立学习( isolated learning),因为这种范式不考虑其他相关的信息和以前学过的知识。

    人类从来都不会孤立地或者从零开始学习,我们始终保留过去已经学到的知识,并将其用于帮助未来的学习和解决问题。

    如果不能积累和使用已学的知识,机器学习算法往往需要大量的训练样本才能进行有效的学习,这个学习环境通常是静态的和封闭的。

    许多现实问题的解决,必须考虑学习是持续的。

    我们以自动驾驶系统为例,初步探讨终身学习在其中的意义。

    学习驾驶有两种基本方法:基于规则的方法和基于学习的方法。在基于规则的方法中,很难制定出覆盖所有路面驾驶场景的规则,基于学习的方法也存在类似的问题,因为道路环境是动态变化而且非常复杂的。

    我们以感知系统为例,为了使感知系统能够检测和识别出道路上的各种事物,以便预测潜在的障碍和危险情况,仅仅使用经过标记的训练数据来训练系统是非常困 难的。

    我们非常希望系统能够在驾驶期间进行持续学习,并且在该过程中识别从未见过的事物并学习识别它们,还可以通过运用过去的知识和周围环境的反馈来学习这些事物的行为以及对车辆的危险程度。

    例如,当汽车在道路上发现一个前所未见的黑色斑块时,它必须首先意识到这是一个从未见过的事物,然后逐渐学习识别它,并评估它的危险系数。

    如果其他汽车已经从这个黑色斑块上面开过去(环境反馈),这意味着这个黑色斑块不存在危险。

    事实上,汽车可以从路上其他来往的车辆中学习到很多知识。这种学习过程是自我监督(没有外部手动标记数据)并且永远不会结束。

    随着时间的推移,汽车将越来越有知识,而且越来越智能。

    终身学习(Life long Learning,LL)的概念是在1995 年左右由 Thrun 和 Mit chell 提出的。从那以后,终身学习就开始向几个不同的方向发展:

    1. 终身监督学习

    2. 深度神经网络中的持续学习.在

    3. 开放学习

    4. 终身无监督学习

    5. 终身半监督学习

    6. 终身强化学习

    今天为大家推荐一本书:《终身机器学习》

    这本书介绍了高级机器学习范式——终身机器学习,这种范式通过积累过去的知识持续地学习,并将所学到的知识用于帮助未来的学习和解决问题。本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。

    书中介绍了终身学习这个重要的新兴领域。相关的论文发表在大量的会议和期刊上。终身学习( LL),是一个以建立像人类一样学习的机器为最终目标,能够克服目前机器学习缺点的新兴和极有潜力的方向。

    该书原作者陈志源(Zhiyuan Chen)现为谷歌高级工程师,之前在伊利诺伊大学芝加哥分校刘兵教授的指导下获得博士学位。他提出了几种终身机器学习算法,实现了自动从文本文档中挖掘信息,并在KDD、ICML、ACL、WWW、IJCAI和AAAI等主要会议上发表了超过15篇长篇研究论文。他还在IJCAI-2015、KDD-2016和EMNLP-2016上提供了三个关于终身机器学习的教程。于2015年获得伊利诺伊州技术基金会颁发的最有潜力50人奖,以表彰他的学术贡献。

    本书刚刚出版,国内电商还未上架。大家可以通过下方扫码在鲜读购买,第一时间获得准原稿+电子书+纸质书,最重要的是还可以和作译者交流,7折包邮(定价79元)。

    ▼扫码购买

    也欢迎大家参加我爱计算机视觉公众号的留言赠书活动。

    本次赠书共8本,3本纸质书+5个华章图书的鲜读电子书名额。

    活动参与方式:畅所欲言,在留言区聊聊机器学习

    截止到2019年8月11日20时,点赞数最高前 3 名将赠送《终身机器学习》纸质书各一本,第4到第8名赠送华章图书的鲜读电子书名额各一个(如出现点赞个数相同的留言,以微信自然排序的前八名为准)。

    中奖领取方式:2019年8月11日20时会在公众号留言区置顶获奖用户名单,请获奖用户扫码添加CV君领奖:

      #急于购书的朋友也可以点击阅读原文链接直接购买#

    展开全文
  • 他的研究包括情绪分析和意见挖掘、终身机器学习、数据挖掘、机器学习和自然语言处理。他目前担任ACM SIGKDD的主席,ACM Fellow, AAAI Fellow, and IEEE Fellow。 下面是正文内容: 引言:  机器学习(ML)...

    前言:

    最近发现了一篇很有意思的论文,有关集成学习中的可持续性的研究,这里翻译了一下,供了解和学习使用

    刘兵:美国芝加哥大学的计算机科学教授。他的研究包括情绪分析和意见挖掘、终身机器学习、数据挖掘、机器学习和自然语言处理。他目前担任ACM SIGKDD的主席,ACM Fellow, AAAI Fellow, and IEEE Fellow。

    下面是正文内容:

    引言:

      机器学习(ML)对数据分析和人工智能(AI)的广告都有帮助。最近,深度学习的成功使它达到了一个新的高度。在工业、科学和工程领域,几乎所有的应用程序都成功地使用了ML算法。

      目前对ML的主流范例是在给定的数据集上运行一个ML算法来生成一个模型。该模型随后应用于现实生活中的任务中。我们把这种范式称为孤立学习,因为它不考虑任何其他相关的信息或过去的知识。这种孤立学习的根本问题在于它没有记忆。它不保留过去的知识,并利用它来帮助未来的学习。因此,需要大量的训练样本才能有效地学习。对于监督学习,训练数据标签通常是手工完成的,这是非常耗费人力和时间的。由于世界上有太多可能的任务,因此几乎不可能为每个任务标记大量的示例,以便进行一个ML算法来学习。更糟的是,每件事都在不断变化,因此标签需要不断地进行,这是一项艰巨的任务。当前的孤立学习模式可能不适合构建一个真正智能的系统,但只适合在非常狭窄的领域中解决问题。

      我们人类似乎学到了很多不同的东西。我们从不孤立地学习。相反,我们总是保留并积累过去学到的知识,并在未来的学习中无缝地使用它。随着时间的推移,我们学习得越来越多,知识越来越渊博,学习越来越有效。终生机器学习(简称LML)(简称终生学习)旨在模仿人类学习过程和能力。这种类型的学习是很自然的,因为我们周围的事物都是紧密相关的和相互关联的。过去的概念和它们之间的关系可以帮助我们更好地理解一个新的主题,因为很多事情在不同的领域和任务中都是共享的。例如,我们人类不需要1000个正面评价和1000个负面评论,因为一个ML算法需要建立一个精确的分类来识别关于电影的负面评论和负面评论。事实上,对于这个任务,如果没有单独的训练回顾,我们就可以执行分类任务了。怎么能这样呢?原因很简单。这是因为我们在过去已经积累了很多关于人们如何赞扬和批评事物的知识,尽管这些赞扬和批评可能都是在线评论的形式。事实上,如果没有过去的知识,人类可能很难在2000年的积极和消极的训练评估中手动建立一个好的分类器。

    终身机器学习的定义:

      定义:终身机器学习(LML)是一个连续不断的学习过程,在这个过程中,学习者已经完成了N个学习任务,T1,T2,..TN。当面对(N+1)的任务TN+1和它的数据DN+1时,学习者可以利用其知识库(知识库)(内存)中的先验知识来帮助学习TN+1。知识库存储并维护在过去学习N个任务时所学习和积累的知识。在学习了TN+1之后,知识库更新了从TN+1中学习的(中间和最后的)结果。

      陈等人[1]的这一定义表明,LML的关键特征是 1)持续学习,2) 知识积累在知识库(知识库)中,3)利用知识库中的知识来帮助未来的学习。这些特点使它有别于其他相关的学习任务,如转移学习[2]和多任务学习[3]。

      迁移学习(TL):使用一个源域来帮助一个目标获取域学习。它假设源域S有大量的标记训练数据,目标域T只有很少或没有标记的训练数据,但有大量未标记的数据。TL利用被标记的数据来帮助在目标域中学习。由于几个原因,TL与LML不同。首先,TL不是连续的。它只使用源域来帮助目标域学习。其次,TL并没有积累所学的知识。第三,TL是单向的,使用源来帮助目标。LML可以在任何方向上进行。第四,TL假设源与目标非常相似。这种相似性是由人类用户决定的。LML并没有做出这样一个强有力的假设。人类用户通常不参与确定任务的相似性。

      多任务学习(MTL):的目标是执行多个相似学习任务的联合优化,这样它们就可以共享彼此的知识,从而获得更好的整体效果。然而,MTL仍然在传统的范式中工作。在优化单个任务的过程中,它会优化几个任务。如果我们把几个任务看作一个更大的任务,它就会减少到传统的优化,这在MTL的大多数优化公式中都是如此。随着时间的推移,它不会积累任何知识,它也没有持续学习的概念,这是LML的关键特性。尽管有人会说MTL可以在添加新任务时联合优化所有任务,但是在单个进程中同时优化所有任务是相当困难的,因为任务是非常不同的,而且是非常numer的。

    终身机器学习的历史:

      LML的概念是在1995年由Thrun和Mitchell [4]提出的。从那时起,它就被研究了四个主要方向:

      终身监督学习,Thrun [5] 开始学习终身概念学习,每一个过去或新任务都是一个阶级或概念。在基于记忆的学习和中立的网络环境中,提出了几种LML技术。在参考文献[6]中,神经网络方法得到了改进。费等[7]将这种形式的LML扩展到累积学习,在遇到新类时,构建了一个新的多类分类器,可以对所有的过去和新类进行分类。它还检测测试中未见的类。这为自我学习铺平了道路,因为它能够探测到看不见的类,从而使它学习新的东西。Ruvolo和Eaton[8]提出一种有效的LML算法(ELLA)来改进一种多任务学习方法。陈等[1] 人在朴素贝叶斯分类的背景下提出了一种LML技术。对LML的理论研究是由Pentina和Pentina [9]所做的。

      陈和刘[10]首先提出了终身无监督学习的终身学习模式。随后,他们也报告了其他几个模型。所提出的技术可以从许多过去的任务中学习知识,并利用这些知识帮助在新任务中生成更一致的主题。刘[11]等人提出了一种利用LML方法提取信息的方法,刘[12]提出了一种终生的图形标记方法,将两种类型的表达式分离开来。

      终生的半监督学习在这个领域的工作是由永无止境的语言学习者(NELL)系统[13]所代表的。自从2010年1月以来,NELL一直在为信息提取而不断地阅读网络,并且已经拥有了数百万的实体和关系。

      终生强化学习Thrun和Mitchell [4]第一次学习终生强化学习(LRL),用于机器人学习。Tanaka和Yamamura [14]提出了一种“LRL”方法,将每一个环境视为一项任务。Bou Ammar等[15]人提出了一种政策梯度有效的LRL算法。

    总结:

      虽然LML已经存在了20多年,但到目前为止还没有进行大量的研究。一个原因可能是,过去20年里的ML研究侧重于统计和算法的方法。LML通常需要系统方法。然而,随着统计机器学习的日益成熟,研究人员意识到它的局限性,LML将变得越来越重要。可以肯定的是,如果没有LML的能力来积累学习的知识并在过去的知识的帮助下学习新的任务,那么我们将无法建立一个真正的智能系统。我们只能在非常狭窄的领域内解决问题。

     

    参考文献:

    1.Chen Z Y, Ma N Z, Liu B. Lifelong learning for sentiment classification. In: Proceedings of ACL Conference. 2015

    2.Pan S J, Yang Q. A survey on transfer learning. IEEE Transaction on Knowledge and Data Engineering, 2010, 22(10): 1345–1359

    3.Caruana R. Multitask learning. Machine Learning, 1997, 28(1)

    4.Thrun S, Mitchell T M. Lifelong robot learning. In: Steels L, ed. The Biology and Technology of Intelligent Autonomous Agents. Berlin: Springer, 1995, 165–196

    5.Thrun S. Is learning the n-th thing any easier than learning the first? Advances in Neural Information Processing Systems, 1996: 640–646

    6.Silver D L, Mercer R E. The task rehearsal method of life-long learning: overcoming impoverished data. In: Proceedings of the 15th Conference of the Canadian Society for Computational Studies of Intelligence on Advances in Artificial Intelligence. 2002, 90–101

    7.Fei G L, Wang S, Liu B. Learning cumulatively to become more knowledgeable. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016, 1565–1574

    8.Ruvolo P, Eaton E. ELLA: an efficient lifelong learning algorithm. In: Proceedings of International Conference on Machine Learning. 2013, 507–515

    9.Pentina A, Lampert C H. A PAC-Bayesian bound for lifelong learning. In: Proceedings of International Conference on Machine Learning. 2014, 991–999

    10.Chen Z Y, Liu B. Topic modeling using topics from many domains, lifelong learning and big data. In: Proceedings of International Conference on Machine Learning. 2014

    11.Liu Q, Liu B, Zhang Y L, Kim D S, Gao Z Q. Improving opinion aspect extraction using semantic similarity and aspect associations. In: Proceedings of the 30th AAAI Conference on Artificial Intelligence. 2016

    12.Shu L, Liu B, Xu H, Kim A. Separating entities and aspects in opinion targets using lifelong graph labeling. In: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2016

    13.Mitchell T, Cohen W, Hruschka E, Talukdar P, Betteridge J, Carlson A, Dalvi B, Gardner M, Kisiel B, Krishnamurthy J, Lao N, Mazaitis K, Mohamed T, Nakashole N, Platanios E, Ritter A, Samadi M, Settles B, Wang R, Wijaya D, Gupta A, Chen X, Saparov A, Greaves M, Welling J. Never-ending learning. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence. 2015, 2302–2310

    14.Tanaka F, Yamamura M. An approach to lifelong reinforcement learning through multiple environments. In: Proceedings of the 6th European Workshop on Learning Robots. 1997, 93–99

    15.Bou Ammar H, Eaton E, Ruvolo P, Taylor M. Online multi-task learning for policy gradient methods. In: Proceedings of the 31st International Conference on Machine Learning. 2014, 1206–1214

     

    原文链接:https://link.springer.com/article/10.1007%2Fs11704-016-6903-6

    展开全文
  • 2020机器学习前沿技术----LifeLong learning - stephon的文章 - 知乎 文章介绍了关于机器学习比较前沿的一项技术,也就是LifeLong Learning。这篇文章也对LifeLong Learning与Multi-task Learning以及Transfer ...

    下面的文章转自(已获作者允许):
    2020机器学习前沿技术----LifeLong learning - stephon的文章 - 知乎
    文章介绍了关于机器学习比较前沿的一项技术,也就是LifeLong Learning。这篇文章也对LifeLong Learning与Multi-task Learning以及Transfer Learning进行了对比,所以我将其进行了转载,其中对其排版进行了一定修改。

    1. 为什么需要研究Lifelong learning?

    细数机器学习处理的问题,概括得讲,可以分为如下几大类:

    • 计算机视觉(CV): object classification, object detection, object segmentation, style transfer, denoising, image generation, image caption
    • 语音(Speech) : speech recogniton, speech synthesis
    • 自然语言处理(NLP): Machine translation, text classfication, emotional recogniton
    • 推荐系统: Recommendation, CRT

    目前针对各个大类的不同子类问题, 都会去设计不同的网络结构,设计不同的loss, 采用不同的数据集去处理。 这使得机器学习“偏科严重”,比如前几年很火的AlphaGo, 虽然他是一个“围棋天才”,但是一旦让他去下象棋, 他就歇菜了。换句话说, 目前的人工智能,只能处理给定的任务,换一个任务就无能为力了,这距离我们所想达到的通用智能实在相差甚远。

    反观人脑,在人不断成长的过程中,他可以学习各种各样的技能。不仅会下棋,还会踢球,还会辩论等等,而人的大脑只有一个(相当于自始至终只有一个网络)。 虽然随着时间的流逝,以前学习的东西会渐渐淡忘,但这丝毫不影响人脑在不断学习,胜任一个又一个任务中所表现出来的强大。

    因此,我们是否可以只用一个网络结构(注意,这里的网络结构并非是固定的。也许随着任务的需要,得自行扩展网络),在不同的任务上分别训练,使得该网络能够胜任所有的任务呢。 这就是Life-long learning 所要研究的课题。

    2. 有哪些别称?

    • Continuous Learning

    • Never ending Learning

    • Incremental Learning

    3. 有哪些处理方法及研究成果

    Knowledge Retention(but Not Intransigence) and Knowledge Transfer 知识保留(但不妥协)及知识迁移。 这意味着以前学到的知识,需要能够促进下一个任务Task B的学习; 学完Task B之后,要不仅可以很好得处理Task B, 同时在Task A 上不能有明显的下降, 最好Task A的性能,也能够有所提升或者是保持。

    一个遗忘的例子:
    在这里插入图片描述How to solve Catastrophic Forgetting Little forgetting是允许的。

    一些理论成果:

    a) EWC: Elastic Weight Consolidation

    在这里插入图片描述在这里插入图片描述

    b) Multi-task learning with some modify

    刚才提到的问题,如果采用Multi-task learning:
    在这里插入图片描述可以看到: 如果先学习Task1, 再学习Task2; 那么当Task 2学完之后, Task 1的准确率就下降了很多, 这就是Forget!!! 这就是Transfer Learning所带来的问题, 也是Lifelong Learning 所需要解决的问题。

    如果采用Multi-task Learning,需要把Task 1 和 Task2的训练数据都存储起来,需要的时候放在一起训练。 虽然可以看到Task 1和 Task 2都达到了不错的效果, 但是所有数据的存储会是一个很大的问题。

    因此, 如何解决数据存储的问题呢?
    在这里插入图片描述借助于GAN网络来完成, 减少了数据存储,但带来了更大的计算量。

    c) Model Expansion(but parameter efficiency)

    Progressive Neural Network
    在这里插入图片描述
    Net2Net
    在这里插入图片描述

    4. Multi-task learning, Transfer Learning , LifeLong learning之间的区别

    Transfer Learning VS LifeLong Learning: Transfer learning只考虑在当前任务上的效果; 而LifeLong Learning需要考虑在所有任务上的效果。
    在这里插入图片描述Multi-task Learning VS LifeLong Learning : LifeLong Learning训练时只用当前任务的数据; 而Multi-task Learning会用到之前所有任务的数据。这带来了数据存储以及计算量不断增大的问题; Multi-task learning可以看作是LifeLong learning的upper bound

    在这里插入图片描述

    5. 如何评价Life-long Learning的好坏

    3个指标:

    • Accuracy 表征N个任务学完后总体的性能;
    • Backward Transfer: 表征N个任务学完后,总体遗忘的程度;通常为负数,越大越好;
    • Forward Transfer: 表征N个任务学完后,总体学习的程度;通常为正数,越大越好;

    在这里插入图片描述R(0, i) 表示在随机初始化的情况下,在Task i上的准确率。

    在这里插入图片描述

    6. 这个领域还有哪些前沿的研究方向

    Curriculum Learning 类似于一个课程系的学习, 研究的是如何安排课程学习的先后顺序。

    在这里插入图片描述

    Taskonomy 研究的是各个任务之间的关系, 即该先学哪个,后学哪个。
    在这里插入图片描述

    展开全文
  • 在第一届北美计算机华人学者年会暨计算技术前沿研讨会上,来自伊利诺伊大学芝加哥分校的刘兵教授以“打造能够终身学习的机器”为主题,介绍了终身机器学习(Lifelong Machine Learning,LML),引起了广泛关注。...
  • 用同一个模型能解决很多任务 ...让在新任务上学习到的参数,使得其与之前任务上得到的参数的距离不是很远,每个参数都有一个b来控制它的重要程度 knowledge transfer mo...
  • 终身学习机器L2M

    2018-12-17 05:02:47
    目前人工智能以机器学习技术为核心,并依赖于庞大的数据支撑。但编程者无法预知所有可能出现的元素或面对的情景。当这些机器学习系统遇到程序和数据库中并未包含的特殊情形时...
  • 终身机器学习(Lifelong Machine Learning)综述

    万次阅读 多人点赞 2015-10-23 17:34:57
    大概有十几天了没有回来更新博客了吧,这期间遇到了大大小小各种事情,最悲伤的事应该是跟我关系最好的一个哥们的父亲去世了,被酒驾的人撞了,希望叔叔在天国安好!...所谓终身机器学习,就是这个模
  • 终身机器学习三位大牛并附上他们的个人主页链接: Daniel L.Sliver:此人是先驱级的人物,早期理论的奠基人 http://plato.acadiau.ca/courses/comp/dsilver/DLSWebSIte/Welcome.html 杨强:此人曾在华为诺亚方舟研究...
  • 新书推荐《终身机器学习(原书第2版)》长按二维码了解及购买ACM、AAAI和IEEE会士、伊利诺伊大学芝加哥分校刘兵教授和谷歌年轻研究员陈志源合作的全新力作。介绍持续学习这种高级机器学习...
  • 王的机器 - 快乐的终身学习者!

    千次阅读 2019-07-03 09:00:00
    微信公众号推荐历史精品文章机器学习机器学习的定义模型评估和选择线性回归正规化线性回归线性回归之玩转金郡 (实操)对率分类对率分类之玩转美亚(实操)线性回归和对率分类完结...
  • 来源:DARPA网站2019年3月,美国防高级研究计划局(DARPA)“终身学习机器”(L2M)项目研究人员在《自然·机器智能》杂志发表了其有关人工智能算法的研究结果,介...
  • 终身机器学习(Lifelong Machine Learning)》摘要: Lifelong Machine Learning (or Lifelong Learning) is an advanced machine learning paradigm that learns continuously, accumulates the knowledge learned...
  • 目录机器学习的下一步01. 异常检测 Anomaly Detection02. 可解释AI Explainable AI03. 对抗攻击 Adversarial Attack04. 终身学习 Life-long Learning05. 元学习 Meta-Learning06. 小样本学习 Few-shot Learning、...
  • 欢迎关注公众号-AI圈终身学习。 公众号首页回复“机器学习”查看所有系列文章。 机器学习基石课程大概八周,分为四个部分: When Can Machines Learn? Why Can Machines Learn? How Can Machines Learn? How Can ...
  • 作者:Chase Roberts编译:ronghuaiyang导读养成良好的单元测试的习惯,真的是受益终身的,特别是机器学习代码,有些bug真不是看看就能看出来的。在过去的一年里,我把大部分的工作时间都花在了深度学习研究和实习上...
  • 欢迎关注公众号-AI圈终身学习。 公众号首页回复“机器学习”查看所有系列文章。 上节主要介绍了: 二元分类(Yes/No)问题 线性可分数据的感知器演算法(PLA) 针对线性不可分数据改进的贪心算法Pocket Algorithm。 ...
  • 机器学习下一步

    2019-02-23 20:25:00
    知道我不知道(Anomaly Deection) 说出为什么我知道的(Expanable AI) 机器的错觉(防止Adversarial ...终身学习(life-long Learning) 学习如何学习(Meta-learning) 极少训练资料(Few-show learning) 更进...
  • 作者:Chase Roberts编译:ronghuaiyang导读养成良好的单元测试的习惯,真的是受益终身的,特别是机器学习代码,有些bug真不是看看就能看出来的。在过去的一年里,我把大...
  • 半监督学习、迁移学习(终身学习) (元学习) seq2seq(Transformer) (Few/Zero shot learning) 无监督学习(BERT) 强化学习(更细化) (网络压缩) 生成对抗网络(GLOW) (无监督域适应) 为什么...
  • 欢迎关注公众号-AI圈终身学习。 公众号首页回复“机器学习”查看所有系列文章。 上节林老师讲了机器学习的定义与流程: 总结就是:训练数据D在演算法A的观察学习下,从假设集合H中,选择出最好的一个假设h得到...
  • 我相信终身学习是人工智能和机器学习的一个必要步骤。没有它,机器不太可能有真正的智能。我的博士生和我 2016 年年底写了一本书叫《终身机器学习》。如果你有兴趣,可以看一看 (https://www.cs.uic.edu/~liub/...
  • 宋乐教授是蚂蚁金服人工智能部研究员,同时也是美国乔治亚理工大学终身副教授和机器学习中心副主任。他还是国际机器学习协会董事以及多个国际顶级会议的领域主席。 机器学习在蚂蚁金服各个场景,已经像水和油一样...
  • CCAI大会前夕,CSDN专访了南加州大学计算机系终身教授、机器学习中心主任刘燕,她的主要研究项目是时间序列和时空序列数据的分析与学习,我们就机器学习在医疗中的应用以及一些机器学习中的分析方法进行了请教。...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 130
精华内容 52
关键字:

机器学习终身学习