精华内容
下载资源
问答
  • 综述各种强化学习方法在机器人中的具体应用-英文综述
  • 深度学习扫地机器人

    2020-03-29 06:19:30
    深度学习扫地机器人 如今,家电的智能化是行业大趋势,从解放人类的双手到成为用户的人工智能伴侣,家用电器的应用场景不断拓展。 这其中,扫地机器人已成为家电行业逆势增长的一个突出品类。扫地机器人进入...

    深度学习扫地机器人

    在这里插入图片描述

    如今,家电的智能化是行业大趋势,从解放人类的双手到成为用户的人工智能伴侣,家用电器的应用场景不断拓展。

    在这其中,扫地机器人已成为家电行业中逆势增长的一个突出品类。扫地机器人进入中国市场较晚,但是到2018年市场规模已经达到了577万台。近6年来,该品类的市场规模翻了10倍。根据某主流电商平台数据显示,2019年全年,扫地机器人的销售额已经占到了智能家电销售总额的三成以上,并且销量同比增速超过17%,远远领先家电大盘。并且我国2019年扫地机器人销量已经超过了美国和西欧的总和。不过当前扫地机器人也面临增长瓶颈,在传统清洁功能已经发展较为完善后,厂商们普遍开始从AI方面寻找突破点。

    在这里插入图片描述

    今天,科沃斯机器人发布了旗下最新一代扫地机器人地宝T8 AIVI,据称这也是他们首次将dToF技术用于扫地机器人的视觉识别系统中。同时科沃斯通过神经网络算法的融入进一步提升了扫地机器人的AI能力。科沃斯此次在T8 AIVI中搭载的AIVI人工智能和视觉识别系统,无疑代表了他们对扫地机器人智能化的另一次突破性尝试。

    先要扫的干净,再说别的

    一款优秀的智能家电,首先要是一款优秀的家电,因此其核心功能必须要过硬。反映在扫地机器人上,就是它的清洁能力。科沃斯表示,传统扫地机器人在使用中遇到的最常见问题就是顽固污渍需要人工二次清洁,这也让用户体验大打折扣。科沃斯T8 AIVI此次改变了传统通过湿拖的方式,转而采用了其自研的OZMO Pro高频擦地系统,通过高频振动来提升清洁力。
    在这里插入图片描述

    其实这就相当于电动牙刷相对于传统牙刷的区别,480次/分钟的高频振动速度已经远超传统扫地机器人刷头的转动速度,也保证了对顽固污渍的反复擦拭。除了清洁力,扫地机器人的续航能力也是用户较为关心的。T8 AIVI此次配备了5200mAh电池,据称续航时长可以达到180分钟,单次清扫面积最大为300平米。

    高像素、dToF加持,识物建图更快更准

    清洁能力的充分发挥,需要扫地机器人具备精准高效的自主导航能力。2009年以前,随机式技术导致的漏扫、重复清扫、容易卡困、低效率等问题让扫地机器人的用户体验普遍较差。但随着2010年首款采用激光导航的Neato XV-11和采用视觉导航的Navibot落地,扫地机器人行业开始全面进入了全局规划时代。SLAM和vSLAM算法的应用也让扫地机器人对用户房间地图的构建更加精准和高效。正因如此,目前图像传感器和算法处理技术都成为了扫地机器人竞争力的核心。此次科沃斯T8 AIVI升级的重点就是其自主研发的AIVI人工智能和视觉识别系统。科沃斯相关负责人说,在没有引入AI技术前,像家中的电源线、袜子、拖鞋这样的常见物品都会成为扫地机器人工作的障碍。“和电源线缠绕在一起、把袜子吸进尘盒、推着拖鞋满地跑,以前这些都是扫地机器人的家常便饭。”

    在这里插入图片描述

    科沃斯表示,他们是第一次将200万像素传感器应用在了扫地机器人上,并且通过神经网络算法来提升扫地机器人的物体识别速度和准确度。据称T8 AIVI的单帧识别率提升了5%,而识别速率是原来的3倍,得益于识别的准确和快速,扫地机器人与障碍物的缠绕率可以降低60%。值得一提的是,此次T8
    AIVI首次将dToF(直接测量飞行时间法)技术用在了扫地机器人上。不久前发布的苹果新款iPad Pro搭载的激光雷达就采用了类似的dToF技术。dToF技术是一种通过计算光子飞行时间差来计算距离的方法。科沃斯相关技术负责人说,相比行业中常见的LDS导航,dToF技术可以增加激光雷达的扫描范围,并且提升扫描精度。同时扫地机器人对于深色物体的识别率,以及对光线干扰的抵御能力都会提高。“不论是在弱光还是强光环境下,甚至在玻璃和落地窗前,我们的扫地机器人也可以正常工作。”据介绍,在高精度激光雷达和dToF技术的加持下,T8 AIVI的扫描精度提升了4倍,扫描距离也提升了一倍。

    在这里插入图片描述

    目前,dToF技术的实现难度和实现成本都比较高,通常我们只能在自动驾驶汽车中见到采用了dToF技术的激光雷达。科沃斯也是业内首次将该技术落地到扫地机器人中。当前,扫地机器人看的“更快”、“更准”,是用户最为迫切的需求,也更是行业后续发展的必然趋势。不论是AI算法的引入还是dToF技术的落地,都表明了科沃斯将在扫地机器人行业做 “第一个吃螃蟹的人”,而作为第一个尝鲜者,他们也需要完全依靠自身去摸索。高清摄像头和AI算法的结合让T8 AIVI对物体的识别能力得到保证,而dToF激光雷达的应用让其对房屋环境扫描的范围、精度、效率及光线适应能力进一步提高。科沃斯相关技术负责人说,在物体识别方面,科沃斯后期将会通过OTA升级的方式增加识别种类,并不断完善AIVI系统。

    扫地机器人还能成为AI管家

    当下随着5G、语音识别、人工智能技术的快速发展,各大厂商也在不断发掘扫地机器人的更多智能化应用场景。可以说目前扫地机器人的“扫地”功能已经日趋完善,但“机器人”属性还有较大优化空间。科沃斯说,他们没有把自己定位为传统的家电品牌和企业,而是希望打造更加智能化和人性化的产品,解决用户痛点,“让机器人成为家人。”此次发布的T8 AIVI,不仅可以在清扫过程中识别障碍,还可以在地图上进行标注。用户可以直接通过APP查看障碍物位置,许多贵重物品也因此失而复得。

    在这里插入图片描述

    T8 AIVI搭载的这枚200万像素高清摄像头,可以在用户需要时对家中进行实时监控。用户可以借此了解宠物和家中门窗情况。同时T8 AIVI还可以进行全屋巡航,在用户长时间离开家的时候充当智能监控。目前,通过语音控制扫地机器人已经逐渐普及,但此次科沃斯在T8 AIVI上增加了语音互动功能,用户可以直接通过手机发送语音,并通过扫地机器人播放音频,与家中的宠物进行互动。

    在这里插入图片描述

    可以看到,除了清洁场景,科沃斯在拍照、视频,语音互动等应用场景都进行了探索。科沃斯相关负责人说,“清洁是用户的核心需求,我们会不断增强、完善AI对清扫能力的赋能 ,同时也会尝试AI在更多应用场景和领域的发展。”目前,AIoT生态建设是科技行业中不同细分领域的交汇点,扫地机器人与其他IoT设备进行联动,成为智能家居系统中的一环,都是后续发展的方向之一。

    把握关键技术,实现瓶颈突破

    有业内人士表示,扫地机器人行业目前还有较大的成长空间,但如果没有新技术、新变革去推动需求爆发,短期内高速增长仍然会存在困难,比如2019年国内扫地机器人市场就几乎没有增量。

    在这里插入图片描述

    ▲数据来源:海通证券

    “产品创新力的缺乏是关键问题。”十年前,科沃斯还是一家吸尘器代工企业,而今天,科沃斯自主品牌机器人的销量已经超过350万台,以超过四成的市场份额位于国内扫地机器人市场首位。

    在这里插入图片描述

    ▲数据来源:海通证券

    对于新技术打造,科沃斯一直“毫不吝啬”。从2018年初到2019年上半年,科沃斯的研发费率一直维持在3.8左右,普遍高于行业内主要竞争对手。机器视觉方面的大量投入,加之科沃斯长期以来积累的大量数据,都成为了科沃斯进一步巩固头部市场份额的护城墙。从AI视觉识别技术到dToF激光雷达技术,从OZMO Pro电动高频擦地系统到全屋AI管家,科沃斯的核心优势,就是他们的核心技术。

    结语:寻找创新点,用AI赋能,探索更多场景

    此次科沃斯发布的旗舰级T8 AIVI扫地机器人,在强化核心清洁功能的基础上,通过AI赋能,让其拥有了更好的与用户互动的能力。通过十余年来积累的行业经验和用户群体,科沃斯能够较为准确地把握用户痛点,并有针对性地推出视频、拍照、语音等AI新功能,覆盖用户需要的更多场景。而这也是家电智慧化大趋势的必然要求。目前我国城镇家庭有2.3亿户,而2018年中国扫地机器人家庭保有量仅为每百户3.5台,市场渗透率远低于北美和欧洲地区。即使市场空间很大,扫地机器人行业仍然在2019年遇到了发展的瓶颈期。有分析机构指出,目前市场仍然处在技术变革后的市场升级阶段,后续技术革新带来的产品体验、成本优化将逐步成为头部企业强化优势的核心竞争力。当下,新晋挑战者向老玩家发起挑战,老玩家也在把握现有优势的基础上不断发力硬件、算法技术的研发。扫地机器人市场在2020年能否实现新的突破,我们拭目以待。

    展开全文
  • 多亏了机器学习,尤其是深度学习,我们现在有了对周围环境有很好的视觉理解的机器人和设备。 迄今为止,大多数人工智能(AI)研究都集中视觉方面。多亏了机器学习,尤其是深度学习,我们现在有了对周围环...

    https://www.toutiao.com/a6641714869450048007/

     

    2019-01-02 10:05:48

    导读: 迄今为止,大多数人工智能(AI)研究都集中在视觉方面。多亏了机器学习,尤其是深度学习,我们现在有了对周围环境有很好的视觉理解的机器人和设备。

    迄今为止,大多数人工智能(AI)研究都集中在视觉方面。多亏了机器学习,尤其是深度学习,我们现在有了对周围环境有很好的视觉理解的机器人和设备。但我们不要忘记,视觉只是人类的一种生物感官。为了更好地模拟人类智能的算法,研究人员现在将注意力集中在从感觉运动系统和触觉反馈中获取的数据集上。有了这种额外的感官,未来的机器人和人工智能设备将对它们的物理环境有更大的认识,从而打开新的用例和可能性。

    人工智能系统

    人工智能爱好者、技术专家、深度学习和神经语言编程专家Somatic创始人贾森?托伊(Jason Toy)最近发起了一个项目,重点培训人工智能系统,使其能够基于触觉输入与环境互动。该项目名为SenseNet: 3D物体数据库和触觉模拟器,致力于将机器人对周围环境的映射扩展到视觉之外,包括轮廓、纹理、形状、硬度和触觉物体识别。

    Toy最初的目标是在感知运动系统和触觉反馈方面创造一波人工智能研究浪潮。除此之外,他还设想,经过人工训练的机器人最终将被用于开发机器人手,用于工厂和配送中心,完成装箱、零部件回收、订单履行和分类等工作。其他可能的应用包括用于食品制备、家务和组件组装的机械手。

    机器人学和深度强化学习

    SenseNet项目依赖于深度强化学习(deep reinforcement learning, RL),这是机器学习的一个分支,它借鉴了有监督和无监督的学习技术,依赖于一种基于监控交互的奖励系统,以找到更好的方法迭代改进结果。

    许多人认为,RL提供了一种开发自主机器人的途径,这种机器人可以在最少的人类干预下掌握某些独立行为。例如,对深度RL技术的初步评估表明,使用仿真技术开发灵巧的3D操作技能是可能的,而不必手工创建表示。

    使用SENSENET数据集

    SenseNET及其支持资源旨在克服许多共同的挑战

    研究人员在从事基于触控的人工智能项目时面临的问题。一个开源的形状数据集,其中大部分可以3D打印,以及一个触摸模拟器,让人工智能研究人员加快项目工作。图1显示了SenseNET数据集中包含的一些形状的示例。

    深度学习对机器人有多大的影响

    图1:SenseNet 3D对象的例子

    GitHub*上的SenseNet存储库提供了3D对象数据集之外的大量资源,包括培训示例、分类测试、基准测试、Python*代码示例等等。

    通过添加一个模拟器,研究人员可以加载和操作这些对象,从而使数据集更加有用。Toy解释说:“我们在子弹物理引擎上建立了一个层。Bullet是一个广泛应用于游戏、电影以及最近的机器人和机器学习研究中的物理引擎。这是一个实时物理引擎,模拟软硬体,碰撞检测和重力。我们包括一个被称为MPL的机械手,它可以在手指中进行全方位的运动,我们在食指尖端嵌入了一个触摸传感器,可以让手模拟触摸。图2显示了使用MPL支持的一些手势。

    深度学习对机器人有多大的影响

    图2:SenseNet中可用的机器人手势

    支持技术

    为了加速训练和测试许多强化学习算法玩具使用英特尔的强化学习教练-机器学习测试框架。在Python*环境中运行,强化学习教练允许开发人员建模代理和环境之间的交互,如图3所示。

    深度学习对机器人有多大的影响

    图3:通过组合构建块来建模代理

    通过结合各种构建模块,提供可视化工具动态显示训练和测试结果,增强学习教练使训练过程更加有效,并支持在多个环境下对代理进行测试。先进的可视化工具,基于在训练序列中收集的数据,可以方便地通过Coach仪表板访问,并用于调试和优化被训练的代理。

    开发人员的机会

    至于其他开发者的机会,Toy说:“不要害怕打破常规。深度学习的热潮主要集中在卷积神经网络(CNNs)和计算机视觉领域,因为这两个领域的学习成果最多。“其他未被探索的领域在人工智能方面提供了洞见,有时还会带来突破,而这些不太受欢迎的领域可能会引领人们走向有希望的方向。”

    最后,Toy说:“不要仅仅从数学和计算机科学的角度研究人工智能。看看其他领域,比如计算神经科学和认知科学。”

    来源:英特尔

    展开全文
  • 全文共4687字,预计学习时长9分钟 ...第二种方法是应用一款深度学习聊天机器人,它能自行处理所有对话,无需客服团队。 聊天机器人的力量如此之大,以至于仅一年内,Facebook Messenger上聊天机器人的数量就从10万...

    全文共4687字,预计学习时长9分钟

    创建一款聊天机器人时,目标应该是令其仅需最少的人类干预甚至无需人类干预。这一目标可通过两种方法实现。

    第一种方法是,客服团队接收来自人工智能的建议,以改进客户服务方式。第二种方法是应用一款深度学习聊天机器人,它能自行处理所有对话,无需客服团队。

    聊天机器人的力量如此之大,以至于仅一年内,Facebook Messenger上聊天机器人的数量就从10万个增长到了30万个。诸多受欢迎的品牌,如万事达卡,也都迅速推出了自己的聊天机器人。

    但是,在深入了解品牌如何利用聊天机器人之前,需要先搞清楚深度学习机器人到底是什么。

    什么是深度学习机器人?

    深度学习聊天机器人通过“深度学习”这一过程从零开始学习。在此过程中,聊天机器人通过机器学习算法被创造出来。深度学习机器人从自身数据和人与人的对话中学习一切内容。

    图源Pinterest

    聊天机器人经过训练后,对于文本有其自己的意识,可以教它如何与人类交谈。也可以用电影对白或剧本教学。然而,人类对话是创造最佳深度学习聊天机器人的首选方式。请记住,所拥有的数据越多,机器学习的效果越好。

    既然已经知道了深度学习聊天机器人是什么,接下来试着理解如何构建一款深度学习聊天机器人。

    构建一款深度学习聊天机器人

    1.准备数据

    任何机器学习相关流程的第一步都是准备数据。至少有数以千计客服与客户之间的历史对话,才足够用来训练聊天机器人。

    这些对话应尽可能的详细且多样化,以便为深度学习聊天机器人提供充足的数据点。这一特定过程叫做本体构建。此步骤中,唯一的目标应是收集尽可能多的对话。

    2.数据重构

    开发者可以根据数据源判断是否需要这一步骤。如果数据没有被很好地分离,则需将数据重构为一个个独立观察行。

    这些观察也可叫做“消息-回复对”,它们将被添入分类器中。

    此步骤旨在确定/明确对话中的回复方。所有接下来发生的对话都可用作文本指标,以助预测回复。

    创建消息-回复对时可能需要设置一些限制条件,比如:

    对话应仅发生于两人之间——这样可以清楚地知道消息是发给谁的。一分钟之内发送的几条消息可以合并为一条。只有五分钟内发送的回复才可以与相应的消息配对。

    重构过后,消息-回复对看起来可能像这样:

    嗨,最近如何?没啥特别的,最近一直下雨。今天我好累。我也是。我今天忙成狗。

    一旦积累了上面这种数据,就需要对数据进行清理。要移除网址、图片来源信息、停用词等等。

    图源Medium

    3.预处理

    下一步是进行预处理。这一步中需要为机器学习添加语法,以便聊天机器人正确理解拼写错误。

    此步骤还涉及到令牌化、词干化和词形化的过程。这使得对话对聊天机器人来说具有可读性。这一步骤中还可以使用免费的NTLK工具。

    在预处理的最后一步,可以为机器人创建对话分析树作为参考。

    4.选择机器人类型

    完成本体构建和预处理后,需要选择所要创建的聊天机器人类型。

    有以下两种主要类型:

    · 生成式——在生成模型中,聊天机器人无需任何类型的预定义储存库。这种形式十分高级,聊天机器人能利用深度学习回复询问。

    · 检索式——此种形式下,聊天机器人拥有应对不同询问的回复储存库。需要根据问题选择合适的回复,机器人会遵从这一模式。

    检索模型很少出错,因其完全基于检索数据。然而,它自身有局限性——过于死板,而且回复也很不人性化。

    相反地,深度学习聊天机器人可以轻松地根据客户的问题和需求改变回复风格。然而,即使是这类聊天机器人也无法完美地模仿人类对话。

    聊天机器人的生成模型也很难完善,由于该领域的知识相当有限。事实上,深度学习聊天机器人尚未通过图灵测试。

    虽然在询问较为简单时检索式聊天机器人非常有用,但应对复杂询问则需要生成式聊天机器人,尤其是在聊天机器人需要记录先前消息内容的情况下。

    检索式聊天机器人只能回答简单直接且易于回答的询问。

    5.生成词向量

    当频繁使用一些词汇时(比如LOL——大笑,和 LMAO——笑死我了,这类网络用语),就需要用到词向量。它们是社交媒体上常用的词汇,但很少存在于数据集中。

    虽然使用预训练过的向量更容易,但是当有些词不在其他的词向量列表中时,就需要创建自己的词向量。

    想要生成自己的词向量,需要采用Word2Vec模型的方法。Word2Vec模型是根据单词如何出现在句子中来创建词向量的。

    具有相似上下文的词在向量空间中会被放置的更近。可以使用Python脚本训练Word2Vec模型。或者使用TensorFlow Seq2Seq函数也会达到相同效果。

    6.构建Seq2Seq模型

    想要构建Seq2Seq模型,可以使用Tensorflow。为此,需要使用与此类似的Python脚本。

    遵循代码并尝试为深度学习聊天机器人创建Python脚本。此模型最重要的部分就是Tensorflow中的embedding_rnn_seq2seq()函数。

    7.追踪进程

    创建了Seq2Seq模型后,需要追踪训练过程。从某种意义上说,这部分充满乐趣,因为可以看到深度学习聊天机器人的训练过程。

    应该通过输入字符串在循环中的不同点测试聊天机器人。在输出中会获得无填充和非EOS令牌。

    起初,大多数回复都是空白,因为聊天机器人只会输出填充和EOS令牌。接下来,聊天机器人将开始使用输入数据中频繁出现的短小的输出字符串,如LOL,进行回复。

    慢慢地,聊天机器人将开始形成自己的回复并给出更长更完整的句子。随着时间的推移,答案的结构和语法都会变得越来越好。

    8.添入应用

    Seq2Seq模型准备就绪并经过测试后,在人们可以与其互动的应用中启动它。为便于解释,此处以Facebook Messenger为例,因为这是添加聊天机器人最简便的应用之一。

    第一步是设置Heroku服务器,下载Heroku toolbelt即可。接下来,需要安装Node,创建一个新文件夹,然后启动一个新的Node项目。还必须安装其他全部Node dependencies。这可以通过以下方式完成:

    npm install express request body-parser –save
    The next step is to create an index.js file and authenticate the bot
     by:
    ‘use strict’
    const express = require(‘express’)
    const bodyParser = require(‘body-parser’)
    const request = require(‘request’)
    const app = express()
    app.set(‘port’, (process.env.PORT || 5000))
    // Process application/x-www-form-urlencoded
    app.use(bodyParser.urlencoded({extended: false}))
    // Process application/json
    app.use(bodyParser.json())
    // Index route
    app.get(‘/’, function (req, res) {
                res.send(‘Hello world, I am a chat bot’)
    })
    // for Facebook verification
    app.get(‘/webhook/’, function (req, res) {
                if (req.query[‘hub.verify_token’] === 
    ‘my_voice_is_my_password_verify_me’) {
                            res.send(req.query[‘hub.challenge’])
                }
                res.send(‘Error, wrong token’)
    })
    // Spin up the server
    app.listen(app.get(‘port’), function() {
                console.log(‘running on port’, app.get(‘port’))
    })
    Create a file and name it Procfile.Paste the following in it:
    web: node index.js
    After committing all the code with Git, you can create a new Heroku
     instance by:
    git init
    git add .
    git commit –message “hello world”
    heroku create
    git push heroku master

    需要按照此推文中(https://shanebarker.com/blog/facebook-messenger-chatbot/)提到的方式设置Facebook应用程序。之后,设置聊天机器人并自定义内容。可以按照此处教程(https://github.com/jw84/messenger-bot-tutorial),它会帮助快速完成设置。

    9.部署TensorFlow模型

    聊天机器人已准备就绪,现在要将所有内容放在一起并部署TensorFlow模型。需要使用Flask服务器进行部署,因为TensorFlow和Node之间没有很多良好的接口。

    深度学习聊天机器人的Express应用程序与Flask服务器进行交互。

    获取Flask服务器代码:https://github.com/adeshpande3/Chatbot-Flask-Server

    获取深度学习聊天机器人的index.js文件:https://github.com/adeshpande3/Facebook-Messenger-Bot/blob/master/index.js

    10.测试深度学习聊天机器人

    构建深度学习聊天机器人的最后一步是进行实时测试。前往Facebook并找到个人页面。只需向个人页面发送消息,聊天机器人就会开始回复。但首次回复时,聊天机器人可能回复得有点慢,因为服务器需要时间启动。

    然后就可以在查看深度学习聊天机器人回复消息时表现如何了。

    如果回复不准确或有语法问题,则可能需要向聊天机器人添加更多数据集。

    11.改善方法

    在与深度学习聊天机器人交流后,将深入了解如何提高其性能。

    可以对聊天机器人进行如下更改:

    添加更多数据集以帮助其从更多对话中更好地学习。这有助于提高其会话技能,并帮助它对询问提供更好的多种回复。还需要处理编码器和解码器消息完全不相关的情况。例如,如果某人有一天与聊天机器人进行了对话,然后在第二天就完全不相关的主题开始另一个对话,那么机器人应该知道。要依据实际情况有针对性地训练机器人。使用双向长短期记忆(LSTMs)、分组和注意力机制。还应该考虑调整超参数,例如LSTM层数、LSTM单位、训练迭代、优化器选择等。

    总结

    深度学习聊天机器人能从对话中学习并最终帮助解决顾客的询问。目标应该是尽可能彻底地对其进行训练,以提高准确性。

    虽然开发深度学习聊天机器人不像开发检索式聊天机器人那么容易,但它可以帮助自动回复大多数客户的支持需求。

    确保花费了足够的时间和精力用于重构数据并将其置入消息-回复对中。预处理是开发一款可靠的深度学习聊天机器人的关键。

    在设计此聊天机器人时,一些Python知识是必需的,会使用TensorFlow,Express和Node也是必要技能。

    留言 点赞 关注

    我们一起分享AI学习与发展的干货
    欢迎关注全平台AI垂类自媒体 “读芯术”

    (添加小编微信:dxsxbb,加入读者圈,一起讨论最新鲜的人工智能科技哦~)

    展开全文
  • deep q-learning,能发现bug,可以把球击到上面,...今天介绍如何利用深度强化学习用到机器人上 强化学习解决连续决策问题,目标得到最优策略 马尔科夫决策过程概率图,未来只与当下有关 回报有递归的形式,价值函...

    deep q-learning,能发现bug,可以把球击到上面,让他可以自己玩;

    alphago 文章在2016.2017的nature

    alphago zero 扩展到了其他游戏

    alphago start 深度强化学习玩星际争霸

    今天介绍如何利用深度强化学习用到机器人上

    强化学习解决连续决策问题,目标得到最优策略

    马尔科夫决策过程概率图,未来只与当下有关

    回报有递归的形式,价值函数也有这种递归关系(这里用到的是随机策略),即贝尔曼方程。

    actor-critic是基于策略和基于价值的结合

    几种不同类型的价值函数的估计:

    DQN:

    首先设定目标损失函数,y类似监督学习的标签,是TD Target,基础是q的贝尔曼方程。(类似Q-Learning中的更新环境)

    损失函数求梯度

    完整算法:

    每次都是把数据保存在D中,然后用这个batch的数据训练。

    从长远利益出发

     

    无法用于连续行为空间,比如机器人运动。因此另一种方法,策略梯度法:

    蒙特卡洛策略梯度

    Q Actor-Critic比上一个收敛更快,方差更小。

    Advantage Actor-Critic,又加了一个神经网络。更快,方差更小。

     

    在机器人领域的研究:

    深度强化学习的主要问题:

    1、需要很多样本才能收敛;

    2、成功案例多来自于仿真环境,样本手机慢

    3、显示中训练不能加速

     

    解决方案:

    首先在仿真中训练,再应用

    或者模仿学习,人为示范,学习环境动态模型

     

    1、仿真-现实转换

    论文:

    仿真中随机花生成情况;

    使用现实采样数据更新仿真分布

    采用PPO算法

     

    2、模仿学习

    论文:

    先捕捉动物运动,然后放到仿真环境。

    需要模型转换,然后模仿,然后适应

    IK算法,指定仿真模型关键点,再用IK,计算姿态,追踪关键点。

    RL也是用PPO  reward来自估计与真实的误差

    动态参数

     

    3、基于模型的强化学习

    paper

    用神经网络逼近P,结果是可以较小时间和数据

     

    重点是实现,idea不是那么重要!

    深度强化学习在自动驾驶领域应用

    自动驾驶仿真器

    CARLA

    paper

    展开全文
  • 聊天机器人中深度学习

    千次阅读 2017-05-20 15:22:58
    Part1简介——聊天机器人中深度学习 聊天机器人,也称作是会话代理,或者对话系统,是非常热门的话题。微软、Facebook、Apple公司、Google、微信以及Slack公司都对此付出了大量的人力物力。也有很多的创业公司
  • 运用深度学习机器人理解自然语言 2016-08-16 16:33 转载 CSDN 1条评论 雷锋网按:本文作者Jonathan是21CT的首席科学家。他主要研究机器学习和人工智能如何使用文本和知识让计算机变得更智能。...
  • 使用深度学习打造智能聊天机器人

    万次阅读 多人点赞 2016-07-13 20:22:41
    /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ ... (想更系统地学习深度学习知识?请参考:深度学习枕边书)   聊天机器人(也可以称为语音助手、聊天助手、对话机器人...
  • 微软人工智能首席科学家邓力此前接受CSDN的采访时曾表示深度强化学习是A.I. Bots的关键技术,这篇发表于venturebeat的文章,他详细解析了为什么需要A.I. Bots,A.I. Bots的实现,以及深度强化学习如何发挥作用...
  • 深度学习-聊天机器人

    2019-07-02 08:49:48
    应用目的或者技术手段进行抽象,可以有以下两种划分方法: 目标驱动(Goal –Driven)VS 无目标驱动(Non-Goal Driven)聊天机器人 目标驱动的聊天机器人指的是聊天机器人有明确的服务目标或者服务对象;无目标...
  • NVIDIA 自主机器人深度强化学习

    千人学习 2018-07-26 13:44:38
    机器人的研究与开发是当前学界和工业界方兴未艾的关注焦点。NVIDIA 自主机器人与深度强化学习视频教程基于Jetson平台展开,是NVIDIA针对...这次公开课也会介绍机器人研发的新热点 - 强化深度学习在机器人领域的应用
  • 深度学习应用实例--对话机器人--简介 对话机器人按功能分类 单轮会话场景:QA形式,一问一答,标准答案只有一个,相似问句会有很多个。   多轮会话场景:基于意图(intents)和实体(entities)识别,预先...
  • 深度学习在智能机器人应用

    千次阅读 2019-02-26 19:57:37
    下面来介绍一下深度学习在智能机器人应用机器人发展的趋势是人工智能化,深度学习是智能机器人的前沿技术,也是机器学习领域的新课题。深度学习技术被广泛运用于农业、工业、军事、航空等领域,与机器人的...
  • 深度学习构造聊天机器人简介

    千次阅读 2017-12-05 23:54:03
    聊天机器人(也可以称为语音助手、聊天助手、对话机器人等)是目前非常热的一个人工智能研发与产品方向。很多大的互联网公司重金投入研发相关技术,并陆续推出了相关产品,比如苹果Siri、微软Cortana与小冰、Google ...
  • 深度学习在目标跟踪应用

    千次阅读 2017-08-24 10:28:56
    原文地址:深度学习在目标跟踪应用。作者为中科院一学生,总结的特别特别好。  开始本文之前,我们首先看下方给出的3张图片,它们分别是同一个视频的第1,40,80帧。第1帧给出一个跑步者的边框(bounding-box...
  • 聊天机器人是“通过听觉或文本方法进行对话的计算机程序”,苹果的Siri, 微软...这篇文章,我们将更多地关注只采用文本操作的聊天机器人。Facebook一直大力投资FB Messenger机器人,它允许小型企业和组织创建...
  • 本文来自东南大学教授漆桂林携程技术中心主办的深度学习Meetup的演讲内容,介绍了知识图谱的推理技术及其高考机器人中应用。 随着信息化、互联网化,如何海量的信息获取核心的知识体系、知识图谱,并...
  • 本文翻译自Adam King的《Optimizing deep learning trading bots using state-of-the-art techniques》,英语好的建议读原文,本译本...在上篇文章,我们创建了不会亏钱的BTC交易机器人。尽管agents是赚钱的,但...
  • 聊天机器人中深度学习技术(引言) 时间 2016-05-11 07:21:44 CSDN 原文 http://geek.csdn.net/news/detail/73109 主题 深度学习 原文链接: DEEP LEARNING FOR CHATBOTS, PART 1 – ...
  • 机器人深度学习的关键大数据

    千次阅读 2017-10-11 13:42:43
    目前,我的团队已经开发出多款工业机器人产品,并广泛应用在全球工业生产当中,其中包括视觉引导、远程操作和人机协作等方面的产品。      人类的生产制造首先从手工生产开始,再到自动化生产,接着是...
  • 深度强化学习控制移动机器人

    万次阅读 2017-06-10 17:47:31
    使用深度强化学习控制移动机器人在复杂环境避障、收集物品到指定点。所用到的算法包括DQN、Deuling-DDQN、A3C、DDPG、NAF。
  • 深度学习:未来机器人的进化途径

    千次阅读 2014-08-04 08:49:51
    深度学习:未来机器人的进化途径 发表于2014-07-31 17:33| 3875次阅读| 来源Gigaom| 28 条评论| 作者Derrick Harris 大数据机器学习深度学习人工智能 摘要:机器人帮助人做诸如递咖啡等简单的事情...
  • 背景 计算机视觉是利用摄像机和电脑代替人眼,使得计算机拥有类似于...本文将通过以OCR(光学字符识别)的场景来介绍深度学习在计算机视觉应用。 基于深度学习的OCR 文字是不可或缺的视觉信息来源。相对...
  • 机器学习资源汇总(更新整理):https://github.com/ZhiqiangHo/awesome-machine-learning 强化学习资源汇总(更新整理):...机器人学习资源汇总(更新整理):https://github.com/ZhiqiangHo/...
  • 研究方向为深度学习与计算机视觉(目标跟踪等)。 开始本文之前,我们首先看上方给出的3张图片,它们分别是同一个视频的第1,40,80帧。第1帧给出一个跑步者的边框(bounding-box)之后,后续的第40帧,80帧...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 41,938
精华内容 16,775
关键字:

深度学习在机器人中的应用