精华内容
下载资源
问答
  • CSDN的小伙伴们,福利来了,以下总结近年来的机器人和计算机视觉顶会的论文集,赶紧收藏吧!后续还会持续更新,尽请期待,首先介绍一个收录较为完全的网站: http://www.cvpapers.com/ CVPR2017: ...

    CSDN的小伙伴们,福利来了,以下总结近年来的机器人和计算机视觉顶会的论文集,赶紧收藏吧!后续还会持续更新,尽请期待,首先介绍一个收录较为完全的网站:
    http://www.cvpapers.com/
    CVPR2017:
    http://www.cvpapers.com/cvpr2017.html
    ICCV2017:
    http://www.cvpapers.com/iccv2017.html
    ECCV2016:
    https://link.zhihu.com/?target=https%3A//docs.google.com/document/d/175ORVlLMdjOscJ7-93WIt0bieUiu21vtlL7J-7-7qBI/pub
    CVPR2016:
    https://pan.baidu.com/share/link?shareid=2175483293&uk=153684689#list/path=%2F
    ICRA2017:
    https://link.zhihu.com/?target=https%3A//pan.baidu.com/s/1sl9L2ih
    密码:cnup
    ECCV2016:
    https://link.springer.com/content/pdf/10.1007%2F978-3-319-46448-0.pdf

    展开全文
  • 编辑丨计算机视觉SLAM近日,机器人领域知名会议 RSS(Robotics: Science and System)公布了今年的最佳论文、最佳学生论文、杰出审稿人、时间检验奖等重要奖项。其...

    编辑丨计算机视觉SLAM

    近日,机器人领域知名会议 RSS(Robotics: Science and System)公布了今年的最佳论文、最佳学生论文、杰出审稿人、时间检验奖等重要奖项。其中,最佳论文奖和杰出审稿人奖都由华人学者摘得。

    与其他领域动辄接收上千篇论文的顶会不同,RSS 算是一个小众的机器人会议,每年接收的论文只有几十篇,录取难度比较高。从方向来看,RSS 接收的论文更偏重算法和数学,今年的建议投稿方向包括机制设计、机器人学习、控制与动力学、人机交互、机器感知、多机器人系统和医疗保健机器人等。偏应用的机器人文章可能更适合投 ICRA 和 IROS。

    受疫情影响,今年的 RSS 于 7 月 12 日至 16 日在线上举办,分为 Keynote、Workshop、Tutorial 等多个环节。在 Keynote 环节,美国宇航局喷气推进实验室高级研究科学家兼计算机视觉小组主管 Larry Matthies 介绍了「毅力号」火星车在登陆火星之后取得的进展。在 Workshop、Tutorial 等环节,来自多个研究机构的学者探讨了机器人视觉学习与推理、GPU 加速的机器人学习与控制等话题。相关视频可以在 Youtube 等平台找到。

    如今,备受关注的最佳论文等奖项也已出炉,以下是详细的获奖信息。

    最佳论文奖

    论文:TARE: A Hierarchical Framework for Efficiently Exploring Complex 3D Environments

    • 论文主页:https://roboticsconference.org/program/papers/018/

    • 作者:Chao Cao、Hongbiao Zhu、Howie Choset、Ji Zhang

    • 机构:CMU

    让机器人在复杂的 3D 空间中自主探索是一个颇具挑战性的问题,因为它需要同时完成两项任务:1)在线更新环境表示,以跟踪已探索的区域;2)搜索连续可遍历路径的表示,以引导机器人探索未知区域。

    在这篇论文中,研究者提出了一种在复杂 3D 环境中自主探索的方法,其探索速度比当前的 SOTA 方法还要快。具体来说,该方法使用了一种分层框架:第一层在局部规划范围内保持环境的高分辨率表示并计算详细路径;第二层在全局范围内保持环境的低分辨率表示并计算粗略路径。

    该架构表明,在机器人附近进行详细的数据处理是最高效的,牺牲远离机器人区域的细节计算可以提高计算速度。该方法根据路径的长度优化整个探索路径。此外,局部区域的路径在运动动力学上是可行的,机器人可以遵循该路径快速前进。

    在实验中,该系统通过地面和空中机器人,自主探索了高维、复杂的室内外环境。与 SOTA 方法相比,该方法的探索效率(每秒平均探索量)提高了 80%,但消耗的算力还不到 SOTA 方法的 50%。

    该论文的第一作者 Chao Cao 本科毕业于香港大学,目前在卡内基梅隆大学读博,研究兴趣主要集中在机器人导航和运动规划。除了日常科研之外,他还在领导 DARPA 地下城市挑战赛 Team Explorer 竞赛的规划工作。

    最佳论文入围

    除了最佳论文奖外,本届 RSS 会议还有三篇论文入围了该奖项,分别如下:

    论文 1:Optimal Pose and Shape Estimation for Category-level 3D Object Perception

    • 论文主页:https://roboticsconference.org/program/papers/025/

    • 作者:Jingnan Shi、Heng Yang、Luca Carlone

    • 机构:MIT

    本文第一个贡献是为姿势和形状估计提供了首个可证明的最佳求解器;第二个贡献是在求解器中添加一个异常拒绝层(outlier rejection layer),从而使求解器对大量错误检测具有鲁棒性;第三个贡献是广泛的实验评估,该研究除了在模拟数据集和 PASCAL3D + 数据集上进行消融研究外,还将求解器与深度学习关键点检测器相结合,并表明所得到的方法比 ApolloScape 驾驶数据集中 SOTA 车辆姿态估计方法有所改进。

    论文 2:Moving sidewinding forward: optimizing contact patterns for limbless robots via geometric mechanics

    • 论文主页:https://roboticsconference.org/program/papers/031/

    • 作者:Baxi Chong、Tianyu Wang、Bo Lin、Shengkai Li、Howie Choset、Grigoriy Blekherman、Daniel Goldman

    • 机构:佐治亚理工学院、CMU

    本文中研究者使用几何运动规划方案,并开发了一个框架来设计、优化和分析接触模式,以在期望的方向上产生有效的运动。该研究提出的框架提供了接触模式设计的物理见解,并借鉴了经验准则。应用该框架,研究者不仅可以通过接触模式来控制 12-link 四肢机器人的运动方向,而且可以为电机较少的机器人(如 6-link 机器人)设计有效的侧绕步态。实验表明,该方法通过物理实验测试获得了很好的一致性。

    论文 3:Toward Certifiable Motion Planning for Medical Steerable Needles

    • 论文主页:https://roboticsconference.org/program/papers/081/

    • 作者:Mengyu Fu、Oren Salzman、Ron Alterovitz

    • 机构:北卡罗来纳大学教堂山分校、以色列理工学院

    本文提出了第一个用于可操纵引导针的运动规划器。它能够保证在临床上适当的假设下,在有限的时间内为指定的目标计算出准确的避障运动计划,或者通知用户不存在这样的计划 。该研究基于一种新的多分辨率规划方法,提出了一种高效、分辨率完备的可操纵针运动规划方法。与 SOTA 可操纵针运动规划器相比,研究表明,新的分辨率完整运动规划器计算计划更快、成功率更高。

    最佳学生论文

    本届 RSS 会议的最佳学生论文有两篇,分别由博世人工智能中心、丹麦技术大学等机构和南加州大学、英伟达等机构的研究者获得。

    论文 1:Learning Riemannian Manifolds for Geodesic Motion Skills

    • 论文主页:https://roboticsconference.org/program/papers/082/

    • 作者:Hadi Beik-mohammadi、Soren Hauberg、Georgios Arvanitidis、Gerhard Neumann、Leonel Rozo

    • 机构:博世人工智能中心、丹麦技术大学、图宾根大学、卡尔斯鲁厄理工学院

    为了与人类一起工作并在非结构化环境中执行任务,机器人必须学习新的运动技能并尽快适应未见过的环境。这需要学习模型来捕捉相关的运动模式,同时提供足够的灵活性以使已编码技能适应新的要求,例如动态避障。

    该研究引入了黎曼流形来解决这个问题,并提出从人类示范中学习黎曼流形。在人类身上,测地线(geodesics)是自然而然的运动技能。该研究通过在机器人末端执行器的位置和方向空间上的变分自编码器(VAE)来实现这一点。测地线运动技能可以让机器人规划数据流形上任意点之间的运动。这种技能还提供了一种简单的避障方法,即通过在线方式重新定义环境度量来避开障碍。

    此外,测地线利用多解设置产生的流形来设计以前没有演示过的运动。该研究使用 7 个自由度的机器人机械手来测试学习框架。在此框架下,机器人能够很好地学习和再现具有复杂运动模式的真实技能、避开以前没见过的障碍,并在多解设置中生成新的运动。

    论文 2:DiSECt: A Differentiable Simulation Engine for Autonomous Robotic Cutting

    • 论文主页:https://roboticsconference.org/program/papers/067/

    • 作者:Eric Heiden、Miles Macklin、Yashraj S Narang、Dieter Fox、Animesh Garg、Fabio Ramos

    • 机构:南加州大学、多伦多大学、悉尼大学

    在这篇论文中,研究者展示了首个用于切割软材料的可微模拟器。该模拟器通过一个基于有向距离场( SDF)的连续接触模型,以及一个在切割面两侧插入弹簧并允许它们减弱至零刚度的连续损伤模型来增强有限元法(FEM),从而形成裂纹。

    研究者通过各种实验对该模拟器的性能进行了评估,结果如下:

    • 首先可以对该模拟器进行校准以匹配来自 SOTA 商业求解器和真实世界切割数据集的合力和形变场,并在切割速度和目标实例上具有普遍性;

    • 其次可以利用该模拟器的可微性来高效地执行贝叶斯推断,并在无导数方法的一部分时间内估计数百个参数的后验;

    • 最后可以通过优化模拟过程中的控制参数,以通过横向切片动作最小化切割力。

    苹果切片的可视化图。

    时间检验奖

    本届 RSS 会议的时间检验奖颁给了 2008 年发表的一篇论文《 SARSOP: Efficient Point-Based POMDP Planning by Approximating Optimally Reachable Belief Spaces 》,论文作者为 Hanna Kurniawati、 David Hsu 和 Wee Sun Lee,他们当时都来自新加坡国立大学。

    论文地址:http://www.roboticsproceedings.org/rss04/p9.pdf

    不确定和动态环境中的运动规划是自主机器人的基础能力。POMDPs(partially observable Markov decision processes )算法为解决此类问题提供了一个标准的数学框架,但由于其计算复杂度过高而经常在机器人技术中避免使用。

    在本文中,研究者旨在为常见的机器人任务创建实用的 POMDP 算法和软件,为此他们提出了一种基于点的 POMDP 算法 SARSOP ,该算法利用最佳可达信念空间的概念来提升计算效率。在模拟中,研究者成功地将该算法应用于一系列常见的机器人任务,比如沿海导航、抓取、移动机器人探索和目标追踪等,所有这些任务都被建模为具有大量状态的 POMDP。他们发现在大多数任务实例中,该算法显著优于当前最快的基于点的算法之一。

    SARSOP 算法。

    杰出审稿人奖

    个人主页:https://www.khoury.northeastern.edu/people/lawson-wong/

    本届 RSS 会议的杰出审稿人奖颁给了美国东北大学 Khoury 计算机科学学院的助理教授 Lawson Wong。他是该校通用机器人和人工智能实验室(GRAIL)的负责人,致力于学习、表示、估计和使用自主机器人发现可能有用的关于世界的知识。他自己感兴趣的研究议题是识别和学习可以赋能高效机器人学习和规划的中间状态表示,从而实现机器人泛化。总之,他对机器人、机器学习和人工智能等领域的很多课题都感兴趣。

    2009 年,Lawson Wong 获得了斯坦福大学的计算机科学荣誉学士和硕士学位。2016 年,他在麻省理工学院完成了博士学位。之后,他担任布朗大学的博士后研究员和高级研究助理。2018 年,他加入东北大学,任职助理教授。

    参考链接:

    https://roboticsconference.org/program/awards/

    http://www.roboticsproceedings.org/rss04/p9.html

    https://cloud.tencent.com/developer/news/366946

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 作者丨脱贫钉子户@知乎来源丨https://zhuanlan.zhihu.com/p/354728113编辑丨3D视觉工坊序言本文来自于《The Limits and Potentials...

    作者丨脱贫钉子户@知乎

    来源丨https://zhuanlan.zhihu.com/p/354728113

    编辑丨3D视觉工坊

    序言

    本文来自于《The Limits and Potentials of Deep Learning for Robotics》,该论文是从2016年的机器人技术大会(RSS)上的特邀演讲者和 "The Limits and Potentials of Deep Learning for Robotics "研讨会的组织者提供的想法和观点中整理的。

    论文地址:在公众号「3D视觉工坊」,后台回复「Deep Learning」,即可直接下载。

    论文中的主要观点提出时间在16年,该论文与18年发布在arxiv上,19年被IJRR期刊收录,现在来看论文中提到的一些挑战依旧没有被完全解决,值得大家继续思考,也给大家指明了前进的方向。

    背景

    机器人是一个主动智能体,它能在物理现实世界中行动,并与之互动。它通过不同的传感器感知世界,建立一个连续的世界模型,并随着时间的推移更新这个模型,但最终机器人必须做出决策,规划行动,并执行这些行动以完成有用的任务。

    从机器人本身的角度出发,那么机器人中的视觉问题与计算机视觉问题的根本不同之处就在于:对机器人而言,感知只是一个更复杂的、具身的、主动的、目标驱动的系统的一部分。因此,机器人视觉必须考虑到它的输出(比如物体检测、分割、深度估计、3D重建等),最终将变成现实世界中的行动。简而言之,计算机视觉获取图像并将其转化为信息,而机器人视觉则将图像转化为行动。

    机器人视觉和计算机视觉之间的这一根本区别,可以从三个方面提出许多研究挑战:学习、具身和理解。根据这些挑战不断增加的复杂性及其依赖性对这些挑战进行分类。

    A 学习挑战

    这个方面的挑战主要包括:因在开放条件下部署而引起的问题,两种形式的增量学习和主动学习,具体如下:

    1. 不确定性估计: 为了将深度学习充分整合到机器人技术中,最重要的就是深度学习系统能够可靠地估计其预测的不确定性。这样将使机器人能够像对待任何其他传感器一样对待深度神经网络,并使用成熟的贝叶斯技术将网络的预测与先前的知识或其他传感器测量融合在一起,或者随着时间的推移积累信息。深度学习系统,例如用于分类或检测,通常从其softmax层返回的分数与系统的置信度成正比,但不是准确的概率,因此不能用于贝叶斯传感器融合框架中。如果只是单纯的融合各个模态的信息,已经有了一些工作,将贝叶斯滤波估计如卡尔曼滤波、非线性卡尔曼滤波、粒子滤波等思想融合到了深度学习框架中。目前主要的一些方法包括:神经网络系统标定矫正、贝叶斯深度学习,近似方法包括:Dropout、模型集成等。

    2. 未知识别: 深度学习中一个常见的假设是:训练好的模型将在闭集条件下进行部署,即部署过程中遇到的类是已知的,与训练时完全相同。然而,机器人往往要在不断变化的、不受控制的真实环境中运行,不可避免地会遇到训练数据没有覆盖的类、场景、纹理或环境条件的实例。在开放场景下,未知类别的识别非常重要,感知系统不得为未知物体分配高可信度分数,也不能将其错误地识别为已知类别之一。这个方向,CVPR2021上面已经提出了OWOD,即面向开放世界的目标检测,可以沿着这个思路继续思考。

    3. 增量学习: 对于许多机器人应用来说,与训练数据相比,部署场景中物体的特征和外观可能会有很大的不同。为了解决这个域适应问题,机器人视觉系统应该能够在部署过程中从已知类的新训练样本中学习,并相应地采用其内部表示。

    4. 类增量学习: 在开放条件下运行时,部署方案可能包含在训练期间不可用的新类别。因此,机器人需要有能力扩展其知识并有效地学习新的类,而又不会忘记先前学习的表示形式。这种类增量学习最好采用one-shot或few-shot学习技术,以提高数据效率。能够利用未标记数据的半监督方法尤其令人感兴趣。目前的类增量学习技术依旧依赖于监督方法,要求用户必须特别告诉系统哪些样本是新数据,应该被纳入学习过程。

    5. 主动学习: 机器人应该能够自行选择信息量最大的样本进行增量学习技术。由于它必须向人类用户询问这些选定样本的真实标签,因此数据效率是最大限度地减少这种与用户互动的关键。主动学习还可以包括从其他来源(如网络)检索注释。目前的方法是利用基于近似贝叶斯推理的不确定性估计技术来选择信息量最大的样本。

    B 具身性挑战

    具身性是机器人视觉的基本特征,也是机器人视觉与计算机视觉的本质区别。这个方向的挑战主要包括:理解和利用时间和空间具身性有助于改善感知,同时也能让机器人视觉进行主动视觉,甚至对环境进行有针对性的操作,进一步改善感知。

    1. 视觉具身性: 与将每个图像视为独立的典型计算机视觉系统不同,机器人视觉系统感知连续的图像流,因此具有高度相关性。虽然目前关于动作识别、从演示中学习以及计算机视觉中类似方向的工作都是在视频数据上进行的,但目前很少利用时间具身的潜力来提高物体检测或语义分割的感知过程的质量:例如,使用其时间具体化的机器人视觉系统可以例如随着时间的推移而积累证据(如前所述,如果不确定性估计可用,则最好使用贝叶斯技术)或利用动态场景中随时间变化的微小视点变化。

    时间具身性的一个具有挑战性的问题是:场景的外观会随着时间而改变。环境可以包括动态物体,如汽车或行人在摄像机的视场中移动。环境也可以由不同的照明条件(白天/夜晚)、物体的结构变化(夏季/冬季)或物体的存在和姿势的差异(例如,工作时间和下班时间的办公室)引起的外观变化。机器人视觉系统必须应对所有这些影响。

    2.空间的具身性: 在机器人视觉中,观察世界的摄像头是在世界活动和移动的更大的机器人系统的一部分。当机器人在环境中移动时,摄像头会从不同的视点观察场景,这对机器人视觉系统来说既是挑战也是机遇。从不同的视角观察一个物体可以帮助识别它的语义属性,改善深度感知,或者在杂乱的场景中把一个物体与其他物体或背景隔开。另一方面,遮挡和由此产生的剧烈的外观变化使视觉感知复杂化,需要物体统一性和物体持久性等能力,而人类视觉系统天然就具备这些能力。

    3. 主动视觉: 机器人视觉在具身性中的最大优势之一就是可以控制摄像机,移动摄像机并更改其视点,以改善其感知能力或收集有关场景的其他信息。这与大多数计算机视觉场景形成鲜明对比,在大多数计算机视觉场景中,相机是被动传感器,可以从放置位置观察周围环境,而无需控制其姿势。

    在下一个最佳视角预测可以提高物体检测或辅助移动机器人探索路径规划,但目前的研究还缺少一种更全面的主动场景理解方法。这样的主动式机器人视觉系统系统可以控制摄像机在整个世界范围内的移动,从而提高系统的感知置信度,解决歧义,减轻遮挡或反射的影响。

    4. 操纵感知 作为主动视觉的延伸,机器人系统可以有目的地操纵场景以帮助其感知。例如,机器人可以移动被遮挡的物体以获得隐藏在下面的物体的信息。规划这样的动作需要了解场景的几何形状,有能力推理出某些操作动作将如何改变场景,以及这些改变是否会对感知过程产生积极影响。

    C 理解挑战

    赫尔曼-冯-赫尔姆霍兹提出了人类在处理视觉信息时,大多使用无意识理解、推理或结论的观点。此后,心理学家们设计了各种实验来研究这些无意识机制,将赫尔姆霍兹的原始观点赋予现代的手段,并在贝叶斯推理的框架下重新表示。基于此,可以将理解分为三个挑战,解决关于场景及其中对象的语义和几何的单独和联合的理解。

    1. 关于对象和场景语义的理解: 人类周围的世界包含了许多语义规律性,人类利用这些规律性来帮助自己的感知,比如:物体往往在某一情境中出现的频率比在其他情境中出现的频率要高(如在厨房或餐桌上更容易找到一把叉子,但在浴室中找到它的可能性较小),有些物体往往成群出现,有些物体在一个场景中很少一起出现等等。语义规律性还包括物体在场景中的绝对姿态,或物体相对于其他物体的相对姿态。

    尽管语义规律和上下文信息对于人类感知过程的重要性在心理学中是众所周知的,但是当前的对象检测系统并未利用这种丰富的信息源。如果现实世界中存在的许多语义规律可以以先验知识的形式被学习或以其他方式提供给视觉系统,那么可以期待一种改进且更强大的感知性能:上下文可以帮助消除歧义或纠正预测和检测。

    目前一些工作包括:方法使用条件随机场明确地建模和利用对象和整体场景之间的几种语义和几何关系来理解场景。依旧有工作证明了利用学习的场景-对象先验来进行地方分类和改进的对象检测的组合。也有一些工作,通过设计一种使用深度神经网络进行整体场景理解的方法,该网络可以学习利用来自训练数据的上下文信息。

    2. 关于对象和场景几何的理解: 机器人技术中的许多应用都需要了解单个物体或整个场景的几何形状。从单张图像估计场景的深度已经成为一个广泛研究的课题。同样,目前有很多工作是在没有深度信息的情况下,从单个或多个视图中估计物体的三维结构。这些方法通常是在只有一个或几个突出且清晰分离的物体的图像上进行评估。然而对于机器人应用来说,杂乱的场景是非常常见的。

    先前讨论的不确定性估计和处理未知对象的问题也适用于此:例如,使用推断的几何形状来抓取对象的机器人视觉系统在计划抓取点时需要能够在推断的对象形状中表达不确定性。类似地,它应该能够利用其具身性优势将摄像机移至更好的视点,以有效地收集新信息,从而能够更准确地估计物体的几何形状。

    作为对单个物体推理的延伸,对整个场景的几何推理对机器人视觉来说非常重要,与基于对象的地图或基于对象的SLAM问题密切相关。利用语义和先验知识可以帮助机器人视觉系统更好地推理场景结构,例如物体的绝对和相对姿态、支撑面以及物体在遮挡情况下的连续性。

    3. 语义与几何的联合理解: 在现实的开放场景条件下,提取复杂环境中物体、环境结构及其各种复杂关系和场景几何的信息的能力对于机器人来说越来越重要。因此,对机器人视觉系统的最后一个推理挑战是对场景和其中的物体的语义和几何共同理解的能力。由于语义和几何可以相互联合推理,紧耦合的理解方法比松耦合的方法更有优势,松耦合的方法是分别对语义和几何进行推理。

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达本文转载自:机器之心近日,机器人领域知名会议 RSS(Robotics: Science and System)公布了今...

    点击下方卡片,关注“CVer”公众号

    AI/CV重磅干货,第一时间送达

    本文转载自:机器之心

    近日,机器人领域知名会议 RSS(Robotics: Science and System)公布了今年的最佳论文、最佳学生论文、杰出审稿人、时间检验奖等重要奖项。其中,最佳论文奖和杰出审稿人奖都由华人学者摘得。

    与其他领域动辄接收上千篇论文的顶会不同,RSS 算是一个小众的机器人会议,每年接收的论文只有几十篇,录取难度比较高。从方向来看,RSS 接收的论文更偏重算法和数学,今年的建议投稿方向包括机制设计、机器人学习、控制与动力学、人机交互、机器感知、多机器人系统和医疗保健机器人等。偏应用的机器人文章可能更适合投 ICRA 和 IROS。

    受疫情影响,今年的 RSS 于 7 月 12 日至 16 日在线上举办,分为 Keynote、Workshop、Tutorial 等多个环节。在 Keynote 环节,美国宇航局喷气推进实验室高级研究科学家兼计算机视觉小组主管 Larry Matthies 介绍了「毅力号」火星车在登陆火星之后取得的进展。在 Workshop、Tutorial 等环节,来自多个研究机构的学者探讨了机器人视觉学习与推理、GPU 加速的机器人学习与控制等话题。相关视频可以在 Youtube 等平台找到。

    如今,备受关注的最佳论文等奖项也已出炉,以下是详细的获奖信息。

    最佳论文奖

    论文:TARE: A Hierarchical Framework for Efficiently Exploring Complex 3D Environments

    • 论文主页:https://roboticsconference.org/program/papers/018/

    • 作者:Chao Cao、Hongbiao Zhu、Howie Choset、Ji Zhang

    • 机构:CMU

    让机器人在复杂的 3D 空间中自主探索是一个颇具挑战性的问题,因为它需要同时完成两项任务:1)在线更新环境表示,以跟踪已探索的区域;2)搜索连续可遍历路径的表示,以引导机器人探索未知区域。

    在这篇论文中,研究者提出了一种在复杂 3D 环境中自主探索的方法,其探索速度比当前的 SOTA 方法还要快。具体来说,该方法使用了一种分层框架:第一层在局部规划范围内保持环境的高分辨率表示并计算详细路径;第二层在全局范围内保持环境的低分辨率表示并计算粗略路径。

    该架构表明,在机器人附近进行详细的数据处理是最高效的,牺牲远离机器人区域的细节计算可以提高计算速度。该方法根据路径的长度优化整个探索路径。此外,局部区域的路径在运动动力学上是可行的,机器人可以遵循该路径快速前进。

    在实验中,该系统通过地面和空中机器人,自主探索了高维、复杂的室内外环境。与 SOTA 方法相比,该方法的探索效率(每秒平均探索量)提高了 80%,但消耗的算力还不到 SOTA 方法的 50%。

    该论文的第一作者 Chao Cao 本科毕业于香港大学,目前在卡内基梅隆大学读博,研究兴趣主要集中在机器人导航和运动规划。除了日常科研之外,他还在领导 DARPA 地下城市挑战赛 Team Explorer 竞赛的规划工作。

    最佳论文入围

    除了最佳论文奖外,本届 RSS 会议还有三篇论文入围了该奖项,分别如下:

    论文 1:Optimal Pose and Shape Estimation for Category-level 3D Object Perception

    • 论文主页:https://roboticsconference.org/program/papers/025/

    • 作者:Jingnan Shi、Heng Yang、Luca Carlone

    • 机构:MIT

    本文第一个贡献是为姿势和形状估计提供了首个可证明的最佳求解器;第二个贡献是在求解器中添加一个异常拒绝层(outlier rejection layer),从而使求解器对大量错误检测具有鲁棒性;第三个贡献是广泛的实验评估,该研究除了在模拟数据集和 PASCAL3D + 数据集上进行消融研究外,还将求解器与深度学习关键点检测器相结合,并表明所得到的方法比 ApolloScape 驾驶数据集中 SOTA 车辆姿态估计方法有所改进。

    论文 2:Moving sidewinding forward: optimizing contact patterns for limbless robots via geometric mechanics

    • 论文主页:https://roboticsconference.org/program/papers/031/

    • 作者:Baxi Chong、Tianyu Wang、Bo Lin、Shengkai Li、Howie Choset、Grigoriy Blekherman、Daniel Goldman

    • 机构:佐治亚理工学院、CMU

    本文中研究者使用几何运动规划方案,并开发了一个框架来设计、优化和分析接触模式,以在期望的方向上产生有效的运动。该研究提出的框架提供了接触模式设计的物理见解,并借鉴了经验准则。应用该框架,研究者不仅可以通过接触模式来控制 12-link 四肢机器人的运动方向,而且可以为电机较少的机器人(如 6-link 机器人)设计有效的侧绕步态。实验表明,该方法通过物理实验测试获得了很好的一致性。

    论文 3:Toward Certifiable Motion Planning for Medical Steerable Needles

    • 论文主页:https://roboticsconference.org/program/papers/081/

    • 作者:Mengyu Fu、Oren Salzman、Ron Alterovitz

    • 机构:北卡罗来纳大学教堂山分校、以色列理工学院

    本文提出了第一个用于可操纵引导针的运动规划器。它能够保证在临床上适当的假设下,在有限的时间内为指定的目标计算出准确的避障运动计划,或者通知用户不存在这样的计划 。该研究基于一种新的多分辨率规划方法,提出了一种高效、分辨率完备的可操纵针运动规划方法。与 SOTA 可操纵针运动规划器相比,研究表明,新的分辨率完整运动规划器计算计划更快、成功率更高。

    最佳学生论文

    本届 RSS 会议的最佳学生论文有两篇,分别由博世人工智能中心、丹麦技术大学等机构和南加州大学、英伟达等机构的研究者获得。

    论文 1:Learning Riemannian Manifolds for Geodesic Motion Skills

    • 论文主页:https://roboticsconference.org/program/papers/082/

    • 作者:Hadi Beik-mohammadi、Soren Hauberg、Georgios Arvanitidis、Gerhard Neumann、Leonel Rozo

    • 机构:博世人工智能中心、丹麦技术大学、图宾根大学、卡尔斯鲁厄理工学院

    为了与人类一起工作并在非结构化环境中执行任务,机器人必须学习新的运动技能并尽快适应未见过的环境。这需要学习模型来捕捉相关的运动模式,同时提供足够的灵活性以使已编码技能适应新的要求,例如动态避障。

    该研究引入了黎曼流形来解决这个问题,并提出从人类示范中学习黎曼流形。在人类身上,测地线(geodesics)是自然而然的运动技能。该研究通过在机器人末端执行器的位置和方向空间上的变分自编码器(VAE)来实现这一点。测地线运动技能可以让机器人规划数据流形上任意点之间的运动。这种技能还提供了一种简单的避障方法,即通过在线方式重新定义环境度量来避开障碍。

    此外,测地线利用多解设置产生的流形来设计以前没有演示过的运动。该研究使用 7 个自由度的机器人机械手来测试学习框架。在此框架下,机器人能够很好地学习和再现具有复杂运动模式的真实技能、避开以前没见过的障碍,并在多解设置中生成新的运动。

    论文 2:DiSECt: A Differentiable Simulation Engine for Autonomous Robotic Cutting

    • 论文主页:https://roboticsconference.org/program/papers/067/

    • 作者:Eric Heiden、Miles Macklin、Yashraj S Narang、Dieter Fox、Animesh Garg、Fabio Ramos

    • 机构:南加州大学、多伦多大学、悉尼大学

    在这篇论文中,研究者展示了首个用于切割软材料的可微模拟器。该模拟器通过一个基于有向距离场( SDF)的连续接触模型,以及一个在切割面两侧插入弹簧并允许它们减弱至零刚度的连续损伤模型来增强有限元法(FEM),从而形成裂纹。

    研究者通过各种实验对该模拟器的性能进行了评估,结果如下:

    • 首先可以对该模拟器进行校准以匹配来自 SOTA 商业求解器和真实世界切割数据集的合力和形变场,并在切割速度和目标实例上具有普遍性;

    • 其次可以利用该模拟器的可微性来高效地执行贝叶斯推断,并在无导数方法的一部分时间内估计数百个参数的后验;

    • 最后可以通过优化模拟过程中的控制参数,以通过横向切片动作最小化切割力。

    苹果切片的可视化图。

    时间检验奖

    本届 RSS 会议的时间检验奖颁给了 2008 年发表的一篇论文《 SARSOP: Efficient Point-Based POMDP Planning by Approximating Optimally Reachable Belief Spaces 》,论文作者为 Hanna Kurniawati、 David Hsu 和 Wee Sun Lee,他们当时都来自新加坡国立大学。

    论文地址:http://www.roboticsproceedings.org/rss04/p9.pdf

    不确定和动态环境中的运动规划是自主机器人的基础能力。POMDPs(partially observable Markov decision processes )算法为解决此类问题提供了一个标准的数学框架,但由于其计算复杂度过高而经常在机器人技术中避免使用。

    在本文中,研究者旨在为常见的机器人任务创建实用的 POMDP 算法和软件,为此他们提出了一种基于点的 POMDP 算法 SARSOP ,该算法利用最佳可达信念空间的概念来提升计算效率。在模拟中,研究者成功地将该算法应用于一系列常见的机器人任务,比如沿海导航、抓取、移动机器人探索和目标追踪等,所有这些任务都被建模为具有大量状态的 POMDP。他们发现在大多数任务实例中,该算法显著优于当前最快的基于点的算法之一。

    SARSOP 算法。

    杰出审稿人奖

    个人主页:https://www.khoury.northeastern.edu/people/lawson-wong/

    本届 RSS 会议的杰出审稿人奖颁给了美国东北大学 Khoury 计算机科学学院的助理教授 Lawson Wong。他是该校通用机器人和人工智能实验室(GRAIL)的负责人,致力于学习、表示、估计和使用自主机器人发现可能有用的关于世界的知识。他自己感兴趣的研究议题是识别和学习可以赋能高效机器人学习和规划的中间状态表示,从而实现机器人泛化。总之,他对机器人、机器学习和人工智能等领域的很多课题都感兴趣。

    2009 年,Lawson Wong 获得了斯坦福大学的计算机科学荣誉学士和硕士学位。2016 年,他在麻省理工学院完成了博士学位。之后,他担任布朗大学的博士后研究员和高级研究助理。2018 年,他加入东北大学,任职助理教授。

    参考链接:

    https://roboticsconference.org/program/awards/

    http://www.roboticsproceedings.org/rss04/p9.html

    https://cloud.tencent.com/developer/news/366946

    CVPR和Transformer资料下载

    后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集

    后台回复:Transformer综述,即可下载最新的两篇Transformer综述PDF

    CVer-Transformer交流群成立

    扫码添加CVer助手,可申请加入CVer-Transformer 微信交流群,方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

    一定要备注:研究方向+地点+学校/公司+昵称(如Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

    ▲长按加小助手微信,进交流群

    ▲点击上方卡片,关注CVer公众号

    整理不易,请点赞和在看

    展开全文
  • 为期5天的2018 IROS今天在马德里落下了帷幕,作者在这里给大家分享一下在IROS的所见所闻所感——作者的research interests主要是集中于人形机器人(Humanoids),腿足式机器人(Legged Robots),关节驱动器...
  • 2019年计算机视觉顶会时间表 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2019) Location :Long Beach Convention & Entertainment Center, Los Angeles CA, United States Date:Jun...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达“一眼就能学会动作”,或许对人而言,这样的要求有点过高,然而,在机器人的身上,这个想法正在逐步实现中。马斯克(Elon Musk)创...
  • 计算机视觉领域的三大顶会:ICCV CVPR ECCV ICCV ICCV 的全称是 IEEE International Conference on Computer Vision,即国际计算机视觉大会,由IEEE主办,与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议...
  • 郭一璞 整理 量子位 出品 | 公众号 QbitAI2018年又要数着指头过了,你的2019学术计划怎么样了?下面,是量子位给大家整理的2019 AI顶会时间表,包含会议...
  • 机器人学领域的顶级期刊和会议

    万次阅读 多人点赞 2018-06-20 16:38:06
    因工作关系,看了三周的SLAM入门,用的是高翔的《视觉SLAM十四讲》这本教材,里面涉及到了大量的数学推导,非常有挑战。 因有paper任务,为了了解机器人学领域的顶级期刊和会议,特结合百度的能力整理出以下几种...
  • 来自Facebook 人工智能研究院的研究员在全球计算机视觉顶会 ECCV 2018 9.12慕尼黑会议上获得最佳论文称号,其中采用的先进算法值得你学习。
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达3D视觉工坊致力于推荐最棒的工作机会,精准地为其找到最佳求职者,做连接优质企业和优质人才的桥梁。如果你需要我们帮助你发布实习或全职岗位...
  • 史上最全 2019 ICRA顶会四足机器人文献整理一、ICRA论文集中相关文献对应subsession时间二、文献整理内容 一、ICRA论文集中相关文献对应subsession时间 15:15-16:30, Subsession TuCT1-14, 220 Legged Robots I - ...
  • 不管出国留学,还是国内读研究生,科研能力都是非常重要的,尤其是在计算机视觉内卷如此严重、名企算法岗高薪的情况下,如何进行科研?如何更快速的进行科研?如何发表高质量的paper?变得十分重...
  • amp;wfr=spider&for=pc 「计算机视觉」世界三...Computer vision计算机视觉,是当今计算机科学研究中的一个非常活跃的领域,该学科旨在为计算机和机器人开发出具有与人类水平相当的视觉能力。 目前计算机...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达论文名称: A survey of image semantics-based visual simultaneous locali...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达论文:A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU相...
  • 02 视觉SLAM 2.1 经典视觉SLAM框架 SLAM至今已历经三十多年的研究,这里给出经典视觉SLAM框架,这个框架本身及其包含的算法已经基本定型,并且已经在许多视觉程序库和机器人程序库中提供。 图2-1 经典视觉SLAM框架 ...
  • 硕士研究生阶段如何学习slam机器人

    千次阅读 多人点赞 2020-07-12 00:00:00
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达https://www.zhihu.com/question/396119527/answer/1256819922本文仅作为学术分...
  • 作者丨张贶恩@知乎来源丨https://zhuanlan.zhihu.com/p/76578691编辑丨OpenCV与AI深度学习相机标定是机器人视觉中非常重要的一步,可以帮助机器人转换识...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达编辑丨机器之心国防科技大学、克莱姆森大学和视比特机器人的研究人员合作使用深度强化学习求解在线装箱问题,该方法的性能表现优于现有的启发...
  • 点击上方“计算机视觉工坊”,选择“星标”干货第一时间送达Plane-Aided Visual-Inertial Odometry for 6-DOF Pose Estimation of ...
  • 总第416篇2020年 第40篇目标导向的视觉对话是“视觉-语言”交叉领域中一个较新的任务,它要求机器能通过多轮对话完成视觉相关的特定目标。该任务兼具研究意义与应用价值。日前,北京邮电大...
  • 计算机视觉-语义分割论文总结

    千次阅读 2020-04-08 13:45:16
    文章目录FCN 2015创新点CNN VS FCNLoss Function网络结构缺点SegNet 2016...本文按照计算机视觉领域语义分割的相关论文的时间顺序排列,如果没有你想看的,直接关掉就好了 语义分割的两大核心问题:What...
  • 作者 |李一鸣编辑 |杨怡(AI科技评论)抓取是人类和物体最基础的交互方式,机器人和物体之间的关系也是一样。然而,让机器人具有比肩人类的抓取能力并非易事,尤其是杂乱场景下对通用物体的抓...
  • 2019 AI顶会时间表

    万次阅读 2018-12-02 14:46:51
    2019 AI顶会时间表,包含会议举办的时间、地点、投稿截止日期、官方网址/社交媒体地址,还有H5指数(谷歌学术的期刊会议评判标准,即过去5年内有至多h篇论文被引用了至少h次)。 在这里备份一下,也供大家参考学习...
  • 本文转载自微软研究院AI头条。随着 AI 领域越来越火热,各大顶会的论文发布似乎也越来越难:AAAI 2020 放榜,8800 篇提交论文创历史记录;CVPR 2020 被称为十年来最难...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,730
精华内容 692
关键字:

机器人视觉顶会