精华内容
下载资源
问答
  • 传感器融合标定算法,另外还包含了自动驾驶学习资料 涵盖感知,规划和控制,ADAS,传感器; 1. apollo相关的技术教程和文档; 2.adas(高级辅助驾驶)算法设计(例如AEB,ACC,LKA等) 3.自动驾驶鼻祖mobileye的论文和...
  • 自动驾驶多传感器融合

    万次阅读 2018-01-02 10:01:50
    简单地说,Pandora指的是一套以激光雷达、环视摄像头模组、多传感器融合和感知识别算法为一体的自动驾驶开发者套件,它实际上是一种新型的“多传感器融合”技术。 通常,业界所说的“传感器
    12月28日,百度Apollo平台携手国内激光雷达公司禾赛科技扔下一颗名为Pandora的重磅炸弹,此举将极大地加快无人驾驶落地的进程,却也会让不少自动驾驶初创公司陷入无比尴尬的境地。
    简单地说,Pandora指的是一套以激光雷达、环视摄像头模组、多传感器融合和感知识别算法为一体的自动驾驶开发者套件,它实际上是一种新型的“多传感器融合”技术。
    图片
    通常,业界所说的“多传感器融合”,都是指对摄像头、激光雷达、毫米波雷达、超声波雷达等多种传感器各自分别收集到的数据所做的“数据融合”,而Pandora的做法则是“硬件层面的融合”,即在硬件层面就将摄像头、激光雷达集成到一起,然后再将采集到的数据统一输送到计算平台。
    图片
    图片
    在Pandora的开发过程中,禾赛主要负责硬件产品的设计和制造,而百度Apollo负责整体系统的定义和算法的适配。但目前尚不清楚,Pandora中采用的激光雷达,是不是禾赛的混合固态Pandar40。
    为什么要做Pandora,它能解决什么问题呢?
    禾赛方面认为,对大多数涉足自动驾驶的公司来说,搞定一套传感器方案,这个看似简单的工作,却往往需要耗费一个小团队至少6-8个月的宝贵研发时间,才能勉强做到“不拖后腿”,而这又仅仅是“重复发明轮子”的一个过程。Pandora就是为了解决这样的研发痛点而生。
    做“硬件层面的多传感器融合”,Pandora并不是第一家,硅谷激光雷达公司AEye早在2013年成立之初就这么干了;《建约车评》在12月18日报道的硅谷激光雷达初创公司Innovusion也采取了激光雷达和摄像头在硬件层面融合的方案。
    禾赛科技CEO李一帆和百度Apollo主任研发架构师王亮都在这次Pandora的发布会上详细解释了硬件层面的多传感器融合对整个行业的积极意义,随后,《建约车评》也采访了地平线创始人余凯、驭势科技创始人吴甘沙、主线科技创始人张天雷、智行者科技创始人张德兆等多位业内人士,多位受访者一致认为,像Pandora这种多传感器融合方案,是“大势所趋”。
    总的来说,Innovusion和禾赛这种硬件层面的多传感器融合方案,最明显的好处有以下几点:
    1.提高了探测的可靠性
    我们大家理解的“点云”,其实并不是激光雷达的原始数据。点云只是原始数据经过“过滤”后形成的产物,真正的原始数据可能比点云的数据多1000倍,也就是说,超过点云数据900倍的原始数据,都在传感器里“藏着掖着”,没有被输送到中央计算系统——这些数据如果被充分利用起来的话,会有助于提高系统对外部环境的感知能力。
    据Innovusion创始人鲍君威介绍,硬件端的融合,恰好可以充分利用起这些数据,再加上激光雷达和摄像头分辨率的自然匹配,极大地提高了三维空间重构以及物体探测的可靠性。
    2.解决了数据同步的问题
    在常见的那种“数据融合”下,来自于不同的传感器并经过汇总的数据在软件层融合的过程,往往需要几十毫秒、上百毫秒的延迟——如果不同厂商做的传感器没有同步的机制,还需要额外花很大力气做同步;同步不好的话,同一个物体会由于运动造成不同传感器探测到的空间位置的不一致,给后续融合造成额外的困扰 。而在硬件层面的融合,则不会存在这种问题。
    3.节省计算量,降低功耗
    硬件端的融合还减少了对计算量的要求,提高了运算处理的效率。
    站在摄像头的角度看,跟激光雷达在硬件端融合,检测到的信息就直接是三维的,不像之前那样只能检测到二维信息,然后第三维“靠猜”了;站在激光雷达的角度,跟摄像头的融合,检测到的信息直接带有颜色,可以分类,不需要后端再处理一次了。
    从产品性能的角度,节省结算量,就是提高效率;而站在用户的角度,节省计算量,就可以降低功耗、降低对硬件端的性能要求,进而降低成本。
    4.帮用户节省时间
    Pandora不是激光雷达和摄像头的机械式拼凑,而是一个匹配了算法和处理器的有机系统,用户可以“拿走即用”,而不是像以前那样从不同的供应商处拿到不同的传感器后还得再花个大半年时间进行匹配、调试。这就会帮用户节省很多时间,让他们把时间投入到自己更擅长、也更有价值的事情上面。
    5. 降低集成难度
    激光雷达和多个摄像头的一体化机械设计,使总体积明显变小,布线也简单多了,更方便主机厂的集成安装。
    图片
    吴甘沙认为,Pandora所提供的前融合方案,会是一个大方向,只是当前因为激光雷达的价格太高,还不能成为主流,但2-3年后,一旦激光雷达的成本降低到1000美元以下,跟摄像头融合起来就很厉害了。
    Pandora将优先为Apollo联盟成员提供技术支持和产品信息,并且,Apollo成员还可享受最佳供货期和最优购买价。这个重磅的推出,可能会吸引更多的主机厂及Tier,甚至是无人驾驶初创公司加入Apollo生态。
    但并非是“你好,我好,大家好”。一旦Pandor的各种“用户体验”经过验证,将会有不少原本采用“别人家的激光雷达”的用户“倒戈”,这个时候,那些“体验不佳”的方案将会受到极大冲击。
    起初,一些激光雷达公司也许会有一点危机感,但他们可能很快就发现,激光雷达和摄像头在硬件端的融合,难度并不大,他们自己也可以做。然后,相关的Tier 1也会跟进。再然后呢?
    “多传感器融合”(数据融合),一直是Momenta、pony.ai及Roadstar 等诸多无人驾驶初创公司的主要技术方案,现在,激光雷达厂商和Tier 1都来做“多传感器融合”,并且,把融合“前置”到硬件层,不仅使用更方面,而且性能也更好,这......看到这样的消息,一些“多传感器融合“的技术方案供应商可能“整个人都不好了”。
    左边,是来自原来的“潜在客户”Tier 1们的“降维打击”;右边,是来自那些原先只能做它的供应商的激光雷达厂商的“升维打击”,技术方案供应商,处境将无比尴尬。
    让这些初创公司去投靠禾赛这样的激光雷达公司,它们当然不会甘心;相比之下,投入Tier 1的怀抱,为Tier 1做“多传感器融合”——不是它们自己那老一套的融合方案,而是类似于Pandora这种融合,可能已是“最好的结局”。
    一点补充:
    不过,并非所有人都对Pandora及其所代表的新技术盲目乐观。主要有以下几种声音——
    1.余凯认为,Pandora这样的标品打包方案,应该会有很多无人驾驶企业感兴趣,但“估计离车规级量产版本还有很长距离”。
    2.某激光雷达企业COO认为,在硬件端就将摄像头和激光雷达融合,最大的弊端在于,灵活性不足。有的用户,可能就希望摄像头和激光雷达安装在不同的地方,就希望用某一个款特定的摄像头,而“硬件层的融合”却杜绝了这种可能性。最终结果可能是,只有那些技术实力不强、没有能力自己做融合的技术会采用Pandora,而融合能力强的用户还是会自己研究传感器方案。
    3.吴甘沙虽然也看好Pandora这个方向,但他也有一些疑虑。“以前的一些融合产品,如德尔福曾在2013年推出将雷达和摄像头集成到一起的驾驶辅助系统RACam, 大陆也在2015年推出过一款将单线激光雷达和摄像头融合在一起的‘多功能摄像头激光雷达’(MFL)中,但也并没有做得有风生水起。”
    4. 在Roadstar创始人佟显侨看来,Pandora在本质上就是个Super Sensor,和Depth Camera”没多大区别。佟显侨还是对Roadstar所采用的多传感器融合技术更有信心。
    Roadstar的多传感器融合技术,既不同于Pandora的“在硬件层次融合”,也跟其他无人驾驶初创公司的“数据融合”有很大的不同——通常的“数据融合”,都是先等各传感器收集到的原始数据再经过计算处理后再融合,而Roadstar则使用独创的算法DeepFusion,对各种传感器获得的原始数据进行深度融合。
    这种深度融合数据算法使深度学习所需要的训练数据大幅度减少,用4000个数据就能超过传统非深度融合学习算法15万个数据的效果。并且,由于传感器的物理特性互补,导致很多LiDAR和Camera下的Corner sense都可以别识别,导致Corner Sense降低到传统算法下的1%。如此一来,就降低了对路测里程的要求。
    展开全文
  • 只有把传感器信息融合起来,才是实现自动驾驶的关键。”现在路面上的很汽车,甚至是展厅内的很新车,内部都配备有基于摄像头、雷达、超声波或LIDAR等不同传感器的先进驾驶员辅助系统(ADAS)。这些系统的...
  • 自动驾驶中的多传感器融合

    千次阅读 2020-11-24 07:00:00
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达来源 |清研车联编辑|焉知自动驾驶多传感器融合面临的主要挑战是如何将收集来的大量数据集中在一起,并做出正确决策。多传感器融合多...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    来源 | 清研车联

    编辑 | 焉知自动驾驶

    多传感器融合面临的主要挑战是如何将收集来的大量数据集中在一起,并做出正确决策。

    多传感器融合

    多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。

    多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环 境的一致性解释。

    在这个过程中要充分地利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。

    这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

     融合体系

    在信息融合处理过程中,根据对原始数据处理方法的不同,信息融合系统的体系结构主要有三种:集中式、分布式和混合式。

    1.集中式:集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理,可以实现实时融合,其数据处理的精度高,算法灵活,缺点是对处理器要求高,可靠性较低,数据量大,故难于实现。

    2.分布式:每个传感器对获得的原始数据先进行局部处理,包括对原始数据的预处理、分类及提取特征信息,并通过各自的决策准则分别作出决策,然后将结果送入融合中心进行融合以获得最终的决策。分布式对通信带宽需求低、计算速度快、可靠性和延续性好,但跟踪精度没有集中式高。

    3.混合式:大多情况是把上述二者进行不同的组合,形成一种混合式结构。它保留了上述两类系统的优点,但在通信和计算上要付出较昂贵的代价。但是,此类系统也有上述两类系统难以比拟的优势,在实际场合往往采用此类结构。

    多传感器融合特点

    多传感器融合 系统具有四个显著的特点:

    1.信息的冗余性:对于环境的某个特征,可以通过多个传感器(或者单个传感器的多个不同时刻)得到它的多份信息,这些信息是冗余的,并且具有不同的可靠性,通过融合处理,可以从中提取出更加准确和可靠的信息。

    此外,信息的冗余性可以提高系统的稳定性,从而能够避免因单个传感器失效而对整个系统所造成的影响。

    2.信息的互补性:不同种类的传感器可以为系统提供不同性质的信息,这些信息所描述的对象是不同的环境特征,它们彼此之间具有互补性。

    如果定义一个由所有特征构成的坐标空间,那么每个传感器所提供的信息只属于整个空间的一个子空间,和其他传感器形成的空间相互独立。

    3.信息处理的及时性:各传感器的处理过程相互独立,整个处理过程可以采用并行导热处理机制,从而使系统具有更快的处理速度,提供更加及时的处理结果。

    4.信息处理的低成本性:多个传感器可以花费更少的代价来得到相当于单传感器所能得到的信息量。另一方面,如果不将单个传感器所提供的信息用来实现其他功能,单个传感器的成本和多传感器的成本之和是相当的。

    在自动驾驶中的应用

    自动驾驶车上使用了多种多样的传感器,不同类型的传感器间在功用上互相补充,提高自动驾驶系统的安全系数。自动驾驶要求传感器融合具备一个必须的性质——实时性。

    MSDF面临的主要挑战是如何将收集来的大量数据集中在一起,并做出正确决策。如果MSDF出错,意味着下游阶段要么没有必要的信息,要是使用了错误的信息做出了错误的决策。

    可以看到,自动驾驶汽车会通过安装在车身周围的摄像头收集视觉数据,也会通过雷达(激光雷达、毫米波雷达等)来收集诸如周围物体运动速度的数据,但是这些数据是从不同角度来描述现实世界的同一样或不同样的物体。

    使用越多的传感器,对计算能力的要求就越高,这意味着自动驾驶汽车必须搭载更多的计算机处理器和内存,这也会增加汽车的重量,需要更多的功率,还会产生更多的热量。诸如此类的缺点还有很多。

    智能汽车的显著特点在于智能,意思就是说汽车自己能通过车载传感系统感知道路环境,自动规划行车路线并控制车辆到达预定目标。

    目前而言,车载感知模块包括视觉感知模块、毫米波雷达、超声波雷达、360°环视系统等,多源传感器的协同作用识别道路车道线、行人车辆等障碍物,为安全驾驶保驾护航。因此,感知信息也需要融合,感知信息也需要相互补充。

     多传感器融合的四个关键方法

    • Harmonize

    假设有两种不同的传感器,称它们为传感器X和传感器Z。它们都能够感知自动驾驶汽车的外部世界。

    在现实世界中存在一个物体,这个物体可能是人,也可能是车,甚至是一条狗,传感器X和传感器Z都能够检测到这个物体。

    这就意味着传感器对这个物体进行了双重检测,这种双重检测意味着两种不同类型的传感器都有关于该物体的数据报告,对于该物体有两个维度不同地认知。

    假设,传感器X表示该物体高6英尺,宽2英尺;传感器Z表示该物体以每秒3英尺的速度正朝着自动驾驶车辆方向移动。

    结合两个传感器采集到的数据,就可以得出一条相对准确的信息:有一个高约6英尺,宽2英尺的物体正在以每秒钟3英尺的速度移动。

    假设这两自动驾驶汽车上只安装了X传感器,那么就无法得知该物体的大小;若Z传感器坏了,那么就只有物体的大小信息,无法检测该物体的运动状态。这也就是最近业内广泛讨论的“在自动驾驶汽车上应该安装哪些传感器”的问题。

    此前,特斯拉埃隆•马斯克(Elon Musk)旗帜鲜明地声称,特斯拉不会安装激光雷达。

    尽管马斯克自己也认为,L5自动驾驶不会通过激光雷达来实现这个想法最终可能被验证为错误的,这依旧没有改变马斯克的决定。

    一些反对的声音称,不配备激光雷达的特斯拉,无法通过其他的传感器获取如同激光雷达效果相同的感官输入,也无法提供补偿和三角测量。

    但是另一些支持者认为,激光雷达不值得花费如此高昂的费用成本,不值得为其增大计算能力,也不值得为其增加认知时间。

    • Reconcile

    在同一个视场(Field of View,FOV)内,假设传感器X探测到一个物体,而传感器Z没有探测到。注意,这与物体完全在传感器Z的FOV之外的情况有很大的不。

    一方面,系统会认为传感器X是正确的,Z是错误的,可能是因为Z有故障,或者有模糊探测,或者是其他的一些什么原因。另一个方面,也许传感器X是错误的,X可能是报告了一个“幽灵”(实际上并不存在的东西),而传感器Z报告那里没有东西是正确的。

    • Integrate

    假设我们有两个物体a和b,分别在传感器X和传感器Z的视场FOV内(a在X视场内,b在Z视场内)。也就是说,Z无法直接检测到a,X也无法直接检测到b。

    目前,想要实现的效果是,能否将X和Z的报告整合在一起,让它们在各自的视场内探测物体同时,判断是否为X视场中的物体正在向Z视场移动,预先提醒Z将有物体进入探测区域。

    • Synthesize

    第四种方法Synthesize是将感知数据融合在一起,你可能会遇到这样的情况,传感器X和传感器Z都没有在各自的视场内探测到物体。

    在这种情况下,没有传感器知道这个物体的存在,但是可以通过一些其他的感观数据,比如声音,间接地弄清楚在视场之外的物体情况。自动驾驶汽车是时刻运动的,所以要求这种预判是瞬间发生的,像上文提到的一样,是实时的。

    多传感器信息融合技术应用至今,有着非常多的应用方法,在所有方法当中较为成熟的方法包括了聚类分析法、证据理论法、DS 算法、最优理论法等。

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 作者丨汪宁非编辑丨机器之心来自加州大学尔湾分校(UC Irvine)的研究者发现,L4 自动驾驶里用的最广泛的用来提高系统鲁棒性的多传感器融合感知(Multi-Sensor Fusion ...

    作者丨汪宁非

    编辑丨机器之心

    来自加州大学尔湾分校(UC Irvine)的研究者发现,L4 自动驾驶里用的最广泛的用来提高系统鲁棒性的多传感器融合感知(Multi-Sensor Fusion based Perception)技术存在一个安全漏洞,使得攻击者可以 3D 打印出一个恶意的 3D 障碍物,放在道路中间,从而让自动驾驶车辆的 camera 和 LiDAR 机器学习检测模型都识别不到。这项研究已经正式发表在计算机安全四大顶会之一 IEEE S&P 2021。

    在自动驾驶系统里,「感知」实时周围物体是所有重要驾驶决策的最基本前提。感知模块负责实时检测路上的障碍物,比如周围车辆、行人、交通锥 (雪糕筒)等等,从而避免发生一些交通事故。当前,L4 自动驾驶系统逐渐商业化,其普遍采用多传感器融合的设计,即融合不同的感知源,比如激光雷达(LiDAR)和摄像头(camera),从而实现准确并且鲁棒的感知。

    在这样的设计中,根据「并非所有感知源都同时被攻击(或可以被攻击)」这一假设,总是存在一种可能的多传感器融合算法,可以依靠未被攻击的源来检测或防止单感知源攻击。这个基本的安全设计假设一般都是成立的,因此多传感器融合通常被认为是针对现有无人车感知攻击(单感知源攻击)的有效防御策略。

    来自加州大学尔湾分校(UC Irvine)的研究者发现,在识别现实世界中,这种多传感器融合的障碍物感知存在漏洞。通过这个漏洞,可以同时攻击不同的感知源,或者攻击单个感知源(只有 LiDAR 或者 camera 的检测),使得无人车无法成功检测前面的障碍物并直接撞上去。

    论文链接:https://arxiv.org/pdf/2106.09249.pdf

    在这项工作中,我们首次对当今无人车系统中基于多传感器融合的感知进行了安全分析。直接挑战了上述基本的安全设计假设,证明了「同时攻击自动驾驶多传感器融合感知中所有感知源」的可能性。这使我们第一次具体了解到使用多传感器融合作为无人车感知的一般防御策略能提供多少安全保障。

    具体而言,我们发现恶意 3D 障碍物可以被用作针对基于多传感器融合的无人车感知的攻击载体,同时具有有隐蔽和物理上可实现的特点。3D 障碍物的不同形状可以同时导致 LiDAR 点云中的点位置变化和 camera 图像中的像素值变化,因此攻击者可以利用形状操作,同时向 camera 和 LiDAR 引入输入扰动。这样的攻击载体还有另外两个优点:

    (1) 它很容易在物理世界中实现和部署。例如,攻击者可以利用 3D 建模构建这类障碍物,并进行 3D 打印。目前市面上有很多在线 3D 打印服务,攻击者甚至不需要拥有 3D 打印设备;

    (2) 它可以通过模仿能合法出现在道路上的正常交通障碍物,如交通锥或障碍物(如石头),并伪装为比较常见的磨损或破损的外观,实现高度隐蔽性(如图 1)。

    图1:生活中路面可能出现的形状奇怪或破损的物体

    为了使其既容易部署又能造成严重的碰撞,攻击者可以选择较小的障碍物,如岩石或交通锥,但用花岗岩甚至金属填充,使其更硬更重。例如,一块 0.5 立方米的石头或一个 1 米高的交通锥,里面填充一些铝,很容易超过 100 公斤,如果汽车在高速行驶时撞到,有底盘损坏、撞碎挡风玻璃甚至失去控制的风险。另外,攻击者还可以利用某些道路障碍物的功能(如交通锥作为标识的功能)。例如攻击者可以设计一种仅针对无人车的攻击,将钉子或玻璃碎片放在生成的恶意交通锥障碍物后面,这样,人类驾驶员能够正常识别交通锥并绕行,而无人车则会忽视交通锥然后爆胎。在这里,安全损害并不是需要由碰撞交通锥体本身造成的,因此在这种情况下,恶意的交通锥体可以像普通交通锥体一样小而轻,以使其更容易 3D 打印、携带和部署。

    为了评估这一漏洞的严重性,我们设计了 MSF-ADV 攻击,它可以在给定的基于多传感器融合的无人车感知算法中自动生成上述的恶意的 3D 障碍,创新性设计可提升攻击的有效性、鲁棒性、隐蔽性和现实生活中的可实现性(如图 2)。我们选择了 3 种障碍物类型(交通锥、玩具车和长椅)进行测试,并在真实世界的驾驶数据上进行评估。我们的结果显示,在不同的障碍物类型和多传感器融合算法中,我们的攻击实现了 >=91% 的成功率。

    我们还发现,我们的攻击是(1)基于用户研究,从驾驶者的角度看是隐蔽的;(2)对不同的被攻击车的位置和角度具有鲁棒性,平均成功率 > 95%;(3)制作出来的恶意的 3D 障碍物可以有效转移并用于攻击其他 MSF 算法,平均转移攻击成功率约 75%。

    图 2:基于优化的恶意的 3D 物体生成概述。

    为了了解攻击在物理世界中的可实现性和严重性,我们 3D 打印了生成的恶意障碍物(图 3),并在使用了多传感器融合感知得真车上进行评估。图 4 是我们使用的装配了 LiDAR 和 camera 的测试车辆。我们发现恶意的障碍物可以在总共 108 个传感器帧中的 107 帧中(99.1%)成功躲过多传感器融合的检测。在一个微缩模型的实验环境中(图 5),我们发现我们的恶意的障碍物在不同的随机抽样位置有 85-90% 的成功率逃避多传感器融合感知的检测,而且这种有效性可以转移。

    图 3: 3D 打印出来的恶意障碍物

    图 4: 安装 LiDAR 和 camera 的真车设置和检测结果 (攻击演示视频:_https://www.youtube.com/watch?v=N96L53bIPdM&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=3_ )

    图 5: 微缩模型的实验环境和检测结果 (攻击演示视频:_https://www.youtube.com/watch?v=VLUW6yqyGKo&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=2_ )

    为了了解端到端的安全影响,我们使用产品级的无人车模拟器 LGSVL 进一步评估 MSF-ADV(图 6)。在 100 次运行中,我们的恶意的交通锥对 Apollo 的无人车造成 100% 的车辆碰撞率。相比之下,正常交通锥体的碰撞率为 0%。

    图 6: Apollo 和 LGSVL 在端到端攻击评估的截图 (攻击演示视频:_https://www.youtube.com/watch?v=ph4FppYVc5U&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=4_)

    多传感器融合不是自动驾驶安全的万全之策

    这项研究的主要贡献是让大家意识到多传感器融合感知同样存在安全问题。很多前人工作事实上把多传感器融合当做对于单个传感器攻击的有效防御手段,但是之前却并没有文章去系统性的探究这一点。我们的工作填补了这一个关键的知识空白,证明其实并不完全是这么一回事。我们生成的 3D 恶意的障碍物可以让多传感器融合感知系统失效,从而导致无人车撞到这种物体上并造成交通事故。

    我们认为比较切实可行的防御手段是去融合更多的感知源,比如说更多的不同位置的 camera 和 LiDAR,或者考虑加入 RADAR。但是这不能从根本上防御 MSF-ADV,只能是说让 MSF-ADV 生成过程更加困难。我们已经就这个漏洞联系了 31 家自动驾驶公司,同时建议它们应用这些缓解手段。我们觉得不论是研究者还是自动驾驶公司都需要投多更多精力去系统性地探究自动驾驶里的的安全问题。

    其他问题:

    为了实现同样的攻击目标,为什么攻击者不能直接向无人车扔石头或者直接在无人车前面放钉子或玻璃碎片?

    我们是计算机安全研究人员,所以我们的目标是研究特定于计算机技术(在我们的例子中指的是自动驾驶)的安全漏洞。我们的最终目标是在计算机技术层面修复它们。扔石头、放钉子或玻璃碎片并不是针对于无人驾驶这种特定技术的攻击,非无人驾驶车辆也会受到损害,同时这样的研究也无助于暴露出无人驾驶技术中的安全隐患相比之下,我们的恶意的障碍物可以被人眼正确识别出来,但无人车系统却无法正确识别,这个才是我们需要研究的技术问题。通过发现和解决此类问题,无人车技术可以更好地接近人类驾驶的水平和性能,从而实现无人车技术的最终目标:代替人类驾驶。

    一般车上都有的紧急刹车系统可以防御这种攻击吗?

    紧急刹车系统可以减轻它的的风险,但既不能完全防止此类攻击,也不能消除防御攻击的需要。首先,无人车系统必须设计为能够自行处理尽可能多的安全隐患,而不是完全依赖紧急刹车系统。紧急刹车系统仅设计为紧急情况或者备用安全保护措施;_它永远也不应该用来代替无人车警觉性_ (https://www.motortrend.com/news/automatic-emergency-braking/)。就像司机驾驶一样,没有人完全依赖紧急刹车系统来确保安全;我们必须始终保持谨慎并尽可能的主动做出安全决策,然后仅依靠紧急刹车系统作为在极端情况下尽力而为的后备保护。因此,我们必须要想办法在无人车系统级别上解决这种漏洞。

    其次,现如今的无人刹车系统本身际上远非完美,并且可能具有很高的漏报率。例如,_AAA 报告称,很多车(例如雪佛兰迈锐宝、本田雅阁、特斯拉 Model 3 和丰田凯美瑞)的紧急刹车系统故障率为 60%_ (https://www.zdnet.com/article/does-your-car-have-automated-emergency-braking-its-a-big-fail-for-pedestrians/)。此外,即使无人车的紧急刹车系统能够成功紧急停车,但是也无法避免无人车被后面的车追尾。

    我们有对无人车公司进行漏洞报告吗?他们是怎么答复的?

    截至 2021 年 5 月 18 日,我们对 31 家开发或者测试无人车的公司进行了漏洞报告,其中 19 家(约 61%)已经回复了我们。根据答复,大多数公司目前都在调查它们是否会受到影响以及受到的影响程度。有些公司已经与我们开会讨论他们的调查。

    本次研究作者团队,来自加州大学尔湾分校、密西根大学安娜堡分校,亚利桑那州立大学,伊利诺伊大学厄巴纳 - 香槟分校,英伟达 Research,中国百度深度学习技术与应用研究和国家工程实验室,嬴彻科技,一共有 9 名研究人员。四位同等贡献第一作者来自加州大学尔湾分校,密西根大学安娜堡分校,亚利桑那州立大学和英伟达 Research,分别是 Ningfei Wang, Yulong Cao, Chaowei Xiao 和 Dawei Yang。三位教授分别是 Qi Alfred Chen, Mingyan Liu, Bo Li。以及两位来自于百度和嬴彻科技的研究人员,分别是 Jin Fang 和 Ruigang Yang。

    项目网站:_https://sites.google.com/view/cav-sec/msf-adv_ (https://sites.google.com/view/cav-sec/msf-adv)

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 汽车行业自动驾驶系列报告之四:传感器篇,多传感器融合-180904
  • 组合导航和VIO相关内容.使用了submodules形式挂载了tools,因此clone完本程序需要更新tools 希望和有兴趣的小伙伴一起交流,
  • 文章转自公众号:计算机视觉之路原文链接:头条 | 自动驾驶多传感器融合技术浅析​mp.weixin.qq.com自动驾驶车上使用了多种多样的传感器,不同类型的传感器间在功用上互相补充,提高自动驾驶系统的安全系数。...

    bf529e476f6d17d16921a87bd998795c.png
    文章转自公众号:计算机视觉之路
    原文链接:
    头条 | 自动驾驶多传感器融合技术浅析​mp.weixin.qq.com
    c86ece668ff7db89eca26b3b69f55c87.png

    自动驾驶车上使用了多种多样的传感器,不同类型的传感器间在功用上互相补充,提高自动驾驶系统的安全系数。为了发挥不同传感器优势,融合技术起着关键的作用,现对多传感器融合技术(指前融合)按照下图方式进行分类。

    79f1a0f89196865bb05aa48bbfb314de.png

    按照融合阶段分:

    • 单阶段融合:指在整个融合算法流程的数据阶段或者cnn网络中某一个特征提取层进行相关数据或者特征的融合,代表有:PointPainting[1],LaserNet++[2]
    • 多阶段融合:指在整个融合算法流程的不同特征提取层进行特征融合,代表有:ContFusion[3]
    • Proposal融合:这种融合方式一般在多阶段的检测方法中使用,使用第一阶段proposal得到的候选框,在目标框级别进行相关传感器的特征融合。代表有:AVOD[4],F-PointNets[5],MV3D[6]

    按照融合传感器的分类方式相对好理解,比较常见的是Lidar与Camera的融合,当然车上的任何一个传感器理论上都可以融合使用,后面再详细介绍。

    在offline融合算法流程设计上,需要解决两个核心问题:如何做数据/特征投影?如何设计融合网络?下面按照融合阶段的分类方式对融合算法的两个核心问题进行总结分析。

    一、单阶段融合

    这种融合算法最容易理解,也最容易实现。下面用PointPainting[1]和LaserNet++[2]为例说明。

    PointPainting[1]

    98aa86d4f56451b5ad95c77954ca3f82.png

    整个算法流程如上图所示,在融合网络结构设计上并非end-to-end训练方式,分成了2个阶段,第一阶段,对camera数据做语义分割,第二阶段,将激光雷达点云与语义信息相结合做3D目标检测。通过特征投影将两个阶段联系起来,也就是图中的第二步:Point Painting。

    这个投影过程也分为两步,首先在源数据上建立点云与图像像素间的对应关系,这个对应关系可以通过多传感器的标定参数计算得到:P(camera)=K*T*P(lidar),其中K为相机的内参,T为lidar到camera的标定参数,如下式,由于不同传感器获得数据是有一些时间差,通过自车的定位信息做出补偿即可。第二步则在此对应关系的基础上,将语义分割网络的输出与点云特征concatenate,得到3D目标检测网络的输入。

    15b2ccf528064a327fe3d1e6d7989c62.png

    LaserNet++[2]

    e9a1a909e43b6effce5ccb8cf6711071.png

    LaserNet++[2]设计了一个end-to-end的融合网络,如上图所示,分别用两个网络来提取camera数据与lidar点云的特征,然后通过特征投影,将两种特征通过相加的方式组合成新的特征,再使用lasernet[7]完成3D目标检测。

    投影过程也是分为两步,首先在源数据上建立camera/range view图像与图像像素的对应关系,然后再利用对应关系得到两种传感器相对应的特征。Lasernet++[2]在做点云特征提取时,使用了camera/rang view的表达方式,因此,建立点云与图像像素对应关系也分为两步:

    • 计算点云与range view图像的对应关系,如下式,其中p为点云坐标,

    862c7fcec5958a0c5841a165638ee9ce.png
    • 2)计算点云与图像像素的对应关系,如下式,其中(u,v)为图像坐标,p为点云坐标,K为相机内参,R和t为从lidar坐标到camera坐标变换的旋转矩阵和平移矩阵。

    8e9366e90d692aebeca321946320fd4b.png

    大家可以发现单阶段融合都是从源数据出发建立不同传感器的数据对应关系,然后在特征级别融合。为什么说这个方法相对简单,因为这种数据对应关系最少是单向一一对应,如稀疏点云的点可以一一对应到图像的像素点上,因此在做特征融合时不需要很复杂的处理,仅使用数据这种单向一一对应关系便可以融合。

    二、多阶段融合

    多阶段融合方法以ContFusion[3]为例,相对单阶段融合,这种方法会复杂一些,主要复杂在融合特征的提取上。

    融合网络结构设计

    2bb5ddc680df072f0e7643b8c9061a1f.png

    整体网络结构如上图所示,比较清晰,是一个end-to-end网络,分成了4个部分:camera特征提取(黄色区域)、特征融合(蓝色区域)、lidar特征提取(粉色区域)、检测输出(浅绿色区域)。这种设计的好处就是可以dense的融合两种信息,但是问题也很明显,效率不怎么高。

    特征投影-continuous fusion

    90221276fe53605df0faaab28cfe57a0.png

    这个投影关系的建立整体上来说分成2大步:建立源数据投影关系、提取融合特征。具体如上图所示分成了5步:

    • 作者在lidar特征提取时使用了bev表达,我们知道bev上的像素点与点云并不是一一对应的,bev图是很稀疏的,因此作者使用了KNN的方式,获得bev图上每一个像素对应的K个点云
    • 将bev图下得到的k个最近邻的点反投影回点云坐标
    • 建立点云点与图像像素的对应关系,建立方式和单阶段融合的方式相同
    • 由于lidar点投影到图像素坐标为浮点数,因此需要通过插值得到投影点的特征向量
    • 通过mlp得到图像特征与几何特征的融合特征,计算方式如下式所示,其中fj为j点的图像特征,x为点云3D坐标,xj-xi为j点与目标点i点距离差。最后hi与lidar点云特征相加得到最终的融合特征。

    ba094dd925755c4bc8cdeaa776a034e1.png

    ContFusion[3]融合方式中KNN的参数选取很关键,k值和d值对最终结果影响较大,k和d都不易太大,太大会融合远处点云点的信息,干扰当前点的特征表达,模型效果变差。Continuous convolution[8]增加了整个模型的复杂度。

    三、Proposal融合

    这种融合方法主要出现在多阶段检测方法中,在投影方面不再涉及源数据投影,或者特征投影,涉及的是3D框的投影;网络结构设计上,使用常见的two-stage detector的设计方式,这里不做重点介绍。另外这种融合方式有点儿像后融合,如果设计的网络结构不是end-to-end训练方式,也可以作为后融合方法,如F-PointNets[5],这里不介绍后融合方法。AVOD[4]是在MV3D[6]的基础上提出的,框的投影方式是类似的。下面根据MV3D[6]对框的投影方式介绍一下:

    963a21ce3d34f7db307dc656fd41aa3c.png

    如上图所示,为MV3D[6]的网络结构,其中3D proposal由bev网络得到,然后将其分别投影到不同的特征表达图上:bev,range view,camera,计算方式如下式,然后在不同传感器的特征图上roi align得到不同的特征并融合在一起。

    b3d52da4bb833c42f97ac8d562395ce3.png

    T是3D框到不同特征表达图v的投影。

    对于AVOD[4]来说,框的投影有两次,如下图所示,一次是使用3D anchor,avod在提取proposal时,仅对含有点云的anchor单独判断是否有目标,在这个地方与常见的two-stage detector不同;第二次是proposal,即3D候选框.。

    0147a26bf4ba324b954fefaff927178b.png

    四、总结

    以上针对融合阶段这种分类方式对多传感器融合技术做了简单的分析,重点分析了多传感器融合技术中的两个核心问题:数据/特征投影,融合网络设计。

    • 投影方式决定了融合算法能否end-to-end训练,而end-to-end训练能使模型得到更好的结果,如在PointPainting方法中,作者认为由于PointPainting[1]没有使用end-to-end训练,会造成该方法无法得到最好的结果。
    • 对于融合网络设计,主要考虑融合特征的提取,或融合方式的设计,是数据/单层特征融合,还是多层特征融合,还是目标级特征融合?正如MV3D[6]中讨论的early fusion、deep fusion、late fusion:deep fusion相对另外两种融合方式在精度上可以提高0.5个百分点,但是在实际应用时,还需要考虑speed vs accuracy平衡的问题。

    另外,以上融合方法都是Lidar与Camera的融合,其他传感的融合方法后面会继续介绍。关注公众号:计算机视觉之路,敬请留意。

    五、参考文献

    1. PointPainting: Sequential Fusion for 3D Object Detection
    2. Sensor Fusion for Joint 3D Object Detection and Semantic Segmentation
    3. Deep Continuous Fusion for Multi-Sensor 3D Object Detection
    4. Joint 3D Proposal Generation and Object Detection from View
      Aggregation
    5. Frustum PointNets for 3D Object Detection from RGB-D Data
    6. Multi-View 3D Object Detection Network for Autonomous Driving
    7. LaserNet: An Efficient Probabilistic 3D Object Detector for Autonomous Driving
    8. Deep Parametric Continuous Convolutional Neural Networks

    最后,本公众号后续会逐步分享以上相关内容。大家可以关注微信公众号:计算机视觉之路,点击“原创干货”,直接获得“自动驾驶”与“cv通用算法”的介绍。其中“cv通用算法”版块主要涉及最新的视觉通用算法,而“自动驾驶”版块则是更贴近环境感知算法应用的相关技术,如下图所示。

    552e02657240eef8b4049531dde33514.png
    展开全文
  • 传感器标定 传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了个/多种传感器,而它们之间的坐标关系是需要确定的。 这个工作可分成两部分:内参标定和外参标定,内参是决定传感器...
  • 1、多传感器融合几个概念 硬件同步、硬同步: 使用同一种硬件同时发布触发采集命令,实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。   软件同步: 时间同步、空间同步。   时间同步、...
  • 在simulink中搭建的基于相机和毫米波雷达的障碍物检测,检测前方车辆并进行ACC的整套模型。已在实车中进行验证。
  • 应用背景介绍多传感器融合是一项结合传感器数据的综合性前沿内容,主要包括Camera、激光雷达、IMU、毫米波雷达等传感器的融合,在自动驾驶、移动机器人的感知和定位领域中占有非常重要的地位...
  • 自动驾驶系列报告之四_传感器篇_多传感器融合.pdf
  • 传感器时空同步概述
  • 导读 高德定位业务包括云上定位和端上定位两大模块。...特别是车机端定位,由于定位设备安装在车上,一方面,它可以搭载更丰富的定位传感器来解决特殊场景的问题,另一方面,各个传感器之间相互固连,有利于...
  • (一)卡尔曼滤波的原理 ...(二)GPS和惯性传感器IMU的融合 GPS的缺点是更新频率低,无法满足实时性计算的要求。惯性传感器IMU是高频传感器,在短时间内可以提供稳定的实时位置更新,但是其定位误差随着运行时间增加.
  • 1 融合算法的选择——使用EKF 因为Apollo使用的是EKF,所以我们也用EKF,(具体的资料可以查看issues_10957) 《无人驾驶》课程老师推荐的论文《EKF、UKF、PF目标跟踪性能的比较》中也是这样说的, ...
  • 自动驾驶传感器融合问题讨论.pdf
  • 多传感器信息融合技术在智能驾驶系统中的应用 [日期:2004-12-8] 来源:电子技术应用 作者:赵敏华 安毅生 黄永宣 [字体:大 中 小]    摘要:介绍了当今国际上流行的几种智能驾驶系统,并分析了采用...
  • 无人驾驶多传感器融合技术

    千次阅读 2019-07-13 17:07:06
    “自动泊车、公路巡航控制和自动紧急制动等自动驾驶...只有把传感器信息融合起来,才是实现自动驾驶的关键。” 现在路面上的很汽车,甚至是展厅内的很新车,内部都配备有基于摄像头、雷达、超声波或LIDAR...
  • 传感融合技术概述 在前面几篇文章,笔者分别介绍了自动驾驶环境感知领域的一些技术,包含雷达技术、摄像头和视觉...所以本篇文章将重点介绍下,如何实现自动驾驶传感器的融合。 传感器融合的问题和挑战 传感器数
  • 同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、...
  • 一、 环境感知系统 二、传感器信息融合技术 三、传感器技术要求 四、传感器技术发展展望
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达来源丨牛喀网编辑丨传感器专家网卡尔曼滤波器是传感器融合工程师用于自动驾驶汽车的工具。想象一下,你有一个雷达传感器,告诉你另一辆车距离...
  • 点上方蓝字人工智能算法与Python大数据获取更干货在右上方···设为星标★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于 :Kittcamp自动驾驶学院/导读/随着...
  • 自动驾驶传感器融合技术,另外还包含了自动驾驶学习资料 涵盖感知,规划和控制,ADAS,传感器; 1. apollo相关的技术教程和文档; 2.adas(高级辅助驾驶)算法设计(例如AEB,ACC,LKA等) 3.自动驾驶鼻祖mobileye的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,818
精华内容 3,927
关键字:

自动驾驶多传感器融合