精华内容
下载资源
问答
  • 自动驾驶所需传感器
    2021-12-08 01:42:56

    来源丨AI 修炼之路

    在自动驾驶汽车中,传感器融合是融合来自多个传感器数据的过程。该步骤在机器人技术中是强制性的,因为它提供了更高的可靠性、冗余性以及最终的安全性。

    为了更好地理解,让我们考虑一个简单的例子,如激光雷达和相机都在看着行人: 

    • 如果两个传感器中的一个没有检测到行人,我们将使用另一个传感器作为冗余来增加检测到行人的机会。

    • 如果两个传感器都检测到了行人,传感器融合技术将使我们更准确地知道行人的位置……通过处理两个传感器的噪声值。

    由于传感器是有噪声的,因此需要传感器融合算法来处理这些噪声,并尽可能进行最精确的估计。

    在融合传感器时,我们实际上是在融合传感器数据,或者叫做数据融合。有9种方法可以构建数据融合算法。这9种方法又可以分为3大类。

    本文将重点介绍传感器融合的3种分类和9种算法

    按抽象级别进行传感器融合

    最常见的融合类型是抽象级别的。在这种情况下,问题是“应该什么时候进行融合?”

    文章激光雷达和摄像头的融合中描述了早期(EARLY)和后期(LATE)融合两种过程。

    在业界,还有其他称呼:低级(Low Level)、中级(Mid-Level)和高级(High-Level)传感器融合。

    低级别融合:融合原始数据

    低级别传感器融合是关于融合来自多个传感器的原始数据。例如,融合来自激光雷达的点云数据和来自摄像头的像素级数据。

    ✅ 这种类型的融合在未来几年具有很大的潜力,因为其考虑了所有数据。

    ❌ 早期融合(Low-Level)几年前还很难做到的,因为所需的处理量很大。每毫秒可以将数十万个点与数十万个像素融合在一起。

    下面是一个摄像头和激光雷达低级别融合的示例。

    525847406daae70400ade69a4e71464d.png

    在此过程中使用了对象检测,但真正完成这项工作的是将3D点云投影到图像中,然后将其与像素关联起来。

    中级别融合:融合检测数据

    中级传感器融合是将传感器独立检测到的物体进行融合。

    如果摄像头检测到障碍物,雷达也检测到它,我们把这些结果融合到一起形成对障碍物的位置、类别和速度的最佳估计。通常使用的方法是卡尔曼滤波器(贝叶斯算法)

    ✅ 这个过程很容易理解,并且包含了几个现有的实现。

    ❌ 它严重依赖于检测器。如果一个失败,整个融合都可能失败。卡尔曼滤波器来解决这个问题!

    中级传感器融合示例:

    6c35244af5e0fd0938e000963d33f3be.png

    在此示例中,我们将来自激光雷达的3D边界框与来自对象检测算法的2D边界框融合在一起。该过程有效;但也可以逆转。可以将3D激光雷达的结果映射到2D中,并在2D影像中进行数据融合。

    高级别融合:融合轨迹

    最后,高级传感器融合是关于融合对象及其轨迹。我们不仅依赖于检测,还依赖于预测和跟踪。

    ✅ 此过程高一级,其优点是简单。

    ❌ 一个主要问题是可能会丢失太多信息。如果追踪是错误的,那么整件事都是错误的。

    雷达和摄像头之间按抽象级别的数据融合图:

    8dffdf96ddaa0797ac812eff87f80662.png

    中心化级别的传感器融合

    融合算法的第二类方法是按中心化级别来区分的。该场景下的问题是“融合在哪里发生?”。主计算机可以做,或者每个传感器可以做自己的检测和融合。一些方法是通过使用称为卫星架构的技术来做融合的。

    我们来了解一下3种类型的融合:

    • 中心化:

      一个中央单元处理融合(低级别)。

    • 去中心化:

      每个传感器融合数据并将其转发到下一个。

    • 分布式:

      每个传感器在本地处理数据并将其发送到下一个单元(后期融合)。

    我们以一辆经典的自动驾驶汽车为例。在这种情况下,每个传感器都有自己的计算机。所有这些计算机都连接到一个中央计算单元。

    与此相反,Aptiv开发了一种卫星架构的架构。这个想法是:所有传感器都连接到一个中央单元上,该单元处理称为主动安全域控制器的智能。

    5b47aa270481c5db2f16b27ae9bf14f2.png

    在这个过程中,利用传感器的位置和传递的信息类型,可以帮助减轻车辆的总重量,并随着传感器的数量可以更好地扩展。

    左图的情况如下:

    1. 传感器只是“卫星”:

      它们只是用来收集原始数据的。

    2. 主计算机中进行360°的融合:

      不必安装非常好的传感器,因为不会进行单个检测。

    3. 检测是在360°的全景图上完成的。

    ✅ 这有几个优点,请阅读

    这是“中心化融合”的两个例子。当我们使用经典架构时,可能会遇到另外两种类型的融合。

    雷达和摄像头之间按抽象级别的数据融合图:

    6b523cd3971297ee71812c2ec438cca7.png

    按竞争级别的传感器融合

    对传感器融合算法进行分类的最后一种方法是按竞争级别。

    • 在抽象级别,问题是“什么时候”融合应该发生。

    • 在中心化级别,它是关于“在哪里”的。

    • 在竞争级别,问题是“融合应该做什么?

    同样,有3种可能。

    竞争融合

    竞争融合是指传感器用于相同目的。例如,当同时使用雷达和激光雷达来检测行人时。这里发生的数据融合过程称为冗余,使用术语“竞争”。

    互补融合

    互补融合是指使用不同的传感器观察不同的场景来获取我们使用其他方式无法获得的东西。例如,使用多个摄像头构建全景图时。由于这些传感器相互补充,使用术语“互补”。

    协同融合

    最后,协同融合是关于使用两个或更多传感器来产生一个新场景,但是关于同一个对象的。例如,在使用2D传感器进行3D扫描或3D重建时。

    bf02a52f0dcabbe4f381e24ca9ca7f0c.png

    希望这篇文章可以帮助您更好地了解如何使用传感器融合,以及如何区分不同的融合算法。

    融合通常由贝叶斯算法完成,例如卡尔曼滤波器。我们可以融合数据来估计物体的速度、位置或类别。

    译自:Learn Self-Driving Cars, Computer Vision, and cutting-edge Artificial Intelligence

    本文仅做学术分享,如有侵权,请联系删文。

    3D视觉精品课程推荐:

    1.面向自动驾驶领域的多传感器数据融合技术

    2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
    3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
    4.国内首个面向工业级实战的点云处理课程
    5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
    6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
    7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
    8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

    9.从零搭建一套结构光3D重建系统[理论+源码+实践]

    10.单目深度估计方法:算法梳理与代码实现

    11.自动驾驶中的深度学习模型部署实战

    12.相机模型与标定(单目+双目+鱼眼)

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    cf403827efddb27e259142dd39e2b709.png

    ▲长按加微信群或投稿

    bd23a0bad2af0ade00a7d16be4f189b6.png

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

    8afd0d577d4bd8168aafdc86c42b67a8.png

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    更多相关内容
  • 自动驾驶常用传感器介绍

    千次阅读 2021-07-04 10:53:19
    自动驾驶常用传感器介绍一、摄像头1. 概述2. 摄像头在自动驾驶中的应用3. 车规级摄像头性能要求4. 摄像头的优劣势分析5. 摄像头关键参数二、激光雷达1. 概述2. 工作原理3. 激光雷达的特性4. 激光雷达的分类5. 激光...

    一、摄像头

    1. 概述

    摄像头是自动驾驶核心传感器,是实现自动驾驶众多规划、控制的基础,相比于激光雷达和毫米波雷达,最大的优势在于可以识别车辆周边的环境信息和纹理信息,能够“看到”目标的类型、信号灯的颜色等,类似于人类的眼睛

    摄像头是将光学组件获得的光信号,投射到图像传感器上,完成由光信号到电信号的转换,然后再转换为数字图像信号,最后进行信号的算法处理。基于图像数据从而实现感知车辆周边路况的功能,实现如车辆、行人、车道线、交通标识物的检测、距离估计等模块

    2. 摄像头在自动驾驶中的应用

    根据摄像头的安装位置,可以分为前视、侧视、后视、内置、环视等。在高级别自动驾驶车辆上,配置的摄像头有多个甚至十多个。如特斯拉Autopilot2.0硬件系统就包含8个摄像头。
    在这里插入图片描述

    3. 车规级摄像头性能要求

    针对车规级的摄像头,因为车辆全天候全天时的运作,对光线、温度的变化都有较高的要求(如进出隧道等明暗反差过大的场合,北方冬天极寒场景等),且能够满足车辆震动的要求,所以要求自动驾驶中摄像头主要需要满足:

    1)耐高温:车载摄像头需要在-40℃-85℃范围内都能够正常工作,且能够适应温度的剧烈变化;

    2)抗震:车辆在路面行驶时会产生较强的震动,所以车载摄像头必须能抗各种强度的震动;

    3)防水:车辆需要在全天候全天时工况下运行,就需要摄像头密封严实、满足在雨水中浸泡仍可正常使用;

    4)使用寿命:车载摄像头的使用寿命至少 10 年;

    5)高动态低噪点:车辆需要在全天候全工时状态下运行,摄像头面对的光线环境变化剧烈且频繁,所以要求摄像头的 CMOS 具有高动态性;在光线较暗时,能够有效的抑制噪点的产生;

    6)对于某些特定功能的摄像头,如侧视摄像头、环视摄像头等,还需要水平视场角比较广

    4. 摄像头的优劣势分析

    在这里插入图片描述

    5. 摄像头关键参数

    焦距:指平行光从透镜中心到光聚的焦点的距离,如4mm,6mm,12mm;

    ◆ 有效的探测距离:如近距,中距,远距等对应不同探测距离需求;

    视场角:水平视场角(HFOV)和垂直视场角(VFOV),一般来说,焦距越小,视场角越大(如下图所示);
    在这里插入图片描述

    分辨率大小:200W(1920x1080),500W(2560x2048),800W(3200x2400);

    最低照度:CMOS对环境光线的敏感程度;

    信噪比:输出的信号电压和噪声电压的比值;

    动态范围:正常显示细节的最亮和最暗物体的亮度值所包含的那个区间;

    二、激光雷达

    1. 概述

    激光雷达(Lidar),全称 Laser Detecting and Ranging,即激光探测和测距,是一种用于精确获得三维位置信息的传感器,可以确定目标的位置、大小、外部轮廓等。与毫米波雷达工作原理相似,激光雷达通过发射和接收激光束,获取空间的位置点信息(即点云),并根据这些信息进行三维建模。

    除了获取位置信息外,激光信号的反射率还可以区分目标物质的不同材质,激光雷达的线束越多,其测量精度越高。由于激光的频率高,波长短,可以获得极高的角度、距离和速度分辨率,这就意味着可以利用多普勒成像技术,构建出清晰的 3D 图像。

    2. 工作原理

    激光雷达一般包括发射系统、接收系统、信息处理三大部分组成,部分激光还包括扫描系统。

    激光雷达是向目标发射激光探测信号束,然后将收到的从目标反射回来的信号(目标回波)与发射信号进行比较,测量发射信号与接收信号地时间差或者相位差,获得目标的距离信息,然后通过水平旋转扫描来测量角度,建立二维极坐标系,然后通过不同的俯仰角度信息,获得目标的高度信息等,从而完成对目标的探测、跟踪、识别。下图可以反映出激光雷达的组成:

    在这里插入图片描述

    激光雷达的测距有两种,一种是基于时间的测量方法,也叫飞行时间法(TOF),另一种是不基于时间的测距法。基于时间的测量方法又分为脉冲法和三角法两种。

    脉冲法,也称为直接法,数学模型如下:距离 = 光速 * 往返时间 / 2;

    三角法,也叫间接法,如下图:
    在这里插入图片描述
    激光雷达发射器发射激光,经过物体(object)反射后被 Imager 捕捉,假设捕捉点为 x 2 x_2 x2,通过焦点 O 作一条虚线平行于入射光线,与 Imager 交于 x 1 x_1 x1,由于图中β已知,所以可以得到 x 1 x_1 x1的位置。假设 x 1 x_1 x1 x 2 x_2 x2之间的距离为 x x x,可以得到左右两个三角形相似,所以有: q f = s x \frac {q} {f}=\frac {s} {x} fq=xs,又因为 s i n β = q d sin \beta=\frac {q} {d} sinβ=dq,所以有 d = s f x s i n β d=\frac {sf} {xsin\beta} d=xsinβsf,这就得到了物体到激光的距离𝑑。

    三角式结果比较简单,测试速度快,但对器件的灵敏性要求高,主要应用在微位移测量,比如物体表面轮廓、宽度、厚度等。不光是脉冲法还是三角法,都需要测量激光的往返时间,难度较大,精度相对低,所以有了不依赖时间的相位式的测量方法。相位式方法不以时间为基准,而是将调制信号对激光光强进行调制,通过测量相位差来检测测量往返时间,其数学模型如下:
    在这里插入图片描述
    其中𝐷为距离,𝐵为激光往返一次所产生的相位差,𝐴为调制信号的波长,A/2称为测尺,即相位变化为2π时所对应的距离。相位法适合中短距离的测量,是目前测距精度较高的一种方式。

    3. 激光雷达的特性

    在这里插入图片描述
    相比于其他传感器,激光雷达有自己的优势:
    1)不受光线的干扰,激光雷达可以全天候进行运作,它只需要接收激光束的回波信号来获取目标信息,所以,如阴影,黑夜等对激光雷达的影响很小;

    2)获取的信息量丰富,可以获取目标的三维信息,距离、角度、反射强度、速度等,生成目标多维度图像;

    3)激光雷达波长短,可发射发散角非常小的激光束,其多路径效应小(不会形成定向发射,与微波或者毫米波产生多路径效应),可以探测低空或超低空目标,能有效解决近距离横向视觉盲区问题;

    4)激光雷达的有效距离比摄像头远,在低速时,视觉采样点不足,拟合的车道线准确度较低,而激光有效的采样点较多,精准度远高于视觉系统;相比于毫米波雷达,激光雷达的工作频率高于毫米波数个量级,具有极高的距离分辨率、角分辨率和速度分辨率;

    5)低速近距离状态下,对于未知物体或者有遮挡物体,激光雷达的目标检测能力要优于摄像头;

    6)点云前处理算力较低,可以直接通过点云进行高密度绘制,输出通行空间,无需二次转化。

    4. 激光雷达的分类

    分类优点缺点
    机械式激光雷达拥有 360°视场角,测量精度相对较高线束越高,体积越大;价格昂贵,旋转部件可靠性低
    混合式激光雷达1)MEMS 微振镜相对成熟,可以以较低的成本和较高的准确度实现固态激光扫描(只有微小的微振镜振动),并可以针对需要重点识别的物体进行重点扫描,落地快2)传感器可以动态调整扫描方式,以此来聚焦特殊物体,采集更远更小物体的细节信息并对其进行识别;1)没有解决接收端问题,光路较复杂,依然存在微振镜的震动,结构会影响整个激光雷达部件的寿命,且激光扫描受微振镜面积限制,与其他技术路线在扫描范围上存在一定差距;2)存在激光的反射,反射过程中激光会有较大的损失,导致回波信噪比偏低;
    光学相控(OPA)激光雷达1)结构简单,尺寸小;2)标定简单3)扫描速度快,扫描精度高4)可控性好,光束指向完全由电信号控制,在允许角度范围内可以做到任意指向;5)多目标监控,相控阵面分割为多个小模块,每个模块单独控制就可以监控多个目标1)扫描角度有限;2)光栅衍射除了中央明纹外还会形成其他明纹,这就造成激光雷达最大功率外形成旁瓣,分散激光能量;3)加工难度高,由于光学相控阵要求阵列单元尺寸必须不大于半个波长,一般激光雷达的工作波长为 1 微米,所以阵列单元的尺寸必须大于500nm;4)接收面大、信噪比差
    面阵闪光(Flash)激光雷达Flash 激光束直接向各个方向漫射,可以快速记录环境信息,避免扫描过程中目标或激光雷达移动带来的运动畸变1)Flash 视场角受限,扫描速率较低;2)探测距离小,当目标距离过大时,会导致返回的光子数有限,导致探测精度降低,无法准确感知目标方位

    5. 激光雷达在自动驾驶中的应用

    1)感知,前面已经介绍了,Lidar 通过扫描得到障碍物反射回的点云后采用分类聚类或者深度学习的方法进行障碍物检测,目前 Lidar 已经可以高效的检测行人和车辆,输出检测框或者对点云中的每个点输出 label 进行点云分割,还有使用 Lidar 进行车道线检测或者路面探测的。但如何在包含遮挡、背景干扰、噪声以及数据分辨率变化等复杂场景中实现对目标的检测识别与分割,依然是激光雷达存在的一个挑战性的问题。

    2)标定,就是给出不同的传感器数据集,找出两个数据集的空间变换关系,使得两个数据集统一到同一坐标系的过程。标定分为静态标定和动态标定两种。静态标定一般用来确定传感器的初始姿态信息,主要依赖转台标定、物体表面标记点或者人工选点的方法来实现。动态标定一般用来解决车辆运动过程中,传感器之间相对姿态信息变换的问题。一般标定方法首先采用最小张树方法和连接图算法实现数据间的邻接关系,再采用关键点、线、面匹配的方法,求解出传感器的姿态信息。

    3)里程计与定位,根据标定得到的相对姿态变换关系后,利用传感器数据来估计载体车辆姿态随时间的变化改变关系。如利用当前帧与上一帧进行数据匹配,或者利用当前帧和累计帧构建出来的子图进行匹配,得到微子变换关系,从而实现里程计的作用。当使用当前帧与整个点云地图进行匹配时,就可以得到传感器在整个地图中的位姿,从而实现在地图中的定位。

    三、毫米波雷达

    1. 概述

    毫米波是一种波长介于 1-10mm 的电磁波,其波长短、频段宽,比较容易实现窄波束,具有分辨率高,不易受干扰等特点。毫米波雷达是采用毫米波对目标进行探测,获取目标的相对距离、相对速度、方位的高精度传感器。

    毫米波导引头具有体积小、质量轻、空间分辨率高的特点;

    毫米波导引头穿透雾、烟、灰尘的能力强,传输距离远,具有全天候全天时的特点;

    毫米波性能稳定,不受目标物体形状、颜色的干扰,能够很好的弥补如红外、激光、超声波、摄像头等其他传感器在车载应用中不具备的使用场景。

    2. 工作原理

    笼统来讲,车载毫米波雷达通过发射天线向外发射毫米波,通过接收天线接收目标物的反射信号,经后方信号处理后快速准确地获取汽车车身周围的物理环境信息(如汽车与反射物体之间的相对距离、相对速度、角度、运动方向等)。

    细分来讲,毫米波雷达的工作原理又分为测距原理、测速原理及测角原理。

    测距:通过给目标连续发送电磁波,然后利用传感器接收从物体返回的电磁波,通过探测电磁波的飞行(往返)时间来获得目标物距离。

    测速:根据多普勒效应,通过计算返回接收天线的雷达波的频率变化就可以得到目标相对于雷达的运动速度,简单来说就是相对速度正比于频率变化量。

    测方位角:通过并列的接收天线收到同一目标反射的雷达波的相位差来计算得到目标的方位角。

    3. 在自动驾驶行业中的应用

    在这里插入图片描述
    24GHz毫米波雷达目前大量用于汽车的盲区检测、辅助变道等,主要用作侧向雷达。24GHz 毫米波雷达主要优点为探测范围光;缺点是频率低,带宽窄,只有250MHz,探测距离近。

    77GHz毫米波雷达有等效同性各向辐射功率(EIRP)的优势,可用于前端远程雷达,探测前车与本车的相对距离和相对速度,实现如自适应巡航控制等功能。

    4. 毫米波雷达的优劣势

    在这里插入图片描述

    5. 毫米波雷达性能参数

    性能参数

    ▪ 距离:最大探测距离,距离分辨率,距离精度;

    ▪ 速度:最大探测速度,速度分辨率,测速精度;

    ▪ 角度:探测视角范围FOV,角度分辨率(一般指水平分辨率),测角精度;

    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述
    雨雾尘天气对LiDAR和Radar的影响:

    ◆ 雾气的粒子直径为1~100μm 微米,集中于10~15μm;

    ◆ 灰尘的颗粒直径小于500μm,PM10小于10μm,PM2.5小于2.5μm;
    ◆ 雨滴的直径0.5~5mm 毫米;

    ◆ 波长比雨雾的粒子直径足够大时,就能够穿透雨雾而不会发生能量衰减,一般30mm以上的微波就可以做到;

    ◆ 毫米波(24Ghz、77GHz)对应波长为12.5mm、3.9mm,能够穿透雾气、灰尘,但不能穿过较大雨滴(大雨);

    ◆ 激光雷达的波长集中于0.85~1.55μm之间,雾气、灰尘、雨滴都有影响,雾气和灰尘的粒子更多,影响更大;

    四、惯性传感器(IMU)

    1. 概述

    惯性测量单元,Inertial Measurement Unit(IMU),俗称惯性传感器,主要用来检测和测量加速度与旋转运动的传感器。主要是采用惯性定律实现的。

    车载惯性传感器,又称为Micro-Electro-Mechanical-System,即MEMS,是汽车传感器的主要部分,其主要由3个轴加速计和3个角速度计(陀螺仪)组成,加速度计检测物体在载体坐标系独立三轴的加速度信号,陀螺仪检测载体相对导航系统坐标系的角速度信号。加速度计和陀螺仪安装在相互垂直的测量轴上,通过算法对信号进行处理后,便可计算出物体的姿态。

    IMU提供的是一个相对的定位信息,其作用是测量相对于起点物体所运动的路线,所以IMU不能提供所在的具体位置信息,所以经常和GPS一起使用当在某些GPS信号微弱时,IMU就可以帮助汽车获得绝对位置的信息。

    2. IMU的特性

    由于制作工艺等一系列原因,IMU测量的数据通常会有一定的误差。其误差可以分为:

    在这里插入图片描述
    影响IMU测量的因素有很多,可以规则为如下四类:

    在这里插入图片描述

    3. 在自动驾驶中的应用

    对于自动驾驶来说,高精定位是必须的,高精度定位有两层含义:
    1)自车与周围环境之间的相位位置,即相对定位;
    2)自车的精确经纬度,即绝对定位。

    GPS可以为车辆提供精度为米级的绝对定位,差分GPS或者RTK GPS可以为车辆提供厘米级的绝对定位,但并非所有路段所有时间都能够得到良好的GPS信号。所以一般需要RTK GPS的输出与IMU、车身传感器(轮速计、方向盘转角传感器等)进行融合。

    IMU的作用:
    1) IMU可以验证RTK GPS结果的自洽性,并对无法自洽的绝对定位数据进行滤波和修正;
    2)IMU可以在RTK GPS信号消失之后,仍然提供持续若干秒的亚米级定位精度,为自动驾驶汽车争取宝贵的异常处理的时间;

    五、GNSS与RTK

    1. GNSS介绍

    GNSS全称Global Navigation Satellite System,是利用一组卫星的伪距、星历、卫星发射时间等观测量,同时还必须知道用户钟差。全球导航卫星系统是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统。只需4颗卫星,就能获得目标经纬度和高度。

    GNSS它是泛指所有的卫星导航系统,包括全球的、区域的和增强的,如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统,以及相关的增强系统,如美国的WAAS(广域增强系统)、欧洲的EGNOS(欧洲静地导航重叠系统)和日本的MSAS(多功能运输卫星增强系统)等,还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系统、多层面、多模式的复杂组合系统。

    2. RTK介绍

    RTK(Real - time kinematic,实时动态)载波相位差分技术,是实时处理两个测量站载波相位观测量的差分方法,将基准站采集的载波相位发给用户接收机,进行求差解算坐标。厘米级定位精度,是GPS应用的重大里程碑。其原理是将位于基准站上的GPS接收机观测的卫星数据,通过数据通信链(无线电台)实时发送出去,而位于附近的移动站GPS接收机在对卫星观测的同时,也接收来自基准站的电台信号,通过对所收到的信号进行实时处理,给出移动站的三维坐标,并估计其精度。利用RTK测量时,至少配备两台GPS接收机。

    3. 在自动驾驶中的应用

    GNSS:国内用的多的是GPS+北斗+GLONASS三套卫星导航系统

    在自动驾驶领域,GNSS高精度定位涉及到五个必要的时空因素:GNSS卫星、高精度地图、全疆域通讯网络覆盖、GNSS基站、移动端GNSS接收机

    GNSS与其他传感器的结合 :在自动驾驶领域,多传感器共同工作的环境,也使该领域对GNSS设备的精确性、抗干扰性提出了更高的要求。未来,每辆自动驾驶汽车都将配备有多种传感器,包括激光雷达、毫米波雷达、摄像头、惯性测量单元和GNSS系统;

    GNSS定位可以为自动驾驶提供全局定位信息的来源。GNSS是通过使用三角定位法,通过3颗以上的卫星,可以准确地定位地球表面的任一位置。但由于GPS是有很大的误差,通过使用RTK技术,GNSS可以提供精确到厘米级别的定位精度;

    GNSS+IMU方案是一种最常用的组合惯导系统的方案

    六、超声波雷达

    1. 工作原理

    超声波雷达的工作原理是通过超声波发射装置向外某一个方向发射出超声波信号,在发射超声波时刻的同时开始计时,超声波通过空气进行传播,途中遇到障碍物就会立即反射传播回来,超声波接收器在收到反射波的时刻立即停止计时。在空气中,超声波的传播速度为340m/s,计时器通过记录时间t就可以测算出从发射点到障碍物之间的距离长度(s),即s=340*t / 2。
    在这里插入图片描述

    目前,超声波雷达探头的工作频率有40kHz,48kHz和58kHz三种。一般来说,频率越高,灵敏度越高,但水平和垂直方向的探测角度就越小,所以一般采40kHz的探头。

    2. 超声波雷达的类型

    常见的超声波雷达有两种:
    ◆ 一种是安装在汽车前后保险杠上的,用于测量汽车前后障碍物的倒车雷达,即所谓的UPA,探测距离一般在15~250cm;

    ◆ 一种是安装在汽车侧面的,用于测量侧方障碍物距离的超声波雷达,即所谓APA,探测距离一般在30~500cm,相比于UPA,APA的探测范围更远,但成本更高,功率更大。

    在这里插入图片描述

    3. 超声波雷达的优劣势

    优势:

    1. 因其固有的特性,在传播过程中,能量消耗比较慢;
    2. 在介质中传播的距离比较远,穿透性强,即使在雨雾
      灰尘或者少量泥沙遮挡的条件下,都能够有很好的测
      距性能;
    3. 且测距方法简单,成本较低;

    劣势:

    1. 超声波雷达探测的距离与其传播速度、传播时间相关
      (距离=速度*时间/2);
    2. 在车辆高速运行的状态下,其测量距离也有一定的局
      限性
    3. 超声波雷达散射角较大,方向性差,无法精准的描述
      障碍物的位置(如下图,不知道具体在A或者B);
      在这里插入图片描述

    4. 达在自动驾驶中的应用

    超声波雷达在智能驾驶领域除了障碍物探测外,还有其他的功能,如泊车库位检测,高速横向辅助。

    展开全文
  • 自动驾驶传感器市场调查.ppt
  • 自动驾驶传感器融合系列】01自动驾驶中常用的传感器基础知识文前白话1、Camera2、激光雷达(Lidar)3、毫米波雷达(radar)4、惯性测量单元(IMU)5、GNSS 与 RTK6、其他类型传感器 文前白话 本文简单的介绍应用...

    文前白话

    本文简单的介绍应用于自动驾驶系统中的各种传感器,了解其简单的组成、工作原理以及应用等等。

    1、Camera

    1.1 概述

    • 摄像头是自动驾驶核心传感器,实现众多规划、控制的基础相比于激光雷 达和毫米波雷,最大的优势在于可以识别车辆周边环境信息纹理能够 “看到 ”目标的类型、信号灯颜色等,似于人眼睛。

    1.2 工作原理

    • 摄像头是将光学组件获得的光信号,投射到图像传感器上,完成由光信号到电信号的转换,然后再转换为数字图像信号,最后进行信号的算法处理,从而实现感知车辆周边路况的功能,实现如车辆、行人、车道线、交通标识物的检测、距离估计等模块。
    • 摄像头由以下几部分组成:

    1)光学组件:也叫镜头组件(lens),是由镜片、滤光片、保护膜等组成;
    2)CMOS 图像传感器:也叫感光元件,简称 CIS,是模拟电路和数字电路的集成,是摄像头最基础,也是最重要的模块,主要由四部分构成:
    ◆ 微透镜:具有球形表面和网状透镜,光通过微透镜时,CIS 的非活性部分负责将光收集起来并将其聚焦到彩色滤光片;
    ◆ 彩色滤光片(CF):拆分反射光中的 RGB 成分,并通过感光元件形成 Bayer 阵列*滤镜
    ◆ 光电二极管(PD):光电转换器件,将光信号转换为电信号,一般采用 PIN 二极管或者PNV 结器件制成;
    ◆ 像素设计;通过CIS 上装有的有源像素传感器(APS)实现。一般APS 由3-6 个晶体管构成,将电信号转换为数字图像信号。

    在这里插入图片描述
    在这里插入图片描述

    • *Bayer 阵列,是一个4x4 的阵列,由 8 个绿色、4 个蓝色、4 个红色像素组成,在将灰度图转换为彩色图时会以 2x2 矩阵进行9 次运算,最终生成一副彩图。该阵列时 CIS 的拍摄彩图的主要技术之一。
    • 摄像头在获取数字信号后,通过串行器进行编码,然后通过LVDS 或者其他高效链路,传输到对应的计算平台上,通过对应的解串器进行解码,送入计算单元中进行图像分析。

    1.3 摄像头在自动驾驶汽车上的应用

    • 根据摄像头的安装位置,可以分为前视、侧视、后视、内置、环视等。在高级别自动驾驶车辆上,配置的摄像头有多个甚至十多个。如特斯拉Autopilot2.0 硬件系统就包含 8 个摄像头。
    • a)前视摄像头
      前视摄像头一般布置远距、中距、近距等,安装在前挡玻璃较高的位置,以实现较远的有效检测距离。中距或者远距一般有效检测距离在 90-250m,水平视场角在 60°以下,能够有效的检出行人、车辆、车道线、路岩线、交通信号灯、交通标识牌等。近距离摄像头有效检测距离小于 70 米,水平视场角一般在 70~120°,主要进行车道线、交通信号灯、交通标识牌等。在高级别自动驾驶中,常常会采用三种摄像头搭配的形式进行安装配置。

    • b)侧视摄像头
      侧视摄像头一般用于探测车身周围的盲区,盲区的存在,会大大增加交通事故发生的几率。现在车上的盲点检测,就是这个原理。在自动驾驶领域,也出现了使用侧后视摄像头来取代后视镜,避免在危险盲区发生意外。

    • c)后视摄像头
      后视摄像头主要用于倒车情况,用于障碍物、行人的检测,以及停车线检测等,实现安全倒车,方便停车入位。

    • d)环视摄像头
      环视摄像头一般是采用广角或者鱼眼镜头,用于低速或者超近距离感知,采集车身周围全景拼接,提供车辆四周360°的画面。

    • e)内置摄像头
      内置摄像头主要用于驾驶员姿态的监控,针对疲劳、不规范驾驶等危险行为进行预警,内置摄像头需要在全工况下运行(包含暗光、夜晚、逆光等),且不受驾驶员衣着影响。

    • 摄像头在 ADAS 中的功能列表
    功能摄像头类型位置具体功能
    车道偏离预警(LDW)前视单目/双目车辆偏离车道时,发出警报
    前向碰撞预警(FCW)前视单目/双目当检测到与前车距离过近时,发出警报
    车道保持辅助(LKA)前视单目/双目检测本车道的车道线,当车辆即将偏离时,发出警报
    行人碰撞辅助(PCW)前视单目/双目监测前方道路的行人,并在可能发生碰撞时发出警报
    交通标志识别(TSR)前视单目/双目识别车辆前方道路两侧的交通标志
    盲点监测(BSD)侧视广角监控车辆盲区内障碍物
    泊车辅助(PA)后视广角泊车或倒车时,预测出倒车轨迹,辅助倒车
    驾驶员注意力监测(DM)内置广角安装在车内部,监测驾驶员开车状态
    360 环视(AVM)前侧后鱼眼/广角利用车辆前后的摄像头获取图像进行拼接,输出车身周围全图
    • 1.4 车规级摄像头性能要求

    所谓的车规级,就是需要满足车辆零部件资格和质量体系标准,目前汽车行业适用的标准为ISO/TS 16949 和 ISO26262。前者是以ISO9001:2008 标准为基础,确立针对汽车相关产品的设计和开发、生产以及相对应的安装与服务的质量管理体系要求,适用于整个汽车供应链的组织;后者是一项国际标准,是从电子、电气以及可编程器件功能安全基本标准IEC61508 衍生出来的,定位在汽车行业中特定的电气器件、电子设备、可编程电子器件等专门的汽车零部件,旨在提高汽车电子、电气产品功能安全的国际标准。通俗的说法就是16949 用于规范一般的汽车零部件供应商的质量管理体系,26262 用于车用电子、软件企业的电气产品功能安全的国际标准。

    针对车规级的摄像头,因为车辆全天候全天时的运作,对光线、温度的变化都有较高的要求(如进出隧道等明暗反差过大的场合,北方冬天极寒场景等),且能够满足车辆震动的要求,所以要求自动驾驶中摄像头主要需要满足:

    • 1)耐高温:车载摄像头需要在-40℃-85℃范围内都能够正常工作,且能够适应温度的剧烈变化;
    • 2)抗震:车辆在路面行驶时会产生较强的震动,所以车载摄像头必须能抗各种强度的震动;
    • 3)防水:车辆需要在全天候全天时工况下运行,就需要摄像头密封严实、满足在雨水中浸泡仍可正常使用;
    • 4)使用寿命:车载摄像头的使用寿命至少 10 年;
    • 5)高动态低噪点:车辆需要在全天候全工时状态下运行,摄像头面对的光线环境变化剧烈且频繁,所以要求摄像头的 CMOS 具有高动态性;在光线较暗时,能够有效的抑制噪点的产生;
    • 6)对于某些特定功能的摄像头,如侧视摄像头、环视摄像头等,还需要水平视场角比较广。
    • 1.5 摄像头的优劣势分析
    • 相比于毫米波雷达,摄像头能够对目标类别进行准确的识别,对车道线(路沿)、红绿灯、交通标志准确的识别,同时还能够检测出车辆行驶的安全边界,对横向移动的目标具有很强的探测能力(十字路口横穿的行人、车辆进行探测和追踪)。
    • 相比于激光雷达,其廉价的成本,精准的交通标识和信号灯的识别等都是激光雷达无法比拟的。
    • 但摄像头受天气、光照影响较大,在极端恶劣天气下视觉传感器就会失效;且视觉测距、测速性能远比不上激光雷达和毫米波雷达。
    • 1.1.6 摄像头关键参数

    在选择摄像头时,一般参考如下几个参数指标:有效的探测距离,水平视场角,垂直视场角,分辨率,最低照度(CMOS 对环境光线的敏感程度),信噪比(输出的信号电压和噪声电压的比值),动态范围(正常显示细节的最亮和最暗物体的亮度值所包含的那个区间)。

    2、激光雷达(Lidar)

    2.1.1 概述

    • 激光雷达(Lidar),全称Laser Detecting and Ranging,即激光探测和测距,是一种用于精确获得三维位置信息的传感器,可以确定目标的位置、大小、外部轮廓等。与毫米波雷达工作原理相似,激光雷达通过发射和接收激光束,获取空间的位置点信息(即点云),并根据这些信息进行三维建模。
      除了获取位置信息外,激光信号的反射率还可以区分目标物质的不同材质,激光雷达的线束越多,其测量精度越高。由于激光的频率高,波长短,可以获得极高的角度、距离和速度分辨率,这就意味着可以利用多普勒成像技术,构建出清晰的3D 图像。

    2.1 工作原理

    激光雷达一般包括发射系统、接收系统、信息处理三大部分组成,部分激光还包括扫描系统。

    • 1)发射系统:包括激励源、激光器(也叫激光二极管)、光速控制器(包括透镜、反射器件、衍生器件,具体表现为准直镜、分束器、扩散片)等;由激励源周期性地驱动激光器,发射激光脉冲,激光调制器通过光束控制器控制发射激光地方向和线数,最后通过发射光学系统,将激光发射到目标物体;
    • 2)接收系统:包括光电探测器、接收模块(包括透镜、分束器、窄带滤光片)等硬件;目标物体反射回来的激光,经过接收系统,将其汇集到探测器的光敏面后,传递给光电探测器,然后将光信号转化为电信号;
    • 3)信息处理:包括放大器、数模转换器以及软件算法等;主要用来接收转换后的电信号经过放大处理、降低噪声和干扰后,进行数模转换,由信息处理系统计算,获得目标表面形态、物理属性等特性,最终建立物体模型;算法大体分为三类:点云分割算法、目标跟踪与识别算法、即时定位与地图构建算法等;
    • 4)扫描系统:以稳定地转速旋转起来,实现对所在平面地扫描,并产生实时地平面图
      信息,主要由电机、扫描镜、MEMS 微型谐振镜、相控阵等组成(Flash 中不包含扫描系统)
    • 激光雷达是向目标发射激光探测信号束,然后将收到的从目标反射回来的信号(目标回波)与发射信号进行比较,测量发射信号与接收信号地时间差或者相位差,获得目标的距离信息,然后通过水平旋转扫描来测量角度,建立二维极坐标系,然后通过不同的俯仰角度信息,获得目标的高度信息等,从而完成对目标的探测、跟踪、识别。下图可以反映出激光雷达的组成:

    在这里插入图片描述

    激光雷达的测距有两种,一种是基于时间的测量方法,也叫飞行时间法(TOF),另一种是不基于时间的测距法。

    • 基于时间的测量方法又分为脉冲法和三角法两种。
      1)脉冲法,也称为直接法,数学模型如下:距离 = 光速 * 往返时间 / 2
      2)三角法,也叫间接法,如下图:

    在这里插入图片描述

    • 激光雷达发射器发射激光,经过物体(object)反射后被Imager 捕捉,假设捕捉点为𝑥2,通过焦点O 作一条虚线平行于入射光线,与 Imager 交于𝑥1,由于图中β已知,所以可以得到𝑥1的位置。假设𝑥1与𝑥2之间的距离为𝑥,可以得到左右两个三角形相似,所以有:𝑞/f = s / x ;又因为sin β = 𝑞 / 𝑑 ;
      二者联立可得:𝑑 =(𝑠𝑓)/(𝑥 sin β) .这就得到了物体到激光的距离𝑑。

    • 三角式结果比较简单,测试速度快,但对器件的灵敏性要求高,主要应用在微位移测量,比如物体表面轮廓、宽度、厚度等。不光是脉冲法还是三角法,都需要测量激光的往返时间,难度较大,精度相对低,所以有了不依赖时间的相位式的测量方法。
      相位式方法不以时间为基准,而是将调制信号对激光光强进行调制,通过测量相位差来检测测量往返时间,其数学模型如下:
      在这里插入图片描述

    • 其中𝐷为距离,𝐵为激光往返一次所产生的相位差,𝐴为调制信号的波长,𝐴/2 称为测尺,即相位变化为2π时所对应的距离。相位法适合中短距离的测量,是目前测距精度较高的一种方式。除了相位差或者时间差方法,还有一种是类似于毫米波雷达的调频连续波(FMCW)方法,通过比较反射信号与发射信号频率来确定目标距离信息的方法,具体参见毫米波雷达的测距。

    • 2.3 激光雷达的特性

    激光雷达相比于其他传感器,在自动驾驶中的特性各有不同。评价一个激光雷达性能的好坏,主要从以下几个角度考虑:

    • 1)视场角,包括水平视野(是否 360 度全视角旋转)和垂直视野(俯仰角角度 30 度/15度);
    • 2)分辨率,包括水平分辨率和垂直分辨率;目前水平高分辨率可以做到很高,水平分辨率高度达0.1 度,主要因为水平方向上由电机带动的;垂直分辨率与发射器几何大小相关,也与排列有关,相邻两个发射器的间隔越小,垂直分辨率也越小;针对机械式激光雷达,可以通过a)改变激光发射器和接收器排布的方式,b)通过多个16 线激光雷达耦合的方式,两种方式来达到减小垂直分辨率的效果;
    • 3)测距范围,即最远的探测距离;
    • 4)距离精度,一般是厘米级的精度;
    • 5)刷新频率,即激光返回一圈的时间;
    • 6)扫描频率,即 1s 内雷达进行了多少次扫描;
    • 7)激光波长,通常为纳米级,最常见的时 905nm 和 1550nm,其中 905nm 比 1550 更便宜,但 1550nm 对人眼安全性高,但 1550nm 吸水率比 905nm 强,但 905nm 的光损失更少;最大辐射功率,主要用来判断其是否需要添加防护。

    从某种意义上将,激光雷达也算是一种视觉传感器,相比于其他传感器,激光雷达有自己的优势:

    • 1)不受光线的干扰,激光雷达可以全天候进行运作,它只需要接收激光束的回波信号来获取目标信息,所以,如阴影,黑夜等对激光雷达的影响很小;
    • 2)获取的信息量丰富,可以获取目标的三维信息,距离、角度、反射强度、速度等,生成目标多维度图像;
    • 3)激光雷达波长短,可发射发散角非常小的激光束,其多路径效应小(不会形成定向发射,与微波或者毫米波产生多路径效应),可以探测低空或超低空目标,能有效解决近距离横向视觉盲区问题;
    • 4)激光雷达的有效距离比摄像头远,在低速时,视觉采样点不足,拟合的车道线准确度较低,而激光有效的采样点较多,精准度远高于视觉系统;相比于毫米波雷达,激光雷达的工作频率高于毫米波数个量级,具有极高的距离分辨率、角分辨率和速度分辨率;
    • 5)低速近距离状态下,对于未知物体或者有遮挡物体,激光雷达的目标检测能力要优于摄像头;
    • 6)点云前处理算力较低,可以直接通过点云进行高密度绘制,输出通行空间,无需二次转化。
    • 2.4 激光雷达的分类

    目前激光雷达的分类标准有很多种,常见的一种是按照内部有无旋转部件来划分,可以分为机械旋转激光雷达、混合式激光雷达以及固态激光雷达。

    • 1)机械式激光雷达
    • 机械式激光雷达:通过机械旋转实现激光扫描的激光雷达,激光发射部件在竖直方向上排布成激光光源线阵,可通过透镜在竖直面内产生不同指向的激光光束;在步进电机的驱动下持续旋转,竖直面内的激光光束由“线”变成“面”,经旋转扫描形成多个激光“面”,从而实现探测区域内的 3D 扫描。
    • 2)混合式激光雷达
    • 混合式激光雷达(MEMS):将微机电系统(MEMS)与振镜结合形成 MEMS 振镜,通过振镜旋转完成激光扫描,驱动电路驱动激光器产生激光脉冲同时驱动 MEMS 振镜旋转,激光在旋转振镜的反射下实现扫描,经发射光学单元准直后射出;
    • 3)固态激光雷达
    • 固态激光雷达,取消了机械扫描结构,水平和垂直方向的激光扫描均通过电子方式来实现,相比于 MEMS 激光保留“微动”机械结构,其电子化更彻底。固态激光雷达主要包括光学相控阵(OPA)激光雷达和面阵闪光型(Flash)激光雷达两种。

    • a:光学相控(OPA)激光雷达,是由若干发射接收单元组成一个矩形阵列,通过改变阵列中不同单元发射光线的相位差,达到调节发射波角度和方向的目的;激光光源经过光分束器后进入光波导阵列,在波导上通过外加控制的方式改变光波的相位,利用波导间的光波相位差来实现光束扫描;

    • b:面阵闪光(Flash)激光雷达:采用类似相机的工作模式,运行时,直接法射出一大片覆盖探测区域的激光,随后由高灵敏度接收器阵列计算每个像素对应的距离信息,记录光子飞行的时间信息,从而完成对周围环境的绘制。

    • 不管如何分类,每种激光雷达都有其各自的优缺点,总结如下:

    • 机械式激光雷达

    机械式激光雷达拥有 360°视场角,测量精度相对较高线束越高,体积越大;价格昂贵,旋转部件可靠性低
    • 混合式激光雷达

    • 优点:

    • 1)MEMS 微振镜相对成熟,可以以较低的成本和较高的准确度实现固态激光扫描(只有微小的微振镜振动),并可以针对需要重点识别的物体进行重点扫描,落地快; 2)传感器可以动态调整扫描方式,以此来聚焦特殊物体,采集更远更小物体的细节信息并对其进行识别;

    • 缺点:

    • 1)没有解决接收端问题,光路较复杂,依然存在微振镜的震动,结构会影响整个激光雷达部件的寿命,且激光扫描受微振镜面积限制,与其他技术路线在扫描范围上存在一定差距;
      2)存在激光的反射,反射过程中激光会有较大的损失,导致回波信噪比偏低;

    • 光学相控(OPA)激光雷达

    • 优点:

    • 1)结构简单,尺寸小; 2)标定简单
      3)扫描速度快,扫描精度高 4)可控性好,光束指向完全由电信号控制,在允许角度范围内可以做到任意指向; 5)多目标监控,相控阵面分割为多个小模块,每个模块单独控制就可以监控多个目标

    • 缺点:

    • 1)扫描角度有限;
      2)光栅衍射除了中央明纹外还会形成其他明纹,这就造成激光雷达最大功率外形成旁瓣,分散激光能量;
      3)加工难度高,由于光学相控阵要求阵列单元尺寸必须不大于半个波长,一般激光雷达的工作波长为 1 微米,所以阵列单元的尺寸必须大于500nm;
      4)接收面大、信噪比差

    • 面阵闪光(Flash)激光雷达

    • 优点:

    • Flash 激光束直接向各个方向漫射,可以快速记录环境信息,避免扫描过程中目标或激光雷达移动带来的运动畸变

    • 缺点:

    • 1)Flash 视场角受限,扫描速率较低;

    • 2)探测距离小,当目标距离过大时,会导致返回的光子数有限,导致探测精度降低,无法准确感知目标方位

    • 2.5 激光雷达在自动驾驶中的应用

    随着 2005 年 Sick 和 Velodyne 激光雷达在自动驾驶上的亮相,激光雷达便成为自动驾驶汽车的标配。激光雷达可以实现很多的功能:

    • 1)感知,前面已经介绍了,Lidar 通过扫描得到障碍物反射回的点云后采用分类聚类或者深度学习的方法进行障碍物检测,目前Lidar 已经可以高效的检测行人和车辆,输出检测框或者对点云中的每个点输出 label 进行点云分割,还有使用 Lidar 进行车道线检测或者路面探测的。但如何在包含遮挡、背景干扰、噪声以及数据分辨率变化等复杂场景中实现对目标的检测识别与分割,依然是激光雷达存在的一个挑战性的问题。

    • 2)标定,就是给出不同的传感器数据集,找出两个数据集的空间变换关系,使得两个数据集统一到同一坐标系的过程。标定分为静态标定和动态标定两种。静态标定一般用来确定传感器的初始姿态信息,主要依赖转台标定、物体表面标记点或者人工选点的方法来实现。动态标定一般用来解决车辆运动过程中,传感器之间相对姿态信息变换的问题。一般标定方法首先采用最小张树方法和连接图算法实现数据间的邻接关系,再采用关键点、线、面匹配的方法,求解出传感器的姿态信息

    • 3)里程计与定位,根据标定得到的相对姿态变换关系后,利用传感器数据来估计载体车辆姿态随时间的变化改变关系。如利用当前帧与上一帧进行数据匹配,或者利用当前帧和累计帧构建出来的子图进行匹配,得到微子变换关系,从而实现里程计的作用。当使用当前帧与整个点云地图进行匹配时,就可以得到传感器在整个地图中的位姿,从而实现在地图中的定位。

    3、毫米波雷达(radar)

    • 3.1 概述

    毫米波是一种波长介于 1-10mm 的电磁波,其波长短、频段宽,比较容易实现窄波束,具有分辨率高,不易受干扰等特点。毫米波雷达是采用毫米波对目标进行探测,获取目标的相对距离、相对速度、方位的高精度传感器。

    • 相比于微波制导和光电制导,具有如下优点:
      毫米波导引头具有体积小、质量轻、空间分辨率高的特点;
    • 毫米波导引头穿透雾、烟、灰尘的能力强,传输距离远,具有全天候全天时的特点; 毫米波性能稳定,不受目标物体形状、颜色的干扰,能够很好的弥补如红外、激光、超声波、摄像头等其他传感器在车载应用中不具备的使用场景。
    • 在智能驾驶领域,毫米波雷达应用非常广泛,与激光雷达相比,毫米波雷达技术更为成熟,已经广泛应用于汽车的安全系统中。且毫米波雷达成本低,对雨雾、灰尘、光线等不敏感。
    • 车载毫米波雷达的探测距离一般在 150m-250m 之间,有些可以达到300m,可以满足汽车在高速运动时探测较大范围的需求。车载毫米波雷达的工作频率一般为 24GHz 和77GHz。
    • continental 的 ARS-408 雷达示意图
      在这里插入图片描述
    • 3.2 工作原理

    1)基本结构

    • 根据辐射电磁波方式不同,毫米波雷达主要有脉冲体制以及连续波体制两种。不管哪种工作方式的毫米波雷达,其硬件部分大体相同,只有小部分电路模块、电路参数与信号处理算法有所区别,主要部分包括 MMIC 芯片和天线 PCB 板。MMIC 全称前端单片微波集成电路,包括多种功能,如低噪声放大器(LNA),功率放大器、混频器、收发系统等功能;雷达天线高频 PCB 板是将高频 PCB 板集成在普通的 PCB 基板上实现天线的功能,需要在较小的集成空间中保持天线足够的信号强度。

    在这里插入图片描述

    由于可以测量多个目标、分辨率高、信号处理复杂度低、成本低廉、技术成熟等一系列优点,FMCW 雷达是最常用的车载毫米波雷达。
    FMCW 调频连续波雷达有三种不同调制形式:

    • 1)正弦波调制;
    • 2)锯齿式波调制;
    • 3)三角波调制。
      对于单个静止物体的测量,锯齿波调制方式即可满足;对于运动物体,多采用三角波调制方式;

    2)工作原理

    车载毫米波雷达利用高频电路产生特定调试频率(FMCW)的电磁波,并通过天线向外发射和接收目标反射的电磁波,然后计算发送和接收电磁波的参数以获取目标的物体信息(如相对距离、相对速度、角度、运动方向等),并进行目标追踪和识别分类,进而结合车身动态信息进行数据融合,最终通过中央处理单元(ECU)进行智能处理。

    • 大概状态图如下:

    在这里插入图片描述

    3)毫米波雷达测距、测速、测方位角原理简介

    • 测距:通过给目标连续发送电磁波,然后利用传感器接收从物体返回的电磁波,通过探测电磁波的飞行(往返)时间来获得目标物距离。
    • 测速:根据多普勒效应,通过计算返回接收天线的雷达波的频率变化就可以得到目标相对于雷达的运动速度,简单来说就是相对速度正比于频率变化量。
    • 测方位角:通过并列的接收天线收到同一目标反射的雷达波的相位差来计算得到目标的方位角。
    • 3.3 毫米波雷达在自动驾驶中的应用

    目前,各个国家对车载毫米波雷达分配的频段各有不同,但主要集成在 24GHz 和77GHz,少数国家(如日本)采用 60GHz 频段,由于 77GHz 相对于 24GHz 的诸多优势,再加之欧洲电信标准化协会(ETSI)和联邦通信委员会(FCC)制定的频谱规则和标准,未来车载毫米波雷达的频段会趋同于 77GHz 频段(76-81GHz)。

    1)24GHz 毫米波雷达

    • 24GHz 毫米波雷达是指频段在 24.0GHz 到24.25GHz 的雷达。其属于窄带(NB),带宽为 250MHz,常用于工业、科学和医学方面。另外 24GHz 频带还包括一个带宽为 5GHz 的超带宽(UWB)。这个频段的毫米波雷达目前大量用于汽车的盲区检测、辅助变道等,主要用作侧向雷达。24GHz 毫米波雷达主要优点为探测范围光;缺点是频率低,带宽窄,只有250MHz,探测距离近。

    在这里插入图片描述

    • 2)77GHz 毫米波雷达
    • 77GHz 毫米波雷达指的是频段在 76-81GHz 的车载雷达。其中76-77GHz 频段可用于远程车载雷达,这个频段的频率高,带宽也高,可以达到 800MHz。该频段有等效同性各向辐射功率(EIRP)的优势,可用于前端远程雷达,探测前车与本车的相对距离和相对速度,实现如自适应巡航控制等功能。
    • 77-81GHz 雷达是新加入的短程雷达(SRR)频段,这个频段的最大特点是带宽非常高,可高达 4GHz 的宽扫描带宽,具有非常高的距离分辨率(HRR)。在无人驾驶应用领域,用于区分行人等诸多精细物体比较有价值。
      在这里插入图片描述
    • 3)24GHz 与77GHz 毫米波雷达性能对比
    • a) 严格意义上讲,24GHz 毫米波雷达其波长大于 10cm,属于厘米波雷达;
    • b) 相比于24GHz,77GHz 能同时满足高传输功率和宽工作带宽,所以可以用来进行长距离探测和高距离分辨率;
    • c) 相比于24GHz,77GHz 在物体分辨率、测速、测距精度上具有显著优势;
    • d) 相比于24GHz,77GHz 雷达体积更小,其波长不足 24GHz 的三分之一,所以收发天线面积大幅减小,整个雷达尺寸有效下降。
    • 4)4D 毫米波雷达

    目前的车载毫米波雷达虽然能够很好的探测目标的相对距离,但对目标的高度无法探测。这是因为目前的车载毫米波雷达只在二维方向上排布,再加上多普勒效应,所以只会输出目标的二维水平坐标和速度信息,即X,Y,V。也被称为3D 雷达。
    目前有一些厂商在水平和垂直方向上均布置了天线,能够额外实现对物体高度的探测,输出量为X,Y,Z 坐标和速度矢量。也就是所谓的4D 雷达。4D 雷达可以探测出目标的不同高度,不同水平面上的运动物体。

    • 但4D 雷达研发存在一些问题和难点:
    • a)在有体积要求的毫米波雷达上,垂直与水平方向天线紧密排布会相互产生严重的信号干扰,这需要长期的经验积累开发的算法来解决;
    • b)雷达信号接收量大大增加,对模数转换器(ADC)的性能要求将会增加;
    • c)信号处理算法的可靠性、实时性需要保证,现有的毫米波雷达ECU 可能无法胜任大规模点云的处理;
    • d)数据存储需求将会加大,需要额外添置存储单元。
    • 3.4 毫米波雷达的优劣势

    总结上述,在车载传感器领域,毫米波雷达具有独特的优势:

    a) 纵向目标探测距离与速度探测能力强;
    b) 可实现远距离感知与探测;
    c) 对于静态和动态目标均能做出高精度测量;
    d) 相比于摄像头和激光雷达,毫米波雷达穿透能力强,受外界干扰比较小。

    但毫米波雷达也有其明显的劣势:

    a) 无法成像,无法进行图像颜色的识别;
    b) 对横向目标敏感度低,如对横穿车辆检测效果不佳;
    c) 行人反射波较弱,对行人分辨率不高,探测距离近;
    d) 对高处物体以及小物体检测效果不佳等。

    • 3.5 毫米波雷达性能参数

    在选择毫米波雷达时,通过如下的性能参数进行考核,包括距离、速度、角度等。

    • 1)距离
    • a. 最大探测距离

    雷达的作用距离有两种,一种与发射功率𝑃𝑡,天线增益𝐺𝑎,目标RCS,接收机灵敏度(SNR)det等参数相关的雷达方程,具体计算公式如下:

    在这里插入图片描述

    另一种方法与最大中频带宽IFmax相关,计算公式如下:

    在这里插入图片描述

    最大中频带宽的大小与采样率相关,在 complex 1x 模式下,𝐼𝐹𝑚𝑎𝑥 ≤ 0.9 ∗ 𝑓𝑠;在complex2x 和实采样模式下,𝐼𝐹𝑚𝑎𝑥 ≤ (0.9∗𝑓𝑠) / 2;
    所以也可以用下式来估计最大作用距离:
    在这里插入图片描述

    • b. 距离分辨率

    距离分辨率表示距离分辨两个目标的能力,在雷达图像中,当两个目标位于同一方位角时,但与雷达的距离不同时,二者被雷达区分出来的最小距离就是距离分辨率。雷达的距离分辨率是由脉冲的宽度决定的,即可以通过减小脉冲宽度以达到期望的距离分辨率,其表达式如下:

    在这里插入图片描述

    • c. 测距精度

    测距精度是用来描述雷达对单个目标距离参数估计的准确度,它是由回波信号的信噪比SNR 决定的:
    在这里插入图片描述

    • 2)速度
    • a. 最大探测速度

    目标速度与多普勒频率(即 chirp 之间的相位差)来计算。多普勒频率可以表示为:
    在这里插入图片描述

    当相位测量不模糊时,即 |△ ϕ| < π,就可得到最大测量速度:

    在这里插入图片描述

    其中为chirp 总周期(包括 active chirp time + idle time)。

    • b. 速度分辨率

    速度分辨率表示速度维区分两个同一位置目标的能力。假设一帧传输𝑁个 chirp,速度维频率分辨率为:2π / N

    在这里插入图片描述

    其中𝑇𝑓 = 𝑁𝑇𝑐为有效帧周期,不包含 inter frame time。

    • c. 测速精度

    测速精度表示测量单目标的速度准确率,同样也取决于信噪比。
    在这里插入图片描述

    • 3角度
    • a. 探测视角范围FOV

    雷达的探测角度是通过RX 天线间的接收信号相位差(由波程差引起)来计算,相位差为:

    在这里插入图片描述

    当相位差不模糊时,即|ω| < π,得到角度范围:

    在这里插入图片描述

    • b. 角度分辨率(一般指水平分辨率)

    角分辨率表示雷达在角度上区分邻近目标的能力,通常以最小可分辨的角度来度量。雷达的角度分辨率取决于雷达的工作波长λ 和天线口径尺寸 L,约为λ/(2L),具体计算方式如下。比如方位角分辨率为 1.6°,就是指两个物体在空间上至少相距1.6°,才能够被雷达在水平角度上区分开。若两个物体相距小于1.6°,那么在角度上两个物体会重合。

    假设接收天线个数为𝑁𝑅𝑋,角度上频率分辨率为2π / Nrx ,则有:
    在这里插入图片描述

    所以有:

    在这里插入图片描述

    在实际应用中,一般不用角度分辨率来区分目标。由于距离、速度分辨率较高,目标一般可以在距离、速度维度上就可以区分开。

    • c. 测角精度
      角精度,用于描述雷达对单个目标方位角估计的准确度,角精度也与信噪比相关:
      在这里插入图片描述

    4、惯性测量单元(IMU)

    4.1 概述

    惯性测量单元(Inertial Measurement Unit,IMU)俗称惯性传感器,主要用来检测 和测量加速度与旋转运动的传感器。主要是采用惯性定律实现的。

    • 车载惯性传感器(Micro-Electro-Mechanical-System,即MEMS)是汽车传感器 的主要部分,其主要由3个轴加速计和3个角速度计(陀螺仪)组成,加速度计检测物体在 载体坐标系独立三轴的加速度信号,陀螺仪检测载体相对导航系统坐标系的角速度信号。加 速度计和陀螺仪安装在相互垂直的测量轴上,通过算法对信号进行处理后,便可计算出物体 的姿态。

    • IMU提供的是一个相对的定位信息,其作用是测量相对于起点物体所运动的路线,所以 IMU不能提供所在的具体位置信息,所以经常和GPS一起使用,当在某些GPS信号微弱时 ,IMU就可以帮助汽车获得绝对位置的信息.

    4.2 工作原理

    • 加速度计

    IMU中的加速度计主要是靠MEMS中可移动部分的惯 性。如下图: IMU中间有块质量很大的电容板,它是一种悬臂构 造,当速度变化或者加速度达到足够大时,其所受到 的惯性力超过固定或者支撑它的力时,就会移动,与 上下电容板之间的距离就会变化,上下电容也因此变 化。电容的变化跟加速度成正比,根据不同的测量范 围,中间电容板悬臂构造的强度或弹性系数可以设计 的不同。另外如果要测量不同方向的加速度,这个 MEMS的结构也会有很大不同。
    在这里插入图片描述

    • 角速度计

    IMU的角速度计其主要原理是利用角动量守恒原 理以及Corolis force(科里奥效应)测量运动物体 的角速率。与加速度计的工作原理相似,角速度计上层活动金属与下层金属形成电容,当角速度计转 动时,它与下面电容板之间的距离会发生变化,上 下电容也会因此改变。即角速度计的转轴指向不随 其支架的旋转而变化。电容的变化与角速度成正比 ,由此测量得到当前的角速度。 如左图来描述角速度计的数学模型。
    在这里插入图片描述

    • IMU特性
      IMU测量的数 据通常会有一定的误差。其误差可以分为:
      在这里插入图片描述
    • 影响因素
      加速度计影响因素 :角速度计的精确性可以直接影响姿态解算 的优劣程度,即IMU能否正确感知到物体 的姿态就是依靠角速度计的精确性。
      角速度计影响因素 角速度计的精确性可以直接影响姿态解算 的优劣程度,即IMU能否正确感知到物体 的姿态就是依靠角速度计的精确性。
      温度影响因素 IMU在温度发生变化时,其精度会产生较 大的差异,所以一般需要在恒温台中进行 时间,记录不同温度下的数据。
      产品化影响因素 产品化后,也会有一些因素影响其性能。 如:噪声、偏移等因素
      除了精度外,IMU还有两个比较关键的特性,第一是更 新频率高,工作频率可以达到100Hz以上,第二是短时间内 的推算精度高,不会有太大的误差。
    • 4.3 应用
      高 精度定位有两层含义:
    • 1)自车与周围环境之间的 相位位置,即相对定位;

    • 2)自车的精确经纬度, 即绝对定位。

    GPS可以为车辆提供精度为米级的绝对定位, 差分GPS或者RTK GPS可以为车辆提供厘米级的绝 对定位,但并非所有路段所有时间都能够得到良 好的GPS信号。所以一般需要RTK GPS的输出与IMU 、车身传感器(轮速计、方向盘转角传感器等) 进行融合。

    • 4.4 作用:

    1)IMU可以验证RTK GPS结果的自洽性,并对无法自洽的绝对定位数据进行滤波和修正;

    2)IMU可以在RTK GPS信号消失之后,仍然提供持续 若干秒的亚米级定位精度,为自动驾驶汽车争取宝贵的异常处理的时间。

    5、GNSS 与 RTK

    • 5.1 概述
      GNSS全称Global Navigation Satellite System, 是利用一组卫星的伪距、星历、卫星发射时间等 观测量,同时还必须知道用户钟差。全球导航卫 星系统是能在地球表面或近地空间的任何地点为 用户提供全天候的3维坐标和速度以及时间信息 的空基无线电导航定位系统。只需4颗卫星,就 能获得目标经纬度和高度。
    • GPS全称Global Positioning System,是一种以人造地球卫星 为基础的高精度无线电导航的定 位系统,它在全球任何地方以及 近地空间都能够提供准确的地理 位置、车行速度及精确的时间信 息。

    • GNSS它是泛指所有的卫星导航系统,包括全球的、区域的和增强的, 如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系 统,以及相关的增强系统,如美国的WAAS(广域增强系统)、欧洲的EGNOS (欧洲静地导航重叠系统)和日本的MSAS(多功能运输卫星增强系统)等 ,还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系 统、多层面、多模式的复杂组合系统。

    • RTK(Real - time kinematic,实时动态)载波相位差分技术,是实时处理两个测量站载波相位观测量 的差分方法,将基准站采集的载波相位发给用户接收机,进行求差解算坐标。厘米级定位精度,是GPS应用的 重大里程碑。其原理是将位于基准站上的GPS接收机观测的卫星数据,通过数据通信链(无线电台)实时发送 出去,而位于附近的移动站GPS接收机在对卫星观测的同时,也接收来自基准站的电台信号,通过对所收到的 信号进行实时处理,给出移动站的三维坐标,并估计其精度。利用RTK测量时,至少配备两台GPS接收机。

    • 5.2 应用

    GNSS:国内用的多的是GPS+北斗+GLONASS三套卫星导航系统;

    ◆ 在自动驾驶领域,GNSS高精度定位涉及到五个必要的时空因素:GNSS卫星、高精度地图、全疆域通讯网络覆盖、GNSS基站、移动端GNSS接收机;

    ◆ GNSS与其他传感器的结合 :在自动驾驶领域,多传感器共同工作的环境,也使该领域对GNSS设备的精确 性、抗干扰性提出了更高的要求。未来,每辆自动驾驶汽车都将配备有多种传感器,包括激光雷达、毫 米波雷达、摄像头、惯性测量单元和GNSS系统;

    ◆ GNSS定位可以为自动驾驶提供全局定位信息的来源。GNSS是通过使用三角定位法,通过3颗以上的卫星, 可以准确地定位地球表面的任一位置。但由于GPS是有很大的误差,通过使用RTK技术,GNSS可以提供精 确到厘米级别的定位精度;

    ◆ GNSS+IMU方案是一种最常用的组合惯导系统的方案

    6、其他类型传感器

    超声波雷达

    6.1 概述

    超声波雷达是一款极为常见的传感器, 在汽车驻车或者倒车时,经常会听到嘀嘀嘀 的声音,这些声音就是根据超声波雷达对周 围障碍物的探测距离的反馈信息,以声音的 形式传递给司机,所以超声波雷达也叫倒车 雷达。 车载超声波雷达一般安装在汽车保险杠上 方,隐藏在保险杆的某个位置。
    在这里插入图片描述

    6.2 工作原理

    超声波雷达的工作原理是通过超声波发射装 置向外某一个方向发射出超声波信号,在发射超 声波时刻的同时开始计时,超声波通过空气进行 传播,途中遇到障碍物就会立即反射传播回来, 超声波接收器在收到反射波的时刻立即停止计时 。在空气中,超声波的传播速度为340m/s,计时 器通过记录时间t,就可以测算出从发射点到障 碍物之间的距离长度(s),即s=340*t / 2。 目前,超声波雷达探头的工作频率有40kHz ,48kHz和58kHz三种。一般来说,频率越高, 灵敏度越高,但水平和垂直方向的探测角度就越 小,所以一般采用40kHz的探头。

    6.3 超声波雷达类型

    常见的超声波雷达有两种:

    ◆ 一种是安装在汽车前后保险杠上的,用于测量汽车前后障碍物的倒车雷达,即所谓的UPA,探测 距离一般在15~250cm;

    ◆ 一种是安装在汽车侧面的,用于测量侧方障碍物 距离的超声波雷达,即所谓APA,探测距离一般 在30~500cm,相比于UPA,APA的探测范围更远, 但成本更高,功率更大。
    在这里插入图片描述
    在这里插入图片描述

    6.4 超声波雷达的优劣势

    优点:

    因其固有的特性,在传播过程中,能量消耗比较慢;
    在介质中传播的距离比较远,穿透性强,即使在雨雾 灰尘或者少量泥沙遮挡的条件下,都能够有很好的测 距性能;
    且测距方法简单,成本较低;
    缺点:

    超声波雷达探测的距离与其传播速度、传播时间相关 (距离=速度*时间/2);
    在车辆高速运行的状态下,其测量距离也有一定的局限性
    超声波雷达散射角较大,方向性差,无法精准的描述 障碍物的位置
    应用:
    超声波雷达在智能驾驶领域除了障碍物探测外,还有其他的功能,如泊车库位检测,高速横向辅助。

    展开全文
  • 惯性传感器 工作原理 IMU特性 影响因素 应用 GNSS与RTK介绍 概述 应用 超声波雷达 概述 工作原理 超声波雷达类型 超声波雷达的优劣势 应用: 摄像头介绍 优势: 可以识别车辆周边的环境信息和纹...

    目录

    摄像头介绍

    优势:

    工作原理:

     应用:

    性能要求:

    优缺点对比分析

     摄像头关键参数:

    激光雷达介绍:

    工作原理:

    激光雷达特性:

    激光雷达的分类:

     应用:

    毫米波雷达介绍

     概述

    工作原理

    基本结构

    应用

    性能参数

    惯性传感器

    工作原理

     IMU特性

     影响因素

    应用 

    GNSS与RTK介绍

    概述

    应用

    超声波雷达

    概述

    工作原理

    超声波雷达类型

     超声波雷达的优劣势

    应用:


    摄像头介绍

    优势:

    可以识别车辆周边的环境信息和纹理信息,能够“看到”目标的类型、信号灯的颜色,类似于人类的眼睛。

    工作原理:

    光学组件(光信号)--> 图像传感器(电信号)--> 数字图像信号 --> 信号算法处理。

    摄像头获取到数字信号后,通过串行器进行编码,通过LVDS(FPD和GMSL)或其他高效链路,传输到计算平台,解串器进行解码,计算单元进行图像分析。

    光学组件:(镜头组件,lens)由镜片、滤光片、保护膜组成。

    CMOS图像传感器(感光元件,CIS):是模拟电路和数字电路的集成,是摄像头最基础、最重要的模块,由四部分构成:微透镜,彩色滤光片(CF),光电二极管(PD),光电转换器件,像素设计。

     应用:

    根据安装位置,分为前视、侧视、后视、内置、环视摄像头。

    前视摄像头:障碍物、车道线、路沿线、交通信号灯、交通标识牌、可行使区域;

    侧视摄像头: 障碍物、距离等盲区监测(BSD);

    后视摄像头:障碍物、距离;

    环视摄像头:车位监测,可行使区域监测,低速感知,提供车辆四周360°的画面;

    内置摄像头:疲劳,不规范驾驶等危险行为预警;

    性能要求:

    耐高温:-40~85°,能适应剧烈温度变化;

    抗震性;防水性;使用寿命:至少10年;高动态低噪点:高动态性;光线较暗下抑制噪点的产生;

    优缺点对比分析

    优势:

    相比于毫米波雷达:能够对目标类别进行准确识别,对车道线、红绿灯、交通标志准确识别;对横向移动目标有很强的探测能力。

    相比于激光雷达:成本低,精准交通标识和信号灯识别;

    劣势:

    摄像头受天气、光照影响比较大,极端恶劣天气下视觉传感器就会失效;

    视觉测距、测速性能远比不上激光雷达和毫米波雷达;

     摄像头关键参数:

    焦距:指平行光从透镜中心到光聚的焦点的距离,如4mm,6mm,12mm;

    有效的探测距离:如近距,中距,远距等对应不同探测距离需求;

     视场角:水平视场角(HFOV)和垂直视场角(VFOV);

     分辨率大小:200W(1920x1080),500W(2560x2048),800W(3200x2400);

     最低照度:CMOS对环境光线的敏感程度;

     信噪比:输出的信号电压和噪声电压的比值;

     动态范围:正常显示细节的最亮和最暗物体的亮度值所包含的那个区间;

    激光雷达介绍:

    概述:

    激光雷达(Lidar),全称Laser Detecting and Ranging,即激光探测和测距,是一种用于精确获 得三维位置信息的传感器,可以确定目标的位置、 大小、外部轮廓等。与毫米波雷达工作原理相似, 激光雷达通过发射和接收激光束,获取空间的位置 点信息(即点云),并根据这些信息进行三维建模。

    除了获取位置信息外,激光信号的反射率还可以区分目标物质的不同材质,激光雷达的线束越多 ,其测量精度越高。由于激光的频率高,波长短, 可以获得极高的角度、距离和速度分辨率,这就意味着可以利用多普勒成像技术,构建出清晰的3D图像。

    工作原理:

     激光雷达一般包括发射系统、接收系统、信息处理三大部分组成,部分激光雷达还包括扫描系统。

    发射系统:包括激励源、激光器(也叫激光二极管)、光速 控制器(包括 透镜、反射器件、衍生器件,具体表现为准直 镜、分束器、扩散片)等;

     接收系统:包括光电探测器、接收模块(包括透镜、分束器 、窄带滤光片)等硬件;

     信息处理:包括放大器、数模转换器以及软件算法等

    扫描系统:由电机、扫描镜、MEMS微型谐振镜、相控阵等 组成(Flash中不包含扫描系统);

    激光雷达的测距有两种,一种是基于时间的测量方法,也叫飞行时间法(TOF):脉冲法和三角法;另一种是 不基于时间的测距法:相位式测量方法。

    激光雷达特性:

    视场角:包括水平FOV和垂直FOV;

    分辨率:包括水平分辨率和垂直分辨率;

    测距范围:最远的探测距离;

    刷新频率:激光返回一圈的距离;

    扫描频率:1S内进行多少次扫描;

    激光波长:常见为905nm和1550nm;

    最大辐射功率:判断是否需要添加防护;

    激光雷达的分类:

     应用:

    环境感知:Lidar通过扫描得到障碍物反射回的点云后采用分类聚类或者深度学习的 方法进行障碍物检测,还有使用Lidar进行车道线检测或者路面探测的。

    标定:给出不同的传感器数据集,找出两个数据集的空间变换关系,使得两个数 据集统一到同一坐标系的过程。

    里程器与定位:根据标定得到的相对姿态变换关系后,利用传感器数据来估计载体车辆姿 态随时间的变化改变关系。

    毫米波雷达介绍

     概述

    毫米波是一种波长介 于30~300GHz频域(波长 为1~10mm)的电磁波, 其波长短、频段宽,比较 容易实现窄波束,具有 分辨率高,不易受干扰 等特点。毫米波雷达是 采用毫米波对目标进行 探测,获取目标的相对 距离、相对速度、方位 的高精度传感器。

    毫米波优点:

    1. 毫米波导引头具有体积小、质 量轻、空间分辨率高的特点;
    2.  毫米波导引头穿透雾、烟、灰 尘的能力强,传输距离远,具 有全天候全天时的特点;
    3.  毫米波性能稳定,不受目标物 体形状、颜色的干扰,能够很 好的弥补如红外、激光、超声 波、摄像头等其他传感器在车 载应用中不具备的使用场景。

    工作原理

    笼统来讲:车载毫米波 雷达通过发射天线向外发射 毫米波,通过接收天线接收 目标物的反射信号,经后方 信号处理后快速准确地获取 汽车车身周围的物理环境信 息(如汽车与反射物体之间 的相对距离、相对速度、角 度、运动方向等)。

    细分来讲:细分来讲,毫米波雷达的工作原理又分为测距原理、测速原理及测角原理。以下主要从这三个方面展开讨论。

    基本结构

    根据辐射电磁波方式不同,毫米波 雷达主要有脉冲体制以及连续波体制两 种。不管哪种工作方式的毫米波雷达, 其硬件部分大体相同,只有小部分电路 模块、电路参数与信号处理算法有所区 别,主要部分包括MMIC芯片和天线PCB 板。MMIC全称前端单片微波集成电路, 包括多种功能,如低噪声放大器(LNA ),功率放大器、混频器、收发系统等 功能;雷达天线高频PCB板是将高频PCB 板集成在普通的PCB基板上实现天线的 功能,需要在较小的集成空间中保持天 线足够的信号强度。

    应用

    24GHz毫米波雷达: 24GHz毫米波雷达是指频段在24.0GHz到24.25GHz的雷达。其属于窄带(NB),带宽为250MHz,常用 于工业、科学和医学方面。另外24GHz频带还包括一个带宽为5GHz的超带宽(UWB)。

    77GHz毫米波雷达: 77GHz毫米波雷达指的是频段在76-81GHz的车载雷达。其中76-77GHz频段可用于远程车载雷达,这个 频段的频率高,带宽也高,可以达到800MHz。

    4D毫米波雷达: 目前的车载毫米波雷达虽然能够很好的探测目标的相对距离,但对目标的高度无法探测。 这是因为目前的车载毫米波雷达只在二维方向上排布,再加上多普勒效应,所以只会输出目 标的二维水平坐标和速度信息,即X,Y, V。也被称为3D雷达。 目前有一些厂商在水平和垂直方向上均布置了天线,能够额外实现对物体高度的探测, 输出量为X,Y,Z坐标和速度矢量。也就是所谓的4D雷达。

    24GHz与77GHz毫米波雷达性能对比:

    a) 严格意义上讲,24GHz毫米波雷达其波长大于10cm,属于厘米波雷达;

    b) 相比于24GHz,77GHz能同时满足高传输功率和宽工作带宽,所以可以用来进行长距离探测和高距 离分辨率;

    c) 相比于24GHz,77GHz在物体分辨率、测速、测距精度上具有显著优势;

    d) 相比于24GHz,77GHz雷达体积更小,其波长不足24GHz的三分之一,所以收发天线面积大幅减小, 整个雷达尺寸有效下降。

    毫米波雷达优劣势:

    优点:

    1. 纵向目标探测距离与速度探测能 力强;
    2. 可实现远距离感知与探测;
    3. 对于静态和动态目标均能做出高 精度测量;
    4. 相比于摄像头和激光雷达,毫米 波雷达穿透能力强,受外界干扰比 较小。

    缺点

    1. 无法成像,无法进行图像颜色的识别;
    2. 对横向目标敏感度低,如对横穿 车辆检测效果不佳;
    3. 行人反射波较弱,对行人分辨率 不高,探测距离近;
    4. 对高处物体以及小物体检测效果 不佳等

    性能参数

    距离:最大探测距离,距 离分辨率,距离精度;

    速度:最大探测速度,速 度分辨率,测速精度;

    角度:探测视角范围FOV ,角度分辨率(一般指水 平分辨率),测角精度;

    雨雾尘天气对LiDAR和Radar的影响

    雾气的粒子直径为1~100μm 微米,集中于10~15μm;  灰尘的颗粒直径小于500μm,PM10小于10μm,PM2.5小于2.5μm; 雨滴的直径0.5~5mm 毫米;

    波长比雨雾的粒子直径足够大时,就能够穿透雨雾而不会发生能量衰减,一般 30mm以上的微波就可以做到;

    毫米波(24Ghz、77GHz)对应波长为12.5mm、3.9mm,能够穿透雾气、灰尘,但不能穿过较大雨滴(大雨);

     激光雷达的波长集中于0.85~1.55μm之间,雾气、灰尘、雨滴都有影响,雾气和灰 尘的粒子更多,影响更大;

    惯性传感器

    惯性测量单元(Inertial Measurement Unit,IMU)俗称惯性传感器,主要用来检测 和测量加速度与旋转运动的传感器。主要是采用惯性定律实现的。

    车载惯性传感器(Micro-Electro-Mechanical-System,即MEMS)是汽车传感器 的主要部分,其主要由3个轴加速计和3个角速度计(陀螺仪)组成,加速度计检测物体在 载体坐标系独立三轴的加速度信号,陀螺仪检测载体相对导航系统坐标系的角速度信号。加 速度计和陀螺仪安装在相互垂直的测量轴上,通过算法对信号进行处理后,便可计算出物体 的姿态。

    IMU提供的是一个相对的定位信息,其作用是测量相对于起点物体所运动的路线,所以 IMU不能提供所在的具体位置信息,所以经常和GPS一起使用,当在某些GPS信号微弱时 ,IMU就可以帮助汽车获得绝对位置的信息.

    工作原理

    加速度计

    IMU中的加速度计主要是靠MEMS中可移动部分的惯 性。如下图: IMU中间有块质量很大的电容板,它是一种悬臂构 造,当速度变化或者加速度达到足够大时,其所受到 的惯性力超过固定或者支撑它的力时,就会移动,与 上下电容板之间的距离就会变化,上下电容也因此变 化。电容的变化跟加速度成正比,根据不同的测量范 围,中间电容板悬臂构造的强度或弹性系数可以设计 的不同。另外如果要测量不同方向的加速度,这个 MEMS的结构也会有很大不同。

     角速度计

    IMU的角速度计其主要原理是利用角动量守恒原 理以及Corolis force(科里奥效应)测量运动物体 的角速率。与加速度计的工作原理相似,角速度计上层活动金属与下层金属形成电容,当角速度计转 动时,它与下面电容板之间的距离会发生变化,上 下电容也会因此改变。即角速度计的转轴指向不随 其支架的旋转而变化。电容的变化与角速度成正比 ,由此测量得到当前的角速度。 如左图来描述角速度计的数学模型。

     IMU特性

    IMU测量的数 据通常会有一定的误差。其误差可以分为:

     影响因素

    加速度计影响因素 :角速度计的精确性可以直接影响姿态解算 的优劣程度,即IMU能否正确感知到物体 的姿态就是依靠角速度计的精确性。

    角速度计影响因素 角速度计的精确性可以直接影响姿态解算 的优劣程度,即IMU能否正确感知到物体 的姿态就是依靠角速度计的精确性。

    温度影响因素 IMU在温度发生变化时,其精度会产生较 大的差异,所以一般需要在恒温台中进行 时间,记录不同温度下的数据。

    产品化影响因素 产品化后,也会有一些因素影响其性能。 如:噪声、偏移等因素

    除了精度外,IMU还有两个比较关键的特性,第一是更 新频率高,工作频率可以达到100Hz以上,第二是短时间内 的推算精度高,不会有太大的误差。

    应用 

     高 精度定位有两层含义:

    1)自车与周围环境之间的 相位位置,即相对定位;

    2)自车的精确经纬度, 即绝对定位。

    GPS可以为车辆提供精度为米级的绝对定位, 差分GPS或者RTK GPS可以为车辆提供厘米级的绝 对定位,但并非所有路段所有时间都能够得到良 好的GPS信号。所以一般需要RTK GPS的输出与IMU 、车身传感器(轮速计、方向盘转角传感器等) 进行融合。

     作用:

    1)IMU可以验证RTK GPS结果的自洽性,并对无法自洽的绝对定位数据进行滤波和修正;

    2)IMU可以在RTK GPS信号消失之后,仍然提供持续 若干秒的亚米级定位精度,为自动驾驶汽车争取宝贵的异常处理的时间。

    GNSS与RTK介绍

    概述

    GNSS全称Global Navigation Satellite System, 是利用一组卫星的伪距、星历、卫星发射时间等 观测量,同时还必须知道用户钟差。全球导航卫 星系统是能在地球表面或近地空间的任何地点为 用户提供全天候的3维坐标和速度以及时间信息 的空基无线电导航定位系统。只需4颗卫星,就 能获得目标经纬度和高度。

    GPS全称Global Positioning System,是一种以人造地球卫星 为基础的高精度无线电导航的定 位系统,它在全球任何地方以及 近地空间都能够提供准确的地理 位置、车行速度及精确的时间信 息。

    GNSS它是泛指所有的卫星导航系统,包括全球的、区域的和增强的, 如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系 统,以及相关的增强系统,如美国的WAAS(广域增强系统)、欧洲的EGNOS (欧洲静地导航重叠系统)和日本的MSAS(多功能运输卫星增强系统)等 ,还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系 统、多层面、多模式的复杂组合系统。

    RTK(Real - time kinematic,实时动态)载波相位差分技术,是实时处理两个测量站载波相位观测量 的差分方法,将基准站采集的载波相位发给用户接收机,进行求差解算坐标。厘米级定位精度,是GPS应用的 重大里程碑。其原理是将位于基准站上的GPS接收机观测的卫星数据,通过数据通信链(无线电台)实时发送 出去,而位于附近的移动站GPS接收机在对卫星观测的同时,也接收来自基准站的电台信号,通过对所收到的 信号进行实时处理,给出移动站的三维坐标,并估计其精度。利用RTK测量时,至少配备两台GPS接收机。

    应用

    GNSS:国内用的多的是GPS+北斗+GLONASS三套卫星导航系统;

    ◆ 在自动驾驶领域,GNSS高精度定位涉及到五个必要的时空因素:GNSS卫星、高精度地图、全疆域通讯网络覆盖、GNSS基站、移动端GNSS接收机;

    ◆ GNSS与其他传感器的结合 :在自动驾驶领域,多传感器共同工作的环境,也使该领域对GNSS设备的精确 性、抗干扰性提出了更高的要求。未来,每辆自动驾驶汽车都将配备有多种传感器,包括激光雷达、毫 米波雷达、摄像头、惯性测量单元和GNSS系统;

    ◆ GNSS定位可以为自动驾驶提供全局定位信息的来源。GNSS是通过使用三角定位法,通过3颗以上的卫星, 可以准确地定位地球表面的任一位置。但由于GPS是有很大的误差,通过使用RTK技术,GNSS可以提供精 确到厘米级别的定位精度;

    ◆ GNSS+IMU方案是一种最常用的组合惯导系统的方案

    超声波雷达

    概述

    超声波雷达是一款极为常见的传感器, 在汽车驻车或者倒车时,经常会听到嘀嘀嘀 的声音,这些声音就是根据超声波雷达对周 围障碍物的探测距离的反馈信息,以声音的 形式传递给司机,所以超声波雷达也叫倒车 雷达。 车载超声波雷达一般安装在汽车保险杠上 方,隐藏在保险杆的某个位置。

     工作原理

     超声波雷达的工作原理是通过超声波发射装 置向外某一个方向发射出超声波信号,在发射超 声波时刻的同时开始计时,超声波通过空气进行 传播,途中遇到障碍物就会立即反射传播回来, 超声波接收器在收到反射波的时刻立即停止计时 。在空气中,超声波的传播速度为340m/s,计时 器通过记录时间t,就可以测算出从发射点到障 碍物之间的距离长度(s),即s=340*t / 2。 目前,超声波雷达探头的工作频率有40kHz ,48kHz和58kHz三种。一般来说,频率越高, 灵敏度越高,但水平和垂直方向的探测角度就越 小,所以一般采用40kHz的探头。

    超声波雷达类型

    常见的超声波雷达有两种:

    ◆ 一种是安装在汽车前后保险杠上的,用于测量汽车前后障碍物的倒车雷达,即所谓的UPA,探测 距离一般在15~250cm;

    ◆ 一种是安装在汽车侧面的,用于测量侧方障碍物 距离的超声波雷达,即所谓APA,探测距离一般 在30~500cm,相比于UPA,APA的探测范围更远, 但成本更高,功率更大。

     

     超声波雷达的优劣势

     优点:

    1. 因其固有的特性,在传播过程中,能量消耗比较慢;
    2. 在介质中传播的距离比较远,穿透性强,即使在雨雾 灰尘或者少量泥沙遮挡的条件下,都能够有很好的测 距性能;
    3. 且测距方法简单,成本较低;

     缺点:

    1. 超声波雷达探测的距离与其传播速度、传播时间相关 (距离=速度*时间/2);
    2. 在车辆高速运行的状态下,其测量距离也有一定的局限性
    3. 超声波雷达散射角较大,方向性差,无法精准的描述 障碍物的位置

    应用:

    超声波雷达在智能驾驶领域除了障碍物探测外,还有其他的功能,如泊车库位检测,高速横向辅助。

    点个赞吧!

    The end!

    展开全文
  • 汽车正在通过提供前所未有的个人移动性体验来改变我们的生活。... 在组件方面,激光雷达,雷达和摄像头系统是自动驾驶安全操作所需传感器套件中基本要素。而且,虽然雷达和激光雷达所服务的功能有很大的重叠,但
  • 所需的各类场景,复现真实世界道路交通环境,从而进行自动驾驶技 术的开发测试工作。软件在环效率取决于仿真软件可复现场景的程度。 对交通环境与场景的模拟,包括复杂交通场景、真实交通流、自然天 气(雨、雪、雾、...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达作者丨黄浴来源丨计算机视觉深度学习和自动驾驶2022年5月30日上传arXiv的论文“OpenCalib: A Multi-sensor Calibration Toolbox for Autonomous Driving“,...
  • 自动驾驶汽车的传感器该如何布置

    千次阅读 2018-01-23 09:45:45
    热文推荐:自动驾驶模拟软件 “无人驾驶汽车的研究越来越多,各环境感知传感器的分布位置也不同,到底这些传感器要遵循一个什么样的布置原则?请看本文介绍。” 传感器介绍 智能驾驶...
  • 传感器标定 传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了多个/多种传感器,而它们之间的坐标关系是需要确定的。 这个工作可分成两部分:内参标定和外参标定,内参是决定传感器...
  • LiDAR是一种传感技术,可发射低功率,人眼安全的激光进行脉冲测量,并测量激光完成传感器与目标之间往返所需的时间。所得的聚合数据用于生成3D点云图像,同时提供空间位置和深度信息以识别,分类和跟踪运动对象。 ...
  • 在上一个视频中,我们谈到了激光雷达的基本工作原理, 自动驾驶汽车最受欢迎的传感器选择之一。 在接下来的两个视频中,我们将学习如何使用 LIDAR 生成的点云 传感器为我们的自动驾驶汽车进行状态估计。 在本视频...
  •  传感器是一种检测装置,能感受到被测量的信息,并能将感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。  传感器,万物互联的基础  ...
  • 30根据所需驾驶员互动量建议路线 31控制具有不充分的地图数据的车辆 32用于具有多个无线链路的旋转接头的装置和方法 33PCB集成波导终端和负载 34二次冲击安全气囊 35可展开的乘客舱 36通过车轮运动检测车辆运动 37...
  • 复现人类驾驶能力所需传感器包括雷达、激光雷达(LIDAR)、摄像头、惯性测量单元(IMU),以及超声波传感器。每种系统都有其优势,也有其缺点。单一传感器的精度和性性能不足以取代所有其他传感器相辅相成的多...
  • “自动泊车、公路巡航控制和自动紧急制动等自动驾驶汽车功能在很大程度上是依靠传感器来实现的。重要的不仅仅是传感器的数量或种类,它们的使用方式也同样重要。目前,大多数路面上行驶车辆内的ADAS都是独立工作的,...
  • 所需的各类场景,复现真实世界道路交通环境,从而进行自动驾驶技 术的开发测试工作。软件在环效率取决于仿真软件可复现场景的程度。 对交通环境与场景的模拟,包括复杂交通场景、真实交通流、自然天 气(雨、雪、雾、...
  • 本文介绍了自动驾驶汽车的不同自动化级别,以及自动驾驶汽车识别周围环境所需的基本感知组件和传感器。 本文还简要介绍了历史,并讨论了在道路上实施自动驾驶汽车的挑战。 此外,本文还讨论了印度新兴的研究人员...
  • 一辆理想的自动驾驶汽车的终极目标是取代人类驾驶。成为一个完全安全、更有效的“高科技”产品!本质上,这意味着L5级完全自动驾驶汽车将能够感知周围环境,并能理解周围环境,在几乎没有人为干预的情...
  • 搭载先进的车载传感器、控制器、执行器等装置,并融合现代通信与网络技术,实现车与 X(人、 车、路、云端等)智能信息交换、共享,具备复杂环境感知、智能决策、协同控制等功能,可实现“安全、高效、舒适、节能”...
  • V ehicle Perception and Localization: A Review深度学习传感器融合技术在自动驾驶汽车感知与定位中的应用研究进展摘要1、介绍2、传感器技术和传感器融合概述2.1 介绍了传统传感器融合方法2.2 介绍了深度学习传感器...
  • 无人驾驶的多传感器融合技术

    千次阅读 2019-07-13 17:07:06
    “自动泊车、公路巡航控制和自动紧急制动等自动驾驶汽车功能在很大程度上是依靠传感器来实现的。重要的不仅仅是传感器的数量或种类,它们的使用方式也同样重要。目前,大多数路面上行驶车辆内的ADAS都是独立工作的,...
  • 附件包括自动驾驶软件和硬件相关的技术栈图片,对自动驾驶技术做了硬件和...另外附上一篇详细文档,从硬件和软件两方面谈一谈自动驾驶汽车涉及的技术,可以说是目前最详细的自动驾驶汽车技术的硬件+软件介绍文档了。
  • “基于MEMS技术的激光雷达传感器价格较低,但其性能不足以用于自动驾驶车辆。”我们经常听到这样的说法。本文将解释我们的传感器如何使这一说法失效,我们如何为激光雷达开发MEMS技术,如何为激光雷达找到理想的镜面...
  • 自动驾驶汽车利用传感器看见世界。但是它们如何处理通过传感器获得的数据呢? 用行业术语来说,问题的关键在于感知,即在行驶过程中,自动驾驶汽车处理和识别道路数据(从街道标识到行人,乃至周围交通环境)的能力...
  • 自动驾驶系统入门(八)- 自动驾驶仿真技术

    千次阅读 多人点赞 2020-10-29 17:21:20
    1)自动驾驶汽车是通过搭载先进的车载传感器、控制器和数据处理器、执行机构等装置,借助车联网、5G和V2X等现代移动通信与网络技术实现交通参与物与彼此间的互换与共享,从而具备在复杂环境下的传感感知、决策规划、...
  • 万字详解自动驾驶定位技术,更多自动驾驶、车路协同、车联网、智能网联车、高精度地图、无人驾驶笔记一网打尽。
  • 前 言:从L3级量产车奥迪A8,到L4级量产巴士百度阿波龙,L3+级自动驾驶已逐渐开始落地量产。位处产业链上游的汽车传感器行业最先感受到春意,各种技术路线争鸣,国内外创业公司喷涌。▌自动驾...
  • 【感知】自动驾驶传感器汇总

    千次阅读 多人点赞 2018-11-08 15:59:51
    交通信号灯状态的感知能力对于城区行驶的无人驾驶汽车十分重要,这也是为什么百度Apollo 2.0实现“简单路况自动驾驶必须开放的功能。 2.2.2 定位能力 相信大家都对视觉SLAM技术都有所耳闻,根据提前建好的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,142
精华内容 4,056
关键字:

自动驾驶所需传感器