精华内容
下载资源
问答
  • 模型架构 总体架构包括两个流,其中一个流从LIDAR鸟瞰图(BEV)提取图像特征,另一流从LIDAR鸟瞰图(BEV)提取特征,它们设计了一个连续融合层以桥接两侧的多个中间层,从而执行多传感器融合在多个尺度上。...

    点击上方“小白学视觉”,选择加"星标"或“置顶

    重磅干货,第一时间送达
    

    单眼视觉系统以低成本高性能实现令人满意的效果,但无法提供可靠的3D几何信息。双目摄像机可以提供3D几何信息,但是它们的计算成本很高,并且无法在高遮挡和无纹理的环境中可靠地工作。另外,该系统在复杂的照明条件下鲁棒性较低,这限制了其全天候能力。激光雷达不受光照条件的影响,可以提供高精度的3D几何信息。但是它的分辨率和刷新率很低,而且成本很高。

    Camera-Lidar融合提高了性能和可靠性并降低了成本,但这并不容易。首先,相机通过将现实世界投影到相机平面上来记录信息,而点云以原始坐标的形式存储几何信息。此外,就数据结构和类型而言,点云是不规则,无序和连续的,而图像是规则,有序和离散的。这导致图像和点云处理算法的巨大差异。

    参考文献中 [1] 提出了一种新颖的3D目标检测器,它可以利用激光雷达和摄像机进行非常精确的定位。为了实现这一目标,他们设计了一种端到端的可学习架构,该架构利用连续卷积融合不同分辨率级别的图像和LIDAR特征图。这使我们能够设计基于多个传感器的新颖,可靠,高效的端到端可学习3D对象检测器。

    模型架构

    总体架构包括两个流,其中一个流从LIDAR鸟瞰图(BEV)提取图像特征,另一流从LIDAR鸟瞰图(BEV)提取特征,它们设计了一个连续融合层以桥接两侧的多个中间层,从而执行多传感器融合在多个尺度上。

    首先,使用ResNet18分别提取图像流和点云流(BEV)中的特征,然后对图像特征执行多尺度融合,并使用连续融合层将多尺度图像特征融合到图像的四个残差组中。

    连续融合层

    给定输入的摄像机图像特征图和一组LIDAR点,连续融合层的目标是创建一个密集的BEV特征图,其中每个离散像素都包含从摄像机图像生成的特征。对于密集地图中的每个目标像素,使用欧几里得距离找到其在2D BEV平面上最接近的K个LIDAR点,然后反向投影到3D空间,然后将这k个点投影到相机视图中,并找到与每个点,然后利用MLP融合来自这K个最近点的信息,以在目标像素处插值未观察到的特征。

    对于每个目标像素,MLP通过对其所有邻居的MLP输出求和来输出D_o维输出特征。也就是说:

    其中fj是点j的输入图像特征,xj-xi是从相邻点j到目标i的3D偏移,而concat(·)是多个向量的串联。然后,通过元素逐级求和将MLP的输出功能与前一层的BEV功能进行组合,以融合多传感器信息。

    他们使用简单的检测头来提高实时效率。在最终的BEV层上计算一个1×1卷积层以生成检测输出。在每个输出位置,他们使用两个具有固定大小和两个方向的锚,分别为0和π/ 2弧度。

    每个锚点的输出包括每个像素类的置信度及其关联的框的中心位置,大小和方向。接下来是非最大抑制(NMS)层,基于输出映射生成最终对象框。损失函数定义为分类损失和回归损失之和。

    参考文献 [1] 在KITTI和TOR4D数据集上评估了其多传感器3D目标检测方法。在KITTI数据集上,与3D目标检测和BEV目标检测中的现有高级方法进行了比较,并进行了模型简化测试,并比较了不同的模型设计。在TOR4D数据集上,此方法在长距离(> 60m)检测中特别有效,这在自动驾驶的定时和目标检测系统中起着重要作用。

    结论

    对于BEV检测,此模型比中度AP测得的所有其他方法要好。对于3D检测,此模型排名第三,但在简单子集中具有最佳AP。在保持高检测精度的同时,该模型可以实时高效运行。检测器以大于每秒15帧的速度运行,这比其他基于LIDAR和基于融合的方法要快得多。

    参考文献

    [1] Ming Liang, Bin Yang , Shenlong Wang , and Raquel Urtasun .Deep Continuous Fusion for Multi-Sensor 3D Object Detection

    下载1:OpenCV-Contrib扩展模块中文版教程

    在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

    下载2:Python视觉实战项目52讲

    在「小白学视觉」公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

    下载3:OpenCV实战项目20讲

    在「小白学视觉」公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

    交流群

    欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

    展开全文
  • 研究在漏检、 无杂波情况下多传感器对数目未知的目标检测中数据关联问题, 并将其表述为多 传感器数据集之间数据的组合优化分配问题, 提出一种基于 GA 的关联算法。仿真实验表明, 该算法具 有较高的关联...
  • 智能驾驶传感器融合仿真程序,很好的传感器融合流程学习资料,可直接运行,仿真动画逼真展示融合目标检测效果。
  • 立体视觉、雷达等多传感器融合的运动目标检测
  • 目前在看关于目标检测的多传感器融合,在看的过程中看到网上有大量的融合算法,但是在具体论文中基本没有介绍怎么利用 那些算法进行融合的,基本都是时间同步和空间同步,因此,想要具体的问一下, 所谓的各种融合...
  • 随着基于数据融合目标检测在军事以及自然防护等领域广泛应用,越来越多的研究希望通过对检测融合系统进行优化或引入新的检测融合方法来更好地进行目标检测,从而推动相关领域的发展.基于数据融合目标检测具有重要...
  • 这类方法是直接从输入数据中生成3D检测框。目前的方法大致可以分为一下两种: 基于多视图的融合方法 基于体素的融合方法 基于多视图的融合方法 该类方法的一个典型代表是MV3D。 基于体素的融合方法 ...

    3D Proposal Based Sequential Model

    这类方法是直接从输入数据中生成3D检测框。

    该类方法的近几年最经典的工作便是MV3D。MV3D先是在鸟瞰图生成一系列的proposal,然后再将生成的proposals投影到点云的前视图和RGB图像中,在RoI层面进行了不同视角的特征融合。
    该方法有以下几个缺点和不足:

    • 无法推广到室内数据集,因为室内物体在空间上可能是上下排布的关系
    • 小物体的信息在降采样的过程中被丢失了
    • RoI级别的信息融合容易丢失点云细粒度的几何特征
    • 大量的RoI会给后续阶段检测框的回归造成计算上的负担
      在这里插入图片描述

    AVOD[]则在一定程度上弥补了MV3D的不足。 这篇文章主要的贡献有以下几点:

    • 通过预定义的anchor在feature map上的投影来得到每个proposal的特征 (中间采用了crop and resize 操作从feature map抠出相关区域的特征送入到全卷机网络中进行预测)
    • 采用了新的bbox的编码方式:编码了bbox的四个角以及两个高度信息,bbox的角度采用
      ( cos ⁡ θ , sin ⁡ θ ) (\cos \theta , \sin \theta) (cosθ,sinθ)

    相比MV3D的bbox编码方式(采用8个corner来编码bbox)而言,这种编码方式减少了编码的维度(从24个维度减少成10个维度),同时也避免了角度预测的模糊性

    • 在特征提取阶段引入FPN网络环节了小尺度物体检测不准的问题
      12
      基于RoI的特征融合方法有一个比较明显的缺点——丢失了3D空间细粒度的几何信息。
      为了解决这一大不足,ContFuse提出了通过连续卷积的方式来融合BEV以及RGB图像的特征。具体来讲,对于BEV上的每个像素点,我们找到其在3D空间中的k个临近点,并投影到RGB image space中,获取其在image sapce上的特征。接下来,我们便可以通过连续域卷积的方式将这k个临近点的特征融合到当前BEV的像素点当中。

      更进一步,MMF提出了一种多任务学习的机制来提升3D检测器的性能。该模型包含有两个分支,一个是image分支,一个是BEV分支。在BEV分支中,我们先是基于一个U-Net的网络来估计每个像素对应的地面高度,并计算出每个点地相对高度。然后再将groud修正过后的高度作为BEV分支的输入,并通过ResNet-18进行特征提取。在image分支中,我们先是基于image和sparse depth信息来估计点云的深度信息,然后再通过深度补全的方式得到相应的伪点云。考虑到真实点云往往是稀疏的,我们可以将真实点云和伪点云整合到一起,来辅助BEV分支进行连续卷积。接下来的操作便是一系列常规的操作了,此处不再赘述。MMF的Pipeline如图所示:
      在这里插入图片描述
      问题:
      如何构建稀疏深度图?如何预测Depth image?如何得到伪点云?
      MVXNet采用的早期融合的方式来融合点云特征与图片特征。其在文章中提到了两种不同的融合方式。一种融合方式是将点云投影到像素空间中,然后对应的pixel特征添加到点云特征当中,另一种融合方式是voxel level的特征融合,此时对应到image分支中,即为RoI-wise feature.
      在这里插入图片描述
      在这里插入图片描述

    ClOCs采用的是后期融合的方式来融合点云和图片的特征。作者认为采用早期融合方式的一个缺陷就是两种模态之间的信息并没有对齐,此时若直接融合两种模态的信息,势必会影响检测器的性能。但是如果在后期基于RoI进行融合的话,其对于原始信息之间的交互却又是最少的。因此问题的关键就在于,如何实现两种模态信息的充分交互。这里作者提出了一种基于概率来引导融合的方式。作者在文章中提出了这样的两个假设:
    一个是几何一致性,一个是语义一致性。几何一致性主要通过IoU来刻画,语义一致性则反映为只针对同类别的proposal进行相似度度量。
    其pipeline如图所示:
    在这里插入图片描述

    展开全文
  • 立体视觉、光流、雷达等多传感器融合的运动目标检测
  • 包含图片和相应的点云文件,适用于相机与雷达融合检测算法仿真,点云文件格式为.bin,图片为JPG,数据文件下载。
  • 同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    导读

     

    本文是华科&地平线关于Transformer的迁移学习、泛化性能方面的深度思考。重点揭示了Transformer的迁移学习能力与泛化性能,同时引出了Transformer在模型缩放与ConvNet缩放不一致的问题。 

    paper: https://arxiv.org/abs/2106.00666

    code: https://github.com/hustvl/YOLOS

    本文是华科&地平线关于Transformer的迁移学习、泛化性能方面的深度思考。依托于目标检测任务,从最基本的ViT出发,参考DETR架构设计,从ViT的预训练、迁移学习、模型缩放等几个维度展开了讨论了,重点揭示了Transformer的迁移学习能力与泛化性能,同时引出了Transformer在模型缩放与ConvNet缩放不一致的问题。

    Abstract

    Transformer能否以最少的2D空间结构从纯粹的序列到序列的角度进行2D目标识别呢?

    为回答该问题,我们提出了YOLOS(You Only Look at One Sequence),一系列基于朴素ViT(即尽可能少的进行修改)的目标检测模型。我们发现:在中等大小数据集ImageNet上预训练的YOLOS已经足以在COCO上取得极具竞争力的目标检测性能,比如:YOLOS-Base可以取得42.0boxAP指标。与此同时,我们还通过目标检测。讨论了当前预训练机制、模型缩放策略对于Transformer在视觉任务中的局限性。

    YOLOS

    在模型设计方面,我们尽可能参照原始ViT架构,并参照DETR针对目标检测进行适当调整。YOLOS可以轻易的适配不同的Transformer结构,这种简单的设置初衷不是为了更好的检测性能,而是为了尽可能无偏的揭示Transformer在目标检测方面的特性。

    Architecture

    上图给出了本文所提YOLOS架构示意图,而从ViT到YOLOS的过渡非常简单:

    • YOLOS丢弃了用于图像分类的CLS而添加了100个随机初始化的DET;

    • 在训练阶段,YOLOS采用偶匹配损失(Bipartite Matching Loss)替换了图像分类损失以进行目标检测。

    Detection Token 

    我们针对性的选择随机初始的DET作为目标表达的代理以避免2D结构与标签赋值时注入的先验知识存在的归纳偏置。当在COCO上进行微调时,每次前向传播时,在DET与真实目标之间构建一个最优偶匹配。该步骤起着与标签赋值相同的作用,但它与2D结构无关,也即是说:YOLOS不需要将ViT的输出重解释为2D结构以进行标签赋值。理论上来讲,YOLOS可以进行任意维目标检测,且无需知道精确的空间结构或者几何结构,只要将输入按照相同方式平展为序列即可。

    Fine-tuning at Higher Resolution 

    当在COCO上进行微调时,除了用于分类和BBOX规范的MLP参数以及DET外,其他参数均由ImageNet预训练而来。在YOLOS中,分类与BBOX头采用两层MLP实现且参数不共享。在微调阶段,图像具有比预训练更大的分辨率,我们保持块尺寸( )不变,因而导致了更大的序列长度。我们采用了类似ViT的方式对预训练位置嵌入进行2D插值。

    Inductive Bias 

    我们精心设计了YOLOS以最小化额外的归纳偏置注入。由ViT产生的归纳片偏置源自网络的stem部分的块提取以及位置嵌入的分辨率调整。除此之外,YOLOS并未在ViT上添加额外卷积。从表达学习角度,我们选择采用DET作为目标代理并用于最终目标预测以避免额外的2D归纳偏置

    Comparisons with DETR 

    YOLOS的设计是受DETR启发而来:YOLOS采用DET作为目标表达的代理以避免2D结构和任务相关的先验知识导致的归纳偏置,YOLOS采用了与DETR相似的优化方式。但同时存在几点不同:

    • DETR采用了随机初始化的编解码形式的Transformer;而YOLOS则仅研究了预训练ViT编码的迁移能力;

    • DETR采用了decoder-encoder注意力并在每个decoder层添加额外辅助监督;而YOLOS总是查看每一层的一个序列,而没有再操作方面对块与DET进行区分。

    Experiments

    Setup

    Pre-training 

    我们在ImageNet上采用DeiT训练策略对YOLOS/ViT进行预训练。

    Fine-tuning 

    我们采用类似DETR方式在COCO数据上对YOLOS进行微调。

    Model Variants 

    下表给出了我们关于YOLOS的不同模型配置信息。

    The Effects of Pre-training

    我们通过YOLOS研究了不同预训练策略对于ViT的影响,结果见上表。从上表可以看到:

    • 至少在迁移学习框架下,从计算效率角度来看,预训练是很有必要的。从Tiny与Small模型对比来看,预训练可以节省大量的计算耗时;而且从头开始训练的模型性能要低于预训练模型的性能。这与恺明大神之前关于ConvNet的预训练研究不一致

    • 从真实标签监督预训练来看,不同大小模型倾向于不同的预训练机制:200epoch预训练+300epoch微调的YOLOS-Ti仍无法匹配300epoch预训练的性能;而对于small模型200epoch预训练具有与300epoch预训练相当的性能。引入额外的蒸馏,模型的性能可以进一步提升1AP指标。这是因为预训练CNN老师后模型有助于ViT更好的适配COCO。

    • 从上述分析我们可以得出:ImageNet预训练结果无法精确的反应在COCO目标检测上迁移学习性能。相比图像识别中常用的迁移学习基准,YOLOS对于预训练机制更为敏感,且性能仍未达到饱和。因此,将YOLOS作为一个具有挑战性的迁移学习基础评价不同预训练策略对于ViT的影响是很合理的

    Pre-traing and Transfer Learning Perforrmance of Different Scaled Models

    我们研究了不同模型缩放策略的预训练与迁移学习性能,比如宽度缩放w、均匀复合缩放dwr以及快速速度dwr。模型从1.2G缩放到4.5G并用于预训练。相关模型配置见前面的Table1,结果见下表。

    从上表指标对比可以看到:

    • dwr与dwr缩放均比简单的w缩放取得了更佳的精度;

    • 关于缩放策略的属性与CNN相一致,比如w缩放速度最友好;dwr缩放取得了最佳精度;dwr缩放速度接近w缩放,精度与dwr相当。

    • 由于COCO数据微调时分辨率与预训练分辨率不一致,此时预训练性能与迁移学习性能出现了不一致:dwr缩放具有与w缩放相当的性能,而dwr缩放则具有最佳性能。这种性能不一致说明:ViT需要一种新的模型缩放策略

    Comparisons with CNN-based Object Detectors

    上表对比了YOLOS与ConvNet作为骨干时的性能,从中可以看到:在Tiny模型方面,YOLOS-Ti取得比高度优化CNN作为骨干时更佳的性能

    上表给出了YOLOS与DETR的性能对比,从中可以看到:

    • YOLOS-Ti具有比DETR更佳的性能;

    • YOLOS-S-dwr缩放取得了比DETR更佳的性能;

    • 而YOLOS-B尽管具有更多的参数量,但仍比同等大小DETR稍弱。

    尽管上述结果看起来让人很是沮丧,但是YOLOS的出发点并不是为了更佳的性能,而是为了精确的揭示ViT在目标检测方面的迁移能力。仅需要对ViT进行非常小的修改,这种架构即可成功的迁移到极具挑战性的COCO目标检测基准上并取得42boxAP指标。YOLOS的这种最小调改精确地揭示了Transformer的灵活性与泛化性能

    作为一种目标检测器,YOLOS采用DET表示所检测到地目标。我们发现:不同DET对目标位置与尺寸比较敏感,而对目标类别不敏感。见上面Fig2与Fig3.

    本文亮点总结

    1. YOLOS是一系列基于朴素ViT的目标检测模型,在中等大小数据集ImageNet上预训练的YOLOS已经足以在COCO上取得极具竞争力的目标检测性能。

    2. YOLOS可以轻易的适配不同的Transformer结构,这种简单的设置初衷不是为了更好的检测性能,而是为了尽可能无偏的揭示Transformer在目标检测方面的特性。

    本文仅做学术分享,如有侵权,请联系删文。下载1在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
    下载2在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
    下载3在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
    
    重磅!3DCVer-学术论文写作投稿 交流群已成立
    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
    
    
    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
    ▲长按加微信群或投稿▲长按关注公众号
    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
    
     圈里有高质量教程资料、可答疑解惑、助你高效解决问题
    觉得有用,麻烦给个赞和在看~  
    
    展开全文
  • 这两天看了几篇关于多传感器融合的文章,这里记录一下。 (虽然做了整理,但由于来自多篇文章,内容还是比较乱,不是很匹配……) 多传感器融合需要面对的问题 1、数据对准问题 先决条件:统一坐标系和时钟 目的是...

    一、多传感器融合需要面对的问题

    1、数据对准问题

    先决条件:统一坐标系和时钟

    目的是实现三同一不同:同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处

    1.1 统一时钟:同步不同传感器的时间戳

    (1)GPS时间戳的时间同步方法

    需要看传感的硬件是否支持

    存在问题:不同传感器的数据频率是不同的

    (2)硬同步方法

    以激光雷达作为触发其它传感器的源头,当激光雷达转到某个角度时,才触发该角度的摄像头
    (应该是以频率最低的传感器为触发,多为Lidar)

    1.2 统一坐标系 :运动补偿+传感器标定

    (1)运动补偿
    主要针对长周期的传感器,如lidar ,周期为100ms。 周期开始的时间点和结束时间点车辆是处于不同位置的,导致不同时刻采集的数据所处坐标系不同。

    在这里插入图片描述
    自动驾驶车拥有比较准确的实时定位信息,它可提供T和T+1两个时刻内,车本身的姿态差距,利用姿态差,可以比较容易补偿。因而比较容易解决

    (2)传感器标定 : 分为内参标定和外参标定。

    内参标定:解决单独的每个传感器与世界坐标系间的变换;
    外参标定:在世界坐标系下,解决的不同传感器间的变换。

    : 需要所有传感器单位统一

    2、数据不确定性问题:

    因为传感器的工作环境不同,可能受到外部环境雨雪、光线的影响,也可能受到内部的温度、电压影响,还可能出现路面颠簸等特殊情况 ,使得数据出现不准确的问题。

    在数据融合过程中,如何通过算法来甄选出哪些是噪声数据,哪些是真实数据也是一个需要解决的问题。

    二、各种传感器性能对比

    在这里插入图片描述
    在这里插入图片描述

    1、摄像头​

    摄像头分为前视、侧视、后视和内置
    在这里插入图片描述

    价格 从 2010 年的 300 多元持续走低,到 2014 年单个摄像头价格已降低至 200 元左右,易于普及应用。

    分辨率 目前路面上图像传感器的分辨率已经达到1百万像素。在未来几年内,图像传感器的发展趋势将是2百万,甚至4百万像素。

    功能 立体摄像机往往用于获取图像和距离信息; 交通标志摄像机用于交通标志的识别;

    全景泊车系统 :

    通过安装在车身周围的多个超广角摄像头,同时采集车辆四周的影像,经过图像处理单元矫正和拼接之后,形成一副车辆四周的全景俯视图,实时传送至中控台的显示设备上

    在这里插入图片描述

    2、毫米波雷达:ADAS 核心传感器

    特点:
    1)同厘米波导引头相比,毫米波导引头体积小、质量轻和空间分辨率高

    2)与红外、激光等光学导引头相比,毫米波导引头穿透雾、烟、灰尘的能力强,传输距离远,具有全天候全天时的特点;

    3)性能稳定,不受目标物体形状、颜色等干扰。毫米波雷达很好的弥补了如红外、激光、超声波、 摄像头等其他传感器在车载应用中所不具备的使用场景。

    探测距离一 般在 150m-250m 之间,高性能Radar能达到300m

    功能 能够监测到大范围内车辆的运行情况,同时对于前方车辆的速度、加速度、距离等信息的探测也更加精准,因此是自适应巡航(ACC)、自动紧急刹车(AEB)
    的首选传感器

    价格 目前 77GHz 毫米波雷达系统单价大约在 250 欧元左右,高昂的价格限制了毫米波雷达的车载化应用。

    安装 毫米波雷达一般安装在车辆的前保险杆里,用于测量相对于车辆坐标系下的物体,可以用来定位,测距,测速等等,容易受强反射物体的干扰,通常不用于静止物体的检测;

    3、激光雷达

    特点
    1)分辨率高。可获得极高的角度、距离和速度分辨率,这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。
    2)精度高。激光直线传播、方向性好、光束非常窄,弥散性非常低。
    3)抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同,自然界中能对激光雷达起干扰作用的信号源不多。

    功能 可以测量出周边其他车辆在三个方向上的距离、速度、加速度、角速度等信息,再结合 GPS
    地图计算出车辆的位置,这些庞大丰富的数据信息传输给 ECU 分析处理后,以供车辆快速做出判断。

    安装 三维激光雷达一般安装在车顶,使用红外激光束来获得物体的距离和位置,但是空间分辨率高,但是笨重,容易被天气影响。

    4、精度指标

    简单的传感器融合不外乎就是每个传感器的数据能大致在空间跟时间上能得到对齐。而整个多传感器融合技术的核心就在于高精度的时间以及空间同步。精度到什么量级呢?

    时间上能得到10的-6次方,空间上能得到在一百米外3到5厘米的误差,这是一个典型的技术指标。

    当然,多传感器同步技术的难度与时间和空间的要求是一个指数级的增加。在百米外能得到3cm的空间精度,换算成角度是0.015度左右。

    三、多传感器融合体系结构:​

    1、目标状态估计

    目标状态估计方面, 根据数据处理方法的不同, 多传感器信息融合系统的体系结构可以分为: 分布式、集中式和混合式

    多传感器数据融合目标识别框图

    1.1 分布式

    原理
    先对各个独立传感器所获得的原始数据进行局部处理,然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。
    在这里插入图片描述
    优点:对通信带宽的需求低、 计算速度快、可靠性(在某一传感器失灵的情况下仍能继续工作)和延续性好

    ​缺点:对于传感器的计算能力有一定要求 ,信息的损失可能会大一些, 精度可能远没有集中式高 ,适用于远距离传感器信息反馈, 但在低通信带宽中传输会造成一定损失,

    1.2 集中式。

    将各传感器获得的原始数据不进行任何处理 直接送至中央处理器进行融合处理, 可以实现实时融合。
    在这里插入图片描述

    优点:没有信息损失,因而可以做最精准的判断,算法灵活,实时性好
    缺点:缺少底层传感器之间的信息交流,并且 传输的都是原始图像和日志信息,数据量大, 对中央处理器的要求高,可靠性较低,故难以实现
    (这应该就是边沿计算诞生的原因之一吧)

    1.3混合式。

    混合式多传感器信息融合框架中,部分传感器采用集中式融合方式,剩余的传感器采用分布式融合方式。
    在这里插入图片描述

    ​优点:有较强的适应能力,兼顾了集中式融合和分布式的优点,稳定性强
    缺点:结构比前两种融合方式的结构复杂,对结构设计要求高,加大了通信和计算上的代价。​

    1.4 三种结构对比

    在这里插入图片描述

    2、 目标身份估计

    以目标身份估计为目的的体系结构下, 根据多传感器信息融合技术抽象程度的不同, 可以将其划分为3个层次: 像素级融合、特征级融合、决策级融合

    2.1 像素级融合

    同类别的传感器采集的同类型原始数据进行融合, 最大可能地保持了各预处理阶段的细微信息

    在这里插入图片描述

    由于融合进行在数据的最底层, 计算量大且容易受不稳定性、不确定性因素的影响。同时, 数据融合精确到像素级的准确度, 因而无法处理异构数据。

    2.2 特征级融合:分为目标状态信息融合和目标特性融合

    各传感器的原始数据结合决策推理算法, 对信息进行分类、汇集和综合, 提取出具有充分表示量和统计量的属性特征

    在这里插入图片描述

    根据融合内容, 特征级融合又可以分为
    1)目标状态信息融合:先进行数据配准以实现对状态和参数相关估计, 更加适用于目标跟踪。
    2) 目标特性融合 :借用传统模式识别技术, 在特征预处理的前提下进行分类组合。

    2.3 决策级融合

    处理不同类型的传感器同一观测目标的原始数据, 并完成特征提取、分类判别, 生成初步结论, 然后根据决策对象的具体需求, 进行相关处理和高级决策判决, 获得简明的综合推断结果
    在这里插入图片描述
    实时性好、容错性高,面对一个或者部分传感器失效时, 仍能给出合理决策

    2.4 三种融合体系结构的对比

    在这里插入图片描述

    四、多传感器融合算法

    要求
    由于信息具有多样性和复杂性,因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。

    一般情况下,基于非线性的数学方法,如果具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。

    原理
    (1)多个不同类型传感器(有源或无源)收集观测目标的数据;
    (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;
    (3)对特征矢量Yi进行模式识别处理(如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等),完成各传感器关于目标的说明;
    (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;
    (5)利用融合算法将目标的各传感器数据进行合成,得到该目标的一致性解释与描述。

    目前多传感器融合的理论方法有贝叶斯准则法、卡尔曼滤波法、D-S 证据理论法、模糊集理论法、人工神经网络法

    1、 分类1

    1.1 基于物理模型

    根据物理模型模拟观测结果, 并获取其与真实观测对象特征之间的相关性, 通过预先设置的系数阈值判断二者匹配程度。其中, 最主要的代表就是卡曼 (Kalman) 滤波技术(分为标准卡曼滤波、区间卡曼滤波和两阶段卡曼滤波)

    能够动态、实时地融合低层次传感器数据, 依据系统的递推特性做出合理估计

    适用于不同层次原始数据间的融合, 不需要系统强大的存储能力, 具有信息损失小的优点,

    缺点是需要建立精确的观测对象模型, 数据需求量大, 适用范围比较窄。

    1.2 基于参数分类技术

    依照是否需要先验知识, 可以划分为有参技术与无参技术, 主要是从测量的数据中获取属性说明, 并与测量数据形成一种直接映射关系, 常用的该类算法有贝叶斯估计、人工神经网络等。

    与卡曼滤波不同, 贝叶斯估计适用于静态环境。它利用条件概率组合多种传感器信息, 并且能够通过似然函数最小化方法, 将各单独传感器的关联概率联合成后验分布函数。

    1.3 基于认知方法

    以先验知识为基础, 需要深入了解观测目标的组成及内部关联结构, 根据原始数据或属性特征模仿人类的启发式推理过程, 做出判决, 以专家系统最为常用。

    2、分类2

    2.1 随机类:

    (1)加权平均法

    将一组传感器提供的冗余信息的加权平均作为结果。一种直接对数据源进行操作的最简单直观的方法。

    (2)卡尔曼滤波法

    主要用于融合低层次实时动态多传感器冗余数据。 如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。

    问题: ① 在组合信息大量冗余时,计算量将以滤波器维数的三次方剧增,实时性难以满足。② 传感器子系统的增加使故障概率增加,在某一系统出现故障而未被检测出时,故障会污染整个系统,可靠性降低。

    (3)多贝叶斯估计法

    将每一个传感器作为一个贝叶斯估计,把各单独物体的关联概率分布合成一个联合的后验概率分布函数,通过使联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型以提供整个环境的一个特征描述。

    (4)D-S证据推理法

    该方法是贝叶斯推理的扩充,包含3个基本要点:基本概率赋值函数、信任函数和似然函数。

    D-S方法的推理结构是自上而下的,分为三级:第一级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第二级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第三级为更新,各传感器一般都存在随机误差,因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。

    (5)产生式规则

    采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。

    2.2 人工智能类

    (1)模糊逻辑推理

    模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度(相当于隐含算子的前提),允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。

    与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,对信息的表示和处理更加接近人类的思维方式,一般比较适合于在高层次上的应用(如决策)。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素,所以信息的表示和处理缺乏客观性。

    模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。

    (2)人工神经网络法

    神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时可以采用学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。

    参考:

    多传感器融合(一)
    多传感器融合(二)
    多传感器融合(三)
    自动驾驶技术-环境感知篇:多传感器融合技术​
    崔硕,姜洪亮,戎辉,王文扬.多传感器信息融合技术综述[J].汽车电器,2018(09):41-43.
    多传感器融合(算法)综述

    展开全文
  • 一篇关于多传感器目标跟踪检测数据融合的博士论文,有兴趣的可以下载学习参考
  • 针对分布式传感器网络检测系统中的最优决策融合问题,引入了奈曼-皮尔逊判定准则,在此基础上推导出由虚警率条件约束的最大检测准确概率的局部判决阀值和全局最优判决阀值的求解方法。设计了基于该准则的最优检测阀值...
  • 最后,针对 AVOD 传感器融合算法小目标检测能力弱与目标框筛选精度低的问题,将上 述改进统一整合,提出了融合效率更优的 OC3D-AVOD 算法,并通过对比 MV3D 与 AVOD框架实验结果与融合实验,证明了 OC3D-AVOD 的...
  • 恶劣天气条件下目标检测的最优传感器数据融合架构 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 ...
  • 立体视觉、光流、雷达等多传感器融合的运动目标检测论文
  • 本章摘要:本章主要讲解基于相机实现目标追踪的整体思路,以及根据追踪的结果实现一个简单的应用TTC(time to collision),好对基于相机的目标追踪有一个大概的了解,在此了解的基础上,后续文章会对相关细节进行...
  • 传感器融合详解

    2021-09-17 00:38:57
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达前言多传感器融合(Multi-sensor Fusion, MSF)是利用计算机技术,将来自多传感器或多源的信息和数据以一定的准则进行...
  • “自动泊车、公路巡航控制和自动紧急制动等自动...只有把多个传感器信息融合起来,才是实现自动驾驶的关键。”   现在路面上的很多汽车,甚至是展厅内的很多新车,内部都配备有基于摄像头、雷达、超声波或LIDAR...
  • 传感器融合

    千次阅读 2018-04-17 21:18:19
    由于单一传感器获得的信息非常有限,而且,还要受到自身品质和性能的影响,因此,智能机器人通常配有数量众多的不同类型的传感器,以满足探测和数据采集的需要。若对各传感器采集的信息进行单独、孤立地处理,不仅会...
  • 传感器信息融合(标定, 数据融合, 任务融合)

    千次阅读 多人点赞 2020-03-19 09:51:00
    文章目录 1. 引言 2. 多传感器标定 2.1 标定场地 2.2 相机到相机 2.2 相机到多线激光雷达标定 2.3 相机到毫米波雷达标定 ... 4.1 传统之障碍物检测跟踪 4.2 传统之多传感器定位 4.3 深度学习之障...
  • 数据融合matlab代码传感器融合自动驾驶汽车课程-雷达目标的生成和检测 在自动驾驶汽车方面,处理雷达感应数据的实践。 项目状态: 本地运行的依赖项 Matlab和其他工具箱:您将需要一些下面的Matlab工具箱。 项目概况...
  • 传感器融合及其应用

    千次阅读 2020-11-23 16:50:38
    传感器融合及其应用 1.引言 现代雷达信息处理技术 现代雷达信息处理技术分为三个层次:雷达信号处理与目标检测、但不雷达数据处理和多部雷达系统数据融合。有时也分别称为雷达信息一次处理、雷达信息二次处理和...
  • 点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 本文转自:计算机视觉life多传感器融合面临的主要挑战是如何将收集来的大量数据集中在一起,并做出正...
  • 在本文中,我们提出了一种分层决策融合方案,以提高无线传感器网络的全网检测概率。 在提出的方案中,每个传感器首先做出自己的本地决策,然后根据其邻居的决策结果调整其决策。 最终,应用网络范围的决策融合以获得...
  • 图片来源:Udacity-传感器融合纳米度的理解 执行 FMCW波形设计 设计的FMCW雷达必须满足以下要求: 范围 价值 频率 77 GHz 范围解析度 1米 最大范围 200米 最大速度 70 m /秒 速度分辨率 3 m /秒 带宽 范围分辨率与...
  • 传感器融合--MATLAB跟踪器介绍

    千次阅读 2019-07-08 17:51:59
    传感器融合--MATLAB跟踪器介绍 MATLAB通过多目标跟踪器可以融合多传感器检测到的目标信息,常用到的多目标跟踪器有trackerGNN、trackerJPDA、trackerTOMHT 、trackerPHD等。trackerGNN通过假设一个跟踪的目标...
  • 无人驾驶的多传感器融合技术

    千次阅读 2019-07-13 17:07:06
    “自动泊车、公路巡航控制和自动紧急制动等自动驾驶...只有把多个传感器信息融合起来,才是实现自动驾驶的关键。” 现在路面上的很多汽车,甚至是展厅内的很多新车,内部都配备有基于摄像头、雷达、超声波或LIDAR...
  • 传感器融合理论多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理...
  • MATLAB多传感器融合--核心步骤

    千次阅读 2019-07-08 17:54:11
    MATLAB的多传感器融合的核心步骤在stepImpl函数中实现,该函数的输入的跟踪目标和测量的目标的信息,输出为证实的真目标信息和处于试探的跟踪目标信息。 [confirmedTracks, tentativeTracks, allTracks] = stepImpl...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,772
精华内容 3,908
关键字:

传感器融合目标检测