精华内容
下载资源
问答
  • 多传感器数据融合(一)——概述

    千次阅读 2021-03-02 14:46:39
    目前数据融合系统特点: 采用的传感器类型,一般以雷达,电子情报(ELINT)接收机,电子支援测量(ESM)系统,红外,激光和可见光,声音传感器等。 采用的融合算法,数据关联,目标跟踪,身份估计和基于知识系统...

    目前数据融合系统特点:

    1. 采用的传感器类型,一般以雷达,电子情报(ELINT)接收机,电子支援测量(ESM)系统,红外,激光和可见光,声音传感器等。
    2. 采用的融合算法,数据关联,多目标跟踪,身份估计和基于知识系统。
    3. 采用的系统按融合级别分,状态和身份估计,态势评估和威胁评估。

    1.1 雷达信号处理流程

    1. 雷达信号处理和目标检测

      雷达中频信号–相干波检测/包络检测–动目标显示/自适应动目标显示/动目标检测/脉冲压缩/恒虚警处理,视屏累积等处理后,根据尼曼-皮尔逊准则给出有无目标。

      新发展的阵列信号处理计数,自适应波束形成计数,自适应庞斑想笑计数,多普勒波束瑞华计数,成像计数和时–空二维处理等计数均属于信号处理的范畴。

    2. 单雷达数据处理

      点迹和航迹数据关联,外推,滤波等处理。

    3. 多雷达数据融合

      一般集中式网络采用点迹融合,分布式网络采用轨迹融合。

    1.2 数据融合系统中的主要传感器

    1. 雷达

      1.1 按环境分类

      空中:机载脉冲多普雷雷达,机载预警雷达,机载火控雷达,合成孔径雷达,逆合成孔径雷达

      地面:地面搜索雷达,地面跟踪雷达,地面火控雷达,引导雷达

      水面:舰载火控雷达,舰载搜索雷达,舰载导航雷达

      水下:声呐

      1.2 按技术分

      相控阵雷达,动目标指示雷达,脉冲压缩雷达,单脉冲雷达,天波或地波超视距雷达,双基地雷达,连续波雷达等。

    2. 其他

      电子情报接收机,电子支援测量系统,红外探测与跟踪其,无线电干扰机,通信情报接收机,雷达告警机,激光测距机告警机,电视跟踪和光电传感器,敌-我-中识别器等。

      名称波长频率范围
      γ射线0.003~0.1nm3*10e12~10e14MHz
      紫外线10~0.4μm7.510e8~310e10MHz
      可见光0.38~0.76μm3.9510e8~7.510e8MHz
      红外线0.76~1000μm310e5~3.95108MHz
      毫米波0.1~1.0cm30~300GHz
      厘米波1.0~10.0cm3~30GHz
      分米波10.0~100cm300~3000MHz
      米波1.0~10.0m30~300MHz
      短波10.0~100.0m3~30MHz
      中波100.0~1000.0m0.3~3MHz
      长波1.0~10.0km30~300kHz
      超长波10.0~100.0km3~30kHz

    1.3 数据融合的通用模型

    1. 数据和图像的配准、关联、跟踪和识别。配准–时间,空间矫正;关联–点迹轨迹关联,位置预测,保持连续跟踪;给出目标身份或属性。
    2. 态势评估:态势分析,态势提取,态势预测。
    3. 威胁评估
    4. 优化融合处理,优化利用资源,优化传感器管理和优化武器控制。

    1.4 数据融合分类

    1. 像素级融合
    2. 特征级融合
    3. 决策级融合

    1.5 数据融合技术

    1. 经典推理和统计方法
    2. 贝叶斯推理计数
    3. Dempster-Shafer技术
    4. 模糊集理论
    5. 聚类分析
    6. 估值理论
    7. 熵法
    8. 品质因数(FOM)计数
    9. 专家系统和人工只能技术
    10. 人工神经元网络技术
    11. 分布式和并行处理技术

    1.6 数据融合主要内容

    1. 数据融合结构

      集中式融合系统;无反馈分布式结构;反馈式融合系统;全并行,反馈式融合系统。

    2. 数据关联

      点迹与轨迹关联;轨迹与轨迹关联。

      最邻近数据关联;概率数据关联;[单目标,稀疏目标]

      联合概率数据关联;[目标密度较高的环境]简易联合概率数据关联;准最佳联合概率数据关联;最邻近联合概率数据关联;模糊数据关联

    3. 状态估计

      kalman滤波,轨迹管理

    4. 身份估计

      模式识别

    5. 态势评估与威胁评估

    6. 辅助决策

    7. 传感器管理

    展开全文
  • 多传感器数据融合简介(转)

    千次阅读 2021-09-15 15:08:11
    多传感器融合(Multi-sensor Fusion, MSF)是利用计算机技术,将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合,以完成所需的决策和估计而进行的信息处理过程。 一、基本原理 多传感器融合基本...

    转自知乎网友:多传感器融合(算法)综述 - 知乎

    多传感器融合(Multi-sensor Fusion, MSF)是利用计算机技术,将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合,以完成所需的决策和估计而进行的信息处理过程。

    一、基本原理

    多传感器融合基本原理就像人脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。在这个过程中要充分利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

    具体来讲,多传感器数据融合原理如下:

      (1)多个不同类型传感器(有源或无源)收集观测目标的数据;

      (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;

      (3)对特征矢量Yi进行模式识别处理(如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等),完成各传感器关于目标的说明;

      (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;

      (5)利用融合算法将目标的各传感器数据进行合成,得到该目标的一致性解释与描述。

    二、融合算法

    对于多传感器系统而言,信息具有多样性和复杂性,因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。一般情况下,基于非线性的数学方法,如果具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。

    多传感器数据融合的常用方法基本上可分为两大类:随机类和人工智能类。

    2.1 随机类

    (1)加权平均法

    信号级融合方法最简单直观的方法是加权平均法,将一组传感器提供的冗余信息进行加权平均,结果作为融合值。该方法是一种直接对数据源进行操作的方法。

    (2)卡尔曼滤波法

    主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。

    卡尔曼滤波的递推特性使系统处理无需大量的数据存储和计算。但是采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重问题,例如:① 在组合信息大量冗余情况下,计算量将以滤波器维数的三次方剧增,实时性难以满足。② 传感器子系统的增加使故障概率增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。

    (3)多贝叶斯估计法

    将每一个传感器作为一个贝叶斯估计,把各单独物体的关联概率分布合成一个联合的后验概率分布函数,通过使联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型以提供整个环境的一个特征描述。

    (4)D-S证据推理法

    该方法是贝叶斯推理的扩充,包含3个基本要点:基本概率赋值函数、信任函数和似然函数。

    D-S方法的推理结构是自上而下的,分为三级:第一级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第二级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第三级为更新,各传感器一般都存在随机误差,因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。

    (5)产生式规则

    采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。

    2.2 AI类

    (1)模糊逻辑推理

    模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度(相当于隐含算子的前提),允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。

    与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,对信息的表示和处理更加接近人类的思维方式,一般比较适合于在高层次上的应用(如决策)。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素,所以信息的表示和处理缺乏客观性。

    模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。

    (2)人工神经网络法

    神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时可以采用学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。

    三、应用领域

    多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术,已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用。

    (1)机器人

    多传感器数据融合技术的另一个典型应用领域为机器人。目前主要应用在移动机器人和遥操作机器人上,因为这些机器人工作在动态、不确定与非结构化的环境中(如“勇气”号和“机遇”号火星车)。这些高度不确定的环境要求机器人具有高度的自治能力和对环境的感知能力,而多传感器数据融合技术正是提高机器人系统感知能力的有效方法。实践证明:采用单个传感器的机器人不具有完整、可靠地感知外部环境的能力。智能机器人应采用多个传感器,并利用这些传感器的冗余和互补的特性来获得机器人外部环境动态变化的、比较完整的信息,并对外部环境变化做出实时的响应。目前,机器人学界提出向非结构化环境进军,其核心的关键之一就是多传感器系统和数据融合。

    (2)遥感

    多传感器融合在遥感领域中的应用,主要是通过高空间分辨力全色图像和低光谱分辨力图像的融合,得到高空问分辨力和高光谱分辨力的图像,融合多波段和多时段的遥感图像来提高分类的准确性。

    (3)智能交通管理系统

    数据融合技术可应用于地面车辆定位、车辆跟踪、车辆导航以及空中交通管制系统等。

    (4)复杂工业过程控制

    复杂工业过程控制是数据融合应用的一个重要领域。目前,数据融合技术已在核反应堆和石油平台监视等系统中得到应用。融合的目的是识别引起系统状态超出正常运行范围的故障条件,并据此触发若干报警器。通过时间序列分析、频率分析、小波分析,从各传感器获取的信号模式中提取出特征数据,同时,将所提取的特征数据输入神经网络模式识别器,神经网络模式识别器进行特征级数据融合,以识别出系统的特征数据,并输入到模糊专家系统进行决策级融合;专家系统推理时,从知识库和数据库中取出领域知识规则和参数,与特征数据进行匹配(融合);最后,决策出被测系统的运行状态、设备工作状况和故障等。

    四、存在问题及发展趋势

    随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算软件和硬件技术等相关技术的发展,尤其是人工智能技术的进步,新的、更有效的数据融合方法将不断推出,多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术,其应用领域将不断扩大。多传感器数据融合不是一门单一的技术,而是一门跨学科的综合理论和方法,并且是一个不很成熟的新研究领域,尚处在不断变化和发展过程中。

    (1)存在问题及发展趋势

    尚未建立统一的融合理论和有效广义融合模型及算法;对数据融合的具体方法的研究尚处于初步阶段;还没有很好解决融合系统中的容错性或鲁棒性问题;关联的二义性是数据融合中的主要障碍;数据融合系统的设计还存在许多实际问题。

    (2)发展趋势

    建立统一的融合理论、数据融合的体系结构和广义融合模型;解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题,利用成熟的辅助技术,建立面向具体应用需求的数据融合系统;将人工智能技术,如,神经网络、遗传算法、模糊理论、专家理论等引入到数据融合领域;利用集成的计算智能方法(如,模糊逻辑+神经网络,遗传算法+模糊+神经网络等)提高多传感融合的性能;解决不确定性因素的表达和推理演算,例如:引入灰数的概念;利用有关的先验数据提高数据融合的性能,研究更加先进复杂的融合算法(未知和动态环境中,采用并行计算机结构多传感器集成与融合方法的研究等);在多平台/单平台、异类/同类多传感器的应用背景下,建立计算复杂程度低,同时,又能满足任务要求的数据处理模型和算法;构建数据融合测试评估平台和多传感器管理体系;将已有的融合方法工程化与商品化,开发能够提供多种复杂融合算法的处理硬件,以便在数据获取的同时就实时地完成融合。

    五、参考文献

    https://blog.csdn.net/ZXQHBD/article/details/69389019​blog.csdn.net/ZXQHBD/article/details/69389019

    https://blog.csdn.net/xingdou520/article/details/84103987

    展开全文
  • 多传感器信息融合技术就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。 多传感器信息融合技术的基本原理就像人的大脑综合...

    一、概念

    多传感器信息融合技术就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。

    多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。

    二、体系架构

    **1.**根据数据处理方法的不同,信息融合系统的体系结构有三种:分布式、集中式和混合式

    1)分布式:先对各个独立传感器所获得的原始数据进行局部处理,然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。分布式对通信带宽的需求低、计算速度快、可靠性和延续性好,但跟踪的精度却远没有集中式高;分布式的融合结构又可以分为带反馈的分布式融合结构和不带反馈的分布式融合结构。

    **2)集中式:**集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理,可以实现实时融合,其数据处理的精度高,算法灵活,缺点是对处理器的要求高,可靠性较低,数据量大,故难于实现;

    3)混合式:混合式多传感器信息融合框架中,部分传感器采用集中式融合方式,剩余的传感器采用分布式融合方式。混合式融合框架具有较强的适应能力,兼顾了集中式融合和分布式的优点,稳定性强。混合式融合方式的结构比前两种融合方式的结构复杂,这样就加大了通信和计算上的代价。

    **2.**多传感器融合在层次结构上按其在融合系统中信息处理的抽象程度,主要划分为三个层次:数据层融合、特征层融合和决策层融合。

    **1).数据层融合:**也称像素级融合,首先将传感器的观测数据融合,然后从融合的数据中提取特征向量,并进行判断识别。数据层融合需要传感器是同质的(传感器观测的是同一物理现象),如果多个传感器是异质的(观测的不是同一个物理量),那么数据只能在特征层或决策层进行融合。数据层融合不存在数据丢失的问题,得到的结果也是最准确的,但计算量大,且对系统通信带宽的要求很高。

    **2).特征层融合:**特征层融合属于中间层次,先从每种传感器提供的观测数据中提取的有代表性的特征,这些特征融合成单一的特征向量,然后运用模式识别的方法进行处理。这种方法的计算量及对通信带宽的要求相对降低,但由于部分数据的舍弃使其准确性有所下降。

    **3).决策层融合:**决策层融合属于高层次的融合,由于对传感器的数据进行了浓缩,这种方法产生的结果相对而言最不准确,但它的计算量及对通信带宽的要求最低。

    三、多传感器融合的算法

    融合算法是融合处理的基础。它是将多元输入数据根据信息融合的功能要求,在不同融合层次上采用不同的数学方法,对数据进行综合处理,最终实现融合。目前已有大量的融合算法,它们都有各自的优缺点。这些融合算法总体上法可以分为三大类型:嵌入约束法、证据组合法、人工神经网络法

    1.嵌入约束法
      由多种传感器所获得的客观环境的多组数据就是客观环境按照某种映射关系形成的像,传感器信息融合就是通过像求解原像,即对客观环境加以了解。用数学语言描述就是,即使所有传感器的全部信息,也只能描述环境的某些方面的特征,而具有这些特征的环境却有很多,要使一组数据对应惟一的环境(即上述映射为一一映射),就必须对映射的原像和映射本身加约束条件,使问题能有惟一的解。嵌入约束法有两种基本的方法:贝叶斯估计和卡尔曼滤波

    2.证据组合法
      证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策,而多传感器数据信息在一定程度上反映环境这方面的情况。因此,分析每一数据作为支持某种决策证据的支持程度,并将不同传感器数据的支持程度进行组合,即证据组合,分析得出现有组合证据支持程度最大的决策作为信息融合的结果。
      证据组合法是为完成某一任务的需要而处理多种传感器的数据信息。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度),再寻找一种证据组合方法或规则,使在已知两个不同传感器数据(即证据)对决策的分别支持程度时,通过反复运用组合规则,最终得出全体数据信息的联合体对某决策总的支持程度,得到最大证据支持决策,即传感器信息融合的结果。
    常用的证据组合方法有:概率统计方法、D-S证据推理法

    3.人工神经网络法
      人工神经网络通过模仿人脑的结构和工作原理,设计和建立相应的机器和模型并完成一定的智能任务。神经网络根据当前系统所接收到的样本的相似性,确定分类标准。这种确定方法主要表现在网络权值分布上,同时可采用神经网络特定的学习算法来获取知识,得到不确定性推理机制。采用神经网络法的多传感器信息融合,分三个主要步骤
      (1).根据智能系统要求及传感器信息融合的形式,选择其拓扑结构;
      (2).各传感器的输入信息综合处理为一总体输入函数,并将此函数映射定义为相关单元的映射函数,通过神经网络与环境的交互作用把环境的统计规律反映网络本身的结构;
      (3).对传感器输出信息进行学习、理解,确定权值的分配,进而对输入模式作出解释,将输入数据向量转换成高级逻辑(符号)概念。

    四、应用领域

    随着多传感器数据融合技术的发展,应用的领域也在不断扩大,多传感器融合技术已成功地应用于众多的研究领域。多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术,已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用。

    展开全文
  • 多传感器信息融合(标定, 数据融合, 任务融合)

    千次阅读 多人点赞 2020-03-19 09:51:00
    文章目录 1. 引言 2. 多传感器标定 2.1 标定场地 ... 数据融合 3.1 融合的传统方法 3.2 深度学习方法 4. 任务层融合 4.1 传统之障碍物检测跟踪 4.2 传统之多传感器定位 4.3 深度学习之障...

    文章目录

     

    1. 引言

    自动驾驶感知和定位中传感器融合成了无人驾驶领域的趋势,融合按照实现原理分为硬件层的融合, 如禾赛和Mobileye等传感器厂商, 利用传感器的底层数据进行融合;数据层, 利用传感器各种得到的后期数据,即每个传感器各自独立生成目标数据,再由主处理器进行融合这些特征数据来实现感知任务;任务层, 先由各传感器完成感知或定位任务, 如障碍物检测,车道线检测,语义分割和跟踪以及车辆自身定位等, 然后添加置信度进行融合。

    在这里插入图片描述

    2. 多传感器标定

    传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了多个/多种传感器,而它们之间的坐标关系是需要确定的。

    这个工作可分成两部分:内参标定和外参标定,内参是决定传感器内部的映射关系,比如摄像头的焦距,偏心和像素横纵比(+畸变系数),而外参是决定传感器和外部某个坐标系的转换关系,比如姿态参数(旋转和平移6自由度)。

    摄像头的标定曾经是计算机视觉中3-D重建的前提,张正友老师著名的的Zhang氏标定法,利用Absolute Conic不变性得到的平面标定算法简化了控制场。

    另外在自动驾驶研发中,GPS/IMU和摄像头或者激光雷达的标定,雷达和摄像头之间的标定也是常见的。不同传感器之间标定最大的问题是如何衡量最佳,因为获取的数据类型不一样:

    • 摄像头是RGB图像的像素阵列;
    • 激光雷达是3-D点云距离信息(有可能带反射值的灰度值);
    • GPS-IMU给的是车身位置姿态信息;
    • 雷达是2-D反射图。

    另外,标定方法分targetless和target两种,前者在自然环境中进行,约束条件少,不需要用专门的target;后者则需要专门的控制场,有ground truth的target,比如典型的棋盘格平面板。

    这里仅限于targetless方法的讨论,主要利用Apollo中的标定工具对标定各个传感器进行研究

    2.1 标定场地

    我们的标定方法是基于自然场景的,所以一个理想的标定场地可以显著地提高标定结果的准确度。我们建议选取一个纹理丰富的场地,如有树木,电线杆,路灯,交通标志牌,静止的物体和清晰车道线。下图是一个较好的标定环境示例:
    在这里插入图片描述

    2.2 相机到相机

    智能车一般会有多个相机, 长焦距的用来检测远处场景(视野小), 短焦距检测近处(视野大).以Apollo的标定方法为例:
    基本方法:根据长焦相机投影到短焦相机的融合图像进行判断,绿色通道为短焦相机图像,红色和蓝色通道是长焦投影后的图像,目视判断检验对齐情况。在融合图像中的融合区域,选择场景中距离较远处(50米以外)的景物进行对齐判断,能够重合则精度高,出现粉色或绿色重影(错位),则存在误差,当误差大于一定范围时(范围依据实际使用情况而定),标定失败,需重新标定(正常情况下,近处物体因受视差影响,在水平方向存在错位,且距离越近错位量越大,此为正常现象。垂直方向不受视差影响)。
    结果示例:如下图所示,图2为满足精度要求外参效果,图3为不满足精度要求的现象,请重新进行标定过程。

    • 良好的相机到相机标定结果,中间部分为融合结果,重叠较好:
      在这里插入图片描述
    • 错误的相机到相机标定结果,,中间部分为融合结果,有绿色重影:
      在这里插入图片描述

    2.2 相机到多线激光雷达标定

    基本方法:在产生的点云投影图像内,可寻找其中具有明显边缘的物体和标志物,查看其边缘轮廓对齐情况。如果50米以内的目标,点云边缘和图像边缘能够重合,则可以证明标定结果的精度很高。反之,若出现错位现象,则说明标定结果存在误差。当误差大于一定范围时(范围依据实际使用情况而定),该外参不可用。

    • 良好的相机到多线激光雷达标定结果:
      在这里插入图片描述
    • 错误的相机到多线激光雷达标定结果:
      在这里插入图片描述

    2.3 相机到毫米波雷达标定

    基本方法:为了更好地验证毫米波雷达与相机间外参的标定结果,引入激光雷达作为桥梁,通过同一系统中毫米波雷达与相机的外参和相机与激光雷达的外参,计算得到毫米波雷达与激光雷达的外参,将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合,并画出相应的鸟瞰图进行辅助验证。在融合图像中,白色点为激光雷达点云,绿色实心圆为毫米波雷达目标,通过图中毫米波雷达目标是否与激光雷达检测目标是否重合匹配进行判断,如果大部分目标均能对应匹配,则满足精度要求,否则不满足,需重新标定。

    • 良好的毫米波雷达到激光雷达投影结果:
      在这里插入图片描述
    • 错误的毫米波雷达到激光雷达投影结果:
      在这里插入图片描述

    2.4 相机到IMU标定

    虽然Apollo中没有, 但这是视觉slam中的常见传感器标定, 本人在近期会写一个相关的博客。
    利用Kalibr 对 Camera-IMU 进行标定

    2.5 论文总结

    最近相关的标定方面的论文也出现了不少, 奇点的黄裕博士的知乎专栏有总结

    3. 数据层融合

    有些传感器之间很难在硬件层融合,比如摄像头或者激光雷达和毫米波雷达之间,因为毫米波雷达的目标分辨率很低(无法确定目标大小和轮廓),但可以在数据层层上探索融合,比如目标速度估计,跟踪的轨迹等等。
    这里主要介绍一下激光雷达和摄像头的数据融合,实际是激光雷达点云投影在摄像头图像平面形成的深度和图像估计的深度进行结合,理论上可以将图像估计的深度反投到3-D空间形成点云和激光雷达的点云融合,但很少人用。原因是,深度图的误差在3-D空间会放大,另外是3-D空间的点云分析手段不如图像的深度图成熟,毕竟2.5-D还是研究的历史长,比如以前的RGB-D传感器,Kinect或者RealSense。

    相机和激光雷达的数据层融合原因:
    在无人驾驶环境感知设备中,激光雷达和摄像头分别有各自的优缺点。
    摄像头的优点是成本低廉,用摄像头做算法开发的人员也比较多,技术相对比较成熟。摄像头的劣势,第一,获取准确三维信息非常难(单目摄像头几乎不可能,也有人提出双目或三目摄像头去做);另一个缺点是受环境光限制比较大。
    激光雷达的优点在于,其探测距离较远,而且能够准确获取物体的三维信息;另外它的稳定性相当高,鲁棒性好。但目前激光雷达成本较高,而且产品的最终形态也还未确定。

    3.1 融合的传统方法

    • bayesia filter
      在这里插入图片描述
    • guided image filtering

    在这里插入图片描述
    在这里插入图片描述

    • 传统形态学滤波法

    3.2 深度学习方法

    (1) “Propagating Confidences through CNNs for Sparse Data Regression“, 提出normalized convolution (NConv)layer的改进思路,训练的时候NConv layer通过估计的confidence score最大化地融合 multi scale 的 feature map, 算法如下图:

    在这里插入图片描述
    (2)ICRA的论文High-precision Depth Estimation with the 3D LiDAR and Stereo Fusion
    只是在合并RGB image和depth map之前先通过几个convolution layer提取feature map:
    在这里插入图片描述
    (3)法国INRIA的工作,“Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation“
    作者发现CNN方法在早期层将RGB和深度图直接合并输入性能不如晚一些合并(这个和任务层的融合比还是early fusion),这也是它的第二个发现,这一点和上个论文观点一致。算法流程:
    在这里插入图片描述
    前后两种合并方式的结果示意:
    在这里插入图片描述

    4. 任务层融合

    对于摄像头和激光雷达摄像头的感知任务来说, 都可用于进行车道线检测。除此之外,激光雷达还可用于路牙检测。对于车牌识别以及道路两边,比如限速牌和红绿灯的识别,主要还是用摄像头来完成。如果对障碍物的识别,摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言,它对障碍物只能分一些大类,但对物体运动状态的判断主要靠激光雷达完成。任务级融合:障碍物检测/分类,跟踪,分割和定位。有时候融合可能在某一级的特征空间进行,这个也会随任务不同而变化。

    4.1 传统之障碍物检测跟踪

    • 双目和激光雷达融合

    法国INRIA利用做十字路口安全驾驶系统的障碍物检测[1]。
    在这里插入图片描述
    双目算法:
    在这里插入图片描述

    • 激光雷达和单摄像头融合
      用一个Bayesian分类器合并两个检测器的结果送进跟踪器[2], 算法流程:
      在这里插入图片描述
    • 单目和激光雷达融合
      图像数据的检测器用DPM算法,激光雷达点云数据检测采用自己提出的3D Morph算法,融合方式如加权和[3], 算法流程:
      在这里插入图片描述
    • 激光雷达,摄像头和毫米波雷达融合
      把激光雷达,摄像头和毫米波雷达的数据在障碍物检测任务进行融合, 基于D-S证据理论[4]
      在这里插入图片描述

    4.2 传统之多传感器定位

    • 激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map

    百度Apollo传感器融合用于车辆定位, 传感器配置有激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map。整个融合框架是基于EKF(扩展卡尔曼滤波器):估计最优的position, velocity, attitude (PVA)[5]。
    在这里插入图片描述
    在这里插入图片描述

    -视觉里程计和激光里程计
    该方法是在VO的基础上增加激光雷达点云信息[6]。这是系统框架:
    在这里插入图片描述

    4.3 深度学习之障碍物检测跟踪

    • 最常见的是利用激光雷达和相机进行障碍物检测:

    采用激光雷达点云的鸟瞰图和前视图像两个方向的投影和RGB图像共同构成目标检测的输入,检测器类似两步法,其中region proposal被3D proposal导出的bird view/frontal view proposal和2D image proposal结合所取代[7]。
    在这里插入图片描述

    • 利用激光雷达和相机进行障碍物跟踪层融合:
      还是采用tracking by detection思路,训练了三个CNN模型,即detectionnet,matchingnet和scoringnet[8]。
      在这里插入图片描述

    4.4 深度学习之定位

    • 定位
      激光雷达灰度图像(反射值)和点云定位进行融合, 两种定位方法都用了卷积网络进行搜索
      采用激光雷达扫描(利用卷积网络)的地面反射图来定位车辆,下面可以看到这种灰度图的样子。
      在这里插入图片描述

    引用文献
    [1] Intersection Safety using Lidar and Stereo sensors.
    [2] LiDAR and Camera-based Pedestrian and Vehicle Detection.
    [3] 2D/3D Sensor Exploitation and Fusion for Detection.
    [4] Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking.
    [5] Robust and Precise Vehicle Localization based on Multi-sensor Fusion in Diverse City Scenes.
    [6] Real-time Depth Enhanced Monocular Odometry.
    [7] Multi-View 3D Object Detection Network for Autonomous Driving.
    [8] End-to-end Learning of Multi-sensor 3D Tracking by Detection.
    [9] Learning to Localize Using a LiDAR Intensity Map.

    展开全文
  • 多传感器数据融合研究

    千次阅读 2019-11-17 22:36:04
    多传感器数据融合算法通常分为集中式、分布式和混合式三类。如下图: 集中式信息融合算法 各个传感器将观测矩阵送至融合中心,融合中心综合各个传感器的观测数据做出判断,给出 最优的结果。因信息损失小,理论上它...
  • 多传感器数据融合的关键问题是模型设计,数据融合模型主要包括功能、结构和数学模型。根据数据融合功能层次性和信息流通方式及传输形式,把数据融合功能模型分为五级,即检测级、跟踪级、属性级、态势级和威胁级。...
  • 多传感器融合详解

    千次阅读 2021-08-17 14:03:46
    0.前言 传感器融合(Multi-sensor Fusion...具体来讲,多传感器数据融合处理: (1)个不同类型传感器(有源或无源)收集观测目标的数据; (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据
  • 这里主要介绍一下激光雷达和摄像头的数据融合,实际是激光雷达点云投影在摄像头图像平面形成的深度和图像估计的深度进行结合,理论上可以将图像估计的深度反投到3-D空间形成点云和激光雷达的点云融合,但很少人用。...
  • 身份融合融合层次可以分为三类:原始数据级,特征向量级,决策级。 5.1 身份融合算法分类 基于物理模型的方法,基于特征推理的方法,基于认识模型的方法。 物理模型 通过将实测数据传感器观测模型数据匹配来...
  • 这里使用到了两种传感器数据,因此我们需要进行数据融合,同时由于两种传感器工作原理不同,我们需要分别应用卡尔曼滤波与扩展卡尔曼滤波技术。本文主要参考Udacity《无人驾驶工程师》课程相关项目。 文章目录1....
  • 传感器数据融合及姿态估计总结

    千次阅读 2020-12-21 21:58:09
    本文主要介绍汇总了利用陀螺仪、加速度计和磁力计进行数据融合并由此实现姿态估算的一些方法,主要包括传感器直接结算、陀螺仪积分、互补滤波、Mahony滤波和EKF方法,每一部分的内容都是笔者亲自推导并且利用MATLAB...
  • 1、MISF - Multi-sensor Information Fusion 基础解析 1.1 基本概念 利用计算机技术将多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所...—— 也称为像素级融合,属于底层数据融合;将个传
  • 多传感器信息融合笔记

    万次阅读 2017-11-01 21:30:56
    由于单一传感器获得的信息非常有限,而且,还要受到自身品质和性能的影响,因此,智能机器人通常配有数量众多的不同类型的传感器,以满足探测和数据采集的需要。若对各传感器采集的信息进行单独、孤立地处理,不仅会...
  • 通过多传感器融合算法方案的介绍,选取 AVOD(Aggregate View Obeject Detection network)为本文传感器融合网络的基础框架,并将其分为特征提取与目标框筛选模块,分别进行分析与优化。 其次,针对特征提取模块中,...
  • 多传感器信息融合

    千次阅读 2018-12-10 17:36:52
    多传感器信息融合分为集中式融合结构,分散式融合结构和分级融合结构。 随着机器人技术的不断发展,机器人的应用领域和功能有了极大的拓展和提高。智能化已成为机器人技术的发展趋势,而传感器技术则是实现机器人...
  • 多传感器融合技术(一)

    千次阅读 2021-05-13 09:52:07
    Early fusion — Fusing the raw data ,一般称为前融合(或数据融合),汇总所有传感器的数据,得到一个super-sensor,再进行检测; Late fusion — Fusing the results, 一般称为后融合(或结果融合/信息融合)...
  • 1、MISF - Multi-sensor Information Fusion 基础解析1.1 基本概念利用计算机技术将多传感器或多源的信息和...1.2 融合层次(级别)在多传感器信息融合中,按其在融合系统中信息处理的抽象程度可分为三个层次:数...
  • 这两天看了几篇关于多传感器融合的文章,这里记录一下。 (虽然做了整理,但由于来自篇文章,内容还是比较乱,不是很匹配……) 多传感器融合需要面对的问题 1、数据对准问题 先决条件:统一坐标系和时钟 目的是...
  • 多传感器融合

    千次阅读 2018-04-17 21:18:19
    由于单一传感器获得的信息非常有限,而且,还要受到自身品质和性能的影响,因此,智能机器人通常配有数量众多的不同类型的传感器,以满足探测和数据采集的需要。若对各传感器采集的信息进行单独、孤立地处理,不仅会...
  • 如果你对每个轴的倾角都感兴趣,你可以把这个结果分为两个分量:X轴、Y轴倾角,这可以通过计算重力矢量和X、Y轴的夹角得到。 计算这些角度比你想象的简单,现在我们已经算出了Rx,Ry,Rz的值,让我们回到我们的上...
  • 1.单一传感器SLAM面临的问题 单一传感器会面临很棘手的场景:在纹理少、四季天气变化、光照剧烈变化、...2.多传感器融合方案 下图选自浙江大学刘勇教授在第二届全国SLAM技术论坛中的报告。 从上面多元融合的框架
  • 中心议题多传感器数据融合技术能对缺陷信号作智能化处理电磁感应式传感器和霍尔传感器的工作原理采用小波去噪的方法,并利用RBF神经网络的数据融合技术对缺陷信号进行检测处理并得出仿真结果解决方案采用漏磁传感器...
  •   多传感器信息融合的结构模型一般有四种基本形式:   集中式、分散式和分级式结构,分级式又分为有反馈结构和无反馈结构。 集中式结构 (使用卡尔曼滤波技术)   F(k)为状态转移矩阵, X...
  • 传感器的原理加速度计:加速度计---我们可以把它想作一个圆球在一个方盒子中。假定这个盒子不在重力场中或者其他任何会影响球的位置的场中,球处于盒子的正中央。你可以想象盒子在外太空中,或远在航天飞机中,离...
  • 目录第一章 多传感器信息融合概述1.2 多传感器信息融合的基本原理1.2.1 信息融合的基本原理1.2.2 信息融合的级别检测级融合位置级融合目标识别级融合1.数据融合2.特征级融合3.决策级1.4多传感器信息融合技术研究的...
  • 多传感器融合理论多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理...
  • 1、MISF - Multi-sensor Information Fusion 基础解析1.1 基本概念利用计算机技术将多传感器或多源的信息和数据...1.2 融合层次(级别)在多传感器信息融合中,按其在融合系统中信息处理的抽象程度可分为三个层次:数...
  •   多传感器信息融合的结构模型一般有四种基本形式:  集中式、分散式和分级式结构,分级式又分为有反馈结构和无反馈结构。集中式结构(使用卡尔曼滤波技术)  F(k)为状态转移矩阵, X(k)是k时刻目标的状态向量...
  • 多传感器融合中,按照对原始数据 处理方法的不同,多传感器融合系统的体 系结构可以分为三种:集中式,分布式和 混合式(混合式又分为有反馈结构和无反 馈结构) 集中式 集中式,就是将各传感器获得的原始数据直接...
  • 多传感器融合(Multi-sensor Fusion, MSF)是利用计算机技术,将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合,以完成所需的决策和估计而进行的信息处理过程。 多传感器融合基本原理就像人脑综合...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,547
精华内容 3,818
关键字:

多传感器数据融合分为