精华内容
下载资源
问答
  • 多传感器融合详解
    千次阅读
    2021-08-17 14:03:46

    0.前言

    多传感器融合(Multi-sensor Fusion, MSF)是利用计算机技术,将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合,以完成所需的决策和估计而进行的信息处理过程。和人的感知相似,不同的传感器拥有其他传感器不可替代的作用,当各种传感器进行多层次,多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。
    具体来讲,多传感器数据融合处理:

    (1)多个不同类型传感器(有源或无源)收集观测目标的数据;

    (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换提取代表观测数据的特征矢量Yi

    (3)对特征矢量Yi进行模式识别处理(如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等),完成各传感器关于目标的说明;

    (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;

    (5)利用融合算法将目标的各传感器数据进行合成,得到该目标的一致性解释与描述。

    1.多传感器融合分类

    后端融合算法

    后端融合算法又被称为松耦合算法,本质上是对融合后的多维综合数据进行感知,如下图所示,后端融合算法是松散的,在出结果之前,所有的传感器都是独立的,不存在传感器与传感器的约束。
    在这里插入图片描述

    这种后端融合方法常见的融合策略是使用EKF或ESKF来实现(一般常见于LIO当中)。这样会导致
    在这里插入图片描述

    …详情请参照古月居

    更多相关内容
  • 基于ROS的多传感器融合感知系统实现(雷达+相机)
  • 基于激光的多传感器融合定位与建图 深蓝学院学习环境。 概述 本Repo为基于ROS melodic @ Ubuntu 18.04的学习环境。 为了节约安装配置的时间: 部分依赖项由于网络原因难以取得 新依赖的约会可能会导致与本地依赖的...
  • matlab 传感器异步融合仿真程序,目前File Exchange中一共有超过35000个文件,这两天我对这三万多份源代码和模型进行了统计整理,将其中下载量最高的前1000个文件信息及链接,收录到了微信小程序中。
  • matlab实现多传感器融合代码 Hello-World ideas, resources, discussions and so on. ADB项目——基本工作 MATLAB/Simulink自动生成代码; SImulink+Carsim+PreScan仿真平台; C语言编程; 了解硬件。 AS项目——...
  • 随着机器人技术的不断发展,机器人的应用领域和功能有了极大的拓展和提高。智能化已成为机器人技术的发展趋势,而传感器技术则是实现...为了解决上述问题人们提出了多传感器融合技术(multi-sensorfusion)。  
  • 多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样,将各种传感器进行层次、空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。
  • 进一步,针对其弱可观测性,采用个被动传感器集中式融合跟踪策略,提出了基于无迹卡尔曼滤波的被动多传感器融合跟踪算法.以3个被动站跟踪为例进行仿真研究,结果表明所提出的算法可达到比经典的扩展卡尔曼滤波算法更高...
  • 所谓多传感器信息融合,就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。
  • 基于多传感器融合的移动机器人SLAM算法研究_周阳.caj 基于多传感器融合的移动机器人SLAM算法研究_周阳.caj
  • 将深度学习引入人工智能领域,开展相关机器人技术在自主导航中的方法研究,开发集机械平台、嵌入式硬件、软件系统、SLAM算法、场景识别方法于一体的机器人综合系统框架,结合多传感器融合的环境信息,实时指导路径...
  • D-S 多传感器信息融合 matlab实现
  • 全球无人驾驶格局及技术方案比较 多传感器融合的基本原理和算法 基于传感器前融合的L4技术方案解析 Roadstar.ai如何加速落地和商业化
  • 组合导航和VIO相关内容.使用了submodules形式挂载了tools,因此clone完本程序需要更新tools 希望和有兴趣的小伙伴一起交流,
  • Stereo Visual Inertial LiDAR Simultaneous Localization and Mapping Abstract Simultaneous Localization and Mapping (SLAM) is a fundamental task to mobile and aerial robotics. LiDAR based systems have ...
  • 通过多传感器融合算法方案的介绍,选取 AVOD(Aggregate View Obeject Detection network)为本文传感器融合网络的基础框架,并将其分为特征提取与目标框筛选模块,分别进行分析与优化。 其次,针对特征提取模块中,...
  • Multi-Sensor Fusion (GNSS, IMU, Camera) 多源多传感器融合定位 GPS/INS组合导航 PPP/INS紧组合 Multi-Sensor Fusion 版本号:release/3.0.0 初衷 学习组合导航和VIO相关内容. 希望和有兴趣的小伙伴一起交流...
  • 多传感器融合

    2018-11-14 15:38:39
    多传感器融合处理,课件记录。
  • 多传感器融合定位技术

    万次阅读 2021-10-24 23:32:08
    多传感器融合系统简介1.1 多传感器融合系统体系结构1.2 多传感器融合系统分层2. 多传感器融合定位系统原理3. 多传感器融合误差分析4. 多传感器融合算法4.1 数据融合算法概述4.2 卡尔曼滤波算法 由于 GNSS 定位信息...

    由于 GNSS 定位信息更新频率低,不能满足自动驾驶中实时性的要求,且定位信号会因隧道、建筑群等障碍物的遮挡面而中断。而 INS(Inertial Navigation System) 中配备高频传感器,一定时间内可以提供连续的较高精度的汽车位置、速度和航向信息,但其定位误差会随着系统运行时间积累而剧增。将 GNSS 与 INS 相结合,可以利用 GNSS 提供的不随时间增加的高精度定位来纠正 INS 的累积定位误差。同时,INS 可以解决 GNSS 特定场景易受影响的问题。通过结合这两种系统的优点,就能得到实时和精准的定位。如果再与地图匹配技术相结合,利用高精度地图提供的信息,可进一步提高定位精度。

    要实现多个定位系统融合,提高定位精度,设计一种融合多个传感器数据的系统尤为重要。这里将从多传感器融合系统简介、系统原理、误差分析以及融合算法等方面对多传感器融合定位系统进行介绍。

    1. 多传感器融合系统简介

    多传感器数据融合是 20 世纪 80 年代出现的一门新兴学科,它是将不同传感器对某一目标或环境特征描述的信息融合成统一的特征表达信息及其处理的过程。在多传感器系统中,各种传感器提供的信息可能具有不同的特征,如模糊的与确定的、时变的与非时变的、实时的与非实时的等。多传感器数据融合实际上是模拟人脑综合处理复杂问题的过程,通过对各种传感器及其观测信息的合理支配与使用,将各种传感器在空间和时间上的互补与冗余信息,依据某种优化准则加以组合,产生对观测环境或对象的一致性解释和描述,实现多个传感器共同或联合操作,提高整个传感器系统的有效性。数据融合的目标是利用各种传感器的独立观测信息,对数据进行多级别、多方位和多层次的处理,产生新的有意义的信息,这种信息是最佳协同作用的结果,是任何单一传感器无法获得的。

    自动驾驶汽车定位的主要模式有 DR、GNSS、GNSS/DR 组合定位模式。在系统精度要求不高的前提条件下可以单独使用这 3 种定位模式。为了进一步提高定位系统的精度,保障自动驾驶的安全,在上述 3 种定位模式中引入了地图匹配,可组合产生出新的 3 种定位模式:DR/MM、GNSS/MM、GNSS/DR/MM。多传感器融合定位系统可在 6 种模式中自动切换以提高整个系统的定位精度和可靠性。接下来对多传感器融合系统体系结构以及系统分层进行介绍。

    1.1 多传感器融合系统体系结构

    多传感器融合系统体系结构主要包括松耦合(Loosely Coupled)、紧耦合(Tightly Coupled)以及深耦合(Deep Coupled)等组合结构。

    1. 松耦合:在松耦合系统里,GNSS 给 INS 提供位置信息,二者硬件上相互独立且随时断开连接,分别输出定位信息与速度信息到融合滤波器,融合滤波器进行优化处理后将结果反馈给惯性导航系统对其修正后进行输出。GNSS/INS 松耦合系统原理图如下所示:
      在这里插入图片描述

    2. 紧耦合:紧耦合系统是将由 GNSS 环码与载波跟踪环解算得到的伪距、伪距率与由惯性导航系统结合自身信息和卫星星历进行计算得到的伪距、伪距率做差,得到伪距与伪距率的测量残差,将其作为融合滤波器的输入观测量,得到惯性导航系统计算误差以及传感器偏差以完成对惯性导航系统的矫正并获得位置与速度的最优估计值。GNSS/INS 紧耦合系统原理图如下所示:
      在这里插入图片描述

    3. 深耦合:深耦合系统相对于紧耦合系统,增加了 INS 单元对 GNSS 接收机的辅助。利用 INS 单元结合星历信息可以对伪距和载波的多普勒频移进行估计,利用估计结果辅助接收机的捕获与跟踪环路,可以有效地提高 GNSS 接收机跟踪环路的动态性与灵敏度。

    1.2 多传感器融合系统分层

    如下图所示,按照信息处理的流程,可将多传感器融合系统划分为数据层融合特征层融合决策层融合
    在这里插入图片描述

    1. 数据层融合:数据层融合也称像素级融合,首先将传感器的观测数据融合,然后从融合的数据中提取特征向量,并进行判断识别。数据层融合需要传感器是同质的(传感器观测的是同一物理量),如果多个传感器是异质的(传感器观测的不是同一个物理量),那么数据只能在特征层或决策层进行融合。数据层融合不存在数据丢失的问题,得到的结果也是最准确的,但计算量最大,且对系统通信带宽的要求很高。
    2. 特征层融合:特征层融合属于中间层次,先从每种传感器提供的观测数据中提取有代表性的特征,这些特征融合成单一的特征向量,然后运用模式识别的方法进行处理。这种方法的计算量及对通信带宽的要求相对较低,但部分数据的舍弃使其准确性有所下降。
    3. 决策层融合:决策层融合指在每个传感器对目标做出识别后,再将多个传感器的识别结果进行融合,属于高层次的融合。决策层融合由于对可能包含误差的传感器数据进行再处理,产生的结果相对而言最不准确,但其计算量及对通信带宽的要求最低。

    2. 多传感器融合定位系统原理

    多传感器数据融合定位系统的输入主要来自 GNSS-RTK、惯性导航系统和地图匹配定位系统。融合定位系统对其数据进行预处理、数据配准和数据融合等处理后,可输出汽车自身的速度、位置和姿态信息。下图为多传感器数据融合定位流程示意图:
    在这里插入图片描述
    数据预处理可以考虑为传感器初始化及校准,传感器初始化相对于系统坐标独立地校准每一个传感器。一旦完成了传感器初始化,就可以利用各传感器对共同目标采集得到的数据进行数据配准。所谓数据配准,就是把来自一个或多个传感器的观测或点迹数据与已知或已经确认的事件归并到一起,保证每个事件集合所包含的观测与点迹数据来自同一个实体的概率较大(直白点说就是匹配嘛)。具体的说,就是要把每批目标的观测或点迹数据与事件集合中各自的数据配对。在传感器配准过程中,收集足够的数据点来计算系统偏差,计算得到的系统偏差用来调整随后得到的传感器数据。其次,传感器的配准主要包括时间配准空间配准两个方面。

    1. 时间配准:时间配准,就是将关于同一目标的各传感器不同步的量测信息同步到同一时刻。由于各传感器对目标的量测是相互独立进行的,且采样周期(如观星测量单元和激光雷达大采样周期)往往不同,所以它们向数据处理中心报告的时刻往往也是不同的。另外,由于通信网络的不同延迟,各传感器和融合处理中心之间传送信息所需的时间也各不相同,因此,各传感器上的数据的发送时间有可能存在时间差,所以融合处理前需将不同步的信息配准到相同的时刻。

      时间配准的一般做法是将各传感器数据统一到扫描周期较长的一个传感器数据上,目前,常用的方法包括最小二乘法(Least Squares, LS)和内插外推法。这两种方法都对目标的运动模型做了匀速运动的假设,对于做变加速运动的目标,配准效果往往很差。下面仅对基于最小二乘法的时间配准法做简单介绍:

      假设有两类传感器,分别表示为传感器1和传感器2,其采样周期分别为 τ \tau τ 和 T,且两者之比为 τ \tau τ

    2. 空间配准:空间配准,就是借助多传感器对空间共同目标的量测结果对传感器的偏差进行估计和补偿。对于同一系统内采用不同坐标系的各传感器的量测,定位时必须将它们转换成同一坐标系中的数据,对于多个不同子系统,各子系统采用的坐标系是不同的,所以在融合处理各子系统间信息前,也需要将它们转换到同一量测坐标系中,而处理后还需将结果转换成各子系统坐标系的数据,再传送给各子系统。

      如下图左所示,由于传感器1(传感器2)存在斜距和方位角偏差 Δ r 1 \Delta{r_1} Δr1 Δ θ 1 \Delta{\theta_1} Δθ1 Δ r 2 \Delta{r_2} Δr2 Δ θ 2 \Delta{\theta_2} Δθ2),导致在系统平面上出现两个目标,而实际上只有一个真实目标,所以需要进行空间配准,配准过程如下右图所示:

    上图中, r 1 r_1 r1 θ 1 \theta_1 θ1 分别表示传感器 1 的斜距和方位角量测值; r 2 r_2 r2 θ 2 \theta_2 θ2 分别表示传感器 2 的斜距和方位角量测值; ( x s 1 , y s 1 ) (x_{s1},y_{s1}) (xs1,ys1) 表示传感器 1 在导航坐标平面上的位置; ( x s 2 , y s 2 ) (x_{s2},y_{s2}) (xs2,ys2) 表示传感器 2 在导航坐标平面上的位置; ( x 1 , y 1 ) (x_1,y_1) (x1,y1) 表示传感器 1 在导航坐标系上的测量值; ( x 2 , y 2 ) (x_2,y_2) (x2,y2) 表示传感器 2 在导航坐标系上的测量值。从上图右可以推导出如下的基本方程:
    { x 1 = x s 1 + r 1 sin ⁡ θ 1 y 1 = y s 1 + r 1 cos ⁡ θ 1 x 2 = x s 2 + r 2 sin ⁡ θ 2 y 2 = y s 2 + r 2 cos ⁡ θ 2 \left\{\begin{array}{l} x_{1}=x_{\mathrm{s} 1}+r_{1} \sin \theta_{1} \\ y_{1}=y_{\mathrm{s} 1}+r_{1} \cos \theta_{1} \\ x_{2}=x_{\mathrm{s} 2}+r_{2} \sin \theta_{2} \\ y_{2}=y_{\mathrm{s} 2}+r_{2} \cos \theta_{2} \end{array}\right. x1=xs1+r1sinθ1y1=ys1+r1cosθ1x2=xs2+r2sinθ2y2=ys2+r2cosθ2如果忽略噪声,则有:
    { r 1 = r 1 ′ + Δ r 1 θ 1 = θ 1 ′ + Δ θ 1 r 2 = r 2 ′ + Δ r 2 θ 2 = θ 2 ′ + Δ θ 2 \left\{\begin{array}{l} r_{1}=r_{1}^{\prime}+\Delta r_{1} \\ \theta_{1}=\theta_{1}^{\prime}+\Delta \theta_{1} \\ r_{2}=r_{2}^{\prime}+\Delta r_{2} \\ \theta_{2}=\theta_{2}^{\prime}+\Delta \theta_{2} \end{array}\right. r1=r1+Δr1θ1=θ1+Δθ1r2=r2+Δr2θ2=θ2+Δθ2其中, r 1 ′ r'_1 r1 θ 1 ′ \theta'_1 θ1 分别表示目标相对于传感器 1 的真实斜距和方位角; r 2 ′ r'_2 r2 θ 2 ′ \theta'_2 θ2 分别表示目标相对于传感器 2 的真实斜距和方位角; Δ r 1 \Delta{r_1} Δr1 Δ θ 1 \Delta{\theta_1} Δθ1 表示传感器 1 的斜距和方位角偏差; Δ r 2 \Delta{r_2} Δr2 Δ θ 2 \Delta{\theta_2} Δθ2 表示传感器 2 的斜距和方位角偏差。将上面两式合并,并且将所得到的方程相对于 Δ r 1 \Delta{r_1} Δr1 Δ θ 1 \Delta{\theta_1} Δθ1 Δ r 2 \Delta{r_2} Δr2 Δ θ 2 \Delta{\theta_2} Δθ2 进行一阶泰勒级数展开,可得:
    { x 1 − x 2 ≈ sin ⁡ θ 1 Δ r 1 − sin ⁡ θ 2 Δ θ 2 + r 1 cos ⁡ θ 1 Δ θ 1 − r 2 cos ⁡ θ 2 Δ θ 2 y 1 − y 2 ≈ cos ⁡ θ 1 Δ r 1 − cos ⁡ θ 2 Δ r 2 − r 1 sin ⁡ θ 1 Δ θ 1 + r 2 sin ⁡ θ 2 Δ θ 2 \left\{\begin{array}{l} x_{1}-x_{2} \approx \sin \theta_{1} \Delta r_{1}-\sin \theta_{2} \Delta \theta_{2}+r_{1} \cos \theta_{1} \Delta \theta_{1}-r_{2} \cos \theta_{2} \Delta \theta_{2} \\ y_{1}-y_{2} \approx \cos \theta_{1} \Delta r_{1}-\cos \theta_{2} \Delta r_{2}-r_{1} \sin \theta_{1} \Delta \theta_{1}+r_{2} \sin \theta_{2} \Delta \theta_{2} \end{array}\right. {x1x2sinθ1Δr1sinθ2Δθ2+r1cosθ1Δθ1r2cosθ2Δθ2y1y2cosθ1Δr1cosθ2Δr2r1sinθ1Δθ1+r2sinθ2Δθ2该式对与目标运动航迹无关的偏差估计方法提供了基础。(这里是为啥)

    常用的与目标运动航迹无关的偏差估计方法主要有实时质量控制法(Real Time Quality Control,RTQC)、最小二乘法、极大似然法(Maximum Likelihood,ML)和基于卡尔曼滤波器的空间配准算法等。在给出的几种算法中,实时质量控制法和最小二乘法完全忽略了传感器量测噪声的影响,认为公共坐标系中的误差来源于传感器配准误差(传感器偏差,在下一节会讲)。广义最小二乘法(Generalized Least Square,GLS)和基于卡尔曼滤波器的方法虽然考虑了传感器量测噪声的影响,但只有在量测噪声相对小时,才会产生好的性能。为了克服前两种局限性,提出了精确极大似然(Exact Maximum Likelihood,EML)空间配准算法。

    尽管前面已经介绍了多种不同的配准算法,但它们都是基于立体投影在一个二维区域平面上实现的。更准确地说,首先通过立体投影技术把传感器量测投影到与地球正切的局部传感器坐标上,然后变换到区域平面,并利用不同传感器量测之间的差异来估计传感器偏差。虽然立体投影能够减轻单个配准算法的计算复杂度,但这一方法还有一些缺点。首先,立体投影给局部传感器和区域平面的量测都引入了误差。尽管更高阶的近似可以将变换的精度保证到几米,但由于地球本身是一个椭圆形球而不是一个圆柱,因此地球非正圆球体造成的误差仍然存在。其次,立体投影扭曲了数据,值得注意的是立体投影的保角性只能保留方位角,而不能保留斜距。由此可以断定系统偏差将会依赖于量测,而不再是时不变的。这样,在区域平面上的二维配准模型就不能正确地表示实际的传感器模型。这时,一种直接在三维空间中对传感器偏差进行估计的基于地心坐标系的空间配准(Earth Centered Earth Fixed,ECEF)算法被提出以解决上述问题。

    3. 多传感器融合误差分析

    在多传感器融合系统中,来自多个传感器的数据通常要变换到相同的时空参照系中。但由于存在量测误差直接进行变换很难保证精度来发挥多传感器的优越性,因此在对多传感器数据进行处理时需要寻求一些传感器的配准算法,但配准误差也随之而来。

    多传感器配准的主要误差来源有:

    1. 传感器的误差,也就是传感器本身因制造误差带来的偏差;
    2. 各传感器参考系中量测的方位角、高低角和斜距偏差。通常是因量测系统解算传感器数据时造成的误差;
    3. 相对于公共坐标系的传感器的位置误差和计时误差。位置误差通常由传感器导航系统的偏差引起,而计时误差由传感器的时钟偏差所致;
    4. 各传感器采用的定位算法不同,从而引起单系统内局部定位误差;
    5. 各传感器本身的位置不确定为融合处理而进行坐标转换时产生偏差;
    6. 坐标转换的精度不够,为了减少系统的计算负担而在投影变换时采用了一些近似方法(如将地球视为标准的球体等)所导致的误差。

    由于以上原因,同一个目标由不同传感器定位产生的航迹基友一定的偏差。这种偏差不同于单传感器定位时对目标的随机量测误差,它是一种固定的偏差(至少在较长时间段内不会改变)。对于单传感器来说,目标航迹的固定偏差对各个目标来说都是一样的,只是产生一个固定的偏移,并不会影响整个系统的定位性能。而对于多传感器系统来说,本来是同一个目标的航迹,却由于互相偏差较大而被认为是不同的目标,从而给航迹关联和融合带来了模糊和困难,使融合处理得到的系统航迹的定位精度下降,丧失了多传感器处理本身应有的优点。

    4. 多传感器融合算法

    实现多传感器融合定位的算法有很多种,下面首先简要介绍一下各种数据融合算法及其优缺点。其中,卡尔曼滤波算法作为一种经典算法,由于其实时性强、融合精度高等优点,在自动驾驶领域中被广泛使用,下面将重点介绍卡尔曼滤波技术。

    4.1 数据融合算法概述

    目前,融合算法可概括为随机类和人工智能类。随机类多传感器数据融合算法主要有综合估计法、贝叶斯估计法、D-S证据推理、最大似然估计、贝叶斯估计、最优估计、卡尔曼滤波算法及鲁棒估计等。人工智能类多传感器数据融合算法主要有模糊逻辑法、神经网络算法及鲁棒估计等。人工智能类多传感器数据融合算法主要有模糊逻辑法、神经网络算法以及专家系统等。下面简介上述算法:

    用某种适当的模型来描述一个实际的物理系统,对分析、研究该物理系统是非常重要的。在导航、信号处理、通信、雷达、声呐等许多实际工程应用中,经常采用动态空间模型来描述其中的许多问题。动态空间模型是一个很重要的统计分析工具,如卡尔曼滤波器采用的高斯-马尔可夫线性模型就是一个很好的例子,它用状态方程(动力学方程)来描述状态随时间演变的过程,而用观测方程来描述与状态有关的噪声变量。同样的,只要将高斯-马尔可夫线性模型写成一般的数学映射,就可以用这两个方程来描述更一般的动态系统了:

    状 态 方 程 : X k = f ( X k − 1 , W k ) 观 测 方 程 : L k = h ( X k , V k ) 状态方程: X_{k}=f\left(X_{k-1}, W_{k}\right) \\ 观测方程: L_{k}=h\left(X_{k}, V_{k}\right) :Xk=f(Xk1,Wk):Lk=h(Xk,Vk) 上式被称为动态空间模型。其中, X k ∈ R k x X_{k} \in \mathbf{R}^{k_{x}} XkRkx 为系统在 k k k 时刻的状态, L k ∈ R k x L_{k} \in \mathbf{R}^{k_{x}} LkRkx 为系统状态 X k X_{k} Xk 的观测值; W k W_{k} Wk V k V_{k} Vk 分别为过程和观测噪声。

    1. 综合平均法:该算法是把来自多个传感器的众多数据进行综合平均。它适用于用同样的传感器检测同一个目标的情况。如果对一个检测目标进行了 k k k 次检测,其平均值 S ˉ = ∑ i = 1 k W i S i / ∑ i = 1 k W i , W i \bar{S}=\sum_{i=1}^{k} W_{i} S_{i} / \sum_{i=1}^{k} W_{i}, W_{i} Sˉ=i=1kWiSi/i=1kWi,Wi 为分配给第 i i i 次检测的权值。
    2. 贝叶斯估计法:贝叶斯估计理论是较经典的统计估计理论,具有更大的优势,逐渐 成为科学界推理的一个重要工具,提供了一种与传统算法不同的概率分布形式的估计。贝 叶斯推理技术主要用来进行决策层融合。贝叶斯估计法通过先验信息和样本信息合成为后 验分布,对检测目标做出推断。因此贝叶斯估计是一个不断预测和更新的过程。这样就包 括了观测值和先验知识在内的所有可以利用的信息,得到的估计误差自然较小。
    3. D-S 证据推理:D-S 证据推理是目前数据融合技术中比较常用的一种算法,该算法通常用来对检测目标的大小、位置以及存在与否进行推断,采用概率区间和不确定区间决定多证据下假设的似然函数来进行推理。提取的特征参数构成了该理论中的证据,利用这些证据构造相应的基本概率分布函数,对于所有的命题赋予一个信任度。基本概率分布函数及其相应的分辨框合称为一个证据体。因此,每个传感器就相当于一个证据体。而多个 传感器数据融合,实质上就是在同一分辨框下,利用 Dempster 合并规则将各个证据体合并成一个新的证据体,产生新证据体的过程就是 D-S 证据推理数据融合。
    4. 卡尔曼滤波算法:卡尔曼滤波在控制领域得到广泛应用以后,也逐渐成为多传感器数据融合系统的主要技术手段之一。联合卡尔曼滤波器的设计思想是先分散处理、再全局融合,即在诸多非相似子系统中选择一个信息全面、输出速率高、可靠性绝对保证的子系统作为公共参考系统,与其他子系统两两结合,形成若干子滤波器。各子滤波器并行运行,获得建立在子滤波器局部观测基础上的局部最优估计,这些局部最优估计在主滤波器内按融合算法合成,从而获得建立在所有观测基础上的全局估计。
    5. 模糊逻辑法:针对数据融合中所检测的目标特征具有某种模糊性的现象,利用模 糊逻辑算法来对检测目标进行识别和分类。建立标准检测目标和待识别检测目标的模糊子 集是此算法的研究基础。
    6. 神经网络算法:神经网络是一种试图仿效生物神经系统处理信息方式的新型计算模型。一个神经网络由多层处理单元或节点组成,可以用各种方法互联。在指挥和控制多传感器数据融合的系统中,神经网络的输入可能是与一个目标有关的测量参数集,输出可能 是目标身份,也可能是推荐的响应或行动。基于神经网络的融合优于传统的聚类算法,尤其 是当输人数据中带有噪声和数据不完整时。然而,要使神经网络算法在实际的融合系统中得到应用,无论在网络结构设计或是算法规则方面,还有许多基砩工作要做,如网络模型、网络的层次和每层的节点数、网络学习策略、神经网络算法与传统分类算法的关系和综合应用等。
    7. 专家系统:专家系统是一组计算机程序,它获取专家们在某个特定领域内的知识,然后根据专家的知识或经验导出一组规则,由计算机做出本应由专家做出的结论。目前,专家系统已在军用和民用领域得到了广泛应用。

    此外,其他数据融合算法还有品质因数、模板算法、聚合分析、统计决策理论等。各种融合算法的特点比较如下表所示:

    融合算法运行环境信息类型信息表示不确定性融合技术适用范围
    综合平均法动态冗余原始读数值——加权平均低层融合
    贝叶斯估计法静态冗余概率分布高斯噪声贝叶斯估计高层融合
    D-S 证据推理静态冗余互补命题——逻辑推理高层融合
    卡尔曼滤波动态冗余概率分布高斯噪声系统模型滤波低层融合
    模糊逻辑法静态冗余互补命题隶属度逻辑推理高层融合
    神经网络算法动、静态冗余互补神经元输入学习误差神经元网络低/高层融合
    专家系统静态冗余互补命题置信因子逻辑推理高层融合

    4.2 卡尔曼滤波算法

    4.2.1 卡尔曼滤波

    4.2.2 扩展卡尔曼滤波

    4.2.3 无迹卡尔曼滤波

    4.2.4 联邦卡尔曼滤波

    展开全文
  • STM32的多传感器融合姿态检测.pdf
  • 多传感器融合-第一章-常用传感器硬件介绍-20210619.pdf
  • 提出采用超声波距离扫描传感器和视觉传感器数据融合技术实现室内环境复杂特征角和半平面的提取,以便更精确地重构环境特征。利用与坐标无关的对称扰动模型建立超声波扫描的环境特征模型、改进的扩展卡尔曼滤波估计...
  • 自动驾驶系列报告之四_传感器篇_多传感器融合.pdf
  • #资源达人分享计划#
  • 针对低成本移动卫星通信终端的天线姿态估计问题,提出了一种基于自适应滤波的低成本多传感器融合姿态估计方法.该方法通过融合微机械陀螺信息和加速度计重力场测量信息来得到精确的水平姿态角估计;通过融合单基线GPS高...
  • 研究提出一种基于D-S算法的多传感器融合技术,此技术应用于矿井瓦斯监控系统中,系统运用了分布式传感器体系结构和二级融合模型的方法对煤矿井下传感器数据进行融合,研究得出多传感器融合技术的使用能够提高了整个...
  • 多传感器融合学习笔记

    千次阅读 2021-08-02 18:15:59
    这两天看了几篇关于多传感器融合的文章,这里记录一下。 (虽然做了整理,但由于来自篇文章,内容还是比较乱,不是很匹配……) 多传感器融合需要面对的问题 1、数据对准问题 先决条件:统一坐标系和时钟 目的是...

    一、多传感器融合需要面对的问题

    1、数据对准问题

    先决条件:统一坐标系和时钟

    目的是实现三同一不同:同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处

    1.1 统一时钟:同步不同传感器的时间戳

    (1)GPS时间戳的时间同步方法

    需要看传感的硬件是否支持

    存在问题:不同传感器的数据频率是不同的

    (2)硬同步方法

    以激光雷达作为触发其它传感器的源头,当激光雷达转到某个角度时,才触发该角度的摄像头
    (应该是以频率最低的传感器为触发,多为Lidar)

    1.2 统一坐标系 :运动补偿+传感器标定

    (1)运动补偿
    主要针对长周期的传感器,如lidar ,周期为100ms。 周期开始的时间点和结束时间点车辆是处于不同位置的,导致不同时刻采集的数据所处坐标系不同。

    在这里插入图片描述
    自动驾驶车拥有比较准确的实时定位信息,它可提供T和T+1两个时刻内,车本身的姿态差距,利用姿态差,可以比较容易补偿。因而比较容易解决

    (2)传感器标定 : 分为内参标定和外参标定。

    内参标定:解决单独的每个传感器与世界坐标系间的变换;
    外参标定:在世界坐标系下,解决的不同传感器间的变换。

    : 需要所有传感器单位统一

    2、数据不确定性问题:

    因为传感器的工作环境不同,可能受到外部环境雨雪、光线的影响,也可能受到内部的温度、电压影响,还可能出现路面颠簸等特殊情况 ,使得数据出现不准确的问题。

    在数据融合过程中,如何通过算法来甄选出哪些是噪声数据,哪些是真实数据也是一个需要解决的问题。

    二、各种传感器性能对比

    在这里插入图片描述
    在这里插入图片描述

    1、摄像头​

    摄像头分为前视、侧视、后视和内置
    在这里插入图片描述

    价格 从 2010 年的 300 多元持续走低,到 2014 年单个摄像头价格已降低至 200 元左右,易于普及应用。

    分辨率 目前路面上图像传感器的分辨率已经达到1百万像素。在未来几年内,图像传感器的发展趋势将是2百万,甚至4百万像素。

    功能 立体摄像机往往用于获取图像和距离信息; 交通标志摄像机用于交通标志的识别;

    全景泊车系统 :

    通过安装在车身周围的多个超广角摄像头,同时采集车辆四周的影像,经过图像处理单元矫正和拼接之后,形成一副车辆四周的全景俯视图,实时传送至中控台的显示设备上

    在这里插入图片描述

    2、毫米波雷达:ADAS 核心传感器

    特点:
    1)同厘米波导引头相比,毫米波导引头体积小、质量轻和空间分辨率高

    2)与红外、激光等光学导引头相比,毫米波导引头穿透雾、烟、灰尘的能力强,传输距离远,具有全天候全天时的特点;

    3)性能稳定,不受目标物体形状、颜色等干扰。毫米波雷达很好的弥补了如红外、激光、超声波、 摄像头等其他传感器在车载应用中所不具备的使用场景。

    探测距离一 般在 150m-250m 之间,高性能Radar能达到300m

    功能 能够监测到大范围内车辆的运行情况,同时对于前方车辆的速度、加速度、距离等信息的探测也更加精准,因此是自适应巡航(ACC)、自动紧急刹车(AEB)
    的首选传感器

    价格 目前 77GHz 毫米波雷达系统单价大约在 250 欧元左右,高昂的价格限制了毫米波雷达的车载化应用。

    安装 毫米波雷达一般安装在车辆的前保险杆里,用于测量相对于车辆坐标系下的物体,可以用来定位,测距,测速等等,容易受强反射物体的干扰,通常不用于静止物体的检测;

    3、激光雷达

    特点
    1)分辨率高。可获得极高的角度、距离和速度分辨率,这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。
    2)精度高。激光直线传播、方向性好、光束非常窄,弥散性非常低。
    3)抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同,自然界中能对激光雷达起干扰作用的信号源不多。

    功能 可以测量出周边其他车辆在三个方向上的距离、速度、加速度、角速度等信息,再结合 GPS
    地图计算出车辆的位置,这些庞大丰富的数据信息传输给 ECU 分析处理后,以供车辆快速做出判断。

    安装 三维激光雷达一般安装在车顶,使用红外激光束来获得物体的距离和位置,但是空间分辨率高,但是笨重,容易被天气影响。

    4、精度指标

    简单的传感器融合不外乎就是每个传感器的数据能大致在空间跟时间上能得到对齐。而整个多传感器融合技术的核心就在于高精度的时间以及空间同步。精度到什么量级呢?

    时间上能得到10的-6次方,空间上能得到在一百米外3到5厘米的误差,这是一个典型的技术指标。

    当然,多传感器同步技术的难度与时间和空间的要求是一个指数级的增加。在百米外能得到3cm的空间精度,换算成角度是0.015度左右。

    三、多传感器融合体系结构:​

    1、目标状态估计

    目标状态估计方面, 根据数据处理方法的不同, 多传感器信息融合系统的体系结构可以分为: 分布式、集中式和混合式

    多传感器数据融合目标识别框图

    1.1 分布式

    原理
    先对各个独立传感器所获得的原始数据进行局部处理,然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。
    在这里插入图片描述
    优点:对通信带宽的需求低、 计算速度快、可靠性(在某一传感器失灵的情况下仍能继续工作)和延续性好

    ​缺点:对于传感器的计算能力有一定要求 ,信息的损失可能会大一些, 精度可能远没有集中式高 ,适用于远距离传感器信息反馈, 但在低通信带宽中传输会造成一定损失,

    1.2 集中式。

    将各传感器获得的原始数据不进行任何处理 直接送至中央处理器进行融合处理, 可以实现实时融合。
    在这里插入图片描述

    优点:没有信息损失,因而可以做最精准的判断,算法灵活,实时性好
    缺点:缺少底层传感器之间的信息交流,并且 传输的都是原始图像和日志信息,数据量大, 对中央处理器的要求高,可靠性较低,故难以实现
    (这应该就是边沿计算诞生的原因之一吧)

    1.3混合式。

    混合式多传感器信息融合框架中,部分传感器采用集中式融合方式,剩余的传感器采用分布式融合方式。
    在这里插入图片描述

    ​优点:有较强的适应能力,兼顾了集中式融合和分布式的优点,稳定性强
    缺点:结构比前两种融合方式的结构复杂,对结构设计要求高,加大了通信和计算上的代价。​

    1.4 三种结构对比

    在这里插入图片描述

    2、 目标身份估计

    以目标身份估计为目的的体系结构下, 根据多传感器信息融合技术抽象程度的不同, 可以将其划分为3个层次: 像素级融合、特征级融合、决策级融合

    2.1 像素级融合

    同类别的传感器采集的同类型原始数据进行融合, 最大可能地保持了各预处理阶段的细微信息

    在这里插入图片描述

    由于融合进行在数据的最底层, 计算量大且容易受不稳定性、不确定性因素的影响。同时, 数据融合精确到像素级的准确度, 因而无法处理异构数据。

    2.2 特征级融合:分为目标状态信息融合和目标特性融合

    各传感器的原始数据结合决策推理算法, 对信息进行分类、汇集和综合, 提取出具有充分表示量和统计量的属性特征

    在这里插入图片描述

    根据融合内容, 特征级融合又可以分为
    1)目标状态信息融合:先进行数据配准以实现对状态和参数相关估计, 更加适用于目标跟踪。
    2) 目标特性融合 :借用传统模式识别技术, 在特征预处理的前提下进行分类组合。

    2.3 决策级融合

    处理不同类型的传感器同一观测目标的原始数据, 并完成特征提取、分类判别, 生成初步结论, 然后根据决策对象的具体需求, 进行相关处理和高级决策判决, 获得简明的综合推断结果
    在这里插入图片描述
    实时性好、容错性高,面对一个或者部分传感器失效时, 仍能给出合理决策

    2.4 三种融合体系结构的对比

    在这里插入图片描述

    四、多传感器融合算法

    要求
    由于信息具有多样性和复杂性,因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。

    一般情况下,基于非线性的数学方法,如果具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。

    原理
    (1)多个不同类型传感器(有源或无源)收集观测目标的数据;
    (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;
    (3)对特征矢量Yi进行模式识别处理(如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等),完成各传感器关于目标的说明;
    (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;
    (5)利用融合算法将目标的各传感器数据进行合成,得到该目标的一致性解释与描述。

    目前多传感器融合的理论方法有贝叶斯准则法、卡尔曼滤波法、D-S 证据理论法、模糊集理论法、人工神经网络法

    1、 分类1

    1.1 基于物理模型

    根据物理模型模拟观测结果, 并获取其与真实观测对象特征之间的相关性, 通过预先设置的系数阈值判断二者匹配程度。其中, 最主要的代表就是卡曼 (Kalman) 滤波技术(分为标准卡曼滤波、区间卡曼滤波和两阶段卡曼滤波)

    能够动态、实时地融合低层次传感器数据, 依据系统的递推特性做出合理估计

    适用于不同层次原始数据间的融合, 不需要系统强大的存储能力, 具有信息损失小的优点,

    缺点是需要建立精确的观测对象模型, 数据需求量大, 适用范围比较窄。

    1.2 基于参数分类技术

    依照是否需要先验知识, 可以划分为有参技术与无参技术, 主要是从测量的数据中获取属性说明, 并与测量数据形成一种直接映射关系, 常用的该类算法有贝叶斯估计、人工神经网络等。

    与卡曼滤波不同, 贝叶斯估计适用于静态环境。它利用条件概率组合多种传感器信息, 并且能够通过似然函数最小化方法, 将各单独传感器的关联概率联合成后验分布函数。

    1.3 基于认知方法

    以先验知识为基础, 需要深入了解观测目标的组成及内部关联结构, 根据原始数据或属性特征模仿人类的启发式推理过程, 做出判决, 以专家系统最为常用。

    2、分类2

    2.1 随机类:

    (1)加权平均法

    将一组传感器提供的冗余信息的加权平均作为结果。一种直接对数据源进行操作的最简单直观的方法。

    (2)卡尔曼滤波法

    主要用于融合低层次实时动态多传感器冗余数据。 如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。

    问题: ① 在组合信息大量冗余时,计算量将以滤波器维数的三次方剧增,实时性难以满足。② 传感器子系统的增加使故障概率增加,在某一系统出现故障而未被检测出时,故障会污染整个系统,可靠性降低。

    (3)多贝叶斯估计法

    将每一个传感器作为一个贝叶斯估计,把各单独物体的关联概率分布合成一个联合的后验概率分布函数,通过使联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型以提供整个环境的一个特征描述。

    (4)D-S证据推理法

    该方法是贝叶斯推理的扩充,包含3个基本要点:基本概率赋值函数、信任函数和似然函数。

    D-S方法的推理结构是自上而下的,分为三级:第一级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第二级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第三级为更新,各传感器一般都存在随机误差,因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。

    (5)产生式规则

    采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。

    2.2 人工智能类

    (1)模糊逻辑推理

    模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度(相当于隐含算子的前提),允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。

    与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,对信息的表示和处理更加接近人类的思维方式,一般比较适合于在高层次上的应用(如决策)。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素,所以信息的表示和处理缺乏客观性。

    模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。

    (2)人工神经网络法

    神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时可以采用学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。

    参考:

    多传感器融合(一)
    多传感器融合(二)
    多传感器融合(三)
    自动驾驶技术-环境感知篇:多传感器融合技术​
    崔硕,姜洪亮,戎辉,王文扬.多传感器信息融合技术综述[J].汽车电器,2018(09):41-43.
    多传感器融合(算法)综述

    展开全文
  • 汽车行业自动驾驶系列报告之四:传感器篇,多传感器融合-180904
  • 首先,获取车辆上的多传感器信息,融合这些信息构建当前车辆的状态模型;然后,采用贝叶斯滤波方法计算车辆当前状态的可信度;接着,结合当前车辆的一跳邻居车辆信息估算其相对位置;最后,综合上述信息修正车辆的...
  • 本文提出了一个NSSA模型,利用多层前馈神经网络,对采集的个异质的传感器数据进行了融合。为提高融合的实时性,本文还设计了简单易行的特征约简方法,大大降低了融合引擎的输入维数。最后,本文利用安全态势生成...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 37,942
精华内容 15,176
关键字:

多传感器融合

友情链接: mobus.rar