精华内容
下载资源
问答
  •  主要的参考书籍为Mahler的《多源多目标统计信息融合》和韩崇昭的《多源信息融合》(ps:主推马勒这本,基本能够完美入门) 学习笔记下载 引言  目标跟踪是利用传感器各时刻采集的测量数据,对目标状态进行估计和...



    参考书籍

     主要的参考书籍为Mahler的《多源多目标统计信息融合》和韩崇昭的《多源信息融合》(ps:主推马勒这本,基本能够完美入门)

    学习笔记下载

    《多源多目标统计信息融合》学习笔记链接

    引言

     目标跟踪是利用传感器各时刻采集的测量数据,对目标状态进行估计和跟踪的过程,目标跟踪技术的研究一直是信息融合领域的重点。多目标跟踪技术在很多领域有着重要的重要作用,包括雷达,声纳,计算机视觉,机器人,交通监控等。目前,随着现代化和信息化程度不断提高,在目标跟踪问题研究中,跟踪场景和目标运动特性也日益复杂多变,目标跟踪技术面临着越来越高的性能要求。因此,目标跟踪技术的研究有着重要的实际意义是广泛的应用价值。
     单目标跟踪在早期主要针对海上船舶等单个目标的跟踪,能够完成对单点目标的跟踪。但是,随着科技的发展和技术的需要,显然不能够满足业界的需求,继续进行多目标的跟踪技术。在单目标到多目标跟踪的过渡时期,出现了假设各个目标独立,将单目标跟踪技术移植到多目标跟踪上,显然效果不佳,应用场景较少。随后基于对多目标贝叶斯滤波的求解和近似的方法问世,这极大的推进了多目标跟踪的发展。
     多目标跟踪技术(Multiple Target Tracking,即 MTT) 是非常复杂的涉及多学科多技术领域的问题,包括航迹起始、数据关联、跟踪算法、航迹消除、性能评估等内容,其中数据关联和跟踪算法是 MTT 技术中最重要的两个问题。

    多目标跟踪总结

     多目标跟踪主要有两种跟踪方法:基于数据关联的多目标跟踪方法和基于随机有限集的多目标跟踪方法。
     传统的基于数据关联的多目标跟踪算法采用数据关联对多个目标进行跟踪,将测量值分配给各个目标,再通过滤波技术完成目标状态估计。一般先采用数据关联技术确定每个目标与测量值的关联关系,即假设多个目标运动相互独立,按照某种数据关联准则实现单个目标与其测量值之间的有效关联,然后通过某种单目标的滤波算法分别估计每个目标的状态信息,从而实现对多目标的有效跟踪。
     基于随机有限集理论(FISST)的目标跟踪算法避免了数据关联问题,而是从后验概率密度函数中提取目标的状态。目前最常用的目标跟踪技术是贝叶斯滤波器,多目标贝叶斯滤波器通过预测步和更新步传递多目标状态的联合后验分布。

    多目标滤波器模型

     下列介绍的滤波器都是基于随机有限集理论体系。

    1. PHD滤波
       传递多目标后验概率密度的一阶统计矩,用后验强度近似多目标的后验密度
      优点:
       (1)PHD滤波器具有优异的计算复杂度,计算复杂度为O(mn), m为状态集的势大小,即目标个数,n为观测集的观测数,即单次观测的数据个数。
       (2)多目标统计模型包含目标的消失,新生,衍生,基本能够囊括实际的场景。
       (3)优异的抗杂波能力。
       (4)无需进行观测与航迹的数据关联。
      缺点:
       (1)当存在漏报时,估计不稳定,方差比较大。
       (2)由于是一阶矩估计,损失的信息较多
       (3)会把漏报航迹的权值转移到检报航迹的权值上,称为“远距幽灵效应”

    2. CPHD
       对目标PHD以及势分布进行同步预测和同步更新,使得估计较PHD更加准确
      优点:
       (1)直接可以有势得到目标数估计,而且方差较小。
       (2)较PHD,目标跟踪和定位能力得到了一定的改善。
      缺点:
       (1)计算复杂度为O(m^3 n),比PHD复杂
       (2)不能显式地表达衍生目标
       (3)会把漏报航迹的权值转移到检报航迹的权值上,称为“远距幽灵效应”

    3. MeMBer(多目标多伯努利)
       通过多伯努利 RFS 近似目标的后验概率密度,并对此密度函数进行循环递归。
      优点:
       (1)多伯努利滤波器模型不再采用基于泊松过程的模型,而是基于多伯努利过程。更好贴合实际场景。
      缺点:
       (1)存在过估计目标数

    4. CBMeMBer(势均衡多目标多伯努利)
       纠正了多伯努利滤波器的势上偏的情况,该滤波器可以无偏地估计目标的势,其算法稳定度优于 PHD 滤波,且计算复杂度并未明显增加。
      缺点:
       (1)该滤波器在预测步为精确计算,但是在更新步采用了多伯努利近似,所以存在着信息的损失。

    5. GLMB 和 LMB
       基于标记的RFS(随机有限集),包含航迹的标签,能够区分运动目标身份 ,这是质的飞跃。
      优点:
       (1)性能优于以上所有的滤波器,并且因为引入了标签能够对目标身份进行确认,否定了基于RFS理论的目标跟踪不能区分航迹这一断言。
       (2)具有较强的场景适应能力,该模型是属于精确闭式滤波器。
       (3)配合OSPA^(2)能够衡量航迹切换和航迹断裂的问题
      缺点:
       (1)计算复杂度相对较高,实时性有待改善。

    实现方法

    1. GM高斯混合
        常用于线性高斯
    2. SMC序贯蒙特卡洛
       常用于非线性非高斯,会用到聚类算法,运算速度较慢
    3. EKF扩展卡尔曼
       常用于非线性高斯最佳,也可以非高斯
    4. UKF无迹卡尔曼
       常用于非线性非高斯,运算速度较慢

    加快运行速度常规方法

     1.全局最近邻 GNN,利用关联门限,约束杂波数据,减小计算量
     2. 修改设计,简单粗暴
     3. 在更新之后对数据进行剪枝和合并

    致谢

    感谢诸君观看,如果感觉有用的话,点个赞吧!  欢迎到评论区留言🎉



    展开全文
  • 重加权分布式多目标决策融合算法
  • 采用多特征融合的方法,进行多目标跟踪,想法详细,容易实现!
  • 任务网络融合多层信息的目标定位
  • 一种多策略融合多目标粒子群优化算法
  • 本程序是特征融合目标跟踪程序,基于粒子滤波框架,融合边缘和TED特征的跟踪算法,可以运行程序,适合用于对特征融合的学习
  • 复杂条件下,基于红外的特征自适应融合运动目标跟踪
  • 提出了一种基于平方证据权重的模糊证据组合方法,并应用于弱小目标多特征融合检测算法中,采用了证据理论中的基本概率分配函数来描述判决结果的不确定性,首先提取检测图像的局部灰度均值对比度、局部梯度均值对比度、...
  • 基于自适应分块的多特征融合多目标跟踪,别秀德,刘洪彬,针对多目标跟踪过程中存在目标遮挡、表观变化以及目标相似的情况,提出一种基于自适应分块的多特征融合粒子滤波多目标跟踪方法。
  • 该PPT为视觉目标跟踪算法中的特征融合目标跟踪的PPT。
  • 具有多光谱数据融合多目标跟踪的自适应PHD滤波器
  • 多目标跟踪和多传感器信息融合 作业1 在以下情况下实现最近邻居EKFor CMKFtracker: 目标: 使用恒速模型移动单个目标。 传感器: 位置:[1000 500],固定(即速度= [0 0])测量:范围和方位角误差标准偏差:范围= ...
  • 分布式多传感器融合多目标跟踪方法,科技论文.pdf
  • 3D目标检测模态融合综述

    千次阅读 2020-09-09 09:48:26
    本篇文章主要想对目前处于探索阶段的3D目标检测中模态融合的方法做一个简单的综述,主要内容为对目前几篇几篇研究工作的总结和对这个研究方面的一些思考。 在前面的一些文章中,笔者已经介绍到了模态融合的含义...

    0前言

    本篇文章主要想对目前处于探索阶段的3D目标检测中多模态融合的方法做一个简单的综述,主要内容为对目前几篇几篇研究工作的总结和对这个研究方面的一些思考。
    在前面的一些文章中,笔者已经介绍到了多模态融合的含义是将多种传感器数据融合。在3D目标检测中,目前大都是将lidar和image信息做融合。在上一篇文章中,笔者介绍到了目前主要的几种融合方法,即early-fusion,deep-fusion和late-fusion,并介绍了一种基于Late-fusion的融合方法。但是在大多数研究工作中,都是以deep-fuion的方法为主要的融合策略。

    1背景知识

    1.1多模态融合的主要难点

    难点一: 传感器视角问题

    3D-CVF(ECCV20)的研究提出的做fusion的对做融合工作最大的问题即是在视角上的问题,描述为如下图所示的问题,camera获取到的信息是“小孔成像”原理,是从一个视锥出发获取到的信息,而lidar是在真实的3D世界中获取到的信息。这使得在对同一个object的表征上存在很大的不同。
    在这里插入图片描述

    难点二 数据表征不一样

    这个难点也是所用多模态融合都会遇到的问题,对于image信息是dense和规则的,但是对于点云的信息则是稀疏的、无序的。所以在特征层或者输入层做特征融合会由于domain的不同而导致融合定位困难。

    难点三 信息融合的难度

    从理论上讲,图像信息是dense和规则的,包含了丰富的色彩信息和纹理信息,但是缺点就是由于为二维信息。存在因为远近而存在的sacle问题。相对图像而言,点云的表达为稀疏的,不规则的这也就使得采用传统的CNN感知在点云上直接处理是不可行的。但是点云包含了三维的几何结构和深度信息,这是对3D目标检测更有利的,因此二者信息是存在理论上的互补的。此外目前二维图像检测中,深度学习方法都是以CNN为基础设计的方法,而在点云目标检测中则有着MLP、CNN,GCN等多种基础结构设计的网络,在融合过程中和哪一种网络做融合也是比较需要研究的。

    1.2 点云和imgae融合的纽带

    既然做多模态特征融合,那么图像信息和点云信息之间必然需要联系才能做对应的融合。就在特征层或者输入层而言,这种联系都来自于一个认知,即是:对于激光雷达或者是相机而言,对同一个物体在同一时刻的扫描都是对这个物体此时的一种表征,唯一不同的是表征形式,而融合这些信息的纽带就是绝对坐标,也就是说尽管相机和激光雷达所处的世界坐标系下的坐标不一样,但是他们在同一时刻对同一物体的扫描都仅仅是在传感器坐标系下的扫描,因此只需要知道激光雷达和相机之间的位置变换矩阵,也就可以轻松的得到得到两个传感器的坐标系之间的坐标转换,这样对于被扫描的物体,也就可以通过其在两个传感器下的坐标作为特征联系的纽带。

    但是,就联系的纽带而言,由于在做特征提取过程中可能存在feature-map或者domain的大小的改变,所以最原始坐标也会发生一定的改变,这也是需要研究的问题。

    2. 目前存在的一些融合方法

    如果硬要把目前存在的融合方法做一个划分的话,那么笔者从early-fuion,deep-fusion和late-fusion三个层面对最近的文章做一些简单介绍。这里把early-fusion和deep-fusion当做同一类融合方法介绍,late-fusion当做另外一种融合策略介绍。

    2.1 early-fusian & deep-fusion

    在上一篇文章中,笔者也提及到这种融合方法如下图所示。在后面,笔者将这两种方法都统称为特征融合方法,将late-fusion成为决策融合方法。如下图所示的融合方法,该融合需要在特征层中做一定的交互。主要的融合方式是对lidar 和image分支都各自采用特征提取器,对图像分支和lidar分支的网络在前馈的层次中逐语义级别融合,做到multi-scale信息的语义融合。
    在这里插入图片描述
    为了方便分析,在该种融合策略下,笔者按照对lidar-3D-detection的分类方法分为point-based的多模态特征融合和voxel-based的多模态特征融合。其差别也就是lidar-backbone是基于voxel还是基于point的。就笔者的理解是,基于voxel的方法可以利用强大的voxel-based的backbone(在文章TPAMI20的文章Part-A^2中有研究过point-based方法和voxel-based的方法最大的区别在于CNN和MLP的感知能力上,CNN优于MLP)。但是如果采用voxel-backbone的方法就会需要考虑点到图像的映射关系的改变,因为基于point的方法采用原始的点云坐标做为特征载体,但是基于voxel的方法采用voxel中心作为CNN感知特征载体,而voxel中心与原始图像的索引相对原始点云对图像的坐标索引还是存在偏差的。

    1. 基于voxel-based的多模态特征融合

    文章:3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection.
    文章地址:https://arxiv.org/pdf/2004.12636

    这篇发表在ECCV20的多模态融合的文章网络结构图如下所示,该特征融合阶段为对特征进行融合,同时对于点云的backbone采用voxel-based的方法对点云做特征提取。所以这里需要解决的核心问题除了考虑怎么做特征的融合还需要考虑voxel-center作为特征载体和原始点云坐标存在一定的偏差,而如果将图像信息索引到存在偏差的voxel中心坐标上,是本文解决的另外一个问题。
    在这里插入图片描述

    3D-CVF特征融合方法

    3D-CVF 将camera的pixel转化到点云的BEV视图上(voxel-feature-map)时,转化的大小是lidar-voxel-feature-map的x-y各自的两倍大小,也就是说整体的voxel个数是Lidar的四倍,即会包含比较多的细节信息。
    以下表示的Auto-Calibrated Projection Method的设计方案,前面提到的是该结构是将image转化到bev上的网络结构,具体的做法是:
    (1)投影得到一个camera-plane,该plane是图像特征到bev视角的voxel-dense的表达。
    (2)将lidar划分的voxel中心投影到camera-plane上(带有一个偏移量,不一定是坐标网格正中心)
    (3)采用近邻插值,将最近的4个pixel的image特征插值个lidar-voxel。插值的方式采用的是距离为权重的插值方法。
    在这里插入图片描述
    这样,作者就得到了了image信息的feature-map在lidar-voxel上的表示,值得提到的是前面说的偏移值是为了更好的使camera和lidar对齐。这里的第二步也就是为了解决上面提到的做标偏差的问题。
    如下图所示,

    2. 基于point-based的多模态融合方法

    由于point-based的方法在特征提取过程也是基于原始点为载体(encoder-decoder的结构会点数先减少再增加但是点是从原始点中采样得到,对于GCN的结构则是点数不改变),所以在做特征融合时,可以直接利用前面提到的转化矩阵的索引在绝对坐标系上做特征融合,所以目前基本也都是基于point的方法比较好融合,研究工作也多一些。

    文章:PI-RCNN: An Efficient Multi-sensor 3D Object Detector with Point-based Attentive Cont-conv Fusion Module.
    文章链接:https://arxiv.org/pdf/1911.06084
    发表在AAAI20,point分支和image分支分别做3D目标检测任务和语义分割任务,然后将图像语义分割的特征通过索引加到proposals的内部的点云上做二次优化
    在这里插入图片描述

    文章:PointPainting: Sequential Fusion for 3D Object Detection.
    文章链接:https://arxiv.org/pdf/1911.10150
    发表在CVPR20,该工作的fusion方式是采用二维语义分割信息通过lidar信息和image信息的变换矩阵融合到点上,再采用baseline物体检测;可以理解为对于语义分割出的物体多了一些信息作为引导,得到更好的检测精度。和上面的pi-rcnn的不同之处是该融合是一个串联的网络结构,将语义分割后的特征和原始点云一起送入深度学习网络中。
    在这里插入图片描述
    文章: EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection.
    文章链接:https://arxiv.org/pdf/2007.08856
    发表在ECCV20的文章,如下图所示,其网络结构点云分支是point encoder-decoder的结构,图像分支则是一个逐步encoder的网络,并且逐层做特征融合。
    在这里插入图片描述

    2.2 late-fuion

    在决策层面的融合相对简单很多,不需要考虑在信息层面的融合和互补,也就是说,只要是两种网络做同样的任务,那么在得到各自的结果后,对结果做决策上的选择融合。
    文章:CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection
    文章链接:https://arxiv.org/pdf/2009.00784.pdf
    这就是笔者上一篇分享的文章,从下图可以看出该网络经历了三个主要的阶段(1)2D和3D的目标检测器分别提出proposals(2)将两种模态的proposals编码成稀疏张量(3)对于非空的元素采用二维卷积做对应的特征融合。在这里插入图片描述

    3 笔者总结

    本文主要就目前的几篇做多模态融合的文章做了一定的介绍,从大层面上的fusion的阶段讲起,然后进一步在deep-fuion阶段划分为基于point-based和voxel-based的融合方法,基于point的方法具有先天的优势是具有和image 的索引和不具有空间变化,而voxel的方法可以更有效的利用卷积的感知能力。最后大家如果对自动驾驶场景感知的研究比较感兴趣和想要找文章的话,可以去https://github.com/LittleYuanzi/awesome-Automanous-3D-detection-methods 找最新的研究。

    参看文献

    [1] 3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection: https://arxiv.org/pdf/2004.12636
    [2]Part-A^2 Net: 3D Part-Aware and Aggregation Neural Network for Object Detection from Point Cloud : https://arxiv.org/abs/1907.03670
    [3] PI-RCNN: An Efficient Multi-sensor 3D Object Detector with Point-based Attentive Cont-conv Fusion Module. :https://arxiv.org/pdf/1911.06084

    展开全文
  • 基于特征融合的改进UPF目标跟踪算法
  • 基于特征融合的防遮挡目标跟踪算法
  • matlab 多目标处理 JPDA 信息融合
  • 目前在看关于目标检测的传感器融合,在看的过程中看到网上有大量的融合算法,但是在具体论文中基本没有介绍怎么利用 那些算法进行融合的,基本都是时间同步和空间同步,因此,想要具体的问一下, 所谓的各种融合...
  • 多源多目标统计信息融合,阐述了有限随机集的基础理论与工程近似技术,全书共17章,分为3篇,由浅入深地介绍了多源单目标信息融合、多源多目标信息融合、多源多目标近似滤波技术等内容。
  • 融合局部自适应追踪的多目标牵制蜂拥算法
  • 将模糊推理系统与多传感器顺序结构算法相结合, 实现密集杂波环境中多目标的精确跟踪. 采用模糊推理 求解关联概率, 并与雷达ö红外跟踪系统相结合, 在密集杂波环境中实现了对多目标的精确跟踪. 仿真实验结果表明...
  • 针对运动目标检测中的背景噪声干扰及背景抖动问题,提出了一种基于特征融合的运动目标显著性检测方法。该方法通过对静态特征和运动特征进行融合,利用快速傅里叶变化分析其在频域上的相位谱,生成运动显著图,检测...
  • 针对传统的基于单一特征的跟踪方法在复杂场景和光照变化下易导致跟踪失败的缺点,提出了一个基于特征自适应融合目标跟踪算法。首先选取具有互补性的目标颜色和纹理特征构造目标特征模型;然后根据特征子模型对...
  • 为进一步提高多目标粒子群算法的收敛性和多样性,提出一种多策略融合改进的多目标粒子群优化算法.首先,引入分解思想以增加Pareto解集的多样性;然后,在速度和位置更新时,引入“多点”变异,即随着迭代次数的递增,根据...
  • 基于特征信息融合思想,建立了针对GPR地下目标参数特征和识别方法,这些思想融合了探测环境和地下介质的复杂性和多样性以及GPR回波信号的非平稳性和非周期性。 该方法通过选择时域参数,功率谱,小波包能量谱...
  • 融合多特征的运动目标特征提取方法
  • 线性融合用于无源基地雷达目标检测
  • SENS IBLE朝向城市交通应用程序面向多传感器多目标传感器融合文库。 它建立在ZeroMQ的Pub-Sub设计模式上,以实现灵活性和可扩展性。 这是一项正在进行中的研究工作,正在努力记录和测试:) 该框架支持分布式,实时...
  • 一篇关于传感器目标跟踪检测数据融合的博士论文,有兴趣的可以下载学习参考

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,187
精华内容 874
关键字:

多目标融合