精华内容
下载资源
问答
  • Matlab来实现目标跟踪

    2021-04-18 05:32:35
    之前在学校学习图像处理的时候一直用的MATLAB来做,因为它方便简单,很少的代码就可以做很事情。如今做视频处理的时候,我就想为何不也用matlab来试试呢。于是查找了不少相关资料,发现以前那种以.m文件写代码的...

    之前在学校学习图像处理的时候一直用的MATLAB来做,因为它方便简单,很少的代码就可以做很多事情。

    如今做视频处理的时候,我就想为何不也用matlab来试试呢。

    于是查找了不少相关资料,发现以前那种以.m文件写代码的方式难以胜任了,matlab有个更完善的工具箱是专门来做这块的:Video and Image Processing Blocksets,采用的是Simulink的模块。

    里面附带的DEMO都是非常经典的例子,可以好好参考一下。

    我 照着那个基于背景差值的汽车检测demo自己做了一个目标数目检测跟踪系统(目标画框且显示场景中目标数目),结果发现,运算过程较为缓慢(因为我用3个 通道,例子用单通道,并且我的运行模式都已从“标准”改为“加速”)而且类似于OpenCV中cvRunningAvg函数的模块无法改变内部参数,缺点 就是在原视频图像噪声很大的时候,结果惨不忍睹。

    当然,因为matlab带来的无可比拟的快捷和可视化编程(尽管运算速度是不能忽视的瓶颈),让我有继续探索下去的兴趣。

    (neocv)

    展开全文
  • 本文章中主要介绍热红外目标识别跟踪相关的内容。 热红外目前主流的分辨率有384×288与640×512两种分辨率,不同于可见光高清、4K等大分辨率,热红外因成本与工艺问题,还停留在低分辨率阶段。我们通常...

       凡是温度比绝对零度高的物体均对外有热红外辐射,不管晚上还是白天都可以在没有自然光补光的情况下对物体进行观测。另一方面,热红外波段下的辐射强度同时也反映者物体的发热程度。因此,热红外成像在夜视观测与测温领域中发挥着重要作用。在疫情期间,热红外测温特性也被很好地利用,用于人体温度测量中。

       本文章中主要介绍热红外目标识别与跟踪相关的内容。

    热红外目标识别跟踪设备

       热红外目前主流的分辨率有384×288与640×512两种分辨率,不同于可见光高清、4K等大分辨率,热红外因成本与工艺问题,还停留在低分辨率阶段。我们通常在物体识别、跟踪领域中采用640×512分辨率的热红外。热红外的目标识别与跟踪中我们采用以网络为基本接口的设计方式,网络接口有易于集成与管理的优点。

       在机芯选择上选用了利卓创新自研的带有自动聚焦控制与变焦功能的LIR型号热红外机芯。

    其机芯带有强光保护与图像增强调节的功能。机芯输出数字图像后接入到识别跟踪模块。识别跟踪模块选用利卓创新公司的Tofu3模块。Tofu3模块可以直接对机芯与云台进行控制。

      机芯输出到Tofu3识别跟踪模块后,在模块中进行基于深度学习算法的目标识别。目标识别算法是经过对数十万张有效红外数据进行训练后得出的。经过数据海量训练后模型的识别率才得以提高。

    基于深度学习的目标识别算法不同于传统的基于模板特征、基于热分割的算法,是通过实际物体样本为输入,进行训练得出的,因此在识别率和误报率指标上远高于传统算法,而且通过现场数据的采集后进行二次训练成为可能,对实际场景的二次适应匹配能力上更强。

    以下是实际多个场景中对目标识别的效果。其中包括人、车、船等目标的识别。识别速度根据不同的需求,有从15帧/秒到50帧/秒不同速度的模型。

    行人识别
    热红外行人识别
    车载行人识别​​​​
    热红外船识别

    目标识别过程完成后对目标进行二次确认与筛选。即进一步剔除伪目标,选择需要跟踪的目标。识别切换跟踪存在两种方式,一种是半自动,“即点即跟踪”,在多个识别到的目标中点选需要跟踪的目标,另一种是全自动跟踪,从画面中自动选择离中心位置点靠近的目标进行跟踪。第一种“即点即跟踪”模式更适合平板下有人监控的环境下操作,如无人机对地识别应用中。第二种方式是适合于安防场景下的自动目标跟踪。不管是哪一种方式,算法过程均在识别跟踪模块中完成。

    跟踪过程中,识别跟踪模块实时控制云台与镜头。云台接口采用RS485接口,通信协议为pelco-d协议。变焦镜头为RS232接口,协议采用VISCA协议。通过对云台与变焦镜头的实时控制,在跟踪过程中,画面始终可以保持以被跟踪物体为中心移动,同时,拉进或拉远镜头,使得被跟踪物体始终在画面中保持一定大小的尺寸。

    识别跟踪模块在识别与跟踪过程中实时将视频进行编码通过网络接口对外传输视频。同时将识别跟踪后的目标类别、目标位置、跟踪状态信息也通过网络消息传递。这样可以实现全过程的可控与记录。

    客户端方面Tofu模块提供了SDK和两种版本客户端软件。第一种客户端软件是可以登录多台设备进行观测与记录的。第二种客户端软件是登录一台设备,同时支持触摸屏操作的。

    多设备连接客户端
    无人机应用客户端

     

     

    展开全文
  • 目标识别 —> 目标跟踪 目标分割:把目标分割成有意义的几块或着提取其中感兴趣区域,方法有很比如人脸识别,行人检测。 目标检测:定位目标,确定目标位置及大小。检测具有明确的目的性,需要检测什么就去...

     

    通常先后顺序是:目标分割—> 目标检测 —> 目标识别 —> 目标跟踪

    目标分割:把目标分割成有意义的几块或着提取其中感兴趣区域,方法有很多比如人脸识别,行人检测。

    目标检测:定位目标,确定目标位置及大小。检测具有明确的目的性,需要检测什么就去获取样本,然后训练得到模型。

    目标识别:定性目标,确定目标是什么。预先获得感兴趣图片或区域,然后利用机器学习方法进行分类。

    目标跟踪:追踪目标的运动轨迹。不一定使用模式识别的方法,使用简单的目标时间空间匹配就可以实现,也可以使用检测识别的方法但这样速度较慢。

    展开全文
  • 点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 本文转自:AI算法与图像处理论文地址:https://arxiv.org/pdf/2004.018...

    点击上方“小白学视觉”,选择加"星标"或“置顶

    重磅干货,第一时间送达
    
    

    本文转自:AI算法与图像处理

    论文地址:https://arxiv.org/pdf/2004.01888v2.pdf

    代码地址:https://github.com/ifzhang/FairMOT

    这篇工作来自华中科技大学和微软亚洲研究院,从结果来看,这篇工作在主流的多目标跟踪数据集上几乎打败之前所有State-of-the-art算法,但标题却称该算法只是个baseline,而且是simple baseline,再次验证大佬们都是谦虚的。

    一、背景

    多目标跟踪 (MOT) 是计算机视觉领域中的重要任务,近年来,目标检测和 Re-ID 在各自的发展中都取得巨大进步,并提升了目标跟踪的性能。但是,现有方法无法以视频帧速率执行推断,因为两个网络无法共享特征。当前多目标跟踪最优的方法通常分为两大类:

    两步法MOT——使用两个单独的模型,首先用检测模型定位图像中目标的边界框位置,然后用关联模型对每个边界框提取重识别 (Re-identification, Re-ID) 特征,并根据这些特征定义的特定度量将边界框与现有的一个跟踪结果联结起来。其中检测模型中的目标检测是为了发现当前画面所有的目标,ReID则是将当前所有目标与之前帧的目标建立关联,然后可以通过ReID特征向量的距离比较和目标区域交并比(IOU)来通过使用卡尔曼滤波器和匈牙利算法建立关联。两步方法的优点在于,它们可以针对每个任务分别使用最合适的模型,而不会做出折衷。此外,他们可以根据检测到的边界框裁剪图像补丁,并在预测Re-ID功能之前将其调整为相同大小,这有助于处理对象的比例变化。

    单步法MOT——在进行目标检测的同时也进行ReID特征提取,核心思想是在单个网络中同时完成对象检测和身份嵌入(Re-ID功能),以通过共享大部分计算来减少推理时间。现有的方法比如Track-RCNN、JDE(Towards real-time multi-object tracking)直接在Mask R-CNN、YOLOv3的检测端并行加入ReID特征向量输出。很显然这能节约计算时间,但作者研究发现此类方法存在目标ID关联不正确的问题。具体来说,该类方法使用了anchor-based 的目标检测,目标的ReID特征是在anchor区域提取的,anchor 和目标区域会出现不对齐的问题,这会导致网络训练时存在严重的歧义。

    图1:(a)黄色和红色的锚点造成了估计相同的ID(穿蓝色衬衫的人),尽管图像块非常不同。此外,基于锚的方法通常在粗网格上运行。因此,很有可能在锚点(红色或黄色星形)提取的特征未与对象中心对齐。(b)免锚的做法受歧义的影响较小。

    本文作者对影响跟踪器准确性的关键性因素做了以下的分析:

    (1)基于Anchor锚点的方法不适合Re-ID

    当前的单步法跟踪器都是基于anchor锚的,因为它们是从对象检测器修改而来的。但是,有两个原因造成了锚点不适合学习Re-ID功能。首先,对应于不同图像块的多个锚点可能负责估计同一个目标的 id,这导致严重的歧义(参见图 1)。此外,需要将特征图的大小缩小 1/8,以平衡准确率和速度。对于检测任务而言这是可以接受的,但对于 Re-ID 来说就有些粗糙了,因为目标中心可能无法与在粗糙锚点位置提取的特征一致。

    文章中提出解决该问题的方法,是通过将MOT问题看作为在高分辨率特征图上的像素级关键点(目标中心)估计和 id 分类问题。

    (2)多层特征聚合

    这对于 MOT 问题尤其重要,因为 Re-ID 特征需要利用低级和高级特征来适应小型和大型目标。研究者通过实验发现,这对降低 one-shot 方法的 id 转换数量有所帮助,因为它提升了处理尺度变换的能力。

    (3)ReID特征的维数

    以前的ReID方法通常学习高维特征,并在其基准上取得了可喜的结果。但是,本文发现低维特征实际上对MOT更好,因为它的训练图像比ReID少(由于 Re-ID 数据集仅提供剪裁后的人像,因此 MOT 任务不使用此类数据集)。学习低维特征有助于减少过拟合小数据的风险,并提高跟踪的稳健性。

    针对于第三点实际存在疑问,一开始公布的Fairmot版本用的reid分支是128维度的,但是后来作者团队在MOT20上刷出了MOTA58.7的指标,也更新了github上的Fairmot模型,这时候用的reid维度已经改为512维度,与通用的reid模型接近。但是在实验中发现reid上效果仍然在人员交集处容易跑其他人身上,应该是没有充分训练。

    二、本文方法

    图 2:该研究提出的 one-shot MOT 跟踪器图示。首先将输入图像送入编码器-解码器网络,以提取高分辨率特征图(步幅=4);然后添加两个简单的并行 head,分别预测边界框和 Re-ID 特征;最后提取预测目标中心处的特征进行边界框时序联结。

    首先,采用 anchor-free 目标检测方法,估计高分辨率特征图上的目标中心。去掉锚点这一操作可以缓解歧义问题,使用高分辨率特征图可以帮助 Re-ID 特征与目标中心更好地对齐。


    然后,添加并行分支来估计像素级 Re-ID 特征,这类特征用于预测目标的 id。具体而言,学习既能减少计算时间又能提升特征匹配稳健性的低维 Re-ID 特征。在这一步中,本文用深层聚合算子(Deep Layer Aggregation,DLA)来改进主干网络 ResNet-34 ,从而融合来自多个层的特征,处理不同尺度的目标。

    1、主干网络

    采用ResNet-34 作为主干网络,以便在准确性和速度之间取得良好的平衡。为了适应不同规模的对象,如图2所示,将深层聚合(DLA)的一种变体应用于主干网络

    与原始DLA 不同,它在低层聚合和低层聚合之间具有更多的跳跃连接,类似于特征金字塔网络(FPN)。此外,上采样模块中的所有卷积层都由可变形的卷积层代替,以便它们可以根据对象的尺寸和姿势动态调整感受野。 这些修改也有助于减轻对齐问题。 

    2、物体检测分支

    本方法中将目标检测视为高分辨率特征图上基于中心的包围盒回归任务。特别是,将三个并行回归头(regression heads)附加到主干网络以分别估计热图,对象中心偏移和边界框大小。 通过对主干网络的输出特征图应用3×3卷积(具有256个通道)来实现每个回归头(head),然后通过1×1卷积层生成最终目标。

    • Heatmap Head

    这个head负责估计对象中心的位置。这里采用基于热图的表示法,热图的尺寸为1×H×W。 随着热图中位置和对象中心之间的距离,响应呈指数衰减。

    • Center Offset Head

    该head负责更精确地定位对象ReID功能与对象中心的对齐精准度对于性能至关重要。

    • Box Size Head


    该部分负责估计每个锚点位置的目标边界框的高度和宽度,与Re-ID功能没有直接关系,但是定位精度将影响对象检测性能的评估。

    3、id嵌入分支 Identity Embedding Branch

    id嵌入分支的目标是生成可以区分不同对象的特征。理想情况下,不同对象之间的距离应大于同一对象之间的距离。为了实现该目标,本方法在主干特征之上应用了具有128个内核的卷积层,以提取每个位置的身份嵌入特征。 

    4、Loss Functions损失函数

    • Heatmap Loss:采用focal loss的形式

    定义为具有focal loss的像素级逻辑回归( pixel-wise logistic regression)

    • Offset and Size Loss:采用L1 loss

    • Identity Embedding Loss:参考交叉熵的形式

    将对象id嵌入视为分类任务。特别是,训练集中具有相同标识的所有对象实例都被视为一个类。

    三、实验与结果分析

    消融实验

    1. 基于锚点(anchor-based)和无锚点(anchor-free)比较


    表 1:在 MOT15 数据集上,基于锚点和无锚点方法在验证视频上的评估结果。

    2. 多层特征聚合

    表 2:不同主干网络在 2DMOT15 数据集上的评估结果。

    表 3:主干网络对不同尺度目标的影响。

    3、Re-ID 特征维度

    表 4:不同 Re-ID 特征维度在 2DMOT15 数据集上的评估结果

    4、与当前最佳模型的比较

    表 5:在两个数据集上与当前最佳 one-shot 跟踪器的对比结果。

    表 6:与「private detector」设定下的 SOTA 结果进行对比。

    具体实验细节可以参考原文。

    参考

    https://blog.csdn.net/DJames23/article/details/105482419

    https://blog.csdn.net/qq_34919792/article/details/106033055

    https://zhuanlan.zhihu.com/p/126558285
    https://zhuanlan.zhihu.com/p/127738264
    https://cloud.tencent.com/developer/article/1616262
    https://blog.csdn.net/sinat_33486980/article/details/105611295

    下载1:OpenCV-Contrib扩展模块中文版教程

    在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

    下载2:Python视觉实战项目52讲

    在「小白学视觉」公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

    下载3:OpenCV实战项目20讲

    在「小白学视觉」公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

    交流群

    欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

    展开全文
  • 1 概述跟踪物体的运动轨迹,即目标跟踪,是视频理解中非常重要的一项任务。...按照跟踪物体的数量,目标跟踪任务可以分为单目标跟踪(Single Object Tracking,SOT)和多目标跟踪(Multiple Object T...
  • 多目标跟踪2021总结

    千次阅读 2021-04-29 07:26:05
    有预训练,81m模型, TraDes:跟踪目标检测和分割:在线对象跟踪器 https://github.com/JialianW/TraDeS
  • 实际运行项目中还可以设置很参数,包括epochs、多卡训练、尺度训练等,最终训练好的模型保存在runs目录下; 三、代码解读 !!!前提说明:由于YOLOV5的开源·代码不断在更新,所以最新的代码可能和本次讲解有...
  • 点上方计算机视觉联盟获取更干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:机器之心985人工智能博士笔记推荐周志华《机器学习》手推笔记正式开源!附pdf下载链接,Github2...
  • Gazebo下无人机目标识别跟踪

    千次阅读 2021-03-15 19:50:31
    之前写过一篇使用 Parrot 家的 Bebop 2 无人机做目标识别跟踪转向的小项目“ROS实现无人机目标跟踪/物体跟随/循迹”,但是由于硬件实物的条件限制,很同学无法拿去用,为此我做了一些尝试,希望可以在 Gazebo ...
  • 点上方人工智能算法与Python大数据获取更干货在右上方···设为星标★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于 :专知视觉多目标跟踪是计算机视觉领域的热点问题,然...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达来源丨CV技术指南作者丨仿佛若有光前言本文来自一篇2021的论文,论文简要回顾了现有的SOTA模型和MOT算法、对多目标跟踪中的深度...
  • 多目标跟踪算法SORT

    2021-04-16 10:09:16
    目标跟踪简介三. 卡尔曼滤波器3.1 什么是卡尔曼滤波器3.2 具体计算过程3.3 换个角度看四. 匈牙利算法五. SORT 一. 目标检测简介 给定一张图像,找出我们需要的类别位置,并给定一个检测框,检测框一般包含位置坐标...
  • 红外多目标跟踪算法研究第(0卷第-期WDES(03DS--$$/年0月红外与激光工程InfraredandLaserEngineering!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!*THS-$$/红外多目标跟踪算法研究黄常青!郑链!宋...
  • 环境ubuntu 18.04 64位yolov5deepsortfastreid前言前文 基于YOLOv5和DeepSort的目标跟踪 介绍过针对行人的检测与跟踪。本文介绍另一个项目,结合...
  • 在雷达领域,单目标跟踪多目标跟踪目标数为一的简化版本,或者说雷达领域就没有单目标跟踪这个单独的问题。而在视觉领域,单目标跟踪多目标跟踪基本可以看成两个独立的问题。我的博士课题是single visual ...
  • [Java教程]多目标跟踪全解析,全网最全0 2020-10-21 10:00:22与多目标跟踪(Multiple Object Tracking简称MOT)对应的是单目标跟踪(Single Object Tracking简称SOT),按照字面意思来理解,前者是对连续视频画面中个...
  • 关于行人目标识别跟踪总体可分为: 1、detect部分 2、tracking部分 3、re-id 部分 而对于难度来说: 将会以以下几部分来展开: detect部分 1、目前考虑detect部分可以采用的方式来看 简单的传统方式 HOG+SVM和...
  • 本文来自一篇2021的论文,论文简要回顾了现有的SOTA模型和MOT算法、对多目标跟踪中的深度学习进行了讨论、介绍了评估方面的指标、数据集和基准结果,最后给出了结论。 本文来自公众号CV技术指南的技术总结系列 ...
  • 在现实生活中,多目标跟踪技术可以作为行人,车辆行为识别等视频分析技术的基础,在视频监控,智能交通,运动视频分析,智能机器人等领域有着广泛的应用空间,具有很高的研究意义和实用价值. 在实际应用中,基于单摄像头的...
  • 同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别目标跟踪、...
  • By 超神经内容概要:目标跟踪作为一个非常有前景的研究方向,常常因为场景复杂导致目标跟丢的情况发生。本文按照跟踪目标数量的差异,分别介绍了单目标跟踪多目标跟踪。关键词:目标跟踪 计算...
  • 跨摄像头多目标跟踪

    千次阅读 多人点赞 2021-03-14 14:59:40
    基于深度学习的全局外观特征和数据关联的跨摄像头行人跟踪算法 算法会在后续工作中提供相关链接
  • 多目标检测和跟踪技术框图
  • 多目标跟踪举例,每一个多目标跟踪模型由以下几个模块组成: import torch.nn as nnfrom mmdet.models import build_detectorclass BaseMultiObjectTracker(nn.Module):def __init__(self,detector=None,reid=...
  • 如何让机器人识别面前蓝色的小球并且进行自动跟随? 做法很简单,这个任务首先可以拆分成两个子任务。第一,识别蓝色小球;第二,自动跟随。 目标识别 出现如下报错: 运动控制
  • 最近做了一些多目标跟踪方向的调研,因此把调研...其中单目标跟踪(VOT/SOT)、目标检测(detection)、行人重识别(Re-ID)都是非常热门的方向。而偏视频的相关方向就比较冷门。而且今年五月DukeMTMC因为隐私问题不再提供...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达作者丨祁少华、宁欣、杨国为等编辑丨极市平台导读本文将对视角3D目标识别方法的主要进展、代表性研究成果进行介绍,比分析、汇总多数方法...
  • 小伙伴在入门的时候或者工作和申博面试的时候常常会遇到什么是目标检测和目标跟踪,二者具体有什么不同,今天带大家梳理一下,但是博主水平有限,仅供参考 什么是目标检测 目标检测的任务是在一张图像当中进行...
  • 如果来进行基于FPGA的目标识别跟踪设计? *一、机器视觉应用领域广泛,在工业制造等场景中均扮演着重要的角色。它相当于系统的眼睛,智能机器人视觉系统有着执行自主定位、环境识别、障碍物检测、目标跟踪等仿生...
  • 名称 介绍 环境 代码参考地址 star (2020/8/18) 备注 shaoshengsong/DeepSORT deepsort yolov3 c++版本 ubuntu18.04、Qt、c++ Tensorflow1.4、Opencv ... Li

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 101,280
精华内容 40,512
关键字:

多目标识别跟踪