精华内容
下载资源
问答
  • 上面提出的基于标签传播模型的判别式跟踪方法,该方法与大多数判别式跟踪方法一样,在学习分类器时利用采样和加标签两个独立的策略选择训练样本。这种常用的训练样本选择策略存在以下两个问题。第一,根据已有的跟踪...

    11.69 基于主动样本选择的判别式跟踪 方法

    上面提出的基于标签传播模型的判别式跟踪方法,该方法与大多数判别式跟踪方法一样,在学习分类器时利用采样和加标签两个独立的策略选择训练样本。这种常用的训练样本选择策略存在以下两个问题。第一,根据已有的跟踪结果为样本估计标签容易引起误差累积。跟踪结果存在轻微的不准确都能导致样本标签的错误估计,进而干扰分类器的学习。第二,样本的采集是无目的性的。采集到的样本并不一定含有提高分类器性能的有利信息,导致分类器性能具有不确定性。现有的大部分判别式跟踪方法主要关注于如何从标签不准确的训练样本中训练得到性能稳定的分类器,即主要关注于第一个问题。本节主要关注第二个问题。
    image

    如图 2 所示,受主动学习模型的启发,提出一种新的基于主动样本选择的判别式跟踪方法,目的是为训练样本选择与分类器学习建立统一的目标函数。基于拉普拉斯正则化最小二乘(LaplacianRegularized Least Squares,LapRLS)半监督学习框架,在样本采样和标签分配之间引入主动样本选择的策略来自动选择最有信息量的样本,并利用选择的样本来学习分类器,使其充分的利用无标签样本的信息并保留样本空间的局部几何结构。为提高跟踪算法的自适应性,利用先验学到的分类器为选择出的部分样本分配标签,其他样本作为无标签数据。这等同于在半监督学习中添加了很强的监督约束,可以有效地减轻跟踪漂移问题。

    本节提出的跟踪方法相比已有的方法具有如下优势。第一,训练样本的选择与分类器的学习不再是独立的两个部分,选择的训练样本是最有助于分类器学习的样本,能显著提高分类器性能。第二,由主动学习选出的样本是最具代表性的样本,很大程度上减少了训练样本的数量,保证了跟踪方法的效率。第三,使用主动学习选择训练样本,一定程度上减轻了误差累积。根据主动学习理论,用于分类器学习的训练样本是最小化分类器预测方差的样本,从而排除了易混淆的训练样本。

    展开全文
  • 11.68 基于锚点标签传播的判别式跟踪 方法 在跟踪中,物体的表观通常是连续不断的变化且不可能是独立同分布的。一个鲁棒的判别式跟踪算法通常需要大量的有标签样本来拟合目标表观潜在的数据分布。然而,精确的有标签...

    11.68 基于锚点标签传播的判别式跟踪 方法

    在跟踪中,物体的表观通常是连续不断的变化且不可能是独立同分布的。一个鲁棒的判别式跟踪算法通常需要大量的有标签样本来拟合目标表观潜在的数据分布。然而,精确的有标签样本通常只来自于第一帧,因此数量有限。为了获取更多的有标签样本,大多数算法都是利用当前帧的跟踪结果加较小的扰动 ( 通常是一两个像素 ) 提取正样本,在远离跟踪结果的区域中提取负样本。一旦跟踪结果不精确就容易造成标签分配不准确,误差累积会使分类器的性能下降从而跟丢目标。在无需假设任何数据分布的情况下,能否利用少量的标签样本训练得到比较鲁棒的判别式表观模型?

    本节提出了一种基于锚点标签传播 (landmark-based label propagation, LLP) 的判别式跟踪方法。图 1 为基于标签传播的判别式跟踪框架示意图。在该方法中,所有样本都看作是图节点,边表示样本之间的相似性(或者亲近程度)。在每一帧中,由粒子滤波预测得到的候选区域都看作是无标签的样本。它与样本池中其他样本共同组成新的图结构用来训练分类器。每个样本的标签可以表示成锚点标签的加权和。采用局部锚点近似的方法,本节设计了一种有效且高效的样本间邻接矩阵求解策略,并且优化融合拉普拉斯正则项的标签预测目标函数来计算锚点的标签值。这样,根据每个样本与锚点的映射关系及锚点的标签值,LLP 可以计算出每个样本的软标签值。在贝叶斯推理框架下,软标签预测值最高的候选目标将被视为最终的跟踪结果。LLP可以有效地将少量的初始标签传播给其他大量的无标签数据,非常符合目标跟踪的需求。image
    LLP 的核心思想就是每个样本的标签值可以表示成其近邻锚点标签值的线性组合。为此,本节采用局部锚点近似的策略构建所有样本间的邻接矩阵。并且拉普拉斯正则项也被整合在标签预测的目标函数中,以便保留样本的局部几何结构。保留局部的几何结构信息能使本节所提出的跟踪算法具有更好的判别力从而适应表观变化。

    展开全文
  • 本文参考: “Introduction to Airborne Radar 3rd”的“Automatic Tracking”,本文为用户翻译内容,若有不到位的地方,欢迎大家指正,共同学习。本文未完待续...自动跟踪本章介绍了...在我们探讨跟踪测量和方法...

    本文参考: “Introduction to Airborne Radar 3rd”的“Automatic Tracking”,本文为用户翻译内容,若有不到位的地方,欢迎大家指正,共同学习。本文未完待续...

    自动跟踪

    本章介绍了跟踪检测目标的技术。使用雷达硬件和雷达信号处理实现跟踪, 从而形成一个闭环系统。

    这里将对单目标跟踪(STT)边跟踪边扫描(TWS)模式进行分析讨论。在我们探讨跟踪测量和方法之前,需要定义一些术语。

    估计、准确性和精确度通常用于描述跟踪的不同方面。

    a3b9a80749be69c62ba7d076f8fa23a1.png

    估计可以应用于任何参数的值,该参数的值分为两种情况:(1)仅在与干扰相结合时才能测量,例如热噪声(图31-1);(2)不能直接测量,例如基于一系列距离测量的距离速率。根据该定义,雷达系统测量或计算的每个参数,无论多么精确,都是估计值。

    准确度精度

    通常,两者都指数量的测量,其在跟踪中包括目标参数,例如真实范围,速度和方位。因此,测量值表示雷达系统对目标的真实参数的估计。

    d2f045c71084a01204fcb52a40042375.png

    准确度表示测量值与真实值的接近程度,而精度表示在同一参数的多个测量值中存在多少可变性。它们共同构成了雷达系统对真实目标参数进行估算的基础。

    图31-2显示了一个示例,其中准确度和精度可以看作非常不同并且(有时)彼此独立。 跟踪雷达的目标是具有高准确度和高精度。

    Discriminant (判别式)

    跟踪中使用的另一个术语是Discriminant (判别式),用来量化测量函数的校准。

    44aaf171aed2357009e96335701c0409.png

    判别式通常由执行测量的硬件或软件输出与跟踪误差的真实值的关系图表示。曲线的线性部分的斜率是判别式并且确定测量的灵敏度。通常,斜率随着信噪比的增加而增加。

    判别式的一个重要特征是它们通常是归一化的,因此无量纲。因此,不一定需要精确测量电压或功率电平。此外,除了信噪比的影响之外,跟踪误差的测量值不随信号强度而变化。

    它与目标的大小、范围、机动和雷达散射截面积(RCS)起伏无关。如果需要,可以通过将判别式乘以预先计算的常数来给出。在整个跟踪过程中使用判别式,其目的是改进目标测量参数的估计,例如距离、多普勒和方位角。

    单目标跟踪

    单目标跟踪可提供有关目标当前位置、速度和加速度的连续且准确的数据,所有这些数据都可能不断变化。为实现此目的,通常针对距离、多普勒频率和角度建立单独的半独立跟踪回路。

    跟踪回路中包含的功能。跟踪环路可分为四个基本功能:测量,滤波,控制和响应

    6b274b432af91c13076df7b210d33d0c.png

    测量是确定参数的最新值与雷达的当前参数认知之间的差异,这便是跟踪误差。

    滤波处理连续测量,以最小化由于目标闪烁、热搅动和其他干扰源引起的随机变化(噪声)。跟踪精度主要取决于如何有效地进行过滤。跟踪滤波器可以被认为是低通滤波器,其关键参数是截止频率和增益。

    这些约束不断根据信噪比、目标的潜在机动以及雷达承载飞机的实际机动进行调整,以消除尽可能多的噪声而不会引入过多的时滞(特别是在机动过程中)。控制是滤波器输出的计算的命令的生成,以减少跟踪误差(尽可能接近零)。

    响应是给出命令的硬件或软件的操作。响应和参数的当前实际值之间的差异反馈到输入,关闭循环以便重复整个过程。 通过连续迭代,可以获得非常高的精度跟踪参数。

    改进距离估计。通过使用称为早期门后期门的技术,可以改善对单个目标的距离的雷达估计。距离门被分成两个部分(或门),其中一个部分相对于另一部分移动半个距离门。因此,目标可以同时出现在两个门中,如图31-5所示。

    4bda1e99cb49691970ac6cebe9f15f9f.png

    在该示例中,目标位于距离门的中心,因此其响应在早期和后期门之间被平均分配。如果更多的目标回波位于早期门中而不是后期门中,则在早期门中测量的电压将更大。这被称为距离判别式。 因此,通过测量早期和后期门中的响应之间的电压差,更精确地确定目标位置,其精度优于范围分辨率所暗示的精度。

    7264b6972354922ca5dedbe24bec353f.png

    距离判别式的评估在跟踪回路中进行(图31-4)。

    距离跟踪回路。距离跟踪回路测量目标的当前范围,并保持以目标回波为中心的距离区间(隔离目标以进行多普勒和角度跟踪)。

    在距离判别和先前的距离门命令的基础上,距离滤波器产生目标距离和距离速率的最佳估计、距离加速度的度量,以及新的距离门命令(图31-7)。

    d91941fc036ac2291107b880f94b5e02.png

    距离门命令是对下一个目标回波进行采样时目标距离的预测。这是通过获取滤波器对目标范围和范围速率的最新估计值,并将其外推以计算新距离来计算的。

    为了执行距离门控命令,首先针对雷达特性(例如,采样时间粒度)和经过接收器和脉冲展宽低通滤波器的脉冲形状的失真来校正预测目标范围。 然后将预测转换为从紧接在前的发送脉冲的尾随(或前沿)边缘测量的时间单位,并因此转换为下一个回波的估计到达时间(图31-8)。

    2b7db0a693a8630c97692825cbcdcece.png

    1.通过整合在早期和后期门中收集的样品,形成两个独立的滤波器组。

    改进多普勒估计。目标多普勒的估计以概念上非常类似于刚刚描述的改进范围位置的方式得到改善。 使用两个速度(多普勒)门代替两个距离门以产生改进的多普勒估计。速度门可以形成在它们中的任一个或两个中。

    最简单的方法是检查两个相邻多普勒滤波器的交叉点,称为低频和高频滤波器(多普勒等效于早期和后期距离门)。速度门对齐中的任何错误都表现为这些滤波器输出之间的差异。

    多普勒或速度判别式是通过取输出幅度之间的差值

    613376e31ab6f4b492a35e2f0aea1bc5.png

    形成的,并通过除以它们的和来对其进行归一化(图31-9), 结果提供给速度滤波器。

    f1887f712faa3fa13ee92e30fd935e62.png

    2.如果脉冲重复频率(PRF)小于目标的多普勒频率,则必须将PRF的一些倍数n加到该总和上。

    多普勒或速度滤波器的功能几乎与距离滤波器的功能完全相同。 速度滤波器的输出只是对目标的距离速率和距离加速度的更精确估计。

    多普勒(距离门)跟踪回路。该回路通过保持“速度门”以目标的多普勒频率为中心来隔离目标的角度跟踪返回。

    基于速度滤波器的最新距离速率和距离加速度估计,产生速度门命令。它预测了当形成下一组多普勒滤波器时目标的多普勒频率。

    该命令应用于可变射频振荡器。 其输出与接收信号混合,从而移动接收信号的频率,使得目标的预测多普勒频率将以速度门为中心。 振荡器频率和速度门固定频率之和是目标预测的多普勒频率(图31-10)。

    3cfb5d7e79b5658674e13eade432de91.png

    改善角度估计。第1章介绍了三种改进目标位置轴承角度估算的技术:顺序波瓣扫描;幅度比较单脉冲;和相位比较单脉冲。这里仅考虑与跟踪有关的幅度比较单脉冲。

    在这种技术中,在接收期间,天线的辐射方向图被分成两个在其半功率点交叉的波瓣,如图31-11所示。同样,这在概念上类似于早-晚距离门跟踪和多普勒滤波。

    e21c245c67dada9719d5dc9275217955.png

    在图31-12中,通过左右波瓣接收的目标回波幅度

    66a4147bdca2dfb063a88ed05524a04d.png

    之间的差异大致与孔径天线之间的角度差(即其指向角)和 目标所在的角度成比例。

    将该差除以两个振幅的总和,得到方位分量的无量纲判别,其值与该角度差直接相关。类似地形成高程分量的判别式。

    1ba4123186adbf279e7a4f0088a7d89d.png

    角度跟踪回路。 该回路使天线孔径在目标上精确训练。 常用的坐标系在蓝色面板中定义。

    75d7b8d1809be9c41a516ca31eaa2e30.png

    角度跟踪回路测量天线孔径与目标视线之间的角度ε称为角度偏离孔径(AOB),通常分解为方位角和仰角坐标(图31-12)。

    目标角度相对于天线指向角的测量分量与下列环境信息一起提供给角度跟踪滤波器:

    •信噪比

    •承载雷达的飞机的速度

    •目标距离和距离变化率

    •天线的当前角速率

    从这些输入中,滤波器产生角度差的方位角和仰角分量的最佳估计值、目标视线的角速率和目标的加速度(图31-13)。

    f890858e9ff6bca3af6df563fbabe469.png

    为了减少AOB并保持天线孔径在目标上训练,产生方位角和仰角速率命令。这些中的每一个都是滤波器对相应视线速率的最佳估计的代数和,以及与滤波器对AOB的相应分量的最佳估计成比例的速率。

    速率命令被馈送到天线稳定系统(图31-14)。在那里,它们控制陀螺仪的进动速率,这些回转仪惯性地在天线紧密连接的空间中建立方位角和仰角轴。

    82ede074790a8aab170d54eadf4692ef.png

    对于电子扫描天线,必须提供用于角度跟踪和空间稳定的转向命令。 为了连续校正飞机姿态的变化,无论多小,都可以计算新指令并以非常高的速率馈送到天线。

    本文参考: “Introduction to Airborne Radar 3rd”的“Automatic Tracking”,本文为用户翻译内容,若有不到位的地方,欢迎大家指正,共同学习。本文未完待续...永久铁杆会员可提前获取WORD可编辑版。

    展开全文
  • 判别式分类器是现代跟踪方法中的一个核心组成部分,其在线学习一个二值分类器以在...相关滤波器已成功应用到目标检测和识别中,其由于计算效率高,近年来作为一种判别式跟踪方法被应用到视觉跟踪领域,取得了很好的效果
  • 一种基于度量学习的在线多人跟踪方法,于畅泳,杨敏,提出了一种基于度量学习的在线多人跟踪方法,该方法在传统的多人跟踪方法的框架下,将度量学习应用到判别式表观学习当中,重新建
  • 近年来,属于判别式类型的相关滤波器跟踪方法由于具有非常高的处理速度备受关注。首先介绍了目标跟踪和相关滤波器的基本知识,之后对相关滤波器方法在朴素阶段、循环结构和核技巧、多特征通道、与深度特征的结合、...
  • 跟踪目标尺寸和跟踪目标相对背景运动的方位角都在实时变化,常规目标跟踪算法会引起尺度和方向定位偏差,导致跟踪漂移,甚至跟踪失败问题,提出鲁棒的目标尺度和方向自适应的跟踪方法。在Kalman滤波框架下,通过将...
  • 目标跟踪综述

    千次阅读 2020-02-09 18:22:20
    文章目录目标跟踪入门基础研究算法现有目标跟踪方法简介基于生成式模型的方法基于判别式模型的方法基于深度学习的方法适用于目标跟踪的深度学习模型深度判别式模型深度生成式模型其他深度学习模型基于深度学习的目标...

    目标跟踪

    入门基础

    介绍

    目标跟踪是计算机视觉领域的一个重要分支,是模式识别,图像处理,计算机视觉,机器学习等学科的交叉研究,有着广泛的应用,如视频监控,虚拟现实,人机交互,图像理解,无人驾驶等

    目前的目标跟踪的通常任务是,在视频的第一帧给定一个目标的矩形框,然后后续这个矩形框紧跟着要跟踪的物体。不过,目标跟踪与计算机视觉中的图像识别,分割,检测是分不开的,通常跟踪是这些分割检测的最后一步

    研究

    目标跟踪方向的论文可以关注计算机视觉的三大顶会
    CVPR (Computer Vision and Pattern Recognition)
    ICCV (International Conference on Computer Vision)
    ECCV (European Conference on Computer Vision)
    另外网站 arXiv 也值得关注

    VOT Challenge是目标跟踪领域的赛事,类似于图形识别领域中的ImageNet挑战赛。这些赛事通常都是标准数据集的来源,所以VOT数据集是一个常用的目标跟踪数据集。此外,还有吴毅老师的论文出现的OTB数据集,包括OTB50 (指2013年的数据集,50个视频序列)和 OTB100(指2015年的数据集,100个视频序列),也是目标跟踪重要的数据集

    通常目标跟踪面临几大难点:物体变形,亮度变化,快速移动,背景干扰覆盖等,通常不规则的变化都是目标跟踪的难点,这也是在工业上未得到使用而需要解决的问题。其中最主要的三个难题分别是目标背景的变化、物体本身的变化、光照强度变化

    算法

    目前公认的跟踪算法按照是否需要检测过程的参与,可以将其分为两类,一类是生成式,另一类是判别式

    • 生成式算法通过描述目标的表观特征,处理当前帧与下一帧的关系。主要包括稀疏编码(sparse coding)、在线密度估计(online density estimation)等。它的缺点是过于关注目标本身,忽略背景信息,容易产生漂移现象

    • 判别式算法区分目标和背景,表现比生成式算法更为鲁棒,目前也是更为流行的研究方向。它包括目标的检测和跟踪,常被称为tracking by detection,目标检测指对于图像而言找出目标物体的位置,而目标跟踪对于视频而言在每时每刻都能够找出物体的位置,检测是跟踪的基础,目标检测是初始化目标,目标跟踪是连续估计目标状态。常见的算法包括多示例学习方法(multiple instance learning)、结构SVM(structured SVM)等。此外,大多数深度学习的算法也属于判别式方法

    或者又可以分为两类:基于相关滤波或深度学习

    现有目标跟踪方法简介

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zjnNocOx-1581243651526)(./1581161223205.png)]

    基于生成式模型的方法

    生成模型提取目标特征构建表现模型,在图像中搜索与模型最匹配的区域作为跟踪结果

    生成式模型不论采用全局特征还是局部特征,其本质是在目标表示的高维空间中,找到与目标模型最相邻的候选目标作为当前估计

    该类方法缺陷在于只关注目标信息,而忽略了背景信息

    • LK光流法(1981):假定目标灰度在短时间内保持不变,同时目标邻域内的速度向量场变化缓慢
    • KLT(1994):通过匹配角点实现对目标的跟踪。随后工作则考虑采用原始的外观或者颜色作为主要特征来描述目标,或者采用更为复杂的混合方式描述目标
    • L1跟踪器(2011):把跟踪看做一个稀疏近似问题,通过求解L1范数最小化问题实现对目标的跟踪
    • SIFT(2012)、SURF(2008)、最大稳定极值区域(MESR)(2004)等更为鲁棒的局部特征用来描述目标,以适应目标在局部的各种尺度和旋转的变化

    基于判别式模型的方法

    • 判别式模型将跟踪问题看做分类或回归问题,目的是寻找一个判别函数,将目标从背景中分离出来,从而实现对目标的跟踪

    • 分类判别式模型

      • (2005)线性判别分析:利用线性判别分析自适应地选择对当前背景和目标最具区分力的颜色特征,分出目标,之上随后引入各类分类器
      • (2007)采用支持向量机和AdaBoost等机器学习方法区分背景和目标,由于所选取的特征基于单个像素,所以容易丢失目标
      • (2008)结合Haar特征和在线Boosting算法对目标进行跟踪
      • (2012)TLD 利用在线Ferns检测目标,同时利用在线随机森林算法跟踪目标
      • (2016)Struck算法,利用结构化的支持向量机SVM直接输出跟踪结果,避免中间分类环节
    • 回归判别式模型

      • 基于回归判别模型的典型方法是相关滤波。相关滤波因速度优势,逐渐成为目标跟踪领域的主流框架
      • (2010)MOSSE算法;CSK算法(2012),也称为核相关滤波算法,随后工作在此之上
      • 随后的工作主要从特征选择、尺度估计、正则化等方面对该算法进行改进和提高。特征选择方面,可使用方向梯度直方图、CN等特征更好地表征目标。尺度估计方面SAMF(2015)、DSST(2014)
      • SRDCF(2015)、CSR-DCF(2017)、BACF(2107)、STRCF(2018)

    基于深度学习的方法

    • 基于预训练深度特征的跟踪模型

      • (2013)利用ImageNet数据上的预训练模型提取深度特征
      • (2015)利用VGG网络的深层特征与浅层特征,融入到相关滤波
      • (2016)HDT利用Hedge算法将每一层特征训练出来的相关滤波器进行融合提升
      • (2016)C-COT将浅层表现信息和深层语义信息结合,根据不同空间分辨率的响应,在频域进行插值得到连续空间分辨率的响应图,迭代求得最佳位置和尺度
      • (2017)为解决C-COT速度慢,ECO通过卷积因式分解操作、样本分组和更新策略对其改进,不影响算法精度的同时,速度提高了一个数量级
      • (2018)UPDT区别对待深度特征和浅层特征,利用数据增强和差异响应函数提高鲁棒性、准确性,提出质量评估方法自适应融合响应图,得到最优的目标跟踪结果
    • 基于离线训练特征的跟踪

      • (2016)MDNet跟踪算法设计一个轻量级的小型网络学习卷积特征表示目标,利用SoftMaxJ (2002)对采样样本分类,其性能表现非常优异,但速度只有1帧/s
      • (2016)Siam-FC算法利用孪生网络( Siamese network ) ,在视频序列ILSVRC2015离线训练一个相似性度量函数,在跟踪过程中利用该模型,选择与模板最相似的候选作为跟踪结果
      • (2016)提出SINT算法,利用孪生网络直接学习目标模板和候选目标的匹配函数,在线跟踪过程中只用初始帧的目标作:为模板来实现跟踪
      • (2018)在孪生网络获得目标位置的基础上,区域提议网络被用来直接估计目标尺度,同时提高了跟踪性能和效率
    • 相关滤波融入深度学习框架

      • (2017)CFNet将相关滤波改写成可微分的神经网络层,和特征提取网络整合到一起以实现端到端优化,训练与相关滤波器相匹配的卷积特征
      • (2018)V0T2017竞赛冠军算法CFCF则是通过精调网络模型,学习适用于相关滤波的深度特征,然后将学习到的深度特征引入C-COT的跟踪框架
      • 最新的一些工作则是将深度学习最新进展,如元学习(ParkandBerg,2018)、生成式对抗网络(GAN)(Song等,2018)等,引人目标跟踪领域,以期获得更好的跟踪性能

    适用于目标跟踪的深度学习模型

    深度判别式模型

    • 卷积神经网络(CNN)

      • AlexNet(2012)
      • VGGNet(2015)
      • GoogLeNet(2015)
      • ResNet(2016)
      • DenseNet(2017)
    • 循环神经网络(RNN)

      • (2014)门循环单元GRU,为了解决长期记忆和反向传播中的梯度问题而提出来的
      • (2015)ConvLSTM方法,其核心本质与传统LSTM相同,都是将上一层的输出作为下一层的输入。加入卷积结构使其不仅具有LSTM的时序建模能力,而且还能够像CNN一样提取空间特征,并且状态与状态之间的切换替换为卷积计算,从而使其同时具备时空特性

    深度生成式模型

    • 生成式对抗网络(GAN)

      • DCGAN(2016)
      • WGAN(2017)
      • WGAN-GP(2017)
    • 自动编码器(AE)(2010)

      • (2013)变分自编码器(VAE)

    其他深度学习模型

    • 强化学习(RL)(2018)

      • 主要解决问题是,对于一个可以感知环境的智能体,通过学习选出能实现目标的最优动作
    • 元学习(2018)

    基于深度学习的目标跟踪方法

    按网络结构分类

    • 基于卷积神经网络的深度目标跟踪方法

      • (2017)DNT算法,利用卷积神经网络的不同层进行特征提取而实现目标跟踪的双重网络
      • (2016)CNT算法,采用一个轻型的两层卷积神经网络,无需大量辅助数据离线训练就能学到较为鲁棒的特征
    • 基于递归神经网络的深度目标跟踪方法

      • (2017)SANet算法,引入递归神经网络来提取物体的自身结构信息,结合卷积神经网络来增强模型对相似物体的抗干扰能力
      • (2018)MemTrack,引入了具有外部存储功能的动态存储网络,通过更新外部存储单元来适应目标形状的变化,不需要高代价的在线网络微调
    • 基于生成式对抗网络的深度目标跟踪方法

      • (2018)VITAL,通过对抗学习识别那些长期保留目标形变的掩码,为了解决各类之间的不平衡问题,引入高阶敏感损失函数降低易分负样本对分类网络的影响
      • (2018)SINT++,假设所有目标样本都位于一个流行空间上,使用变分自编码器生成大量与目标样本相似的正样本,解决了正样本多样性不足的问题
      • (2019)ADT,使用将二者统一的深度对抗跟踪网络架构,网络由执行回归任务的全卷积孪生神经网络和执行分类任务的分类网络组成,整个网络可以通过对抗学习端到端地进行训练和优化
    • 基于自编码器的深度目标跟踪方法

      • (2018)TRACA,基于上下文感知的机制选择专家自编码器对深度特征进行压缩,是一种速度快且精度高的基于相关滤波的方法
      • (2018)EDCF,是一种端到端的编解码网络,采用多任务学习策略以相互增强的方式优化相关分析和图像重建,增强跟踪的鲁棒性和自适应性

    按网络功能分类

    • 基于相关滤波的深度目标跟踪方法

      • 相关滤波通过构造一个滤波器,与视频帧进行互相关操作,得到一个响应图,其中最高的值指示了目标所在的位置。
      • (2015)HCF,通过结合多层CNN特征,利用相关滤波来定位被跟踪的目标;其针对每层CNN训练一个过滤器,并且按照从深到浅的顺序使用相关滤波,利用深层得到的结果来引导浅层,从而减少搜索空间
      • (2017)CFNet将相关滤波设计成一个可微分的层,采用端到端方式训练网络,提取适用于相关滤波器的特征
      • 该工作基于SiamFC( 2016)实现,首先设计了两个分别代表当前帧和目标模板的分支,然后通过模板特征和当前帧特征之间的互相关确定目标位置
      • (2018)FlowTrack,是一个带有可微分相关滤波层的Siamese网络,使用多个之前的视频帧作为模板,结合时空注意力模块计算不同位置不同模板特征的权重,最终确定目标位置
      • 与上述采用离散滤波器的方法不同,(2016)C-COT使用连续卷积滤波器进行目标跟踪,(2017)ECO针对C-COT的过拟合和采样存储问题,使用少量的滤波器参数替代原来大量的过滤器参数,并结合高斯混合模型减少存储的样本数量以及保持样本的差异性
      • (2018)DRT,在ECO的基础上引人了稳定性概念,对滤波器的每一部分引人一个权值,由此决定是否用它进行跟踪
    • 基于分类网络的深度目标跟踪方法

      • 基于分类网络的深度目标跟踪方法通常需要多步完成,首先在目标可能存在的位置产生大量候选框,接着通过分类网络对所有的候选框评估,给出相应的分值,最后所有的候选框都根据得到的分值进行排序,分数最高的候选框就作为目标所在的位置
      • (2016)MDNet提出了一个多域的网络框架,将一个视频序列视为一个域,其中共享的部分用来学习目标的特征表达,独立的全连接层则用于学习针对特定视频序列的二元分类器
      • (2017)ADNet是一个与增强学习相结合的目标跟踪算法,增强学习策略网络是通过CNN构建的
      • (2018)VITAL介绍了-一个基于生成对抗网络的目标跟踪方法,核心思想是采用GAN产生一个权重掩码以选择有判别力的特征,通过掩码与特征图的乘积实现分类
    • 基于回归网络的深度目标跟踪方法

      • 基于回归网络的方法通常在之前目标所在的位置基础上,使用一个前向网络,直接回归目标所在的位置。和其他方法相比,基于回归网络的深度目标跟踪方法易于实现,速度较快,且可利用线下和线上的训练
      • (2016)GOTURN假定在连续视频帧间目标移动较为缓慢,使用带有两个卷积层分支的神经网络,一个是之前视频帧包含的目标区域,另一个是在当前视频帧中包含的以上一帧目标所在位置为中心一定范围内的区域,者在全连接层进行融合,回归出目标所在的位置
      • (2018)DSLT, 使用回归网络将样本映射为一个软标签图,即响应图。然而,前景和背景目标数量上的不平衡会影响回归学习的质量。因此,作者提出了结合收缩损失的回归方法

    按照网络训练分类

    • 基于预训练网络的深度目标跟踪方法

      • 基于深度学习的跟踪器不仅要准确地预测出目标位置,而且跟踪速度至少要达到与视频同样的帧率,这样才具有较高的实用性。因此,基于深度学习的跟踪器在网络设计和训练上需要平衡预测精度和速度
      • 在HDT(2016)中,使用预训练的VGGNet的不同卷积层特征来表征目标,针对每一个卷积层的特征,构建一个基于鉴别相关滤波器(DCF)的弱跟踪器,然后使用集成方法将多个弱跟踪器关联成强跟踪器,从而提高跟踪性能
      • (2015)DeepSRDCF,将深度卷积特征应用到DCF跟踪框架中。与HDT构建多个跟踪器不同,Deep-SRDCF将预训练VGGNet的不同卷积层特征进行线性融合来表征目标。实验表明该方法可以在多个跟踪数据集上取得较好的结果
    • 基于在线微调网络的深度目标跟踪方法

      • 特征提取部分采用预训练的网络进行初始化。在跟踪开始时,首先用第1帧的标注样本训练目标检测部分和微调特征提取部分。跟踪过程中,根据预测结果生成一定的正、负样本,然后微调整个网络,进一步提高网络的判别能力,较好地适应目标的变化,显著提高跟踪性能
      • (2016)在MDNet,采用了特征提取和多分支检测结合的网络结构
      • (2017)CREST ,是一个端到端的在线学习跟踪网络,其使用VGG-16作为目标特征提取网络,然后使用DCF来检测目标,其中DCF通过一个网络卷积层来实现
    • 基于离线训练网络的深度目标跟踪方法

      • 基于在线微调网络的深度目标跟踪方法会使跟踪器的效率大大降低,深度特征的提取和更新很难做到实时。为解决这一问题,提出基于离线端到端训练的全卷积李生网络的跟踪方法SiamFC(2016);SiamFC提出后受到了很多关注,很多跟踪方法都在其基础上进行改进
      • 由于SiamFC网络主要关注外观特征而忽略了高层语义信息,SA-Siam(2018)采用融合表观特征和语义信息的双重李生网络跟踪方案,其中一个孪生分支负责表观特征匹配,另一个负责语义信息的匹配。SA-Siam 引人语义信息使得跟踪器更加稳定,不易受目标表观变化的影响
      • 与SiamFC和SA-Siam检测网络的方法不同,COTURN(2016)采用基于孪生网络的回归方法,学习目标表观和运动的变化关系。输入两幅包含目标的图像,GOTURN首先经过共享参数的孪生网络提取特征,回归网络能够比较两幅图像回归出目标的位置,跟踪速度可以达到100帧/s

    其他深度目标跟踪算法

    基于分类与回归相融合的深度目标跟踪方法

    • (2018)Siamse-RPN网络,其网络结构包括特征提取的Siumese子网络和产生候选目标区城的RPN子网络。Siamese 子网络的输人包括模板帧和检测帧。RPN子网络则分为分类和回归两个子模块
    • (2018)DaSiamRPN方法,对Siamese-RPN进行进一步优化和改进,以着重处理训练数据不平衡、自适应的模型增量学习及长程跟踪等问题。尽管该类方法在公开数据库上取得了很好的性能,但需依赖于额外的大规模调练数据来保证所训练跟踪模型的鲁棒性

    基于强化学习的深度目标跟踪方法

    • 该类方法将强化学习的决策策略引人到目标跟踪任务中。以优化深度网络的参数网络深度。或预测目标移动状态等信息
    • (2017)ADNet,采取马尔可夫决策过程(MDP)的基本策略,将目标移动定义为离散化的动作,特征以及观察的历史状态形成当前状态,认为目标跟踪是一系列动作预测和状态变化的过程
    • (2017)认为跟踪目标的困难程度所依赖的特征复杂度不同,提出了一种自适应的决策过程以学习一个agent来决定采取浅层或更深层的特征,有效地提升了目标跟踪的速度
    • (2017)针对目前目标跟踪数据的标注困难问题提出了一种弱监督的深度强化学习算法,仅需要在训练过程中标定是否奖励或惩罚而不需要详细的目标框标注,也可以处理部分标注的情况(即形成部分可观察的马尔可夫决策过程)
    • (2018)基于超参数优化的深度连续Q-learning方法,以解决在线目标跟踪中不同视频的模型超参数适应问题
    • (2018)基于强化学习中的Actor-Critic 框架提出了相应的目标跟踪算法。Actor 网络利用深度网络优化目标位置, Critic网络计算预测框的得分并反馈至Actor网络,从而根据反馈信息更新模型。相比于传统的深度跟踪算法,该类方法不仅可以较好地自适应于新的环境,而且由于模型推理的候选目标框数量少能够提升目标跟踪的速度

    基于集成学习的深度目标跟踪方法

    • 该类方法的主要策略是先通过一定的规则生成多个分类器,然后采用某种集成策略优化组合,最后綜合判断输出最终的目标跟踪结果
    • (2016)提出了种基于多个卷积神经网络树形结构化的目标表观模型方法。多个卷积网络协同估计目标状态,并通过优化基于树形结构的子模型实现路径的更新。为了节省存储空间和避免冗余的计算,多个卷积网络采取共字底层卷积参数的策略
    • (2016),对共享的卷积网络特征谱的每个通道训练一一个基学习器。为了降低学习器的相关性以及避免过训练问题,每个基学习器采用不同的损失函数。尽管这些方法尝试利用特征或损失函数增大各子模型的差异性,但每个子模型之间仍然存在过多的冗余信息
    • (2017)采用卷积层共享而全连接层多分枝的集成方法,基于经典的drop-out方法,在跟踪过程中选取各个分枝模型时采用随机策略,以便增加子跟踪模型的差异性同时避免过报合问题
    • (2017),部分学者从数据采样的角度缓解冗余问题, 提出了一种基于委员会学习的跟踪方法,每个跟踪器根据训练数据的分布进行采样以使得不同跟踪器之间采用的样本具有差异性
    • (2018)从特征表示的角度, 利用跟踪目标的不同特征来学习相应的判别式相关滤波跟踪专家,然后对专家之间以及专家自身进行评价选择合适的专家进行目标跟踪以及模型更新

    基于元学习的深度目标跟踪方法

    • 该类方法利用元学习对目标跟踪模型自适应地优化,使得模型快速地适应于不同视频序列或场景
    • (2016)Leamet方法,将目标跟踪模型定义为模板上的动态参数化函数,以便处理在线跟踪时单样本学习的情况。
    • (2017)MLT,采用梯度预测的策略自适应更新网络参数,采用参数化网络梯度的方法学习网络模型,从面构建了一个元学习网络。此外,也借鉴了经典的Siamese匹配网络估计跟踪目标的位置
    • (2018)Meta-ltacker方法,也采用基于预测梯度的策路学习方法获得普适性的初始化模型,可以使得跟踪模型自适应于后续帧特征的最佳梯度方向

    数据库与评价标准

    适用于深度学习目标跟踪的视频数据库

    适用于深度学习目标跟踪的评价标准

    应用实例介绍

    展开全文
  • 目标跟踪简介

    千次阅读 2019-07-13 10:04:15
    文章目录目标跟踪简介3.1 引言3.2 目标跟踪算法分类3.2.1 生成式算法(1)核方法(2)粒子滤波方法(3)卡尔曼滤波方法(4)稀疏表示方法3.2.2 判别式方法(1)相关滤波方法(2)深度学习方法3.3单摄像机多目标跟踪...
  • 目标视觉跟踪

    2017-08-29 16:41:10
    目标视觉跟踪方法综述 目标视觉跟踪发展到现在,已经有很多成熟的方法,这些方法主要分为两大类:产生式方法和判别式方法。 产生式方法运用生成模型描述目标的外观特征,之后通过对候选区域进行搜索寻找与目标最...
  • 判别式:理论上是有限样本的判断,求取的是判别函数,关注的是模型边缘,直接解决问题,对建模兴趣不大,实际上,深度学习方法基本是判别式,包括KCF。 转回深度学习如何运行目标跟踪:其实关键还是样本不均衡,在线...
  • 目标跟踪算法可以被分为产生式(generative model)和判别式(discriminative model)两大类别,产生式方法运用生成模型描述目标的表观特征,之后通过搜索候选目标来最小化重构误差;判别式方法通过训练分类器来区分...
  • 作者在abstract中说明了其想法的由来,在将机器学习方法引入到目标跟踪领域后形成的判别式方法十分吸引人,但是由于所需要的训练样本过多,传统算法基本上都是采用随机稀疏采样子窗口来训练的,因为密集采样所带来的...
  • 计算机视觉之目标跟踪

    千次阅读 2019-01-07 15:27:37
    对初始图像中选定的box进行描述,在下一帧图像中产生多个候选box(运动模型),获取这些box的描述,评估box的得分(生成式、判别式方法、knn)来确定在下一帧中box的位置。 特征提取方法: 产生候选box方法: ...
  • 目前,目标跟踪作为计算机视觉中的一个重要的研究课题,在民用和军事等很多方向有着广泛的应用前景,主要包括...现有的目标跟踪算法主要有两大类:生成式方法判别式方法,现在大部分SOTA的跟踪算法都是tracking-by
  • 判别式模型 深度学习方法 目标跟踪问题定义 目标跟踪分为密集跟踪(a series detections)和稀疏跟踪(estimation+common sense)。前者本质上对每一帧进行检测,需要更大的计算量,实时性差。所以,一般目标跟踪...
  • 目标跟踪算法可以被分为产生式(generative model)和判别式(discriminative model)两大类别,产生式方法运用生成模型描述目标的表观特征,之后通过搜索候选目标来最小化重构误差;判别式方法通过训练分类器来区分...
  • 大多数现代的跟踪器的核心元素是一个判别式的分类器,这个分类器的任务是去区分目标区域和周围的环境。本文基于基础的相关滤波的方法,并对其进行改进的目的,通过在相关滤波的计算中引入不同的尺度信息,较好的手动...
  • meanshift算法 研一真的很迷茫啊啊啊 不过既然分到了计算机视觉组,就安下心来慢慢学习吧。欢迎评论指正互相学习啊 ...1.生成目标跟踪方法 2.判别性目标跟踪方法 3.深度学习目标跟踪方法...
  • A Review of Visual Trackers and ...本研究对视觉追踪器进行了全面的调查,通过一个简短的介绍,我们首先分析了视觉跟踪的基本框架和难点,然后我们介绍了生成式结构和判别式结构的方法,总结了在视觉跟踪中用到的特
  • 带有特征学习与继承的粒子滤波目标跟踪,孙晓燕,常发亮,近年来判别式目标模型是运动目标跟踪中表示和学习目标模型常采用方法,它可在一定程度上通过在线学习适应目标和背景的复杂变化。
  • 基于主动轮廓的跟踪方法被广泛应用于移动摄像机下运动物体轮廓的跟踪. 针对传统方法容易受噪音、部分遮挡、背景干扰等因素影响的缺点, 本文提出了一个分层的基于水平集(level sets)的跟踪框架. 该框架将...
  • 近期学习了meanshift,kalman滤波器和CAMshift的原理,简单总结一下。 目标跟踪的分类 生成式模型(generative) 在当前帧对目标区域建模,下一帧寻找与模型...判别式模型(discrimination) 将目标跟踪看作一个...
  • 一、基于判别式模型的目标跟踪算法一般框架 1.候选框选择 滑动窗的方法(蛮力搜索)、粒子滤波的方法(重要性采样)、物体对象度(objectness、proposal) 2.特征提取 传统手工设置的特征:gray、color、...
  • ​ 近年来,基于判别式相关滤波(DCF)的方法极大地提升了目标跟踪的先进水平。然而,随着跟踪性能的提高,它们的速度和实时性在不断的下降。而且,模型变得原来越复杂,训练参数越来越多,导致了严重的过拟合风险...
  • 不同于已经存在的基于轨迹关联的跟踪方法,本文提出了一种新颖且有效的方法来获得基于判别式外观的轨迹相似度模型(discriminative appearance-based tracklet affinity models)。所提方法联合学习了CNN网络和时间...
  • 7.2 FCNT

    2020-05-09 11:28:19
    深度学习跟踪算法之前诞生了许多优秀的方法,它们是基于构建外观模型来进行跟踪的,这些方法又可以分为两种,一种是生成式,通过最小化重建误差来构建外观模型,另一种是判别式,通过构建一个分类器区分前景和背景...
  • 判别式相关滤波器(DCF)具有良好的视觉目标跟踪性能。他们成功的关键是有效利用可用的负面数据的能力,包括一个训练样本的所有移位版本。然而,低级的DCF形式仅限于单分辨率的特征图,这极大地限制了它的潜力。在这篇...
  • KCF目标追踪

    2020-03-15 20:33:19
    KCF创新点:使用核相关滤波器训练一个判别式分类器,使用轮转矩阵生成负样本去训练分类器。 在KCF中,作者将目标跟踪问题的求解转换为一个分类问题(前景目标和背景)。这个分类问题的求解应用了岭回归方法,所得到...
  • 3.1.1 简单可见性判别算法 131 3.1.2 端点编码 133 3.2 Cohen-Sutherland线段细分裁剪算法 136 3.3 中点分割算法 140 3.4 凸区域的二维参数化线段裁剪 144 3.5 Cyrus-Beck算法 148 3.5.1 部分可见线段 150 ...

空空如也

空空如也

1 2 3
收藏数 45
精华内容 18
关键字:

判别式跟踪方法