精华内容
参与话题
问答
  • 目标跟踪算法研究综述

    万次阅读 多人点赞 2018-05-31 12:45:38
    入坑也算有些日子了,一直在看论文并没有对目标跟踪的研究进展和算法有一个系统性的了解。是时候好好整理一下了,希望能对后面的研究有所帮助吧!内容中来自经典论文和博客部分,如有侵权请提醒删除。(小白一颗,...

        入坑也算有些日子了,一直在看论文并没有对目标跟踪的研究进展和算法有一个系统性的了解。是时候好好整理一下了,希望能对后面的研究有所帮助吧!内容中来自经典论文和博客部分,如有侵权请提醒删除。(小白一颗,不足之处希望各位大神驻足指正!!!万分感谢!!!)

    1、背景

        目标跟踪算法研究难点与挑战:实际复杂的应用环境 、背景相似干扰、光照条件的变化、遮挡等外界因素以及目标姿态变化,外观变形,尺度变化、平面外旋转、平面内旋转、出视野、快速运动和运动模糊等。而且当目标跟踪算法投入实际应用时,不可避免的一个问题——实时性问题也是非常的重要。正是有了这些问题,才使得算法研究充满着难点和挑战。

    2、目标跟踪

        目标跟踪的一般由4个基本部分构成:特征提取、运动模型、外观模型、在线更新机制。

         特征提取(Feature Extraction):适用于目标跟踪的特征一般要求,既能较好地描述跟踪目标又能快速计算。常见的图像特征有灰度特征、颜色特征、纹理特征、Haar-like 矩形特征、兴趣点特征、超像素特征等,当然也还有许多其他特征。 

     

        运动模型( Motion Model):运动模型旨在描述帧与帧目标运动状态之间的关系,显式或隐式地在视频帧中预测目标图像区域,并给出一组可能的候选区域.经典的运动模型有均值漂移(Mean shift)、滑动窗口(Slide window)、卡尔曼滤波( Kalman Filtering)、粒子滤波( Particle Filtering) 等.

        外观模型(Appearance Model):外观模型的作用是在当前帧中判决候选图像区域是被跟踪目标的可能性.提取图像区域的视觉特征,输入外观模型进行匹配或决策,最终确定被跟踪目标的空间位置.在视觉跟踪的4 个基本组成中,外观模型处于核心地位,如何设计一个鲁棒的外观模型是在线视觉跟踪算法的关键.

        在线更新机制(Online Update Mechanism):为了捕捉目标( 和背景) 在跟踪过程中的变化,目标跟踪需要包含一个在线更新机制,在跟踪过程中不断更新外观模型.常见的外观模型更新方式有模板更新、增量子空间学习算法及在线分类器等.如何设计一个合理的在线更新机制,既能捕捉目标( 和背景) 的变化又不会导致模型退化,也是目标跟踪研究的一个关键问题。

    3、算法研究进展

        目标跟踪算法主要分为两类:

        生成式(generative)模型:通过在线学习方式建立目标模型,然后使用模型搜索重建误差最小的图像区域,完成目标定位。这一类方法没有考虑目标的背景信息,图像信息没有得到较好的应用。通俗点讲就是在当前帧对目标区域建模,下一帧寻找与模型最相似的区域就是预测位置,比较著名的有卡尔曼滤波,粒子滤波,mean-shift等。

        判别式(discrimination)模型:将目标跟踪看作是一个二元分类问题,同时提取目标和背景信息用来训练分类器,将目标从图像序列背景中分离出来,从而得到当前帧的目标位置。CV中的经典套路图像特征+机器学习, 当前帧以目标区域为正样本,背景区域为负样本,机器学习方法训练分类器,下一帧用训练好的分类器找最优区域:与生成类方法最大的区别是,分类器采用机器学习,训练中用到了背景信息,这样分类器就能专注区分前景和背景,所以判别类方法普遍都比生成类好。

    以下是按年份记录的经典的跟踪算法:

    2009

    MIL    

        Boris Babenko,的论文(MIL)Robust Object Tracking with Online Muliple instance Learning多示例目标跟踪算法使用分类的方法对目标进行跟踪,核心思想就是在以前使用的分类器中把单个样本作为输入去训练,在这个算法当中,把一类的样本(正样本)和单个的负样本作为输入训练,保证能够学习到更多的目标的外观模型,能够更好的对目标进行分类。具体的介绍可以去看我的另一篇博客:

    https://blog.csdn.net/zhu_hongji/article/details/79943559

    2010

    MOSSE

      David S. Bolme, J. Ross Beveridge, Bruce A. Draper, Yui Man Lui. “Visual Object Tracking using Adaptive Correlation Filters.” ICCV (2010). 

    [paper][project]

        在很长一段时间以内,相关滤波((Correlation Filters. CF)被用来检测场景中特定的模式,它具有对于图像中感兴趣的特定模式响应很大,而对其他背景模式响应很小的特性。虽然这种特性可以被用来进行目标定位,但是需要大量的样本来训练,因此不适合在线目标跟踪。直到Bolme等提出最小输出均方误差(Minimum OutputSum of Squared Error MOSSE)滤波算法,相关滤波才真正意义上用于在线目标跟踪。MOSSE滤波基于一种自适应的训练方式,仅需要一帧图像就能产生稳定的相关滤波。该算法不仅展现了应对光照变化、尺度变化、姿态变化、非刚性变形等复杂场景的鲁棒性,计算效率也非常高,每秒处理速度可以达到几百帧。由于其鲁棒性及计算高效性,基于相关滤波的目标跟踪得到了研究领域的广泛关注。MOSSE滤波可以看成是一组线性分类器,因此基于它的跟踪算法整体性能可能受到限制,另外只能处理单通道的灰度信息,性能也有一定限制。

        

           这个处理速度也太快了吧,可以准确率上不去。

    TLD

    Z. Kalal, J. Matas, and K. Mikolajczyk. P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints. [Paper][Project] 

          Kalal等提出一种新颖的跟踪一学习一检测(Tracking-Learning-Detection)的目标跟踪框架,尝试实现目标完全被遮挡或者目标离开视场等复杂场景下的长时间目标跟踪。该框架将长时间目标跟踪划分为三个子模块,即跟踪、学习和检测,跟踪模块基于光流实现目标在相邻图像帧的短期跟踪,检测模块通过一个级联检测器全局地定位所有己经观测到的外观,学习模块则通过“正、负专家”识别和纠正检测器误差,从而降低漂移误差。

                                            

    2011

    Struck

    Struck: Structured Output Tracking with Kernels. Paper  ,Project 

     

        Sam Hare, Amir Saffari, Philip H. S. Torr等人于2011年发表在Computer Vision (ICCV)上的一篇文章。Struck与传统跟踪算法的不同之处在于:传统跟踪算法(下图右手边)将跟踪问题转化为一个分类问题,并通过在线学习技术更新目标模型。然而,为了达到更新的目的,通常需要将一些预估计的目标位置作为已知类别的训练样本,这些分类样本并不一定与实际目标一致,因此难以实现最佳的分类效果。而Struck算法(下图左手边)主要提出一种基于结构输出预测的自适应视觉目标跟踪的框架,通过明确引入输出空间满足跟踪功能,能够避免中间分类环节,直接输出跟踪结果。同时,为了保证实时性,该算法还引入了阈值机制,防止跟踪过程中支持向量的过增长。

     

                                         

    2012

    CSK

    F. Henriques, R. Caseiro, P. Martins, and J. Batista. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels.

    [Paper][Project] 

        大体上,大部分运动跟踪都是通过查找两个相邻帧的相互关系,再确定目标对象的运动方向,无限迭代后,能完整地跟踪对象,CSK也是如此。在确定跟踪对象后,根据目标位置扣出该帧的目标窗和下一帧的目标窗,再对这两个窗进行FFT,转化后在频域图直接点乘。这个过程可简单理解为是求两个相连帧的频域共振位置,然后将共振频域图利用核函数进行核映射,再进行训练。 训练过程引入原始响应Y,Y可以理解为是对象的起始位置,因为起始位置都是第一帧的中心,所以能看到Y的图像是根据跟踪窗大小的建立的高斯函数。 
    训练的目的则是要找出当前帧对应的α,其训练公式如下

                          

    训练完毕后,根据下一帧的核映射,可检测出对应的响应图像yˆyˆ,检测公式如下:

                         

    通过输入图片与目标区域,由下面公式得到核矩阵k。

                        

    算法步骤:

                        

    2013

    很厉害的两个数据集:

             Wu Y, Lim J, Yang M H. Object tracking benchmark [J]. TPAMI, 2015.【Paper】 

            这两个数据库已经是现在做Tracking必须跑的两个数据集了,所以就把他们放在一块了;database的意义非常重大,直接促进了跟踪算法的发展,后来又扩展为OTB100发到TPAMI,有100个序列,难度更大更加权威。上面给出了数据库的链接。

    下面是29跟踪算法提出时间和在上面数据库测试的性能:

    而且这个数据集还把测试序列分成了9类,他们也代表着目标跟踪需要解决的问题:

    2014

            在2014年又出现一个新的标准VOT【VOT】的问世,VOT选取了25个序列集,使用的标准和Benchmark有略微的差别,使用精度,鲁棒性,总的误差率,速度等。

     

    Kristan M, Pflugfelder R, Leonardis A, et al. The visual object tracking vot2013 challenge results [C]// ICCV, 2013.Kristan M, Pflugfelder R, Leonardis A, et al. The Visual Object Tracking VOT2014 Challenge Results [C]// ECCV, 2014.Kristan M, Matas J, Leonardis A, et al. The visual object tracking vot2015 challenge results [C]// ICCV, 2015.Kristan M, Ales L, Jiri M, et al. The Visual Object Tracking VOT2016 Challenge Results [C]// ECCV, 2016.

            OTB和VOT区别:OTB包括25%的灰度序列,但VOT都是彩色序列,这也是造成很多颜色特征算法性能差异的原因;两个库的评价指标不一样,具体请参考论文;VOT库的序列分辨率普遍较高。对于一个tracker,如果论文在两个库(最好是OTB100和VOT2016)上都结果上佳,如果两个库都能调好,那肯定是非常优秀的,如果只跑了一个,个人更偏向于VOT2016,因为序列都是精细标注,且评价指标更好(人家毕竟是竞赛,评价指标发过TPAMI的),差别最大的地方,OTB有随机帧开始,或矩形框加随机干扰初始化去跑,作者说这样更加符合检测算法给的框框;而VOT是第一帧初始化去跑,每次跟踪失败(预测框和标注框不重叠)时,5帧之后重新初始化,VOT以short-term为主,且认为跟踪检测应该在一起不分离,detecter会多次初始化tracker。

     

    这一年的Tracker主旋律变成了相关滤波(Correlation Filter):

    KCF

     High-Speed Tracking with Kernelized Correlation Filters [J]. IEEE TPAMI, 2015.【Paper】【Project】 

     

        KCF是一种鉴别式追踪方法,这类方法一般都是在追踪过程中训练一个目标检测器,使用目标检测器去检测下一帧预测位置是否是目标,然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本,目标的周围区域为负样本,当然越靠近目标的区域为正样本的可能性越大。

     

    KCF的主要贡献

    • 使用目标周围区域的循环矩阵采集正负样本,利用脊回归训练目标检测器,并成功的利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积,即元素的点乘,大大降低了运算量,提高了运算速度,使算法满足实时性要求。

    • 将线性空间的脊回归通过核函数映射到非线性空间,在非线性空间通过求解一个对偶问题和某些常见的约束,同样的可以使用循环矩阵傅里叶空间对角化简化计算。

    • 给出了一种将多通道数据融入该算法的途径

    SAMF

    Li Y, Zhu J. A scale adaptive kernel correlation filter tracker with feature integration[C]// ECCV, 2014【Paper】【Project】 

    算法步骤:

    这篇文章是浙大Yang Li的工作,KCF问世不久之后出现的,基于KCF,第一次把HOG特征和CN特征进行结合使用的。同时使用了尺度池技术,多尺度方法是平移滤波器在多尺度缩放的图像块上进行目标检测,取响应最大的那个平移位置及所在尺度。

     

    DSST

    Martin Danelljan Accurate scale estimation for visual tracking【Paper】【Project】 

    Martin Danelljan的DSST ,只用了HOG特征,DCF用于平移位置检测,又专门训练类似MOSSE的相关滤波器检测尺度变化,开创了平移滤波+尺度滤波,之后转TPAMI做了一系列加速的版本fDSST。在这篇论文里面将目标跟踪看成目标中心平移和目标尺度变化两个独立问题,首先用HOG特征的DCF训练平移相关滤波,负责检测目标中心平移,然后用HOG特征的MOSSE(注意区别,不加padding)训练另一个尺度相关滤波,负责检测目标尺度变化,(标配)步长1.02的33个尺度。 效果也是相当的好,是VOT2014的冠军,但是速度上并没有那么近人意,因为使用了33个尺度,速度自然就下了。

    Danelljan M, Häger G, Khan F, et al. Accurate scale estimation for robust visual tracking [C]// BMVC, 2014.Danelljan M, Hager G, Khan F S, et al. Discriminative Scale Space Tracking [J]. IEEE TPAMI, 2017.

     

     VOT2014竞赛的前几名的性能:

    2015

        VOT2015竞赛 VOT2015 Challenge | Home ,这一年有60个精挑细选的序列,62个tracker,最大看点是深度学习开始进击tracking领域,MDNet直接拿下当年的冠军,而结合深度特征的相关滤波方法DeepSRDCF是第二名,主要解决边界效应的SRDCF仅HOG特征排在第四:

     

    MDNet

    Learning Multi-Domain Convolutional Neural Networks for Visual Tracking【Paper】 

        一张图说完MDNet,这张图包含了MDNet 的核心思想,训练的时候,对每一个domain单独进行训练,同时更新共享层的参数,使得共享层的参数能够适应所有的数据集,之后保存共享层的参数,domain域也只保留下一个分支供跟踪使用,跟踪阶段,使用预训练的CNN网络对目标进行跟踪,找到目标的位置所在

     

    SRDCF

    M. Danelljan, G. Hager, F. S. Khan, and M. Felsberg. Learning spatially regularized correlation filters for visual tracking.

    【Paper】【Project】

    Martin Danelljan的SRDCF 主要思路:既然边界效应发生在边界附近,那就忽略所有移位样本的边界部分像素,或者说限制让边界附近滤波器系数接近0。SRDCF基于DCF,类SAMF多尺度,采用更大的检测区域(padding = 4),同时加入空域正则化,惩罚边界区域的滤波器系数,由于没有闭合解,采用高斯-塞德尔方法迭代优化。检测区域扩大(1.5->4),迭代优化(破坏了闭合解)导致SRDCF只有5FP,但效果非常好是2015年的baseline.


    另一种方法是Hamed Kiani提出的MOSSE改进算法,基于灰度特征的CFLM Correlation Filters with Limited Boundaries 和基于HOG特征的BACF Learning Background-Aware Correlation Filters for Visual Tracking,主要思路是采用较大尺寸检测图像块和较小尺寸滤波器来提高真实样本的比例,或者说滤波器填充0以保持和检测图像一样大,同样没有闭合解,采用ADMM迭代优化:

    • Kiani Galoogahi H, Sim T, Lucey S. Correlation filters with limited boundaries [C]// CVPR, 2015.
    • Kiani Galoogahi H, Fagg A, Lucey S. Learning Background-Aware Correlation Filters for Visual Tracking [C]// ICCV, 2017.

    DeepSRDCF

    Martin Danelljan, Gustav Häger, Fahad Khan, Michael Felsberg. “Convolutional Features for Correlation Filter Based Visual Tracking. 

    采用的是深度特征,在CPU上难以实现实时性。

    CFLB

    Kiani Galoogahi H, Sim T, Lucey S. Correlation filters with limited boundaries .【Paper】【Project】 
    首先,使用更大的训练和检测图像块,同时给循环移位样本左乘一个0-1组成的掩膜矩阵P,以使真实训练样本的比例增加,优化目标函数:

    MEEM

    Robust Tracking via Multiple Experts using Entropy Minimization【Paper】【Project】 

    RPT

    Yang Li, Jianke Zhu and Steven C.H. Hoi. “Reliable Patch Trackers: Robust Visual Tracking by Exploiting Reliable Patches.”

    【Paper】 【Project】 

    HCF

    Chao Ma, Jia-Bin Huang, Xiaokang Yang and Ming-Hsuan Yang. “Hierarchical Convolutional Features for Visual Tracking.” 

    【Paper】【Project】 深度学习的重磅之作

    其他一些深度学习的算法:

    RATM: Samira Ebrahimi Kahou, Vincent Michalski, Roland Memisevic. “RATM: Recurrent Attentive Tracking Model.【Paper】

    RAJSSC: Mengdan Zhang, Junliang Xing, Jin Gao, Xinchu Shi, Qiang Wang, Weiming Hu. “Joint Scale-Spatial Correlation Tracking with Adaptive Rotation Estimation【Paper】

    SO-DLT: Naiyan Wang, Siyi Li, Abhinav Gupta, Dit-Yan Yeung. “Transferring Rich Feature Hierarchies for Robust Visual Tracking.” 【Paper】

    15年,深度学习开始进军跟踪领域,使用深度学习可以更好的提取目标的特征,对目标进行更好的表达,但是深度学习的缺点就在于网络的训练和速度,即使如HCF等使用离线的训练,很难达到实时性的要求;另一个就是相关滤波领域还是一如既往的那么火,还是有前仆后继的人对这方面进行改进和提升,算法的最大的改进就是对边界效应的处理。

    边界效应:(后补)

    2016

        VOT2016竞赛【Index】深度学习已经雄霸天下了,8个纯CNN方法和6个结合深度特征的CF方法大都名列前茅,还有一片的CF方法。38个tracker,部分tracker代码和主页【下载地址】,其中 部分是下载链接,部分是源码压缩包,部分源码是二进制文件。

     

    排名靠前的算法paper:

    C-COT

    Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking【Paper】【Project】 

    TCNN:

    Hyeonseob Nam, Mooyeol Baek, Bohyung Han. “Modeling and Propagating CNNs in a Tree Structure for Visual Tracking.”【Paper】【Project】

    Staple:

    Luca Bertinetto, Jack Valmadre, Stuart Golodetz, Ondrej Miksik, Philip H.S. Torr. “Staple: Complementary Learners for Real-Time Tracking.”【Paper】【Project】 

    SiameseFC:

    Luca Bertinetto, Jack Valmadre, João F. Henriques, Andrea Vedaldi, Philip H.S. Torr. “Fully-Convolutional Siamese Networks for Object Tracking[Paper[Project 

    GOTURN:

    David Held, Sebastian Thrun, Silvio Savarese. “Learning to Track at 100 FPS with Deep Regression Networks. 

     

    CF+AT:

     

    Adel Bibi, Matthias Mueller, and Bernard Ghanem. “Target Response Adaptation for Correlation Filter Tracking.” 【Paper】 

    HDT:

    Yuankai Qi, Shengping Zhang, Lei Qin, Hongxun Yao, Qingming Huang, Jongwoo Lim, Ming-Hsuan Yang. “Hedged Deep Tracking[Paper[Project

    CNT: Kaihua Zhang, Qingshan Liu, Yi Wu, Minghsuan Yang. “Robust Visual Tracking via Convolutional Networks Without Training.”【Paper】【Project】

    2017

    总共11篇,相关滤波7篇,其中1篇是oral,3篇用到卷积特征,相关滤波占了64%,(非卷积特征的)CNN相关4篇,可以看出目标跟踪现在最火的是相关滤波和深度学习。

    论文:

    一篇oral相关滤波类:

    • CA+CF: Matthias Mueller, Neil Smith, Bernard Ghanem. "Context-Aware Correlation Filter Tracking." CVPR (2017 oral). [paper] [project] [code]

    六篇相关滤波:

    • ECO: Martin Danelljan, Goutam Bhat, Fahad Shahbaz Khan, Michael Felsberg. "ECO: Efficient Convolution Operators for Tracking." CVPR (2017). [paper] [project] [github]

      • CSR-DCF:Alan Lukežič, Tomáš Vojíř, Luka Čehovin, Jiří Matas, Matej Kristan. "Discriminative Correlation Filter with Channel and Spatial Reliability." CVPR (2017). [paper]
      • LMCF: Mengmeng Wang, Yong Liu, Zeyi Huang. "Large Margin Object Tracking with Circulant Feature Maps." CVPR (2017). [paper] [zhihu]
      CFNet: Jack Valmadre, Luca Bertinetto, João F. Henriques, Andrea Vedaldi, Philip H. S. Torr. "End-to-end representation learning for Correlation Filter based tracking." CVPR (2017). [paper] [project] [github]

    ACFN: Jongwon Choi, Hyung Jin Chang, Sangdoo Yun, Tobias Fischer, Yiannis Demiris, and Jin Young Choi. "Attentional Correlation Filter Network for Adaptive Visual Tracking." CVPR (2017). [paper] [project] [test code] [training code]

    其他四篇:

    • RaF: Le Zhang, Jagannadan Varadarajan, Ponnuthurai Nagaratnam Suganthan, Narendra Ahuja and Pierre Moulin. "Robust Visual Tracking Using Oblique Random Forests." CVPR (2017). [paper] [project] [code]

    • ADNet: Sangdoo Yun, Jongwon Choi, Youngjoon Yoo, Kimin Yun, Jin Young Choi. "Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning ." CVPR (2017 Spotlight). [paper] [project]

    • BranchOut: Bohyung Han, Jack Sim, Hartwig Adam. "BranchOut: Regularization for Online Ensemble Tracking with Convolutional Neural Networks." CVPR (2017).

    • Donghun Yeo, Jeany Son, Bohyung Han, Joonhee Han. "Superpixel-based Tracking-by-Segmentation using Markov Chains." CVPR (2017).

    •  

       

       

       


      参考链接:https://www.zhihu.com/question/26493945/answer/156025576(来源:知乎)
    展开全文
  • 最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知,目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。
  • 本文采用内容分析法,对国内公开发表的深度学习相关学术、学位论文进行统计分析,从文献年度分布、文献来源、研究热点、研究内容和发展趋势五个方面依次解读,以期总结我国深度学习研究现状,发现问题,提出建议。
  • 研究生的文献综述

    千次阅读 2018-12-20 18:49:58
    文献综述是作者围绕某一专题在一段时期内的代表性文献进行归纳整理、融会贯通、分析评述的综合性论文,具有传承性、开放性、先进性等特点,能预测某一研究方向的未来发展趋势。  1 文献综述具有学术研究的传承性 ...

         文献综述是作者围绕某一专题在一段时期内的代表性文献进行归纳整理、融会贯通、分析评述的综合性论文,具有传承性、开放性、先进性等特点,能预测某一研究方向的未来发展趋势。

         1  文献综述具有学术研究的传承性

    文献综述是研究生学位论文不可或缺的基础环节,是科学研究的起点,是研究生步入学术殿堂应具备的基本技能和素养,具有“承前启后、继往开来冶的作用,其质量直接影响研究生学位论文的水平。对研究生而言,无论是论文写作还是科学研究,文献综述都是不可或缺的基础环节。

          研究生的文献综述通常是在导师指导下,广泛阅读国内外文献,归纳总结前人某领域已完成的研究成果,并进行系统的整理和逻辑分析,理清所研究问题“从哪里来,到哪里去冶,把握研究前沿和争论焦点,在此基础上,围绕自己感兴趣的主题构建问题框架体系,激发探求解决问题的新思路,绘制研究问题的初步路线图。文献综述本身也是科学研究的一部分,是一种起步型的研究训练,是对前人研究成果的传承。从本质上讲,一个完整的知识体系是人类历经多年不懈探索、点滴累积的智慧结晶,不同时代、不同人群从事的科学研究传承衔接、密不可分,前人的研究工作为后人的研究奠定了知识和方法学基础,供后人吸纳借鉴,成为后人进一步探究科学真谛的基。

           2  文献综述具有学术研究的开放性

           学术研究的开放性就是要能“海纳百川,有容乃大冶,这不仅是学人治学的基本要求,也是一门学科不断发展壮大的基础。德国大学科学研究的开放性、国际化特征是现代学术研究的典型代表,科研小组通常是“国际大家庭冶模式。小组中“外国人冶占很大比例,来自各国的新颖思维在这里相互充分碰撞,迸发出奇异的创新火花,体现现代科学研究的显著特征。众所周知,学术研究乃天下公器,没有国界,需要一代又一代学者的不懈努力、开拓进取,只有以开放的态度承载前人研究的智慧,才能使人类的研究成果世代延续、薪火相传。任何一篇论文、一项研究成果都是人类探索知识奥秘过程中的一个中间环节,在一定程度上代表着探求真理的能力和水平,即使是公认的重大成就,在人类历史上闪耀着夺目的光辉,也无法做到尽善尽美,更不可能是学术终结。.

          3  文献综述具有先进性,能激发出创新的火花

            创新是一个民族进步的灵魂,是一个国家兴旺发达的不竭动力。创新能力培养是研究生教育的中心环节,而文献综述是培养研究生创新思维、创新实践的启动途径。研究生在导师指导下,通过短时间内对已发表研究文献或取得的研究成果进行“再研究冶,克服单一文献研究的局限性,属“研究之研究冶,揭示了不同阶段、不同学者研究成果的关联性,是站在巨人的肩膀上向上攀登,站在这个高度以新时代年轻人丰富的想象力思考问题、提出设想,本身就是一种创新思维,使研究生逐步具备敏锐的洞察力和捕捉机会的能力。文献是先贤留给我们的宝贵遗产,文献综述是重温前人的研究结果,汲取先贤的思想精髓,充分领会蕴藏在前人研究成果的“宝藏价值冶,要有历史感、厚重感,要有相当的深度,即小题大做,写深写透,不使自己的文献综述像轻飘飘的浮云;同时,在理解原文、融会贯通的基础上提出质疑,利用探求知识的好奇心剖析其不足和局限性,把握正确的研究方向,踏着前人的足迹少走弯路,觅出实现突破的路径和超越的方法,立意新颖,避免犯重复研究等低级错误,这本身就是一种创新实践,其最显著的特点是对未来研究方向、发展目标具有预测性,对自身后期将要从事的选题、实验研究有很好的借鉴作用。

     

    展开全文
  • 深度学习研究综述

    2019-01-15 07:51:20
    深度学习研究综述,一定程度上帮助大家了解深度学习的发展过程和发展现状。
  • 本体研究综述

    2018-11-12 19:23:02
    很好的学习本体的综述文章 ... 本文作者对目前 OntOIOgy 的研究与应用现状进行了综述性地介绍, 从 OntOIOgy 的定义、 OntOIOgy 理论研究、 OntOIOgy 在信息系统中的应用以及在语义 Web 中的地位等方面加以了系统阐述。
  • 人脸识别研究综述

    万次阅读 2015-08-27 10:58:15
    摘要:在过去的20年里,研究者提出很多人脸识别的方法。大多数研究者运用了整张人脸来做识别,基本技术路线都是提取人脸特征然后并对。然而在实际的场景中,人脸可能被障碍物遮挡,那么我们就必须识别人的部分脸,...

    摘要:在过去的20年里,研究者提出很多人脸识别的方法。大多数研究者运用了整张人脸来做识别,基本技术路线都是提取人脸特征然后并对。然而在实际的场景中,人脸可能被障碍物遮挡,那么我们就必须识别人的部分脸,部分脸识别大多基于脸部关键点进行识别。本文意在总结基于人脸关键点的全脸和部分脸的识别方法。

    1.引言
          近20年,大量的人脸识别方法被提出,在一些可控制的条件下,这些方法在一些公开的数据库上都取得了非常好的结果。这些方法大多以整张脸做为识别对象。之前数年,研究者利用LBP,Gabor,PCA,NN,HOG来提取人脸特征.然而人脸非常容易被遮挡,那么这些全局特征将失效,因此识别部分脸将成为人脸识别的关键。部分脸如图1所示。因此我们迫切需要一些方法来解决部分脸的识别问题,而且这些方法对人脸的适度变化具有鲁棒性。使人脸识别能更好地应用于实际的场景中,具有重要的应用价值。 这里写图片描述

    图1 一些部分遮挡的人脸样本。(a)LFW数据库中部分遮挡的人脸样本。(b)AR数据库部分遮挡的人脸样本。

           人脸识别具有重要的学术价值,人脸是一类相当复杂的细节变化的自然结构目标,此类目标的识别的挑战性在于:(1)外界光线变化或者表情变化。(2)在真实的环境中,可能存在眼镜,胡须,化妆或者口罩或者其他物体的遮挡。(3)物体遮挡导致在复杂的环境中难以检测出人脸。

    2.全脸识别
           这儿不介绍全局LBP,Gabor,PCA,NN,HOG来提取人脸的方法,主要介绍下基于关键点的高维人脸特征提取方法[1],事实证明该方法的效果非常好。高维特征提取的关键在于对人脸的关键点的定位,然后对倾斜的人脸进行矫正,那么标定人脸的关键点的位置就是关键,D,C等人主要标定了人脸的眼睛,鼻子,嘴巴等关键点,运用了[2][3]的方法来对人脸进行对齐。高维的含义是提取了多关键点和多尺度的特征。如图2所示。

    这里写图片描述
    图2. (a)在人脸上定位关键点。(b)多尺度定位关键点的感兴趣区域并分块。

          每一个关键点周围固定大小的正方形的感兴趣区域,如图2(b)所示。对每个子区域提取如LBP,Gabor,SIFT,LE,HOG等特征。对原始的人脸缩放一个单位尺度,同样加上一个固定的大小的框,再对子区域提取相应的特征,依次缩小尺度提取特征。其他的关键点也做相应的操作。
          但是这样操作的话会造成维数灾难,而且不容易在数据上进行存储,对于一个嵌入式的系统,需要很大的存储空间,尤其是对一些存储空间比较小的便携式的设备。因此我们需要一个稀疏的转换矩阵,稀疏矩阵需要的存储空间小,[1]利用风险最小化的方式对得到一个稀疏转换矩阵B。图3是提取特征和特征降维的过程。

    这里写图片描述

    图3 特征提取和降维的示图(X代表原始的串联的特征,Y代表降维后的特征。B代表稀疏转换矩阵)。

          训练样本中降维后的特征可以根据PCA,把X当做输入,Y当做输出,有下面的损失函数。

    minB,R  ||RTYBTX||22+λ||B||1
    s.t    RTR=I

    λ为正则化系数,上式可以通过最优化的算法解出BT
    最后我们保存的特征就为Y。图4是识别率在不同特征下随着提取特征维度的变化曲线。

    这里写图片描述
    算法缺点:只适合没有遮挡,缺失的人脸。

    3.部分脸识别
       与上述完全人脸识别不同的是,部分人脸的信息缺失导致一些特征无法提取,在我们进行人脸识别前我们需要知道人脸的那部分缺失了,缺失的程度有多大。这就是一个难题了。Renliang Weng等人[4]利用SIFT关键点位置信息和纹理信息来对人脸进行识别,关键在于对人脸的校正。对图像不断的进行仿射变换,使完全脸和部分脸的关键点算子之间距离和以及纹理特征之间的距离达到全局最小,这样完成对图像的校正,如图5所示。

    这里写图片描述
    图五: 图像校正的过程

    最后通过比对待识别的部分人脸与数据中的人脸作比较。
    这个方法的缺点在于:第一:每次迭代需要的时间长,导致人脸识别的效率比较低,第二:实验是在已经切割好的人脸图像上做的,最关键的检测部分人脸将成为实际场景识别人脸的关键。

    Shengcai Liao[5]提出了一种不需要人脸对齐的一种人脸识别方法,他使用一些关键区域作为识别对象,对关键部分进行取子块划分,使用Gabor滤波器提取几个方向的特征然后用PCA降维,最后用稀疏编码把这些特征组成一个字典,最后关键部位来匹配这些人脸。
    疑问:第一:如果关键部位被遮挡严重将会提取不到这些关键的特征导致人脸识别不出来。第二:部分人脸检测依旧是问题。

    结论:现有的方法是以关键点或者关键位置来做人脸识别,已经取得了一些好的效果,但是如果当这些关键点或者关键位置被遮挡,这些算法可能不鲁棒,而我们需要做的是在做人脸检测的时候,我们需要知道人脸的哪些部位被遮挡,哪些部位未被遮挡,对未遮挡的部位提取特征与数据库比对,关键在于我们只能提取局部的特征。

    参考文献:
    [1]Blessing of Dimensionality: High-dimensional Feature and Its Efficient Compression for Face Verification.
    [2]P. Belhumeur, D. Jacobs, D. Kriegman, and N. Kumar. Localizingparts of faces using a consensus of exemplars. In CVPR, pages 545–552. IEEE, 2011. 2
    [3]X. Cao, Y. Wei, F. Wen, and J. Sun. Face alignment by explicit shape regression. In Computer Vision and Pattern Recognition, pages 2887 –2894, June 2012. 1, 2
    [4]Robust feature set matching for partial face recognition
    [5]Partial Face Recognition Alignment-Free Approach

    展开全文
  • 【SDN】研究综述

    2019-10-26 17:16:54
    SDN起源于2006年斯坦福大学的Clean Slate研究课题。 2007年斯坦福大学生Martin Casado领导了一个关于网络安全与管理的项目Ethane,该项目试图通过一个控制器,让网络管理员可以方便地定义给予网络流的安全策略,并...

    SDN(Software Defined Network)简介

    SDN起源于2006年斯坦福大学的Clean Slate研究课题。
    2007年斯坦福大学生Martin Casado领导了一个关于网络安全与管理的项目Ethane,该项目试图通过一个控制器,让网络管理员可以方便地定义给予网络流的安全策略,并将这种策略应用到各种网络设备中,实现对整个网络通讯的安全控制。
    2008年,基于Ethane和前续项目Sane的启发,Nick Mcown教授等人提出了OpenFlow的概念,发表了首篇详细介绍OpenFlow概念的论文:《OpenFlow:Enabling Innovation in Campus Networks》
    SDN特点是控制转发分离、集中式控制、可编程、开放接口、虚拟化。解决了传统计算机网络硬件不开放、不可编程等带来的问题。SDN可以说是一种技术,也可看做是一种思想。

    推动SDN发展的协会

    ONF(Open Networking Foundation):开放网络联盟,于2011年成立,是最早的SDN组织,创始成员主要是Google、Facebook、微软、雅虎等互联网公司,后期加入了腾讯、华为、中心、中国移动等。旨在推动SDN的标准化(ONF Plugfest),制定并发布OpenFlow技术标准。
    ODL(OpenDayLight):成立于2013年4月,由思科联手IBM、Juniper、BigSwitch、Broadcade、Redhat、VMware、NEC、Arista、惠普、英特尔、Citrix、Ericsson等发起,成员主要是网络厂商,ODL主要是为了打造一个开源的SDN平台框架,包括网络应用和服务、北向接口、控制器、南向接口等,更简单一点,就是提供开源网络操作系统,目前最核心的是做了行业默认标准的OpenDayLight控制器。
    ONOS(Open Network Operate System):开放网络操作系统,与2014年11月成立,创世成员主要包括ON.LAB、AT&T、NTT、华为、爱立信、富士通、NEC、Ciena、Intel,成员主要来自运营商,旨在为运营商用户提供开源网络控制器,目前核心工作主要是做出了面向运营商的ONOS系统,与ODL控制器正面竞争
    NFV(Network Function Virtualization):网络功能虚拟化,成立于2012年10月,由AT&T、英国电信、德国电信、中国移动等成员提出,成员主要来自运营商,该组织所属欧洲电信标准协会ETSI,致力于IT设备虚拟化,提高运营能力降低运营成本。

    SDN相关研究

    当前SDN的研究分别集中在SDN的三层架构上。大致方向有:多控制器协同可扩展性的问题,网络故障检测,控制器安全控制,策略编排,流表优化等方向。其中数据层的研究方向有转发规则、交换机设计等;控制层的研究方向有控制器设计、北向接口语言、一致性、安全性等。在应用层的研究方向有数据中心节能、流量监控等。对于SDN自身的发展还包括SDN可扩展性研究、SDN网络安全研究、SDN与其他网络架构融合、SDN与大数据融合等方向。以下是近些年对上述研究方向进行研究的相关论文。

    1. 孙晨, 毕军, 郑智隆, et al. MicroNF:基于微服务的异构网络功能虚拟化框架[J]. 通信学报, 2019(8),清华大学信息科学技术学院.该文章提出一种名为MicroNF的新型高性能可编程框架,将可编程硬件基础设施与NFV中的传统软件基础设施相结合,实现了高性能和灵活性。该框架借鉴了微服务思想,从NFV的服务链中删除了冗余处理逻辑,以提高服务链性能。
    2. 付永红, 毕军, 张克尧, et al. 软件定义网络可扩展性研究综述[J]. 通信学报, 2017(7),清华大学信息科学技术学院.该文章主要对SDN可扩展性研究进行了描述,指出了当前可扩展性的研究进展和性能可扩展评价,从性能、规模方面对国内外的研究进行了充分介绍和多种评价度量方式。
    3. 于洋, 王之梁, 毕军, et al. 软件定义网络中北向接口语言综述[J]. 软件学报, 2016, 27(4).清华大学网络科学与网络空间研究院.该文详细介绍了北向接口语言特征和不同,为后续北向接口的研究工作指明方向。
    4. 杨洋, 杨家海, 秦董洪. 数据中心网络多路径路由算法[J]. 清华大学学报(自然科学版), 2016(3),清华大学网络科学与网络空间研究院.该文章提出了一种基于多路径传输的动态路由算法Dramp。作为SDN应用层流量均衡策略,完成细粒度的流量均衡,并很好的克服控制器的额外开销。
    5. 池亚平, 莫崇维, 杨垠坦, et al. 陈纯霞.面向软件定义网络架构的入侵检测模型设计与实现[J]. 计算机应用,2019(10),西安电子科技大学通信工程学院.由于控制器在SDN网络中占有重要位置,对控制器的安全控制研究是重要的课题。该文章通过对流表进行特征提取,训练神经网络来对入侵进行检测。
    6. 周阳. 基于SDN的网络安全防御关键技术研究[D], 2018.北京邮电大学网络空间安全学院.该文章针对SDN网络南向接口面临DDoS安全威胁问题提出了安全监测方案。
    7. 苑婷婷. 面向SDN过渡的节点迁移及优化方法的研究[D]. 2018.北京邮电大学网络技术研究院.本文分别研究了转发层过渡节点迁移策略,控制层控制器放置策略和应用层网络资源分配策略。提出了基于深度强化学习的混合SDN资源分配策略。
    8. 谢坤. SDN环境下数据中心网络能源优化机制的研究[D]. 2018.北京邮电大学网络技术研究院.该文章研究了SDN环境下DCN数据平面节能优化算法和DCN弹性拓扑机制,属于数据中心节能方向的研究。
    9. Program Chair-Rexford J , Program Chair-Vahdat A . Proceedings of the 1st ACM SIGCOMM Symposium on Software Defined Networking Research[C]// Acm Sigcomm Symposium on Software Defined Networking Research. ACM, 2015.Jennifer教授团队提出了Ravana,一种控制器与交换机数据一致性的协议,事件在交换机与控制器之间采用数据库事务的思想来管理,记录事件执行和完成的顺序。这种设计不但保障了控制器状态的一致性,也同步了交换机的状态数据,使得无论控制器还是交换机发生故障时,都不会影响到业务的正常进行,从而实现无故障的应用运行。
    展开全文
  • 而在不同类型的深度神经网络模型中,卷积神经网络获得了最广泛的研究。本文首先介绍卷积神经网络的基本概念、结构组成和对应的功能,然后介绍常见的结构模型和在人工智能下的众多领域的应用,最后分析其不足和未来的...
  • 爬虫技术研究综述

    千次阅读 2008-12-25 08:39:00
    爬虫技术研究综述 整理:Ackarlix挨踢网【中文IT技术社区】http://www.aitic.net 引言 随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search ...
  • 信息可视化研究综述,程时伟,孙守迁,近年来,信息可视化技术逐渐成为计算机科学领域的一个研究热点。本文阐述了信息可视化的基本概念和参考模型,对可视化变量的特征��
  • 卷积神经网络研究综述(周飞燕等)
  • 知识图谱研究综述

    千次阅读 2018-11-16 14:01:25
    清华大学李涓子教授“知识图谱研究综述”一文的阅读笔记。 内容: 1. 概念 2. 现有的知识图谱资源 3. 知识表示 4. 知识图谱构建 5. 应用 知识图谱旨在描述客观世界的概念、实体、事件及其间的关系。 ...
  • 本体研究初学者可以下着看一看,本资源不要资源分,是关于本体的研究综述,或说ontology研究综述
  • 三维模型检索研究综述,郭爽,冷彪,当前信息化浪潮中,三维建模技术深刻改变着我们的生活。三维模型检索作为三维建模的关键技术,被广泛应用于计算机辅助设计、面部识�
  • 基于深度学习的行人重识别研究综述 罗浩.ZJU 1 个月前 原文:独家 | 基于深度学习的行人重识别研究综述 作者:罗浩 备注:为雷锋网/AI 科技评论写的一篇文章,原文没有公式编辑器,所以在知乎上...
  • 来自:AI自然语言处理与知识图谱知识图谱研究综述知识图谱研究综述论文:A Survey on Knowledge Graphs: Representation, Acquisition ...
  • 命名实体识别研究综述

    千次阅读 2019-04-15 00:35:18
    命名实体识别研究进展综述 1 引 言 命名实体识别(Named Entity Recognition,NER)的主要任务是识别出文本中的人名、地名等专有名称和意义的时间、日期等数量短语并加以归类[1]。命名实体识别技术是信息抽取、信息...
  • 对数据质量研究涉及的两个主要方面,即数据质量评估和数据质量提高技术的各种方法进行了比较和分析,并对代 表性的数据质量提高工具进行了介绍。最后提出了一个评估驱动的数据质量提高框架,并对数据质量研究方向...
  • 信息抽取研究综述

    千次阅读 2007-03-16 13:28:00
    信息抽取研究综述ж 李保利 陈玉忠 俞士汶(北京大学计算机科学与技术系 计算语言学研究所 北京 100871)摘要:信息抽取研究旨在为人们提供更有力的信息获取工具,以应对信息爆炸带来的严重挑战。与信息检索不同,...

空空如也

1 2 3 4 5 ... 20
收藏数 33,135
精华内容 13,254
关键字:

研究综述