图像物体分类与检测算法综述
 
  
 
   
转自《计算机学报》
 
  
 
  
目录
 
  

  

   
 
    

      
图像物体分类与检测算法综述
        
目录
图像物体分类与检测概述
物体分类与检测的难点与挑战
物体分类与检测数据库
物体分类与检测发展历程
 
 
 
   
 
  
 
  
 
  
图像物体分类与检测是计算机视觉研究中的两个重要的基本问题，也是图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。 
 本文从物体分类与检测问题的基本定义出发，首先从实例、类别、语义三个层次对物体分类与检测研究中存在的困难与挑战进行了阐述。 
 接下来，本文以物体检测和分类方面的典型数据库和国际视觉竞赛PASCAL VOC为主线对近年来物体分类与检测的发展脉络进行了梳理与总结，指出表达学习和结构学习分别对于物体分类与检测的作用。 
 最后本文对物体分类与检测的发展方向进行了思考和讨论，探讨了这一领域下一步研究的方向。
 
  
关键词 物体分类 物体检测 计算机视觉 特征表达 结构学习 
 
  
 
  
 
   
图像物体分类与检测概述
 
  
 
  
物体分类与检测是计算机视觉、模式识别与机器学习领域非常活跃的研究方向。物体分类与检测在很多领域得到广泛应用，包括安防领域的人脸识别、行人检测、智能视频分析、行人跟踪等，交通领域的交通场景物体识别、车辆计数、逆行检测、车牌检测与识别，以及互联网领域的基于内容的图像检索、相册自动归类等。
 
  
可以说，物体分类与检测已经应用于人们日常生活的方方面面，计算机自动分类与检测技术也在一定程度了减轻了人的负担，改变了人类生活方式。计算机视觉理论的奠基者，英国神经生理学家马尔认为，视觉要解决的问题可归结为“What is Where”，即什么东西在什么地方，即计算机视觉的研究中，物体分类和检测是最基本的研究问题之一。
 
  
如图 1 所示，给定一张图片，物体分类要回答的问题是这张图片中是否包含某类物体（比如牛）；物体检测要回答的问题则是物体出现在图中的什么地方，即需要给出物体的外接矩形框，如图 1(b)所示。
 
  
物体分类与检测的研究，是整个计算机视觉研究的基石，是解决跟踪、分割、场景理解等其他复杂视觉问题的基础。欲对实际复杂场景进行自动分析与理解，首先就需要确定图像中存在什么物体（分类问题），或者是确定图像中什么位置存在什么物体(检测问题)。鉴于物体分类与检测在计算机视觉领域的重要地位，研究鲁棒、准确的物体分类与检测算法，无疑有着重要的理论意义和实际意义。
 
  
 
  
 
  
本文从物体分类与检测问题的基本定义出发，首先从实例、类别、语义三个层次对物体分类与检测研究中存在的困难与挑战进行了阐述。接下来，本文以物体检测和分类方面的主流数据库和国际视觉竞赛 PASCAL VOC 竞赛为主线对近年来物体分类与检测算法的发展脉络进行了梳理与总结，指出物体分类与检测算法的主流方法：基于表达学习和结构学习。在此基础上，本文对物体分类与检测算法的发展方向进行了思考和讨论，指出了物体检测和物体分类的有机统一，探讨了下一步研究的方向。
 
  
 
   
物体分类与检测的难点与挑战
 
  
 
  
物体分类与检测是视觉研究中的基本问题，也是一个非常具有挑战性的问题。物体分类与检测的难点与挑战在本文中分为三个层次：实例层次、类别层次、语义层次，如图 2 所示。
 
  
 
  
实例层次: 
 针对单个物体实例而言，通常由于图像采集过程中光照条件、拍摄视角、距离的不同，物体自身的非刚体形变以及其他物体的部分遮挡使得物体实例的表观特征产生很大的变化，给视觉识别算法带来了极大的困难。
 
  
类别层次: 
 困难与挑战通常来自三个方面，首先是类内差大，也即属于同一类的物体表观特征差别比较大，其原因有前面提到的各种实例层次的变化，但这里更强调的是类内不同实例的差别，例如图 3(a)所示，同样是椅子，外观却是千差万别，而从语义上来讲，有“坐”的功能的器具都可以称椅子；其次是类间模糊性，即不同类的物体实例具有一定的相似性，如图 3(b)所示，左边的是一只狼，右边的是一只哈士奇，但我们从外观上却很难分开二者；再次是背景的干扰，在实际场景下，物体不可能出现在一个非常干净的背景下，往往相反，背景可能是非常复杂的、对我们感兴趣的物体存在干扰的，这使得识别问题的难度大大加大。 
 本文从物体分类与检测问题的基本定义出发，首先从实例、类别、语义三个层次对物体分类与检测研究中存在的困难与挑战进行了阐述。 
 接下来，本文以物体检测和分类方面的主流数据库和国际视觉竞赛 PASCAL VOC 竞赛为主线对近年来物体分类与检测算法的发展脉络进行了梳理与总结，指出物体分类与检测算法的主流方法：基于表达学习和结构学习。在此基础上，本文对物体分类与检测算法的发展方向进行了思考和讨论，指出了物体检测和物体分类的有机统一，探讨了下一步研究的方向。
 
  
语义层次: 
 困难与挑战与图像的视觉语义相关，这个层次的困难往往非常难以处理，特别是对现在的计算机视觉理论水平而言。一个典型的问题称为多重稳定性。如图所示，图 3(c)左边既可以看成是两个面对面的人，也可以看成是一个燃烧的蜡烛；右边则同时可以解释为兔子或者小鸭。同样的图像，不同的解释，这既与人的观察视角、关注点等物理条件有关，也与人的性格、经历等有关，而这恰恰是视觉识别系统难以很好处理的部分。
 
  
 
  
 
  
 
   
物体分类与检测数据库
 
  
 
  
数据是视觉识别研究中最重要的因素之一，通常我们更多关注于模型、算法本身，事实上，数据在视觉任务的作用正越来越明显，大数据时代的到来，也使得研究人员开始更加重视数据。在数据足够多的情况下，我们甚至可以使用最简单的模型、算法，比如最近邻分类，朴素贝叶斯分类器都能得到很好的效果。鉴于数据对算法的重要性，我们将在本节对视觉研究中物体分类与检测方面的主流数据进行概述，从中也可以一窥目标分类、检测的发展。在介绍不同数据库时，将主要从数据库图像数目、类别数目、每类样本数目、图像大小、分类检测任务难度等方面进行阐述，如表 3 中所示。 
 早期物体分类研究集中于一些较为简单的特定任务，如 OCR、形状分类等。OCR 中数字手写识别是一个得到广泛研究的课题，相关数据库中最著名的是 MNIST数据库。MNIST 是一个数字手写识别领域的标准评测数据集，数据库大小是60000，一共包含 10 类阿拉伯数字，每类提供 5000张图像进行训练，1000 张进行测试。MNIST 的图像大小为 28×28，即 784 维，所有图像手写数字，存在较大的形变。形状分类是另一个比较重要的物体分类初期的研究领域，相关数据库有 ETHZ Shape Classes，MPEG-7等。其中 ETHZ ShapeClasses 包含 6 类具有较大差别的形状类别：苹果、商标、瓶子、长颈鹿、杯子、天鹅，整个数据库包含 255 张测试图像。
 
  
CIFAR-10&CIFAR-100 数 据 库 是 Tiny images的两个子集，分别包含了 10 类和 100 类物体类别。这两个数据库的图像尺寸都是 32×32，而且是彩色图像。CIFAR-10 包含 6 万的图像，其中 5 万用于模型训练，1 万用于测试，每一类物体有 5000 张图像用于训练，1000 张图像用于测试。
 
  
CIFAR-100 与 CIFAR-10 组成类似，不同是包含了更多的类别：20 个大类，大类又细分为 100 个小类别，每类包含 600 张图像。CIFAR-10 和 CIFAR-100数据库尺寸较小，但是数据规模相对较大，非常适合复杂模型特别是深度学习模型训练，因而成为深度学习领域主流的物体识别评测数据集。
 
  
Caltech-101是第一个规模较大的一般物体识别标准数据库，除背景类别外，它一共包含了 101类物体，共 9146 张图像，每类中图像数目从 40 到800 不等，图像尺寸也达到 300 左右。Caltech-101是以物体为中心构建的数据库，每张图像基本只包含一个物体实例，且居于图像中间位置，物体尺寸相对图像尺寸比例较大，且变化相对实际场景来说不大，比较容易识别。Caltech-101 每类的图像数目 
 差别较大，有些类别只有很少的训练图像，也约束了 可以使 用的训 练集大小 。
 
  
Caltech 256 与Caltech-101 类似，区别是物体类别从 101 类增加到了 256 类，每类包含至少 80 张图像。图像类别的增加，也使得 Caltech-256 上的识别任务更加困难，使其成为检验算法性能与扩展性的新基准。15Scenes 是由 Svetlana Lazebnik 在 FeiFei Li 的13 Scenes 数据库的基础上加入了两个新的场景构成的，一共有 15 个自然场景，4485 张图像，每类大概包含 200 到 400 张图像，图像分辨率约为300 × 250。15 Scenes 数据库主要用于场景分类评测，由于物体分类与场景分类在模型与算法上差别不大，该数据库也在图像分类问题上得到广泛的使用。
 
  
PASCAL VOC 从 2005 年到 2012 年每年发布关于分类、检测、分割等任务的数据库，并在相应数据库上举行了算法竞赛，极大地推动了视觉研究的发展进步。最初 2005 年 PASCAL VOC 数据库只包含人、自行车、摩托车、汽车 4 类，2006 年类别数目增加到 10 类，2007 年开始类别数目固定为 20 类，以后每年只增加部分样本。PASCAL VOC数据库中物体类别均为日常生活常见的物体，如交通工具、室内家具、人、动物等。PASCAL VOC 2007数据库共包含 9963 张图片，图片来源包括 Filker等互联网站点以及其它数据库，每类大概包含96-2008 张图像，均为一般尺寸的自然图像。PASCAL VOC 数据库与 Caltech-101 相比，虽然类别数更少，但由于图像中物体变化极大，每张图像可能包含多个不同类别物体实例，且物体尺度变化很大，因而分类与检测难度都非常大。该数据库的提出，对物体分类与检测的算法提出了极大的挑战，也催生了大批优秀的理论与算法，将物体识别研究推向了一个新的高度。
 
  
随着分类与检测算法的进步，很多算法在以上提到的相关数据库上性能都接近饱和，同时随着大数据时代的到来，硬件技术的发展，也使得在更大规 模 的 数 据 库 进 行 研 究 和 评 测 成 为 必 然 。
 
  
ImageNet是由 FeiFei Li 主持构建的大规模图像数据库，图像类别按照 WordNet 构建，全库截至2013 年共有 1400 万张图像，2.2 万个类别，平均每类包含 1000 张图像。这是目前视觉识别领域最大的有标注的自然图像分辨率的数据集，尽管图像本身基本还是以目标为中心构建的，但是海量的数据和海量的图像类别，使得该数据库上的分类任务依然极具挑战性。除此之外，ImageNet 还构建了一个包含 1000 类物体 120 万图像的子集，并以此作为ImageNet 大尺度视觉识别竞赛的数据平台，逐渐成为物体分类算法评测的标准数据集。
 
  
SUN 数据库的构建是希望给研究人员提供一个覆盖较大场景、位置、人物变化的数据库，库中的场景名是从 WordNet 中的所有场景名称中得来。SUN 数据库包含两个评测集，一个是场景识别数据集，称为 SUN-397，共包含 397 类场景，每类至少包含 100 张图片，总共有 108,754 张图像。另一个评测集为物体检测数据集，称为 SUN2012,包含 16,873 张图像。Tiny images是一个图像规模更大的数据库，共包含 7900 万张 32×32 图像，图像类别数目有 7.5 万，尽管图像分辨率较低，但还是具有较高的区分度，而其绝无仅有的数据规模，使其成为大规模分类、检索算法的研究基础。我们通过分析表 1 可以看到，物体分类的发展过程中，数据库的构建大概可以分为 3 个阶段，经历了一个从简单到复杂，从特殊到一般，从小规模到大规模的跨越。
 
  
早期的手写数字识别 MNIST，形状分类 MPEG-7 等都是研究特定问题中图像分类，之后研究人员开始进行更广泛的一般目标分类与检 测 的 研 究 ， 典 型 的 数 据 库 包 括 15 场 景 ，Caltech-101/256, PASCAL VOC 2007 等；随着词包模型等算法的发展与成熟，更大规模的物体分类与检测研究得到了广泛的关注，这一阶段的典型数据库包括 SUN 数据库、ImageNet 以及 Tiny 等。 
 近年来，数据库构建中的科学性也受到越来越多的关注，Torralba 等人对数据库的 Bias、泛化性能、价值等问题进行了深入的讨论，提出排除数据库构建过程中的选择偏好，拍摄偏好，负样本集偏好是构造更加接近真实视觉世界的视觉数据库中的关键问题。伴随着视觉处理理论的进步，视觉识别逐渐开始处理更加真实场景的视觉问题，因而对视觉数据库的泛化性、规模等也提出了新的要求和挑战。 
 我们也可以发现，物体类别越多，导致类间差越小，分类与检测任务越困难，图像数目、图像尺寸的大小，则直接对算法的可扩展性提出了更高的要求，如何在有限时间内高效地处理海量数据、进行准确的目标分类与检测成为当前研究的热点。
 
  
 
  
 
   
物体分类与检测发展历程
 
  
 
  
图像物体识别的研究已经有五十多年的历史。各类理论和算法层出不穷，在这部分，我们对物体分类与检测的发展脉络进行了简单梳理，并将其中里程碑式的工作进行综述。特别的，我们以国际视觉竞赛 PASCAL VOC竞赛为主线对物体分类与检测算法近年来的主要进展进行综述，这个系列的竞赛对物体分类检测的发展影响深远，其工作也代表了当时的最高水平。
 
  
物体分类 任务要求回答一张图像中是否包含某种物体，对图像进行特征描述是物体分类的主要研究内容。一般说来，物体分类算法通过手工特征或者特征学习方法对整个图像进行全局描述，然后使用分类器判断是否存在某类物体。
 
  
物体检测 任务则更为复杂，它需要回答一张图像中在什么位置存在一个什么物体，因而除特征表达外，物体结构是物体检测任务不同于物体分类的最重要之处。总的来说，近年来物体分类方法多侧重于学习特征表达，典型的包括词包模型(Bag-of-Words)、深度学习模型；物体检测方法则侧重于结构学习，以形变部件模型为代表。
 
  
这里我们首先以典型的分类检测模型来阐述其一般方法和过程，之后以 PASCAL VOC（包含 ImageNet)竞赛历年来的最好成绩来介绍物体分类和物体检测算法的发展，包括物体分类中的词包模型、深度学习模型以及物体检测中的结构学习模型，并分别对各个部分进行阐述。
 
  
 
   
4.1 基于词包模型的物体分类
 
  
 
  
从表 2 我们可以发现，词包模型是 VOC 竞赛中物体分类算法的基本框架，几乎所有的参赛算法都是基于词包模型。我们将从底层特征、特征编码、空间约束、分类器设计、模型融合几个方面来展开阐述。
 
  
词包模型(Bag-of-Words)最初产生于自然语言处理领域，通过建模文档中单词出现的频率来对文档进行描述与表达。Csurka 等人于 2004 年首次将词包的概念引入计算机视觉领域, 由此开始大量的研究工作集中于词包模型的研究，并逐渐形成了由下面四部分组成的标准目标分类框架：
 
  
1. 底层特征提取
 
  
底层特征是物体分类与检测框架中的第一步，底层特征提取方式有两种：一种是基于兴趣点检测，另一种是采用密集提取的方式。
 
  
兴趣点检测算法通过某种准则选择具有明确定义的、局部纹理特征比较明显的像素点、边缘、角点、区块等，并且通常能够获得一定的几何不变性，从而可以在较小的开销下得到更有意义的表达，最常用的兴趣点检测算子有 Harris 角点检测子、FAST(Features from Accelerated Segment Test) 算子、LoG (Laplacian of Gaussian)、DoG (Difference ofGaussian)等。近年来物体分类领域使用更多的则是密集提取的方式，从图像中按固定的步长、尺度提取出大量的局部特征描述，大量的局部描述尽管具有更高的冗余度，但信息更加丰富，后面再使用词包模型进行有效表达后通常可以得到比兴趣点检测 更 好 的 性 能 。 
 常 用 的 局 部 特 征 包 括 SIFT(Scale-invariant feature transform，尺度不变特征转换)、HOG(Histogram of Oriented Gradient, 方向梯度直方图) 、LBP(Local Binary Pattern, 局部二值模式) 等。从表 2 可以看出，历年最好的物体分类算法都采用了多种特征，采样方式上密集提取与兴趣点检测相结合，底层特征描述也采用了多种特征描述子，这样做的好处是，在底层特征提取阶段，通过提取到大量的冗余特征，最大限度的对图像进行底层描述，防止丢失过多的有用信息，这些底层描述中的冗余信息主要靠后面的特征编码和特征汇聚得到抽象和简并。事实上，近年来得到广泛关注的深度学习理论中一个重要的观点就是手工设计的底层特征描述子作为视觉信息处理的第一步，往往会过早的丢失有用的信息，直接从图像像素学习到任务相关的特征描述是比手工特征更为有效的手段。
 
  
2.特征编码
 
  
密集提取的底层特征中包含了大量的冗余与噪声，为提高特征表达的鲁棒性，需要使用一种特征变换算法对底层特征进行编码，从而获得更具区分性、更加鲁棒的特征表达，这一步对物体识别的性能具有至关重要的作用，因而大量的研究工作都集中在寻找更加强大的特征编码方法，重要的特征编码算法包括向量量化编码、核词典编码、稀疏编码、局部线性约束编码、显著性编码、Fisher 向量编码、超向量编码等。最简单的特征编码是向量量化编码，它的出现甚至比词包模型的提出还要早。向量量化编码是通过一种量化的思想，使用一个较小的特征集合（视觉词典）来对底层特征进行描述，达到特征压缩的目的。向量量化编码只在最近的视觉单词上响应为 1，因而又称为硬量化编码、硬投票编码，这意味着向量量化编码只能对局部特征进行很粗糙的重构。但向量量化编码思想简单、直观，也比较容易高效实现，因而从 2005 年第一届PASCAL VOC 竞赛以来，就得到了广泛的使用。 
 在实际图像中，图像局部特征常常存在一定的模糊性，即一个局部特征可能和多个视觉单词差别很小，这个时候若使用向量量化编码将只利用距离最近的视觉单词，而忽略了其他相似性很高的视觉单词。为了克服这种 模糊性问题，Gemert 等提出了软量化编码（又称核视觉词典编码）算法，局部特征不再使用一个视觉单词描述，而是由距离最近的 K 个视觉单词加权后进行描述，有效解决了视觉单词的模糊性问题，提高了物体识别的精度。稀疏表达理论近年来在视觉研究领域得到了大量的关注，研究人员最初在生理实验中发现细胞在绝大部分时间内是处于不活动状态，也即在时间轴上细胞的激活信号是稀疏的。稀疏编码通过最小二乘重构加入稀疏约束来实现在一个过完备基上响应的稀疏性。 
 ℓ 约束是最直接的稀疏约束，但通常很难进行优化，近年来更多使用的是 ℓ 约束，可以更加有效地进行迭代优化，得到稀疏表达。2009 年杨建超等人 将稀疏编码应用到物体分类领域，替代了之前的向量量化编码和软量化编码,得到一个高维的高度稀疏的特征表达，大大提高了特征表达的线性可分性， 仅仅使用线性分类器就得到了当时最好的物体分类结果，将物体分类的研究推向了一个新的高度上。稀疏编码在物体分类上的成功也不难理解，对于一个很大的特征集合（视觉词典），一个物体通常只和其中很少的特征有关，例如，自行车通常和表达车轮、车把等部分的视觉单词密切相关，与飞机机翼、电视机屏幕等关系很小，而行人则通常在头、四肢等对应的视觉单词上有强响应。稀疏编码存在一个问题，即相似的局部特征可能经过稀疏编码后在不同的视觉单词上产生响应，这种变换的不连续性必然会产生编码后特征的不匹配，影响特征的区分性能。 
 局部线性约束编码的提出就是为了解决这一问题，它通过加入局部线性约束，在一个局部流形上对底层特征进行编码重构，这样既可以保证得到的特征编码不会有稀疏编码存在的不连续问题，也保持了稀疏编码的特征稀疏性。局部线性约束编码中，局部性是局部线性约束编码中的一个核心思想，通过引入局部性，一定程度上改善了特征编码过程的连续性问题，即距离相近的局部特征在经过编码之后应该依然能够落在一个局部流形上。 
 局部线性约束编码可以得到稀疏的特征表达，与稀疏编码不同之处就在于稀疏编码无法保证相近的局部特征编码之后落在相近的局部流形。从表 2 可以看出，2009 年的分类竞赛冠军采用了混合高斯模型聚类和局部坐标编码（局部线性约束编码是其简化版本），仅仅使用线性分类器就取得了非常好的性能。不同于稀疏编码和局部线性约束编码，显著性编码引入了视觉显著性的概念，如果一个局部特征到最近和次近的视觉单词的距离差别很小，则认为这个局部特征是不“显著的”，从而编码后的响应也很小。显著性编码通过这样很简单的编码操作，在 Caltech 101/256, PASCAL VOC 2007 等数据库上取得了非常好的结果，而且由于是解析的结果，编码速度也比稀疏编码快很多。黄等人发现显著性表达配合最大值汇聚在特征编码中有重要的作用，并认为这正是稀疏编码、局部约束线性编码等之所以在图像分类任务上取得成功的原因。 
 超向量编码，Fisher 向量编码是近年提出的性能最好的特征编码方法，其基本思想有相似之处，都可以认为是编码局部特征和视觉单词的差。 Fisher 向量编码同时融合了产生式模型和判别式模型的能力，与传统的基于重构的特征编码方法不同，它记录了局部特征与视觉单词之间的一阶差分和二阶差分。超向量编码则直接使用局部特征与最近的视觉单词的差来替换之前简单的硬投票。这种特征编码方式得到的特征向量表达通常是传统基于重构编码方法的M 倍（这里 M 是局部特征的维度）。尽管特征维度要高出很多，超向量编码和 Fisher 向量编码在PASCAL VOC、ImageNet 等极具挑战性、大尺度数据库上获得了最好的性能，并在图像标注、图像分类、图像检索等领域得到应用。 
 2011 年 ImageNet分类竞赛冠军采用了超向量编码，2012 年 VOC 竞赛冠军则是采用了向量量化编码和 Fisher 向量编码。
 
  
3.特征汇聚
 
  
空间特征汇聚是特征编码后进行的特征集整合操作，通过对编码后的特征，每一维都取其最大值或者平均值，得到一个紧致的特征向量作为图像的特征表达。这一步得到的图像表达可以获得一定的特征不变性，同时也避免了使用特征集进行图像表达的高额代价。最大值汇聚在绝大部分情况下的性能要优于平均值汇聚，也在物体分类中使用最为广泛。由于图像通常具有极强的空间结构约束，空间金字塔匹配 (Spatial Pyramid Matching, SPM)提出将图像均匀分块，然后每个区块里面单独做特征汇聚操作并将所有特征向量拼接起来作为图像最终的特征表达。空间金字塔匹配的想法非常直观，是金字塔匹配核 (Pyramid Matching Kernel, PMK) 的图像空间对偶，它操作简单而且性能提升明显，因而在当前基于词包模型的图像分类框架中成为标准步骤。实际使用中，在Caltech 101/256 等数据库上通常使用 1×1, 2×2, 4×4的空间分块，因而特征维度是全局汇聚得到的特征向量的 21 倍，在 PASCAL VOC 数据库上，则采用1×1,2×2,3×1 的分块，因而最终特征表达的维度是全局汇聚的8倍。
 
  
4.使用支持向量机等分类器进行分类
 
  
从图像提取到特征表达之后，一张图像可以使用一个固定维度的向量进行描述，接下来就是学习一个分类器对图像进行分类。这个时候可以选择的分类器就很多了，常用的分类器有支持向量机、K 近邻、神经网络、随机森林等。基于最大化边界的支持向量机是使用最为广泛的分类器之一，在图像分类任务上性能很好，特别是使用了核方法的支持向量机。杨建超等人提出了 ScSPM 方法，通过学习过完备的稀疏特征，可以在高维特征空间提高特征的线性可分性，使用线性支持向量机就得到了当时最好的分类结果，大大降低了训练分类器的时间和空间消耗。随着物体分类研究的发展，使用的视觉单词大小不断增大，得到的图像表达维度也不断增加，达到了几十万的量级。这样高的数据维度，相比几万量级的数据样本，都与传统的模式分类问题有了很大的不同。随着处理的数据规模不断增大，基于在线学习的线性分类器成为首选，得到了广泛的关注与应用。
 
  
 
   
4.2 深度学习模型
 
  
 
  
深度学习模型是另一类物体识别算法，其基本思想是通过有监督或者无监督的方式学习层次化的特征表达，来对物体进行从底层到高层的描述 。 主 流 的 深 度 学 习 模 型 包 括 自 动 编 码 器(Auto-encoder) 、受限波尔兹曼机(Restricted Boltzmann Machine, RBM)、深度信念网络(Deep Belief Nets, DBN)、卷积神经网络(Convolutional Neural Netowrks, CNN)、生物启发式模型等。
 
  
自动编码器(Auto-encoder)是上世纪 80 年代提出的一种特殊的神经网络结构，并且在数据降维、特征提取等方面得到广泛应用。自动编码器由编码器和解码器组成，编码器将数据输入变换到隐藏层表达，解码器则负责从隐藏层恢复原始输入。隐藏层单元数目通常少于数据输入维度，起着类似“瓶颈”的作用，保持数据中最重要的信息，从而实现数据降维与特征编码。自动编码器是基于特征重构的无监督特征学习单元，加入不同的约束，可以 得 到 不 同 的 变 化 ， 包 括 去 噪 自 动 编 码 器(Denoising Autoencoders)、 稀疏 自动编 码器(Sparse Autoencoders)等，在数字手写识别、图像分类等任务上取得了非常好的结果。
 
  
受限玻尔兹曼机是一种无向二分图模型，是一种典型的基于能量的模型(Enery-based Models,EBM)。之所以称为“受限”，是指在可视层和隐藏层之间有连接，而在可视层内部和隐藏层内部不存在连接。受限玻尔兹曼机的这种特殊结构，使得它具有很好的条件独立性，即给定隐藏层单元，可视层单元之间是独立的，反之亦然。这个特性使得它可以实现同时对一层内的单元进行并行 Gibbs 采样。受限玻尔兹曼机通常采用对比散度（Contrastive Divergence，CD算法进行模型学习。受限玻尔兹曼机作为一种无监督的单层特征学习单元，类似于前面提到的特征编码算法，事实上加了稀疏约束的受限玻尔兹曼机可以学到类似稀疏编码那样的Gabor 滤波器模式。
 
  
深度信念网络(DBN)是一种层次化的无向图模型。DBN 的基本单元是 RBM（Restricted Boltzmann Machine)，首先先以原始输入为可视层，训练一个单层的RBM，然后固定第一层 RBM 权重，以 RBM 隐藏层单元的响应作为新的可视层，训练下一层的 RBM，以此类推。通过这种贪婪式的无监督训练，可以使整个 DBN 模型得到一个比较好的初始值，然后可以加入标签信息，通过产生式或者判别式方式，对整个网络进行有监督的精调，进一步改善网络性能。DBN 的多层结构，使得它能够学习得到层次化的特征表达，实现自动特征抽象，而无监督预训练过程则极大改善了深度神经网络在数据量不够时严重的局部极值问题。Hinton 等人通过这种方式，成功将其应用于手写数字识别、语音识别、基于内容检索等领域。
 
  
卷积神经网络(CNN)最早出现在上世纪80 年代，最初应用于数字手写识别，取得了一定的成功。然而，由于受硬件的约束，卷积神经网络的高强度计算消耗使得它很难应用到实际尺寸的目标识别任务上。Wisel 和 Hubel 在猫视觉系统研究工作的基础上提出了简单、复杂细胞理论，设计卷积神经网络(CNN)最早出现在上世纪80 年代，最初应用于数字手写识别，取得了一定的成功。然而，由于受硬件的约束，卷积神经网络的高强度计算消耗使得它很难应用到实际尺寸的目标识别任务上。Wisel 和 Hubel 在猫视觉系统研究工作的基础上提出了简单、复杂细胞理论，设计这里我们将最为流行的词包模型与卷积神经网络模型进行对比，发现两者其实是极为相似的。在词包模型中，对底层特征进行特征编码的过程，实际上近似等价于卷积神经网络中的卷积层，而汇聚层所进行的操作也与词包模型中的汇聚操作一样。不同之处在于，词包模型实际上相当于只包含了一个卷积层和一个汇聚层，且模型采用无监督方式进行特征表达学习，而卷积神经网络则包含了更多层的简单、复杂细胞，可以进行更为复杂的特征变换，并且其学习过程是有监督过程，滤波器权重可以根据数据与任务不断进行调整，从而学习到更有意义的特征表达。从这个角度来看，卷积神经网络具有更为强大的特征表达能力，它在图像识别任 
 务中的出色性能就很容易解释了。
 
  
下面我们将以 PASCAL VOC 竞赛和 ImageNet竞赛为主线，来对物体分类的发展进行梳理和分析。2005 年第一届 PASCAL VOC 竞赛数据库包含了 4 类物体：摩托车、自行车、人、汽车, 训练集加验证集一共包含 684 张图像，测试集包含 689 张图像，数据规模相对较小。从方法上来说，词包模型开始在物体分类任务上得到应用，但也存在很多其他的方法，如基于检测的物体分类、自组织网络等。从竞赛结果来看，采用“兴趣点检测-SIFT 底层特征描述-向量量化编码直方图-支持向量机”得到了最好的物体分类性能。对数线性模型和logistic 回归的性能要略差于支持向量机，这也说明了基于最大化边缘准则的支持向量机具有较强的鲁棒性，可以更好得处理物体的尺度、视角、形变等变化。 
 2006 年玛丽王后学院的张等人使用词包模型获得了 PASCAL VOC 物体分类竞赛冠军。与以前不同，在底层特征提取上，他们采用了更多的兴趣点检测算法，包括 Harris-Laplace 角点检测和Laplacian 块检测。除此以外，他们还使用了基于固定网格的密集特征提取方式，在多个尺度上进行特征提取。底层特征描述除使用尺度不变的 SIFT 特征外，还使用了 SPIN image 特征。 
 词包模型是一个无序的全局直方图描述，没有考虑底层特征的空间信息，张等人采用了 Lazebnik 提出的空间金字塔匹配方法,采用 1×1, 2×2, 3×1 的分块，因而最终特征表达的维度是全局汇聚的 8 倍。另一个与之前不同的地方在于，他们使用了一个两级的支持向量机来进行特征分类，第一级采用卡方核 SVM对空间金字塔匹配得到的各个词包特征表达进行分类，第二级则采用 RBF 核 SVM 对第一级的结果进行再分类。通过采用两级的 SVM 分类，可以将不同的 SPM 通道结果融合起来，起到一定的通道选择作用。2007 年来自 INRIA 的 Marcin Marszałek 等人获得物体分类冠军，他们所用的方法也是词包模型，基本流程与 2006 年的冠军方法类似。不同在于，他们在底层特征描述上使用了更多的底层特征描述子，包括 SIFT, SIFT-hue, PAS edgel histogram等，通过多特征方式最大可能保留图像信息，并通过特征编码和 SVM 分类方式发掘有用信息成为物体分类研究者的共识。另一个重要的改进是提出了扩展的多通道高斯核，采用学习线性距离组合的方式确定不同 SPM 通道的权重， 并利用遗传算法进行优化。 
 2008 年阿姆斯特丹大学和萨里大学组成的队伍获得了冠军，其基本方法依然是词包模型。 
 有三个比较重要的不同之处，首先是他们提出了彩色描述子来增强模型的光照不变性与判别能力；其次是使用软量化编码替代了向量量化编码，由于在实际图像中，图像局部特征常常存在一定的模糊性，即一个局部特征可能和多个视觉单词相似性差别很小，这个时候使用向量量化编码就只使用了距离最近的视觉单词，而忽略了其他同样很相似的视觉单词。为了克服这种模糊性问题，Gemert提出了软量化编码（又称核视觉词典编码）算法，有效解决了视觉模糊性问题，提高了物体识别的精度。另外，他们还采用谱回归核判别分析得到了比支持向量机更好的分类性能。2009 年物体分类研究更加成熟，冠军队伍不再专注于多底层特征、多分类器融合，而是采用了密集提取的单 SIFT 特征，并使用线性分类器进行模式分类。他们的研究中心放在了特征编码上，采用了混合高斯模型 (Gaussian Mixture Model,GMM)和局部坐标编码(Local Coordinate Coding,LCC)两种特征编码方法对底层 SIFT 特征描述子进行编码，得到了高度非线性的、局部的图像特征表达，通过提高特征的不变性、判别性来改进性能。另外，物体检测结果的融合，也进一步提升了物体分类的识别性能。局部坐标编码提出的“局部性”概念，对物体分类中的特征表达具有重要的意义 ， 之 后 出 现 的 局 部 线 性 约 束 编 码(Locality-constrained linear coding，LLC)也是基于局部性的思想，得到了“局部的”、“稀疏的”特征表达，在物体分类任务上取得了很好的结果。 
 2010 年冠军依旧以词包模型为基础，并且融合了物体分割与检测算法。一方面通过多底层特征、向量量化编码和空间金字塔匹配得到图像的词包模型描述，另一方面，通过使 Mean shift、过分割、基于图的分割等过分割算法，得到Patch 级的词包特征表达。这两种表达作为视觉特征表达，与检测结果以多核学习的方式进行融合。 
 在分类器方面，除使用了 SVM 核回归外，还提出了基于排他上下文的 Lasso 预测算法。所谓排他上下文是指一个排他标签集合中至多只能出现一种类别。排他标签集合的构建使用 Graph Shift 方法，并采用最小重构误差加稀疏约束也即 Lasso 进行预测。排他上下文作为一种不同于一般共生关系的上下文，高置信度预测可以大大抑制同一排他标签集中其他类别的置信度，改善分类性能。 
 2011 年冠军延续了 2010 年冠军的基本框架。来自阿姆斯特丹大学的队伍从最显著窗口对于物体分类任务的作用出发，在词包模型基础上进行了新的探索。他们发现单独包含物体的图像区域可以得到比整个图像更好的性能，一旦物体位置确定，上下文信息的作用就很小了。在物体存在较大变化的情况下，部件通常比全局更具有判别性，而在拥挤情况下，成群集合通常要比单个物体更加容易识别。基于此，他们提出了包含物体部件，整个物体，物体集合的最显著窗口框架。检测模型训练使用人工标注窗口，预测使用选择性搜索定位。词包模型和最显著窗口算法融合得到最终的分类结果。 
 2012 年冠军延续了 2010 年以来的算法框架，在词包模型表达方面，使用了向量量化编码、局部约束线性编码、Fisher 向量编码替代原来的单一向量量化编码。这里有两个比较重要的改进，一个是广义层次化匹配算法。考虑到传统的空间金字塔匹配算法在物体对齐的假设下才有意义，而这在实际任务中几乎不能满足，为解决这个问题，他们使用 Side 信息得到物体置信图，采用层次化的方式对局部特征进行汇聚，从而得到更好的特征匹配。另一个重要的改进是子类挖掘算法，其提出的主要目的是改进类间模糊与类内分散的问题。 
 基本步骤是： 
 1）计算样本类内相似度； 
 2）计算类间模糊性； 
 3）使用 Graph Shift 算法来检测密集子图； 
 4）子图向子类的映射。
 
  
 
  
相比 PASCAL VOC 竞赛， ImageNet 竞赛的图像数据规模更大，类别数更多，对传统的图像分类、检测算法都是一个大的挑战。下面将近年 ImageNet竞赛的主流算法也做一个简要介绍。2010 年冠军由美国 NEC 研究院和 UIUC 获得，其方法基于词包模型，底层特征采用了密集提取的HOG 和 LBP 特征，特征编码算法使用了局部坐标编码和超向量编码，并且采用了空间金字塔匹配。最终图像的分类采用了基于平均随机梯度下降的大尺度 SVM。相比 PASCAL 竞赛算法，这里的算法更多采用了在计算上极为高效的底层特征和编码算法，分类器及其优化也专门针对大规模数据进行了设计，最终获得了 71.8%的 top 5 分类精度。 
 2011 年冠军是施乐欧洲研究中心，其基本方法仍旧是基于词包模型，主要改进在三个方面： 
 特征编码方法采用 Fisher 向量编码，可以引入更多的高阶统计信息，得到更具判别性的表达；使用乘积量化(Product Quantization，PQ) 算法进行特征压缩；分类器使用基于随机梯度下降的线性支持向量机。 
 2012 年加拿大多伦多大学的 Hinton 教授及其学生 Krizhevsky 利用 GPU 在 ImageNet 竞赛上获得了前所未有的成功，他们训练了一个参数规模非常大的卷积神经网络，并通过大量数据生成dropout 来抑制模型的过拟合，在大规模图像分类任务上获得了非常好的效果，取得了第一名的成绩，top 5 分类精度达到了 84.7%，比第二名使用 Fisher向量编码算法要高大约 10 个百分点，充分显示了深度学习模型的表达能力。 
 对比 PASCAL 竞赛，ImageNet 竞赛中使用的算法更加简单高效，因而也更加接近实用。在大规模图像识别场景下，传统图像识别的很多算法和技术面临极大的挑战，包括高计算强度，高内存消耗等，多特征、非线性分类器等这些在 PASCAL 竞赛中广为使用的算法和策略无法在 ImageNet 这样规模的数据库上高效实现。在性能和效率的权衡中，逐渐被更为简单高效的算法(单特征、特征压缩、线性分类器等)替代。大数据时代的来临，更激发了数据驱动的深度学习模型的发展，实现了更高效的特征提取与图像分类，将图像分类的发展推向一个新的高度。 
 
 
  
 
   
4.3 物体检测
 
  
 
  
PASCAL VOC 竞赛从 2005 年第一届开始就引入了物体检测任务竞赛，主要任务是给定测试图片预测其中包含的物体类别与外接矩形框。物体检测任务与物体分类任务最重要的不同在于，物体结构信息在物体检测中起着至关重要的作用，而物体分类则更多考虑的是物体或者图像的全局表达。物体检测的输入是包含物体的窗口，而物体分类则是整个图像，就给定窗口而言，物体分类和物体检测在特征提取、特征编码、分类器设计方面很大程度是相通的，如表 3 所示。根据获得窗口位置策略的不同，物体检测方法大致可分为滑动窗口和广义霍夫变换两类方法。滑动窗口方法比较简单，它是通过使用训练好的模板在输入图像的多个尺度上进行滑动扫描，通过确定最大响应位置找到目标物体的外接窗口。广义霍夫投票方法则是通过在参数空间进行累加，根据局部极值获得物体位置的方法，可以用于任意形状的检测和一般物体检测任务。滑动窗口方法由于其简单和有效性，在历年的 PASCAL VOC 竞 赛 中 得 到 了 广 泛 的 使 用 。 特 别 是HOG(Histograms of Oriented Gradients)模型、形变部件模型的出现和发展，使得滑动窗口模型成为主流物体检测方法。 
 与物体分类问题不同，物体检测问题从数学上是研究输入图像 X 与输出物体窗口 Y 之间的关系，这里 Y 的取值不再是一个实数，而是一组“结构化”数据，指定了物体的外接窗口和类别，是一个典型的结构化学习问题。结构化支持向量机(Structrual SVM, SSVM) 基于最大化边缘准则，将普通支持向量机推广到能够处理结构化输出，有效扩展了支持向量机的应用范围，可以处理语法树、图等更一般的数据结构，在自然语言处理、机器学习、模式识别、计算机视觉等领域受到越来越多的关注。隐 变 量 支 持 向 量 机 (Latent SVM, LSVM) 是Pedro Felzenszwalb 等人在 2007 年提出用于处理物体检测问题，其基本思想是将物体位置作为隐变量放入支持向量机的目标函数中进行优化，以判别式方法得到最优的物体位置。弱标签结构化支持向量机(weak-label Structrual SVM，WL-SSVM)是一种更加一般的结构化学习框架，它的提出主要是为了处理标签空间和输出空间不一致的问题，对于多个输出符合一个标签的情况，每个样本标签都被认为是“ 弱 标 签 ”。 SSVM 和 LSVM 都 可 以 看 做 是WL-SSVM 的特例，WL-SSVM 通过一定的约简可以转化为一般的 SSVM 和 LSVM。条件随机场(Conditional Random Field, CRF)作为经典的结构化学习算法，在物体检测任务上也得到一定的关注。Schnitzspan 等人将形变部件模型与结构化学习结合，提出了一种隐条件随机场模型(latent CRFs)，通过将物体部件标签建模为隐藏节点并且采用 EM算法来进行学习，该算法突破了传统 CRF 需手动给定拓扑结构的缺点，能够自动学习到更为灵活的结构，自动发掘视觉语义上有意义的部件表达。张等提出了基于数据驱动的自动结构建模与学习来从训练数据中学习最为合适的拓扑结构。由于一般化的结构学习是一个 NP 难问题，张提出了混合结构学习方案，将结构约束分成一个弱结构项和强结构项。弱结构项由传统的树状结构模型得到，而强结构项则主要依靠条件随机场以数据驱动方式自动学习得到。
 
  
下面我们将以历年 PASCAL VOC 物体检测竞赛来探讨物体检测的方法演变与发展。
 
  
2005 年物体检测竞赛有 5 支队伍参加，采用的方法呈现多样化，Darmstadt 使用了广义霍夫变换，通过兴趣点检测和直方图特征描述方式进行特征表达，并通过广义 Hough 投票来推断物体尺度与位置，该方法在他们参加的几类中都得到了最好的性能。INRIA 的 Dalal 则采用了滑动窗口模型，底层特征使用了基于 SIFT 的描述，分类器使用支持向量机，通过采用在位置和尺度空间进行穷尽搜索，来确定物体在图像中的尺度和位置，该方法在汽车类别上取得了比广义 Hough 变换更好的性能，但在人、自行车等非刚体类别上性能并不好。 
 2006 年最佳物体检测算法是 Dalal 和 Triggs 提出的HOG(Histograms of Oriented Gradients)模型。他们的工作主要集中于鲁棒图像特征描述研究，提出了物体检测领域中具有重要位置的 HOG 特征。HOG 是梯度方向直方图特征，通过将图像划分成小的 Cell，在每个 Cell 内部进行梯度方向统计得到直方图描述。与 SIFT 特征相比，HOG 特征不具有尺度不变性，但计算速度要快得多。整体检测框架依然是滑动窗口策略为基础，并且使用线性分类器进行分类。这个模型本质上是一个全局刚性模板模型，需要对整个物体进行全局匹配，对物体形变不能很好地匹配处理。 
 2007 年 Pedro Felzenszwalb 等人提出了物体检测领域里程碑式的工作：形变部件模型(Deformable Part-based Model)，并以此取得了 2007 年 PASCAL VOC 物体检测竞赛的冠军。底层特征采用了Dalal 和 Triggs 提出的 HOG 特征，但与 Dalal 等人的全局刚体模板模型不同的是，形变部件模型由一个根模型和若干可形变部件组成。另一个重要的改进是提出了隐支持向量机模型，通过隐变量来建模物体部件的空间配置，并使用判别式方法进行训练优化。形变部件模型奠定了当今物体检测算法研究的基础，也成为后续 PASCAL VOC 竞赛物体检测任务的基础框架。 
 2008 年物体检测冠军同样采用了滑动窗口方式。特征表达利用了 HOG 特征和基于密集提取SIFT 的词包模型表达。训练过程对前、后、左、右分别训练独立的模型，并使用线性分类器和卡方核SVM 进行分类。测试过程采用了两阶段算法，第一阶段通过滑动窗口方式利用分类器得到大量可能出现物体的位置，第二阶段基于 HOG 和 SIFT 特征对前面一阶段得到的检测进行打分，最后使用非极大抑制算法去除错误检测窗口，并融合分类结果得到最终检测结果。这里分类信息可以看成是一种上下文信息，这个也是物体检测研究的一个重要内容。 
 2009 年除了形变部件模型以外，牛津大学视觉几何研究组在滑动窗口框架下，基于多核学习将灰度 PHOW、颜色 PHOW、PHOC、对称 PHOG、SSIM、视觉词典等多种特征进行融合，取得了与形变部件模型相近的效果，获得共同检测冠军。多核学习是进行多特征、多模型融合的重要策略，可以自动学习多个核矩阵的权重，从而得到最佳的模型融合效果。考虑到滑动窗口搜索的效率问题，提出了 
 类似级联 Adaboost 方式的多级分类器结构。第一级分类器采用线性 SVM 分类器以滑动窗口或者跳跃窗口方式快速对图像窗口进行粗分类；第二级采用拟线性 SVM,利用卡方核进行进一步细分类；第三级采用更强的非线性卡方-RBF 分类器，这一步准确度更高但比前面步骤计算代价更大，由于前面两级已经快速滤除大部分备选窗口，这一级可以专注于更难的样本分类。 
 2010 年中国科学院自动化研究所模式识别国家重点实验室获得了物体检测冠军，其方法是以形变部件模型为基础，对底层 HOG 特征进行了改进，提出了 Boosted HOG-LBP 特征，利用Gentle Boost 选择出一部分 LBP 特征与 HOG 特征融合，使得物体检测结果产生显著提升。另一个重要改进是采用了多种形状上下文，包括空间上下文、全局上下文、类间上下文。空间上下文由包含了窗口位置尺度信息的 6 维向量构成，全局上下文包括 20 维的物体分类分数和 20 维的最大窗口分数，其中分类方法采用了黄等人提出的显著性编码、词典关系算法计算词包模型表达。类间上下文用于建模相邻物体之间的弱空间关系，分别由20 维的窗口附近最强的 HOG 特征分数和 LBP 特征分数构成。最终得到 87 维的特征，使用 RBF SVM进行上下文学习。该方法在 VOC2010 数据库上取得了 6 项第一，5 项第二，平均精度达到了 36.8%。 
 2011 年物体检测冠军依然是中国科学院自动化研究所模式识别国家重点实验室，算法上与2010 年不同之处是针对形变部件模型提出了一种数据分解算法，并引入了空间混合建模和上下文学习。 
 2012 年阿姆斯特丹大学获得物体检测冠军，其方法主要创新在于选择性搜索、混合特征编码、新的颜色描述子、再训练过程。图像中物体本身构成一种层次结构，通常很难在一个尺度上检测所有物体，因而对图像块进行层次化组织，在每个层次上进行选择搜索，可以有效提升检测的召回率。考虑到经典的向量量化编码使用小的特征空间分块能够捕获更多图像细节，而丢失了分块内部的细节，而超向量编码和 Fisher 向量量化编码等差异编码方法则可以很好的描述分块内部细节，更大空间分块可以描述更大范围的图像细节，综合这两种编码模式，提出了混合特征编码算法，将两种编码的优点融合到一起。
 
  
 
   
5 对物体分类与检测的思考
 
  
 
  
物体分类与检测的研究在以 PASCAL VOC 竞赛为平台的理论和算法研究上已经取得了一系列的进展，分类模型建立了以词包模型和深度学习模型为基础的体系框架，检测模型则以可形变模型为核心发展出多种方法。在分析目前物体分类和检测算法的基础上，本文接下来对物体分类和检测算法的统一性和差异性进行了讨论，并探讨了物体分类与检测算法发展的方向。
 
  
 
   
5.1 物体检测和物体分类的统一性
 
  
 
  
– 物体检测可以取代物体分类？
 
  
物体检测的任务是解决物体所在的位置问题，物体分类的任务是判断物体的种类，从直观上而言，物体检测的隐含信息包括了物体的类别信息，也就是需要事先知道需要定位的物体的类别信息，比如需要检测人，那么就需要先验的给出人的标注信息，以此来判断人的位置，从这个角度而言，物体检测似乎包括了物体分类的步骤，也就是物体检测就能够回答“什么物体在什么地方”，但这里有一个误区，其中的“什么物体”是先验给出的，也就是在训练过程中标注出的，并不一定是真实的结果。在模型区分性比较强的情况下，也就是物体检测能给出准确的结果的情况下，物体检测在一定程度上可以回答“什么物体在什么地方”，但在真实的世界中，很多情况下模版不能唯一的反映出物体类别的唯一性，只能给出“可能有什么物体在什么地方”，此时物体分类的介入就很有必要了。由此可见，物体检测是不能替代物体分类的。
 
  
– 物体检测和物体分类之间的差异性和互补性
 
  
以 PASCAL VOC 竞赛为例，从模型的角度而言，物体检测主要采用的是可变的部件模型, 更多的关注局部特征，物体分类中主要的模型是词包模型，从两者的处理流程来看，他们利用的信息是不同的，物体检测更多的是利用了物体自身的信息，也就是局部信息，物体分类更多的是利用了图像的信息，也就是全局的信息。他们各有优劣，局部信息考虑了更多的物体结构信息，这使得物体检测和分类的准确性更高，但同时也带来物体分类的鲁棒性不强的问题；全局信息考虑了更多的是图像的全局统计信息，尤其是图像的语义信息，这使得能考虑更多的信息来进行判断，但信息量的增加可能带来准确度的提高，也可能由于冗余降低分类的性能，但是从统计意义而言，其鲁棒性是能够得到一定的提高的。由此可见，物体检测和物体分类之间存在着较大的差异性，同时也就说明存在着比较大的互补性。
 
  
 
   
5.2 物体分类与检测的发展方向
 
  
 
  
物体分类任务要确定图像中是否包含物体，全局表达更关键；物体检测任务则要确定图像中物体的位置和尺度，物体结构更为关键。因此，物体分类检测的研究也主要有两种思路：
 
  
• 专注于学习结构，即结构化学习。观察变量与其他变量构成结构化的图模型，通过学习得到各个变量之间的关系，结构包括有向图模型（贝叶斯网络）、无向图模型（马尔科夫网络）。结构化学习通常变量具有显式的物理意义，变量之间的连接也具有较强的因果关系，解释性较好。
 
  
• 专注于学习层次化表达，即深度学习。深度学习从人脑的层次化视觉处理和函数表达理论出发，采用层次化特征表达的思想来进行特征从底层到高层语义的提取。深度学习专注于表达的学习，也即更注重一个输入得到的相应输出，对中间的特征变换缺少自然的解释，更像一个黑盒系统。 
 两条思路各有侧重，但并不是说是互相独立的。在这两条发展线路的基础上，建立更为统一的物体识别框架，同时处理物体分类与检测任务，也是一个重要的研究课题。如何利用物体检测和物体分类之间的互补性去构建统一的物体识别框架是计算机视觉和视觉认知领域的研究热点，也是视觉认知计算模型研究的重点之一。
 
  
 
   
5.3 结构化学习存在的难点与挑战
 
  
 
  
• 模型表达问题。对于一个特定问题，选择什么样的模型，如有向图模型、无向图模型，模型如何进行参数化，都是值得研究的。
 
  
• 模型学习问题。在给定模型表达后，如何从给定数据中学习模型的参数，是结构化学习中的一个核心问题。目前通常有基于概率的学习方法，如最大似然估计、最大后验估计等，也有基于最小化损失函数的方法。不同的方法，在学习的效率，准确性上都具有差异，研究快速有效的学习算法，具有特别重要的价值。
 
  
• 模型推断问题。给定学习好的模型，进行快速、准确的模型推断是至关重要的。目前经典的方法包括消息传播算法、变分推断算法、采样算法等。不同方法在速度、准确度上各有差异。研究大规模图模型，实现人类视觉系统快速识别人脸那样的快速准确推断，是一个重要研究方向。
 
  
 
   
5.4 层次化学习 (深度学习) 存在的难点与挑战
 
  
 
  
在大数据时代，海量的图像、视频数据绝大多数是没有标签的，大量进行标注也是不现实的。从大量的没有标签的图像数据中自动挖掘知识，无疑有着重要的意义。Google Brain 计划也验证了数据驱动的自主学习的可行性与有效性。但目前深度学习还存在一些难点和挑战。
 
  
•解释性差。层次化表达在视觉皮层理论和函数论等方面具有其理论依据，然而，在实际应用中，学习到的模型通常没有很好的解释性。第一层网络可以通过可视化的方式进行直接查看，在大多数视觉数据中，第一层学习到的是类似 Gabor的滤波器，可以实现基本的边缘检测。然而，对于更高层的特征，通常很难直观的查看其学习到的是什么。研究有效的高层特征解释方式，无疑对于深度学习的发展具有非常重要的意义。
 
  
•模型复杂度高，优化困难。神经网络的容量没有上限，表达能力非常强，这是它的一个重要的优点。另一方面也对模型的优化造成了非常大的困难。网络越复杂，模型的能量面越高低崎岖，到处是极小点。研究模型初始化方式、优化算法，对于提高神经网络的判别能力，是深度学习的一个重要研究内容。
 
  
• 计算强度高。目前虽然每层是高度并行化的前馈网络，但是计算强度还是比较高，需要采用GPU 等硬件来完成。对于一个刺激信号，人脑中绝大多数细胞是处于不活动状态，只有相关的细胞才会有活动，这是一种非常经济的响应形式。而对于深度学习，输入一个视觉信号，所有的神经元都会进行计算，人为加的一些稀疏约束只是会使某些神经元输出为 0，但不代表该神经元“处于不活动”状态。这方面是将来建立庞大学习网络时实现实时推理的一个可行思路。
 
  
• 模型缺少结构约束。深度学习模型通常只对网络的“ 输入–输出”进行建模，却缺少必要的结构先验的约束。例如，对人脸关键点可以采用卷积神经网络进行回归，网络学习到的是一种隐式的“输入–输出”结构，却完全没有加入显式的结构先验，包括预测输出的位置点处的表观特征。这个问题的直接后果就是单个网络尽管可以做到任意的复杂度，却无法得到很高的精度，很多检测错误看起来是非常简单的：本来应该落在具有明显特征的嘴角处，却落在了嘴角旁边的脸部区域。为了克服这个问题，就需要采用从粗到细，从全局到局部的策略，级联多个网络来不断纠正网络预测。在大数据时代，海量视频数据所带来的纷繁复杂的易变性（variability）将给传统的特征学习方法带来巨大挑战。而深度学习模型天然的强大数据表达能力，无疑将会对大数据背景下的整个视觉的研究产生极大的影响，也必然会将图像物体检测、分类的研究推向新的高度。当然，目前深度学习模型还存在着解释性差、模型复杂度高，优化困难、计算强度高等诸多问题，这些都需要研究者们进一步的思考。例如，将显式结构先验嵌入深度学习模型中，可以有效降低网络参数空间的规模，减少局部极值的问题，从而可以更加有效地解决检测、分割等任务。
 
  
 
   
6.结论
 
  
 
  
物体分类与检测在计算机视觉研究中具有重要的理论意义和实际应用价值，同时目前也存在诸多困难与挑战。本文以计算机视觉目标识别竞赛PASCAL VOC 为主线，对物体分类与检测历年最佳算法的发展进行了详尽的阐述，强调了表达学习和结构学习分别在物体分类和物体检测中的重要意义。以此为基础，本文还讨论了物体分类与检测的统一性与差异性，对物体分类与检测的发展方向进一步思考，从基于深度学习的表达学习和结构学习两个方向进行了分析与展望。
 
  
（完）
 
  

  
文档下载地址：中国知网 
 http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFD2014&filename=JSJX201406001&v=MjkzMjhZK1p1Rnlyblc3M0pMejdCZHJHNEg5WE1xWTlGWllSOGVYMUx1eFlTN0RoMVQzcVRyV00xRnJDVVJMMmY=
 
 
 
 
 
 
 

 
 （图自网络）
 
 
 
垃圾是放错了地方的金子。
 
 
本文大纲
 
-前言 
 1.什么是垃圾分类 
 2.为什么需要分类 
 3.垃圾分类的意义 
 4.垃圾种类 
 　　4.1可回收垃圾 
 　　4.2不可回收垃圾 
 　　　　4.2.1餐厨垃圾 
 　　　　4.2.2有害垃圾 
 　　　　4.2.3其他垃圾 
 5.我国垃圾分类现状 
 6.国外优秀案例（极致的日本垃圾分类） 
 7.如何做好垃圾分类 
 -结束语
 
前言
 
你以为我要讲什么计算机“垃圾回收”？算了吧，我也不懂，我是真的要了解一下生活中的垃圾分类呢！ 
 原因是今天早上我要丢卫生纸，但是我不知道他是可回收还是不可回收，虽然有生活常识不够的嫌疑，但是想想还是可以理解，好像在中国，从小到大，学校和家庭都没有人教过我们垃圾是如何分类的呢，可能与我来自农村有关，但是我们没见深圳这个大城市垃圾分类做的有多好啊！而且我也一直关注最近的政策，国家在试点一些城市强制进行垃圾分类。
 
 
 （图自网络）
 
回到之前的问题，用完的卫生纸，我们是应该丢可回收箱呢还是不可回收箱？ 
 家里摘菜洗菜，剩饭剩菜产生的厨房垃圾，是该丢可回收箱呢还是不可回收箱？ 
 用完的电池是不是可回收的？
 
这些问题对我个人来说都是不明确的，所以就会造成今天早上这样尴尬的事情，我拿着垃圾不知道丢哪边，然后放下垃圾先百度一下。。。 
 。。。just kidding
 
什么是垃圾分类
 
垃圾分类，指按一定规定或标准将垃圾分类储存、分类投放和分类搬运，从而转变成公共资源的一系列活动的总称。
 
分类的目的是提高垃圾的资源价值和经济价值，力争物尽其用。
 
垃圾在分类储存阶段属于公众的私有品，垃圾经公众分类投放后成为公众所在小区或社区的区域性准公共资源，垃圾分类驳运到垃圾集中点或转运站后成为没有排除性的公共资源。从国内外各城市对生活垃圾分类的方法来看，大致都是根据垃圾的成分构成、产生量，结合本地垃圾的资源利用和处理方式来进行分类的。
 
为什么需要分类
 
我们每个人每天都会扔出许多垃圾，您知道这些垃圾它们到哪里去了吗？它们通常是先被送到堆放场，然后再送去填埋。
 
垃圾填埋的费用是高昂的，处理一吨垃圾的费用约为200元至300元人民币。而仅北京市日产垃圾就有12000吨，目前面积在36平方米以上的垃圾堆在北京五环路以内有700多处，占地500多万平方米，每年在3-5%的速度增加。人们大量地消耗资源，大规模生产，大量地消费，又大量地产生着废弃物。
 
垃圾增多的原因是人们生活水平的提高，各项消费增加了。据统计，1979年全国城市垃圾的清运量是2500多万吨，1996年城市垃圾的清运量是1.16一吨，是1979年的4倍。
 
 
 （图自网络）
 
这么大量的垃圾需要把多少土地变成填埋场？占地60公顷，日处理量为2000吨的阿苏卫填埋场仅能处理北京六分 之一 的垃圾，且在第11个年头就会被填满。被废弃的垃圾填埋场不复为耕地，也无法建成生活小区。
 
目前，被西方国家广泛应用的另一种垃圾处理方法就是焚烧。经过高温焚化后的垃圾虽然不会占用大量的土地，但它不仅投资惊人，并且会增加二次污染的风险。二恶英这令人谈”恶”色变的剧毒致癌物质，就是垃圾焚烧后产生的主要气体成分之一。
 
此外，无论填埋还是焚烧，都是对资源无谓的浪费，我们不断地把有限的地球资源变成垃圾，又把他们埋掉或烧掉，我们将来的子孙在哪里生存？
 
难道我们对待垃圾就束手无策了吗？其实，办法是有的，这就是垃圾分类。垃圾分类就是在源头将垃圾分类投放，并通过分类的清运和回收使之重新变成资源。
 
垃圾分类的好处是显而易见的。垃圾分类后被送到工厂而不是填埋场，既省下了土地，又避免了填埋或焚烧所产生的污染，还可以变废为宝。
 
垃圾分类的意义
 
1、减少占地：生活垃圾中有些物质不易降解，使土地受到严重侵蚀。垃圾分类，去掉能回收的、不易降解的物质，减少垃圾数量达50%以上；
 
2、减少环境污染：废弃的电池含有金属汞、镉等有毒的物质，会对人类产生严重的危害；土壤中的废塑料会导致农作物减产；抛弃的废塑料被动物误食，导致动物死亡的事故时有发生，因此回收利用可以减少危害；
 
3、变废为宝：中国每年使用塑料快餐盒达40亿个，方便面碗5-7亿个，废塑料占生活垃圾的4-7%。1吨废塑料可回炼600公斤的柴油。回收1500吨废纸，可免于砍伐用于生产1200吨纸的林木。1吨易拉罐熔化后能结成1吨很好的铝块，可少采20吨铝矿。生活垃圾中有30%-40%可以回收利用，我们应珍惜这个小本大利的资源。
 
垃圾种类
 
垃圾可以分为可回收垃圾和不可回收垃圾，我们平时的生活垃圾分类包含四种：可回收垃圾、厨余垃圾、有害垃圾和其他垃圾。
 
 
 （图自网络）
 
可回收垃圾
 
主要包括废纸、塑料、玻璃、金属和布料五大类。
 
 
 （图自网络）
 
废纸：主要包括报纸、期刊、图书、各种包装纸等。但是，要注意纸巾和厕所纸由于水溶性太强不可回收。 
 塑料：各种塑料袋、塑料泡沫、塑料包装、一次性塑料餐盒餐具、硬塑料、塑料牙刷、塑料杯子、矿泉水瓶等。 
 玻璃：主要包括各种玻璃瓶、碎玻璃片、镜子、暖瓶等。 
 金属物：主要包括易拉罐、罐头盒等。 
 布料：主要包括废弃衣服、桌布、洗脸巾、书包、鞋等。
 
这些垃圾通过综合处理回收利用，可以减少污染，节省资源。如每回收1吨废纸可造好纸850公斤，节省木材300公斤，比等量生产减少污染74%；每回收1吨塑料饮料瓶可获得0.7吨二级原料；每回收1吨废钢铁可炼好钢0.9吨，比用矿石冶炼节约成本47%，减少空气污染75%，减少97%的水污染和固体废物。
 
不可回收垃圾
 
餐厨垃圾 
 包括剩菜剩饭、骨头、菜根菜叶、果皮等食品类废物。经生物技术就地处理堆肥，每吨可生产0.6~0.7吨有机肥料。
 
有害垃圾 
 含有对人体健康有害的重金属、有毒的物质或者对环境造成现实危害或者潜在危害的废弃物。包括电池、荧光灯管、灯泡、水银温度计、油漆桶、部分家电、过期药品、过期化妆品等。这些垃圾一般使用单独回收或填埋处理。
 
其他垃圾 
 包括除上述几类垃圾之外的砖瓦陶瓷、渣土、卫生间废纸、纸巾等难以回收的废弃物及果壳、尘土。采取卫生填埋可有效减少对地下水、地表水、土壤及空气的污染。
 
我国垃圾分类现状
 
1、 没有一个完善有效地分类回收体系
 
　　目前在我国垃圾分类回收的处理方法并没有得到普遍的实施，许多城市都是将各种垃圾全部运输到垃圾填埋场，进行填埋或者焚烧。成本高，污染空气，对于分类回收许多省市没有完善的回收计划和路线，装备车处理垃圾的分类不够清晰，国家对于垃圾分类目前只注重于可回收和不可回收两类，街道上的垃圾桶种类极少，且数量也不多，人们对于其他垃圾不知道如何处理，于是造成垃圾的混合，没有达到分类目的。中国没有执行垃圾分类的城市，人们还没有形成垃圾分类的习惯，而且垃圾分类后，国家没有专门负责这部分的设施和部门，没有定期派专人负责清运和分出各户的垃圾，工作方式不很科学。对于垃圾分类处理国家没有制定专门的政策或者没有拨出款项。国家对于垃圾分类所带来的好处，还不是非常的在意。在中国，垃圾分类没有成为固定的处理垃圾的方式。
 
2、 人们对于垃圾分类回收的意识非常淡薄
 
　　目前只有部分城市对垃圾进行了分类处理，政府对垃圾分类处理没有进行大力宣传。正常来说垃圾的分类应该按照由各户自行分好，然后政府派专人负责清运和二次分类，最后对各类垃圾进行处理的方式进行。但是从第一步骤开始我们就存在问题，居民完全不清楚各类垃圾所包括的内容，更不用提垃圾分类。政府缺乏对居民进行垃圾分类回收的介绍和宣传。公共垃圾还知道有分类，但大多数并不在意，都随便将垃圾扔在地上，例如，强行执行的塑料袋政策，作用并不是太明显，很多人继续用不合格的塑料袋，百姓没有塑料污染的知识。政府应该在媒体上专门正式的告诉大家，生活垃圾分类的知识和禁用塑料袋的知识。比方说在新闻里，也让主持人报道下，这个政策出台的必要和相关知识。如果只是光喊口号， 出几个政策，是改变不了根本的，必须让大家都有相关知识的了解，知道为什么这样做。改变人们“事不关己”观念，能一点点改变现在不好的习惯。为了能循环利用自然，为了能生活在干净的环境中。
 
3、 分类回收垃圾的成本高于利润？
 
　　根据不分类情况下，各处理方式的各项费用情况，和分类后各项费用的增减比例，计算后可以得出分类处理和综合利用各环节费用情况。通过分析，可以看出分类回收垃圾成本比焚烧和堆肥的成本要低得多，但过程较复杂，耗费时间大。所以政府对这种垃圾处理方式并不看重，认为这种分类回收弊大于利，所以对于这部分的支出和所投放的精力较少。但从国家利益、集体利益和长远利益来看，从可持续发展的角度来看，分类回收垃圾是利大于弊！因为可回收垃圾可以重复利用，既节约资源又环保；厨余垃圾可以回收做牲畜饲料；有害垃圾回收可以防止对人类和环境的污染；其他垃圾中的大部分成分也可以回收利用。如果所花费的金钱和时间和这些优点比起来根本微不足道。将来的社会资源将会越来越少，甚至枯竭，那么我们的子孙后代要怎么生活？那么和这些比起来我们现在所做的这些是多么的有价值，所以国家必须重视起来，将这件事作为一件重要的事情来抓。
 
总结
 
　　我国对垃圾的分类回收尚缺乏国家和政府的支持。分类处理垃圾的利润一般体现在两个方面：回收利用和节约用力的费用。国外的通行做法是对废物重新利用，即一吨易拉罐熔化后能结成一吨很好的铝块，可少采20吨铝矿。存在的问题也有三个方面，当最主要的是人们缺乏对垃圾分类回收的知识的了解和学习，国家缺乏对这方面的法律强制支持和大力宣传。所以造成了现在只喊口号，树大旗却不能实施的局面。
 
国外优秀案例（极致的日本垃圾分类）
 
初到日本的外国人，都会对其叹为观止的垃圾分类所折服。瞥其一斑，日本的垃圾分类有以下几大特点。
 
一是分类精细，回收及时。
 
　　最大分类有可燃物、不可燃物、资源类、粗大垃圾，这几类再细分为若干子项目，每个子项目又可分为孙项目，以此类推。前几年横滨市把垃圾类别由原来的五类更细分为十类，并给每个市民发了长达27页的手册，其条款有518项之多。试看几例：口红属可燃物，但用完的口红管属小金属物；水壶属金属物，但12英寸以下属小金属物，12英寸以上则属大废弃物；袜子，若为一只属可燃物，若为两只并且“没被穿破、左右脚搭配”则属旧衣料；领带也属旧衣料，但前提是“洗过、晾干”。不过，这与德岛县上胜町相比，那就是小巫见大巫了。该町已把垃圾细分到44类，并计划到2020年实现“零垃圾”的目标。
 
　　在回收方面，有的社区摆放着一排分类垃圾箱，有的没有垃圾箱而是规定在每周特定时间把特定垃圾袋放在特定地点，由专人及时拉走。如在东京都港区，每周三、六上午收可燃垃圾，周一上午收不可燃垃圾，周二上午收资源垃圾。很多社区规定早8点之前扔垃圾，有的则放宽到中午，但都是当天就拉走，不致污染环境或引来害虫和乌鸦。
 
二是管理到位，措施得当。
 
　　外国人到日本后，要到居住地政府进行登记，这时往往就会领到当地有关扔垃圾的规定。当你入住出租房时，房东也许在交付钥匙的同时就一并交予扔垃圾规定。有的行政区年底会给居民送上来年的日历，上面一些日期上标有黄、绿、蓝等颜色，下方说明每一颜色代表哪天可以扔何种垃圾。在一些公共场所，也往往会看到一排垃圾箱，分别写着：纸杯、可燃物、塑料类，每个垃圾箱上还写有日文、英文、中文和韩文。
 
三是人人自觉，认真细致。
 
　　养成良好习惯，非一日之功。日本的儿童打小就从家长和学校那里受到正确处理垃圾的教育。如果不按规定扔垃圾，就可能受到政府人员的说服和周围舆论的压力。日本居民扔垃圾真可谓一丝不苟，非常严格：废旧报纸和书本要捆得非常整齐，有水分的垃圾要控干水分，锋利的物品要用纸包好，用过的喷雾罐要扎一个孔以防出现爆炸。
 
四是废物利用，节能环保。
 
　　分类垃圾被专人回收后，报纸被送到造纸厂，用以生产再生纸，很多日本人以名片上印有“使用再生纸”为荣；饮料容器被分别送到相关工厂，成为再生资源；废弃电器被送到专门公司分解处理；可燃垃圾燃烧后可作为肥料；不可燃垃圾经过压缩无毒化处理后可作为填海造田的原料。日本商品的包装盒上就已注明了其属于哪类垃圾，牛奶盒上甚至还有这样的提示：要洗净、拆开、晾干、折叠以后再扔。
 
启示：
 
　　他山之石，可以攻玉。日本的上述事例给我们很多启示。仅就垃圾分类而言，我国大部分地区的硬件还远不能与其相比，但更大的差距恐怕还是在软件上，即在于政府和民众对垃圾分类的认识上，在于政府关于垃圾分类的制度建设上，也在于每个市民对垃圾分类的认真细致精神和环保节能意识上。由此引申开来，只有大家都摒弃嫌麻烦的想法、大概其的思维习惯和安于中流的低标准，才有可能做到垃圾分类赶上世界先进水平，消灭城市管理中“三不管”的死角，有专人来治理脏、乱、差的现象。由此看来，垃圾分类，无疑给我们建设文明城市、培育文明意识树立了一个标杆——环保。
 
如何做好垃圾分类？
 
国家、政府机构
 
从国家来看，应该制定严格的法律强制人们处理垃圾分类处理，颁布政策和要求并且加大对这方面的经济投入，利用媒体的进行宣传关于这方面的知识，让人们树立垃圾分类回收的意识。
 
从政府来看，需要做的更加和精细和具体，分类精细，回收及时，把垃圾类别由原来的五类更细分为十类或更多，并给每个市民发了关于垃圾分类知识的手册，明确其条款。外国人到本国后，要到居住地政府进行登记，这时往往就会领到当地有关扔垃圾的规定。当他们入住出租房时，房东也许在交付钥匙的同时就一并交予扔垃圾规定。管理机关要及时进行总结和评价，制定完善的垃圾车行车路线和垃圾回收场的位置和管理，增加管理人员。
 
家庭、个人
 
家庭应该从家长出发，引导儿童学会垃圾分类，了解垃圾分类的整个流程，让其意识到垃圾分类的重要性。 
 养成良好习惯，让儿童从小就从家长那里受到正确处理垃圾的教育。如果不按规定扔垃圾，就可能受到政府人员的说服和周围舆论的压力。从而形成良好的回收方式和回收方法，建立良好的流程和秩序。
 
学校教育
 
学校每学期应该针对垃圾分类展开一定时长的学习和讲座，在校园中严格实行垃圾分类，并带动学生在学校周边志愿服务，引导更多的人学习并遵守，学校也要建立一套鼓励机制，促进学生实践的动力。
 
结束语
 
垃圾分类，改善生态环境， 
 千难万险，只需迎头赶上， 
 同心协力，共建和谐社会。
 
参考： 
 百度百科：垃圾分类 
 https://zhidao.baidu.com/question/646504442479314765.html

1.基于概率统计的Bayes分类器
      因为在实际分类中由于考虑的侧重点不同或者关心的点不一样导致不能使用同一决策去解决所有的事件的分类，所以需要根据不同的准测函数选择不同的分类决策（基于最小错误率的Bayes决策，基于最小风险的Bayes决策）进行分类，在Bayes分类器中将不同的侧重分为错误率和风险俩个方面，最终通过取舍选择不同决策以求达到自己最理想的分类。

先验概率P(w)

 
      即-针对M事件出现可能性而言，不考虑其他任何条件就直接进行事件的分类，所以所提供的信息太少。如：药品公司生产的药，显然一般情况下合格的药品要比不合格的药品的数量所占比例大，所以就容易直接将所有药品都归类为合格的药品，这样并不能很好的将合格和不合格的药品进行分类。


类概率密度函数P(X|w)

 
     指-已知某类别的特征空间中出现特征X的概率密度，即第w类样品中它的属性X是如何分布的。（在大多数情况下，类条件概率密度函数可以采用多维变量的正太概率密度函数来模拟）。


后验概率P(w|X)

 
      即-可能出现多类别事件出现同一特征的情况，这时就需要判断在条件X出现的条件下，样品为w的概率是多少，而这个后验概率就是使用Bayes公式计算获得的。公式如下：
 


 
      其中P(Bi)和P(Bj)是指事件Bi和Bj的先验概率，即P(Bi)=Bi/B,P(Bj)=Bj/B;P(A|Bi)和P(A|Bj)是类条件概率密度，指在类Bi和Bj的特征空间中，出现特征A的概率。

       使用此种分类器必须要知道有关样品的总体分布知识，包括各类的先验概率、类条件概率密度函数、后验概率，并以这些作为产生判别函数的依据，设计出相应的判别函数与决策面，这种方法称为参数判别式方法。这样，一旦待测试分类样品的特征向量值X已知，就可以确定X对各类的后验概率，也就可以按照相应的准则计算与分类。所以这种分类方法只能用在有统计知识的场合，或能利用训练样品估计出参数的场合。
2.几何分类器
       集合分类器不依赖于条件概率的知识，可以理解为通过几何的方法，把特征空间分解为对应于不同类别的子空间。几何分类方法按照分界函数的形式可以分为线性判别函数和非线性判别函数俩类。而在几何分类方法中比较常见的算法有感知器算法、增量校正算法、LMSE分类算法以及Fisher分类算法，这里重点说一下Fisher分类算法。

Fisher分类算法的理论基础
      在应用统计方法解决模式识别问题时，经常会遇到所谓的“维数灾难”的问题，在低维空间里适用的方法一旦换成高维往往就不合适了。因此压缩特征空间的维数就显得非常重要，感觉有点像PCA但二者又有很大的区别，只是降维的思想一致而已。Fisher的核心是将原始数据投影到一维空间中，使得原本线性不可分的数据变得线性可分。Fisher的关键在于最大化一个准则函数J，准则函数J是由类间散度比上类内散度得到的。最大化准则函数J是要求类内散度足够小而类间散度足够大。小的类内散度保证了当前类中的数据足够紧密。大的类间散度保证了这两个类有足够的可分性。类间散度定义为投影后两类样本均值差的平方。类内散度定义为两类样本投影后与各自均值差的和的平方和。 

      从图中可以看出在将空间中的数据进行一维投影时很有可能造成数据重叠，这样会直接影响到实际的分类效果，所以在投影前需要找到最佳的投影向量（这也就是为什么Fisher的准则函数要求数据的类内聚，类与类间松散的原因），而投影后还需要找到类与类之间的划分边界点，只有完美的找到这两个量才能很好的对数据进行分类。

二分类问题的实现步骤
   1.求取俩类的均值向量
   2.求取俩类的内离散度矩阵Si、Sj


   3.求取总类间离散度矩阵Sw

   4.定义Fisher准则函数w*（增大类内聚和类间松散）


   5.对于俩类已知数据，求出它们在w*上的投影点D


   6.求取各类数据在投影空间上的均值A


   7.选取阈值y0（在投影空间中的分割阈值）
  
   8.计算未知样品X在w*上的投影点并根据决策进行分类
3.神经网络分类器

定义      
     人工神经网络（Artificial Neural Networks,ANN）,简称为神经网络（NN）,它是一种基于连接学说构造的智能仿生模型，是由大量神经元组成的非线性动力系统。对于神经网络，我自己的理解就是通过研究、分析、总结人脑的组织结构和活动规律，对这些发现进行抽象、简化，从而模仿人脑建立的一种模型。

分类
     它根据神经元之间连接的拓扑结构上的不同分为分层网络和互相连接型网络。分层网络是将网络中的所有神经元按功能分为若干层，一般有输入层、中间层和输出层，各层间顺序连接，代表有BP网络。相互连接型网络是指网络中任意俩个单元之间可以相互连接。

学习方式
     模仿人的学习方式，在神经网络中有三种学习方式，分别是：有导师学习网络、无导师学习网络和强化学习网络，其中有导师学习网络通常称为有监督型学习，而无导师学习网络称为无监督学习。

基本原理
      可以看成是从输入空间到输出空间的一个非线性映射，其通过调整权重和阈值来“学习”或发现变量间的关系，实现对事物的认识和分类。

特点

 

 
1.固有的并行结构和并行处理
 
     在同一层内的处理单元都是同时操作的，即神经网络的计算功能分布在多个处理单元上。
 

 
2.知识的分布存储
 
     知识不是存储在特定的存储单元上，而是分布在整个系统中，要存储多个知识就需要很多连接。在计算机中，只要给定一个地址就可得到一个或一组数据。在神经网络中要获得存储的知识则采用“联想”的办法。
 

 
3.容错性
 
     具有很强的容错性，其可以从不完善的数据和图形进行学习和做决定。因为知识是存储在整个网络系统中的，而不是存储在某个存储单元，所以预定比例的节点不参与运算对整个系统的性能不会产生重大的影响。它可以处理那些有噪声和不完整的数据，具有泛化功能和很强的容错能力。
 

 
4.自适应性
 
     其是通过学习和训练来找出输入和输出之间的内在联系，从而求取问题的解，所以有自适应功能对结果进行不断的调整，最终获得最优解。
 

 
5.模式识别能力
 
神经网络对处理复杂的非线性关系有很大的先天优势。

4.聚类
这是一种无监督的分类方法，是根据提取、分析n维空间中的数据的特征，将具有相似类型的数据聚合成一类，通常被称为聚类或集群。

用处
     聚类分析的结果可以被用来对数据提出初始假设，分类新数据，测试数据的同类型以及压缩数据。如通过聚类将一个图像进行分割（分割就是把图像分割成若干有意义的区域的处理技术，这些区域互不交叠，每个区域内部的某种特性或相同或相近，而不同区域间有明显差异）。

聚类准则
      一般有俩种方法来最为聚类优劣的准则，一是经验（如：以距离函数作为相似度的度量，用不断修改的阈值，来探究聚类效果的满意程度）；二是准则函数，其函数值与数据的划分有关，当取得极小值时就认为得到了最佳划分。

模糊聚类
     在所有的事物中并不是所有的都是精确的，都可以分个是非曲折或者将某些数据精确的划分为不同的分类，既然存在确定的那必然也存在不确定的，即模糊的。在实际生活中，我们人往往对那些模糊的事物也不能进行很好的判断，大多通过分析、理解、推理、总结对那些模棱两可的进行经验性的分类。即使这样，对于不同的人看待的不同的事物仍然是不能进行统一的，如人的高矮，胖瘦以及哪个年龄属于中年阶段等等，但是对于这些又大概可以划分出一个多数人比较认可的范围，我们可以把这个范围视为模糊集。在模糊聚类中正是通过对这些模糊集进行运算、分析来对模糊数据进行分类的（比较常用的是模糊矩阵）。

 

 

原文： https://blog.csdn.net/step_forward_ml/article/details/80630682
 
细腻度图像分类相比普通的图像分类具有更大的挑战，因为在细腻度图像类别中类间差异往往只聚焦于很小的一个区域。比如在下图海鸥的3个品种中，差异仅仅体现在喙与脚；而在人类活动识别(human activity recognition)中的弹奏乐器与拿着乐器也仅仅体现在手和嘴上。针对这一类分类任务可采用强监督的学习方式，即根据下图中额外的bounding box信息去学习相应的模型；然而，一方面强监督的学习框架需要额外的标注信息；另一方面人为标定的区域（region）不一定是最适合模型分类的区域。因此基于非监督(注意这里的非监督指不需要bounding box信息，但是在模型学习中仍需要图像的label信息)的细腻度图像分类模型在现实世界中更加通用与有效。在CVPR2017中一篇oral论文Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition，提出了一个很有效的非监督学习模型， 能取得和采用类似bounding box标注的算法效果。 
 
 总的来说，该论文基于注意力机制的网络模型不断聚焦到最具辨别性的区域实现图像的分类，如下图，由粗尺度的啄木鸟原始图像聚焦到了更具辨别性的头部区域；如此反复聚焦到更细的尺度，使得模型类似于循环神经网络的流程。因此文中提出的模型叫Recurrent Attention Convolutional Neural Network (RA-CNN)。下面详细阐述模型的网络结构。 
 
 RA-CNN结构如下图所示： 

 可以看出，RA-CNN由上到下用了3个尺度并且越来越精细，尺度间构成循环，即上层的输出作为当层的输入。RA-CNN主要包含两部分：每一个尺度上的卷积网络和相邻尺度间的注意力提取网络(APN, Attention Proposal Network)。在每一个尺度中，使用了堆叠的卷积层等，最后接上全连接层于softmax层，输出每一个类别的概率；这个是很好理解的，文中采用的网络结构是VGG的网络结构。 
 APN实质是一个包含2个全连接层的网络，它的输入是卷积网络中的最后一层卷积层，输出是一个正方形区域(tx,ty,tltx,ty,tl)，其中tx,ty表示该区域的中心坐标，tl表示该区域边长的一半。那么该辨别的正方形区域的左上坐标(top-left)和右下坐标(bottom-right)就可表示为 
 
 有了APN的区域输出，我们就聚焦了一个辨别区域[tx,ty,tl][tx,ty,tl]，那么从上一个尺度的图像中截取此辨别区域[tx,ty,tl][tx,ty,tl]的图像数据为： 
 
 
 
 
其中⊙⊙为矩阵的对应元素相乘操作符，而M(.)M(.)表示一个掩模矩阵(attention 
 mask)。文中进一步指出，为了进行网络结构的学习，作者针对这里的crop操作采用了近似的连续函数boxcar function，即 
 
 
其中h(x)=1/(1+exp{−kx})h(x)=1/(1+exp⁡{−kx})为logistic函数，当kk足够大时，h(x)h(x)类似于一个阶跃函数(step fuction)；式中的tx(tl),tx(br),tx(tl),tx(br)tx(tl),tx(br),tx(tl),tx(br)为截取区域的左上，右下坐标。例如，假设截取正方形区域中心为(150,150)(150,150)，半边长为50，k=1000k=1000，那么M所产生的三维曲面如下图。从图中可以看出在截取区域内的值为1，边界区域0.5，其它区域为0。那么生成的M掩模矩阵能很好的进行截取区域的近似。并且该boxcar function为连续函数，使得在BP算法中计算梯度成为可能。 

 这里为了进一步有效的提取区域的特征，作者对截取区域进行了双线性插值放大。然后，再输入到卷积网络中。以上就是APN的实现细节，而其损失函数采用了成对的排序损失(pairwise ranking loss)，即使得当前尺度的卷积网络的概率输出大于上一尺度的概率输出。直白的理解就是，通过APN后，获取了图像的辨别区域；那么预测的图像正确类别的输出概率会随着尺度的加深越来越大。最终，总的损失包含卷积网络的各尺度的输出损失和各个APN的成对排序损失，定为： 
 
 
其中lclslcls为卷积网络损失，即为常见的交叉熵损失函数；lranklrank为成对排序损失，具体定义为 
 
 
这样的损失函数设计使得在训练过程中，以粗尺度的概率输出作为参考，并强制细尺度得到更好的输出以不断的聚焦到最具辨别性的区域。 
 整个网络的训练采用交替的训练策略，步骤如下：
 
初始化：直接从ImageNet训练的VGG的参数初始化卷积网络；
预训练APN：在卷积网络的最后一个卷积层里选取响应最大的区域作为APN的输出区域，其中该输出区域的大小初始化为原始图像的一半。这样有了区域[tx,ty,tl][tx,ty,tl]，我们就可以预训练图中的2个APN网络(d1,d2d1,d2)；
交替训练：固定APN的参数，训练卷积网络；固定卷积网络的参数，训练APN；直到两者的 loss 不再变化。注意，在参数tltl的更新中，作者加入了约束，即当前尺度的tltl大小不得小于上一尺度的1/31/3，以保证截取区域的结构完整性。其中，截取操作采用了具有连续性质的 boxcar 函数，成对排序损失lranklrank对参数[tx,ty,tl][tx,ty,tl]的求导是很容易的；有了lranklrank对参数[tx,ty,tl][tx,ty,tl]的梯度，再往回传，即就是更新APN网络中2个全连接层的权重参数。
该论文采用通过尺度内分类损失（intra-scale classification loss）和尺度间排序损失（inter-scale ranking loss）进行优化，以相互学习精准的区域注意力和细粒度表征。最后的实验结果表面RA-CNN 并不需要边界框或边界部分的标注，即可达到和采用类似bounding box标注的算法效果，并且可以进行端到端的训练。