上一次的博客提到了我们实验室发表在CVPR2018以及IEEE TPAMI上的工作MELM[1]，这一次的博客进一步介绍基于MELM的最新的工作C-MIL，也是实验室今年被CVPR2019接收的4篇论文之一，《C-MIL: Continuation Multiple Instance Learning for Weakly Supervised Object Detection》。论文也是今年CVPR oral。C-MIL基于VGG16的骨架网络在PASCAL VOC 2007上取得了state-of-the-art的目标检测结果，mAP为50.5，比我们之前的工作MLEM的性能47.3有一个很大margin的性能提升。代码将会开源。在论文中，我们提到了一种基于连续优化的方法，更好地解决弱监督目标检测问题的非凸性，将图片bag中的实例proposals进行有效地划分，划分的每一个子集subsets里面的每一个实例有类别（有相似的类别得分）和空间之间（实例之间有重叠并超过一定的阈值）的联系，并在相应的子集上定义相应的更加光滑smooth的目标函数，从而不同的subsets的目标函数联合去逼近最终的目标函数，从而更好地优化目标函数，避免模型较早陷入局部极小值，从而获得更好的优化结果。

下面就简要地对本文的工作进行介绍。

1  Introduction

弱监督视觉目标检测在计算机视觉领域获得了越来越高的关注度。相比于全监督设置下的目标检测，由于弱监督目标检测的监督信息只是指示图片中是否包含相应类别物体的image-level的信息，因此就大大的减少了time-consuming的bounding-box级别的标注。在前一篇博客中也介绍了很多相关的工作，都致力于解决弱监督目标检测存在的一些问题，比如定位的随机性，由于问题的非凸性导致的局部极小值以及只检测部分discriminative的parts，而不是整个物体的object extent。比如提出了空间正则化方法WCCN[2]，WSDNN[3]，MLEM[1]，加入语义context信息ContextLocnet[4]，以及渐进的优化WCCN[2]，progressive domain adaptation[5]，OICR[6]等。

在本文中，我们在多实例学习Multiple Instance Learning中引入了continuation方法，提出了C-MIL模型以更好地解决非凸性问题。C-MIL把每一张图片看做一个bag，图片中的每一个proposal看做实例。在训练过程中，不同于传统的MIL方法只学习到了物体最具特征判别力的部分，C-MIL学习到了实例的子集，子集中的每一个实例是空间（实例之间有一定的重叠）和类别（实例得分相似）相关的。

这一些实例的子集是根据continuation参数进行划分的，在本文中我们提到了几种不同的continuation参数设置方法，比如线性、Sigmoid、指数、对数等。当参数为最小值的时候，图片划分为一个子集，其中这一个子集包含了所有的实例proposals，这时候C-MIL的损失函数是凸的分类损失函数。当参数设置为最大时，每一个实例就是一个子集，这时候目标函数就是非凸的MIL的损失函数。在训练过程中，参数就设置为从最初的训练epoch到最后的epoch数值从最小0到最大1。用这样的方式，我们可以用一系列的易于优化的光滑的函数去逼近原来的损失函数。图1是MIL和C-MIL的优化过程的对比。

通过端到端的训练，每一张图片中的最具判别力的子集会被挖掘，而其他的子集内的实例将会被抑制。

                                        

                                                                                                             图 1

总结一下，我们的贡献主要是下面三个。

1. 提出了一个很novel的C-MIL的框架，通过使用一系列的光滑的易于优化的损失函数对原来的损失函数进行优化，减轻多实例学习过程中的非凸性。
2. 提出了一个实例子集划分的参数策略，并结合深度神经网络去激活full object extent。

      3. 在常用的目标检测数据集上获得了state-of-the-art的弱监督目标检测与定位性能。

2.  Methodology

下面介绍一些论文的名词定义。

为第个bag(图片)，为所有的bags，是的标签，指示是否包含正的instance，其中，-1代表负例图片，1代表正例图片。和分别代表bag图片中的实例和相应的标签，，N代表中实例的个数，为待学习的网络参数。

2.1  MIL Revisit

有了上面的约定，MIL方法可以分为两个交替优化的步骤：实例选择和检测器估计。在实例选择阶段，一个实例选择器可以计算每一个proposal的类别得分，最后根据计算的得分进行正样本挖掘。

                                                                                                                                                  公式 1

其中是得分最高的proposals。

在检测器估计阶段，采用上面选择的实例训练实例分类器，和分别是实例选择器和实例分类器的网络参数。

MIL网络，将上面的两个步骤结合在一起，将两个子网络的参数联合进行优化，损失函数定义如下。

                                                                                                                     公式 2

其中第一项为标准的hinge loss。

                                                                                                                   公式 3

第二项为实例分类器的损失函数。

                                                                                                             公式 4

其中是的标签，按照下面的方式进行定义。

                                                                                                                                         公式 5

其中如果否则。

2.2  Convexity Analysis

考虑到对一系列凸函数的值取最大值得到的函数还是凸函数。当，公式3是凸的，但是当，就是非凸的。因此MIL网络的损失函数（公式2）是非凸的，因此会存在一些局部极小值。这样一旦检测器采用这些不够准确的instances进行训练，会导致检测器的性能受到很大的影响，特别是在早期的训练阶段就被误导。

因此下面的两个问题是需要解决的，第一是如何优化非凸函数；第二是在实例选择器未被训练好的早期阶段怎么进行实例的选择。

2.3  Continuation MIL

C-MIL方法从模型优化的开始到结束会定义一系列光滑的损失函数并得到相应的解，到，其中是当时的解，是时候的解。在模型训练的过程中，定义了一系列的，，分别对应不同的训练epoch，公式2的损失函数在不同的epoch会以一下相应不同的方式呈现。

                                                

                                                                                                                      公式 6

是实例子集，是的index。这样是实例选择的损失函数，是实例分类器的损失函数。

Continuation Instance Selection

当训练实例选择器的时候，一个bag按照一定方法分为一个个的实例子集，其中每一个实例子集中的实例有前面所说的空间和类别上的联系。实例子集建立方法如下。

1. 选择得分最高但是还未属于任何一个实例子集的实例（proposal）建立一个新的实例子集；
2. 将那些与上述得分最高的实例重叠超过或者等于的实例归入该新的实例子集。迭代重复进行上述两个步骤即可。

这里需要对λ的两个特例进行说明，当的时候，每一个被划分一个单个的包含bag所有实例的子集，而当的时候，每一个实例就是一个子集。该实例选择器的损失函数如下。

                                                                                                                                                                                                                                                                                                                                           公式7

其中f是实例子集的得分，定义如下。

                                                                                                                                               公式 8

|Bi,J(λ)|是子集Bi,J(λ)中的实例个数。Bi,j∈Bi,J(λ)。MIL与C-MIL实例选择的差异如图2所示。

                                              

                                                                                                                      图 2

Continuation Detector Estimation

得分最高的实例子集用于检测器的训练。这里采用一个continuation的方法对子集中的实例进行选择，将其实例分为正类实例和负类实例。定义子集中得分最高的实例为，然后按照以下的方法对实例进行正负分类。

                                                                                                                                         公式 9

检测器的损失函数定义如下。

                                                                                                                     公式 10

2.4  Implementation

系统整体实现架构图如下所示。

                                                            

                                                                                                                            图 3

上面提到的两个模块加在骨架网络倒数第二个全连接层的top。采用Selective Search方法为每一张图片产生大概2000个proposals，然后将图片依次通过骨架网络的全卷积层，最后在全卷积层的top层（CNOV5）的feature map上进行ROI-pooling从而产生对每一个proposal的特征表达，最后再经过两个全连接层进行特征的进一步提取，最后再经过上述的两个模块进行相应的实例选择以及实例分类。

3.  Experiments

C-MIL在PASCAL VOC 2007和PASCAL VOC 2012上进行了测试，都取得了state-of-the-art的定位和检测性能。

相关的更加detailed的实验设置见原论文。下面将对相应的实验结果进行展示。

3.1  Continuation Method

这一部分主要是评估参数的设置方式以及连续优化方法对最终性能的影响。

Continuation parameter

主要采用了前面已经提到过的5中参数控制方法（见图4）。

                                         

                                                                                                   图 4

而相应的参数控制策略对最终性能的影响如图5所示。

                                         

                                                                                                  图 5

Continuation optimization

Continuation优化方法对最终性能的影响如图6所示。

                               

                                                                                        图 6

可见实例选择和目标检测器都加上连续优化的方法可以显著提高检测的性能。在图7显示了MIL和C-MIL方法的定位和分类的性能比较。在早期训练阶段，MIL的性能优于C-MIL的性能，但是后面C-MIL的性能最终赶上了MIL的性能。但是对于检测来说，由于MIL会定位一些最具discriminative的部分，但是存在忽略full object extent，，但是C-MIL会同时优化分类和检测，因此在后面的训练阶段C-MIL的定位结果优于MIL的结果。

                                         

                                                                                                            图 7

3.2  Performance Comparation

基于VGG16骨架网络的C-MIL在主流的数据集PASCAL VOC 2007和PASCAL VOC 2012上同其它方法的性能比较如下。

                                       

                                                                                               图 8

                                            

                                                                                                图 9

在PASCAL VOC 2007数据集上的定位性能见图10.

                                         

                                                                                                          图 10

本论文提出了一个有效的C-MIL框架用于弱监督目标检测。C-MIL采用一系列光滑的损失函数逼近原来的损失函数的从而减轻多实例学习问题的非凸性。这些光滑的易于优化的损失函数定义在按照参数策略划分的子集上。提出来的C-MIL方法显著地提高了弱监督目标检测的性能。

        多示例学习(multiple-instance learning)是1997年被提出的。其与监督学习、半监督学习和非监督学习有所不同，它是以多示例包(bag)为训练单元的学习问题。

        在多示例学习中，训练集由一组具有分类标签的多示例包(bag)组成 ，每个多包(bag)含有若干个没有分类标签的示例(instance)。如果多示例包(bag)至少含有一个正示例(instance)，则该包被标记为正类多示例包（正包）。如果多示例包的所有示例都是负示例，则该包被标记为负类多示例包（负包）。多示例学习的目的是，通过对具有分类标签的多示例包的学习，建立多示例分类器，并将该分类器应用于未知多示例包的预测。

举例一：

        很多传统的分类问题可以转化为多示例学习问题。例如，在图像分类中，我们把含有“大象”的图像被分为正类，不含有“大象”的图像被分为负类。在训练集中，假设60幅图像含有“大象”，40幅图像不含有“大象”。

                             图1：原图像

        （1）对于上图，在传统分类中，一幅图像可以转化为一个向量（示例）。因此，数据集中有60个正类示例（图像）和40个负类示例（图像）。每一个示例（图像）的label都是已知的，训练集给定的。在60个正类示例和40个负类示例的基础上，建立分类器，区分正类示例和负类示例

        （2）但是，一幅可能包含复杂的内容信息，譬如这幅画不仅含有“大象”，还包含了天空、和草地等多个图像内容。对于“大象”来说，“天空”和“草地”可以被认为是噪声，这导致预测时分类精确度的降低。

        （3）因此如果把整幅图像看作单个向量，难以充分描述多个图像内容。为此，研究者把图像按照不同内容区域进行分割，如下：

                      图2：分割为3个区域

        我们把图2看作一个多示例包bag，1个分割区域看作一个示例instance。由于图2含有3个分割区域，因此图2的多示例包含有3个示例instance。每一个分割区域（instance）可以转化为1个向量。因此，图2的多示例包含有3个向量，这就把传统的图像分类转化为多示例学习问题。

举例二：

        知识图谱有信息抽取的人物，这里面包含命名实体抽取，关系抽取，属性抽取。其中实体关系用的较多的方法是远程监督，即给出文本，其中包含两个实体。例如“姚明的妻子是叶莉，她的身高是189cm”。从上述文本我们可以得到，姚明-妻子-叶莉、叶莉-身高-189cm 两组spo三元组。但我们的真实想要的妻子这一关系，故叶莉-身高-189cm属于噪音数据。

        我们用大量包含姚明-叶莉的文本进行训练，当然这些文本中姚明和妻子共现，但不一定是妻子，也可能是上司等关系。总之这条文本包含一个姚明-妻子-叶莉，我们就认为这条文本，是一个正类多示例包(bag)。通过多条这样的多事例包的训练，我们可以得到能识别妻子关系的model。之后用该model，预测某文本，是否为妻子关系。

        关系抽取远程监督，可以参考链接。

        在多示例学习中，多示例包bag的label是已知的，示例instance的label是未知的。图2属于正类，含有“大象”，这个图像label是训练集给定的。但是，图2的3个分割区（instance），哪个区域含有大象，哪个区域不含有大象，我们是不知道的。因此，在多示例中，多示例包bag (图像)的label是已知的（训练集给定的），但是，示例instance（分割区域）的label是未知的。我们的任务是，在正类多示例包bag和负类多示例包bag的基础上，建立分类器，区分正类多示例包和负类多示例包。困难之处在于，每个多示例包含有若干个示例（向量），只有多示例包（图像）的label是已知的，多示例包里面的示例（分割区域）的label是未知的。

随着科技的发展，机器学习越来越走进我们的日常生活中，在普通人眼里机器学习是一门重算法，数学公式复杂的高门槛职位，笔者也深入研究这块，接下来从一个学习小白的角度讲述一个完整的机器学习案例，方便很多像笔者这样在机器学习门外徘徊很久的爱好者能登堂入室，打开神秘的机器学习大门。

一、概念

1. 机器学习：专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，以辅助人类决策。
2. 机器学习分类：监督学习、非监督学习、半监督学习，他们的区别如下：监督学习就是按照你提供的输入输出关系找到里面的规律；非监督学习是给你一堆数据，你自己通过各种算法去找到规律；半监督学习正好处于两者之间；举个例子来说就是监督学习是按照老师教的去学习，非监督学习是自学，半监督学习是跟同学一块学习，里面的涵义读者朋友可以好好体会下。

二、实践

接下来我们将以一个监督学习的案例打开机器学习之旅。基本的业务是这样的：前提条件是体重是由性别和身高决定的，但具体的关系我们不是很清楚，这个时候我们通过一份既有的性别、身高和体重的关系表，根据这张关系表训练处一个模型，进而可以根据性别、身高来预测体重。

1. 首先我们需要处理好数据，也就是我们需要训练的机器学习的每一列数据，避免出现异常、缺失值、数据的数量级弄错等情况。
   
2. 根据测试数据选择相应的训练模型，我们这里是通过机器学习中的线性回归作为我们的训练模型，这个过程最主要是选择训练模型，也就是算法，最终预测结果准不准确，主要还是看这个，当然因变量和自变量的选择也很关键，为什么只选择性别和身高呢，而不选择年龄，其实背后还是有很多前期的调研和逻辑论证的。
   
3. 运用我们训练出来的模型预测数据。通过上面一步，我们基本上已经把模型训练出来，接下来是检验模型的时候，我们验证的方法很简单，就是通过模型预测的结果跟表中实际的值去比较。
   
   由于我们预测的是男性身高为172厘米的时候体重的范围，为了规避异常数据，我们从表格中取男性[171,173]之间的平均值，通过下面的数据基本上还是挺准确的，表格中数据如下：
   
   当然通过一次预测是说明不了什么问题的，读者朋友可以多试验几次，通过比较，我们大概知道我们模型预测的准确性如何。

以上项目的源代码和数据生成文件，可以查看文末参考文献github上项目源代码，欢迎读者朋友们互相交流学习。

参考文献
1.Github机器学习项目源代码
2.机器学习中三大学习类别