精华内容
下载资源
问答
  • 计算机视觉研究方向

    千次阅读 2020-08-06 12:09:44
    所谓计算机视觉,即compute vision,就是通过用计算机来模拟人的视觉工作原理,来获取和完成一系列图像信息处理的机器。计算机视觉属于机器学习在视觉领域的应用,是一个多学科交叉的研究领域,涉及数学,物理,生物...

    所谓计算机视觉,即compute vision,就是通过用计算机来模拟人的视觉工作原理,来获取和完成一系列图像信息处理的机器。计算机视觉属于机器学习在视觉领域的应用,是一个多学科交叉的研究领域,涉及数学,物理,生物,计算机工程等多个学科,由此也可以想象到计算机视觉的研究范围非常广,也是图像,语音,自然语言处理领域中从业人数最多的。

    1.图像分类

    1.1 基本概念

    图像分类是计算机视觉中最基础的一个任务,也是几乎所有的基准模型进行比较的任务,从最开始比较简单的10分类的灰度图像手写数字识别mnist,到后来更大一点的10分类的cifar10和100分类的cifar100,到后来的imagenet,图像分类任务伴随着数据库的增长,一步一步提升到了今天的水平。

    现在在imagenet这样的超过1000万图像,2万类的数据集中,计算机的图像分类水准已经超过了人类。

    图像分类,顾名思义,就是一个模式分类问题,它的目标是将不同的图像,划分到不同的类别,实现最小的分类误差。

    总体来说,对于二分类的问题,图像分类可以分为跨物种语义级图像分类子类细粒度图像分类,以及实例级图像分类三大类别。
    在这里插入图片描述
    传统机器学习方法:

    通过各种经典的特征算子+经典分类器组合学习,比如HoG+SVM。

    深度学习方法:

    各种分类网络,最为大家熟知的就是ImageNet竞赛了。

    2012年Alexnet诞生,意味着GPU训练时代的来临。

    Alexnet是第一个真正意义上的深度网络,与LeNet5的5层相比,它的层数增加了3 层,网络的参数量也大大增加,输入也从32变成了224。

    2014年VGG诞生,它共包含参数约为550M。全部使用33的卷积核和22的最大池化核,简化了卷积神经网络的结构。VGG很好的展示了如何在先前网络架构的基础上通过增加网络层数和深度来提高网络的性能,网络虽然简单,但是却异常的有效,在今天VGG仍然被很多的任务选为基准模型。

    同一年GoogleNet诞生,也被成为Inception Model,它的核心是Inception Module。一个经典的inception 结构,包括有四个成分,11卷积,33 卷积, 55 卷积,33 最大池化,最后对运算结果进行通道上组合,可以得到图像更好的表征。自此,深度学习模型的分类准确率已经达到了人类的水平(5%~10%)。

    2015年,ResNet被提出。ResNet以 3.57%的错误率表现超过了人类的识别水平,并以152层的网络架构创造了新的模型记录。由于resnet采用了跨层连接的方式,它成功的缓解了深层神经网络中的梯度消散问题,为上千层的网络训练提供了可能。

    2016年ResNeXt诞生,101层的ResNeXt可以达到ResNet152 的精确度,却在复杂度上只有后者的一半,核心思想为分组卷积。即首先将输入通道进行分组,经过若干并行分支的非线性变换,最后合并。

    在resnet基础上,密集连接的densenet将前馈过程中将每一层与其他的层都连接起来。对于每一层网络来说,前面所有网络的特征图都被作为输入,同时其特征图也都被其他网络层作为输入所利用。

    2017年,也是imagenet图像分类比赛的最后一年,senet获得了冠军。这个结构,仅仅使用了“特征重标定”的策略来对特征进行处理,也就是通过学习获取每个特征通道的重要程度,根据重要性去抑制或者提升相应的特征。

    1.2 方向特点

    图像分类的比赛基本落幕,也接近算法的极限。但是在实际的应用中却面临着比比赛中更加复杂,比如样本不均衡,分类界面模糊,未知类别等

    2.目标检测

    2.1 基本概念

    分类任务给出的是整张图片的内容描述,而目标检测任务则关注图片中特定的目标。

    检测任务包含两个子任务,其一是这一目标的类别信息和概率,它是一个分类任务。其二是目标的具体位置信息,这是一个定位任务
    在这里插入图片描述
    与计算机视觉领域里大部分的算法一样,目标检测也经历了从传统的人工设计特征和浅层分类器的思路,到大数据时代使用深度神经网络进行特征学习的思路。

    在传统方法时代,很多的任务不是一次性解决,而是需要多个步骤的。而深度学习时代,很多的任务都是采用End-To-End的方案,即输入一张图,输出最终想要的结果,算法细节和学习过程全部丢给了神经网络,这一点在物体检测这个领域,体现得尤为明显。

    不管是清晰地分步骤处理,还是深度学习的end-to-end的方法,目标检测算法一定会有3个模块。第一个是检测窗口的选择,第二个是图像特征的提取,第三个是分类器的设计。

    2.2 方法分类

    传统机器学习方法:

    以保罗·维奥拉和迈克尔·琼斯于2001年提出的维奥拉-琼斯目标检测框架为代表,这是第一篇基于Haar+Adaboost的检测方法,也是首次把检测做到实时的框架,此方法在opencv中被实现为cvHaarDetectObjects(),是opencv中最为人熟知的目标检测方法。速度非常快,检测召回率相对如今的算法较低。

    深度学习方法:

    仍然要解决区域选择、提取特征、分类回归三个问题。但是在演变过程中,却发展出了multi-stage和one-stage的方法。其中multi-stage方法,是分步骤完成上面的任务,甚至可能需要单独训练各个网络。而one-stage则是一步到位。

    RCNN的框架是multi-stage方法的典型代表。它使用了Selective search先生成候选区域再检测,候选窗口的数量被控制在了2000个左右。选择了这些图像框之后,就可以将对应的框进行resize操作,然后送入CNN中进行训练。由于CNN非常强大的非线性表征能力,可以对每一个区域进行很好的特征表达,CNN最后的输出,使用多个分类器进行分类判断。该方法将PASCAL VOC上的检测率从 35.1% 提升到了53.7%,其意义与Alexnet在2012年取得分类任务的大突破是相当的,对目标检测领域影响深远。

    随后Fast R-CNN提出RoIPooling从整图对应的卷积特征图选取区域特征,解决了重复提取特征的问题。Faster R-CNN则提出Region Proposal, anchors把一张图片划分成n*n个区域,每个区域给出9个不同ratio和scale的proposal,解决了重复提取候选proposal的问题。 RCNN系列在工业届应用非常广泛,因此从事目标检测的同学必须掌握。

    除了multi-stage方法,还有one-stage方法。以YOLO为代表的方法,没有显式的候选框提取过程。它首先将图片resize到固定尺寸,将输入图片划分成一个7x7的网格,每个网格预测2个边框,对每一个网络进行分类和定位。YOLO方法也经过了许多版本的发展,从YOLO v2到YOLO v3。YOLO的做法是速度快,但是会有许多漏检,尤其是小的目标。所以SSD就在 YOLO的基础上添加了Faster R-CNN的Anchor 概念,并融合不同卷积层的特征做出预测。虽然YOLO和SSD系列的方法没有了region proposal的提取,速度更快,但是必定会损失信息和精度。

    2.3 方向特点

    目标检测方向有一些固有的难题,比如小脸,遮挡,大姿态。
    在这里插入图片描述
    而在方法上,多尺度与级联网络的设计,难样本的挖掘,多任务loss等都是比较大的研究小方向。

    3.图像分割

    3.1 基础概念

    图像分割属于图像处理领域最高层次的图像理解范畴。所谓图像分割就是把图像分割成具有相似的颜色或纹理特性的若干子区域,并使它们对应不同的物体或物体的不同部分的技术。这些子区域,组成图像的完备子集,又相互之间不重叠。
    在这里插入图片描述
    在这里插入图片描述
    在图像处理中,研究者往往只对图像中的某些区域感兴趣,在此基础上才有可能对目标进行更深层次的处理与分析,包括对象的数学模型表示、几何形状参数提取、统计特征提取、目标识别等。

    传统方法:

    图像分割问题最早来自于一些文本的分割,医学图像分割。在文本图像分割中,我们需要切割出字符,常见的问题包括指纹识别,车牌识别;由于这一类问题比较简单,因为基于阈值和聚类的方法被经常使用。

    基于阈值和聚类的方法虽然简单,但因此也经常失效。以graphcut为代表的方法,是传统图像分割里面鲁棒性最好的方法。Graphcut的基本思路,就是建立一张图,其中以图像像素或者超像素作为图像顶点,然后移除一些边,使得各个子图不相连从而实现分割。图割方法优化的目标是找到一个切割,使得移除边的和权重最小。

    深度学习方法:

    全卷积神经网络(Fully connected Network)是第一个将卷积神经网络正式用于图像分割问题的网络。

    一个用于分类任务的深度神经网络通过卷积来不断抽象学习,实现分辨率的降低,最后从一个较小的featuremap或者最后的特征向量,这个featuremap通常为55或者77等大小。而图像分割任务需要恢复与原尺度大小一样的图片,所以,需要从这个featuremap恢复原始图片尺寸,这是一个上采样的过程。由于这个过程与反卷积是正好对应的逆操作,所以我们通常称其为反卷积。

    实际上并没有反卷积这样的操作,在现在的深度学习框架中,反卷积通常有几种实现方式,一个是双线性插值为代表的插值法,一个是转置卷积。

    在这里插入图片描述

    3.2 方向特点

    在基于深度学习的图像分割中,有一些比较关键的技术,包括反卷积的使用,多尺度特征融合,crf等后处理方法。

    多尺度与上下文信息:

    多尺度的信息融合可以从特征图,还可以直接采用多尺度的输入图像,不过这两者本质上没有太多的差异。使用金字塔的池化方案可实现不同尺度的感受野,它能够起到将局部区域上下文信息与全局上下文信息结合的效果。对于图像分割任务,全局上下文信息通常是与整体轮廓相关的信息,而局部上下文信息则是图像的细节纹理,要想对多尺度的目标很好的完成分割,这两部分信息都是必须的。

    CRF:

    由于经典的cnn是局部的方法,即感受野是局部而不是整个图像。另一方面,cnn具有空间变换不变性,这也降低了分割的边缘定位精度。针对cnn的这两个缺陷,crf可以进行很好的弥补。crf是一种非局部的方法,它可以融合context信息,Deeplab系列就使用了cnn加上全连接的crf的方式。

    另一方面,前面我们说的图像分割,是属于硬分割,即每一个像素都以绝对的概率属于某一类,最终概率最大的那一类,就是我们所要的类别。但是,这样的分割会带来一些问题,就是边缘不够细腻,当后期要进行融合时,边缘过渡不自然。此时,就需要用到image matting技术。

    4.目标跟踪

    4.1 基本概念

    目标跟踪,指的其实就是视频中运动目标的跟踪,跟踪的结果通常就是一个框。目标跟踪是视频监控系统中不可缺少的环节。
    在这里插入图片描述
    根据目标跟踪方法建模方式的不同,可以分为生成式模型方法与判别式模型方法。

    生成式模型跟踪算法以均值漂移目标跟踪方法和粒子滤波目标跟踪方法为代表,判别式模型跟踪算法以相关滤波目标跟踪方法和深度学习目标跟踪方法为代表。

    生成类方法:

    在原始影像帧中对目标按指定的方法建立目标模型,然后在跟踪处理帧中搜索对比与目标模型相似度最高的区域作为目标区域进行跟踪。算法主要对目标本身特征进行描述,对目标特征刻画较为细致,但忽略背景信息的影响。在目标发生变化或者遮挡等情况下易导致失跟现象。

    判别类方法:

    通过对原始影像帧,对目标及背景信息进行区分建立判别模型,通过对后续影像帧搜索目标进行判别是目标或背景信息进而完成目标跟踪。

    判别类方法与生成类方法的根本不同在于判别类方法考虑背景信息与目标信息区分来进行判别模型的建立,由于判别类方法将背景与目标进行区分,因此该类方法在目标跟踪时的表现通常更为鲁棒,目前已经成为目标跟踪的主流跟踪方式。判别类方法包括相关滤波,深度学习方法。

    4.2 方向特点

    目标跟踪有一些难点:

    (1) 目标表征表达问题,虽然深度学习方法具有很强的目标表征能力,但是仍然容易受相似环境的干扰。

    (2) 目标快速运动,由于很多跟踪的物体都是高速运动,因此既要考虑较大的搜索空间,也要在保持实时性的前提下减小计算量。

    (3) 变形,多尺度以及遮挡问题,当目标发生很大的形变或者临时被遮挡如何保持跟踪并且在目标重新出现时恢复跟踪。

    5.图像滤波与降噪

    5.1 基本概念

    现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像降噪,有时候又称为图像去噪。

    降噪可以应用于图像增强和美颜等领域。
    在这里插入图片描述
    传统方法:

    传统降噪算法根据降噪的原理不同可分为基于邻域像素特征的方法,基于频域变换的方法,和基于特定模型的方法。

    基于空域像素特征的方法,是通过分析在一定大小的窗口内,中心像素与其他相邻像素之间在灰度空间的直接联系,来获取新的中心像素值的方法,因此往往都会存在一个典型的输入参数,即滤波半径r。此滤波半径可能被用于在该局部窗口内计算像素的相似性,也可能是一些高斯或拉普拉斯算子的计算窗口。在邻域滤波方法里面,最具有代表性的滤波方法有以下几种:算术均值滤波与高斯滤波,统计中值滤波,双边滤波,非局部平均滤波方法,BM3D算法。

    深度学习方法:

    在2012年,随着Alexnet的出现,深度学习做去噪的工作取得了一些进展,可以达到和BM3D差不多的水平。对于仿真的噪声和固定的噪声,深度学习已经可以很好的去除,达到或超过传统领域里最好的算法。

    利用卷积神经网络去除噪声的原理很简单,输入是一张有噪声的图,标签是一张无噪声的图,输出是一张降噪后的图,损失函数是无噪声groundtruth与网络输出的L2距离,网络通常就是与图像分割算法一样的网络,卷积+与之对称的反卷积。

    5.2 方向特点

    降噪的研究聚焦在真实数据的去噪声,因为真实世界的噪声不符合高斯加性噪声的假设,而且是依赖于信息本身的。不过,真实噪声图像和相应的无噪声图像获取是非常困难,慢慢的也有了一些benchmark,大家以后关注我们就知道了。

    6.图像增强

    6.1 基本概念

    图像增强,即增强图像中的有用信息,改善图像的视觉效果。

    在这里插入图片描述
    图像增强实际上包含了很多的内容,上面的降噪也属于其中,只是因为降噪多了美颜这一个应用单独拿出来说一下。

    对比度增强,用于扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,可用于改善图像的识别效果,满足某些特殊分析。

    超分辨,使图像变得更加清晰,可以用于视频的传输先进行降采样,再进行升采样,即降低了传输成本,又增加了视觉效果。

    图像修复,重建图像和视频中丢失或损坏的部分,也被称为图像插值或视频插值,主要是替换一些小区域和瑕疵,如photoshop中的印章工具。随着发展,已经从原先针对划痕、污点等的修复到现在对图像、视频中文字、物体等的移除,比如水印等。

    传统方法:

    传统的方法就是一个预定义好的非线性变换,主要有三大类方法,一类是点操作,一类是直方图操作,一类是Retinex理论。

    点操作也被称为直接对比度增强,将每个像素独立操作,包括对数变化,指数变化,负图像,阈值化等。我们熟知的gamma变换如下,可以进行不同形状的映射。

    直方图操作也被称为间接对比度增强,包括直方图均衡,直方图匹配等。直方图均衡化通常用来增加图像的全局对比度,尤其是当图像中主体和背景对比度相当接近的时候。直方图均衡化的效果就是让直方图更均衡的分布,这种方法对于背景和前景都太亮或者太暗的图像非常有用,通常是曝光过度或者曝光不足的图片。

    Retinex理论,即颜色恒常知觉的计算理论,Retinex是一个合成词,它的构成是retina(视网膜)+cortex(皮层),它将图像认为是reflectance和illumination的点乘,理论基础是在不同的照明条件下,物体的色彩不受光照非均性的影响是恒定的,而物体的颜色是由物体对长波、中波和短波光线的反射能力决定的而不是由反射光强度的绝对值决定。

    深度学习方法:

    以增强对比度为例,深度学习方法使用了CNN来进行非线性变换的学习,而且通常不仅仅局限在对比度增强,经常会同时学习到降噪。深度学习的方法有两种,一种是采用成对的图片训练,比如pix2pix,learning in the dark,缺点是没有普适性,只能对所实验的数据集有用。一种是不需要成对图片训练,只需要好图,比如WESPE,常配合GAN使用。

    6.2 方向特点

    一个图像增强任务,传统方法需要分别进行降噪,颜色校正,对比度增强等各种操作,而深度学习算法的好处就是end-to-end输出,将整个流程丢给了网络。目前图像增强相对于前面的一些方向还是一个蓝海,覆盖的方向和应用非常广,有精力的朋友可以好好研究。

    7.风格化

    7.1 基本概念

    图像风格化之所以引起我们的注意,完全是因为2015年的一个研究,可以将任意的图像转换为梵高的画作风格。 也是得益于深度学习技术的发展,传统的方法做不到这么好的效果。而随着美图秀秀,天天P图等app层出不穷的滤镜,风格化已经成为了单独的一个研究领域。

    图像风格化是一个综述性的技术应用,为了简单起见,就理解为艺术类滤镜把,它指通过算法,将数码相机拍摄的照片,变成绘画、素描等艺术类的非数码相机效果,是后期程度最深的操作,将彻底改变相片的风格。
    在这里插入图片描述
    深度学习方法:

    以A Neural Algorithm of Artistic Style 论文发表为起始,Prisma滤镜为典型代表。虽然风格迁移技术的发展日新月异,但是最革命性的还是该文章的方法,这是德国图宾根大学的研究,它通过分析某种风格的艺术图片,能将图片内容进行分离重组,形成任意风格的艺术作品,最开始的时候需要将近一个小时来处理。

    就是把一幅图作为底图,从另外一幅画抽取艺术风格,重新合成新的艺术画,可以参考上面的图。

    研究者认为,图片可以由内容层(Content)与风格层(Style)两个图层描述,相互分离开。在图像处理中经常将图像分为粗糙层与细节层,即前者描述图像的整体信息,后者描述图像的细节信息,具体可以通过高斯金字塔来得到。

    卷积神经网络的各个神经元可以看做是一个图像滤波器,而输出层是由输入图像的不同滤波器的组合,深度由浅到深,内容越来越抽象。

    底层信息重建,则可以得到细节,而从高层信息重建,则得到图像的”风格“。因此,可以选择两幅图像,一幅构建内容信息,一幅构建风格信息,分别进行Content重建与Style 重建。通过将内容与风格组合,可以得到新的视觉信息更加有意思的图像,如计算机油画,这就是它的基本原理。方法的核心在于损失函数的设计,包括内容损失和风格损失。

    内容损失在像素空间,要求风格化后的图能够保证内容的完整性。风格损失使用vgg特征空间的gram矩阵,这样就有了较高的抽象层级,实践结果表明可以很好的捕捉风格。

    7.2 方向特点

    如今风格化方法在很多地方都有应用,比如大家熟悉的变脸等。方法也演变成了几个方向;

    (1)单模型单风格,即一个网络只能做一种风格化。

    (2)单模型多风格,即一个网络可以实现多种风格,比(1)实用的多。

    (3)单模型任意风格,即一个网络可以任意风格,视输入图像而定,这是最好的,更多的研究我们以后会开专题。

    8.三维重建

    8.1 基本概念

    什么是三维重建呢?广义上来说,是建立真实世界的三维模型。随着软硬件的成熟,在电影,游戏,安防,地图等领域,三维重建技术的应用越来越多。目前获取三维模型的方法主要包括三种,手工建模,仪器采集与基于图像的建模。
    在这里插入图片描述
    (1) 手工建模作为最早的三维建模手段,现在仍然是最广泛地在电影,动漫行业中应用。顶顶大名的3DMax就是典型代表,当然了,它需要专业人士来完成。

    (2) 由于手工建模耗费大量的人力,三维成像仪器也得到了长期的研究和发展。基于结构光(structured light)和激光扫描技术的三维成像仪是其中的典型代表。这些基于仪器采集的三维模型,精度可达毫米级,是物体的真实三维数据,也正好用来为基于图像的建模方法提供评价数据库。由于仪器的成本太高,一般的用户是用不上了。

    (3) 基于图像的建模技术(image based modeling),顾名思义,是指通过若干幅二维图像,来恢复图像或场景的三维结构,这些年得到了广泛的研究。

    我们这里说的三维重建,就特指基于图像的三维重建方法,而且为了缩小范围,只说人脸图像,并简单介绍其中核心的3DMM模型。

    3DMM模型:

    人脸三维重建方法非常多,有基于一个通用的人脸模型,然后在此基础上进行变形优化,会牵涉到一些模板匹配,插值等技术。有基于立体匹配(各种基于双目,多目立体视觉匹配)的方法,通过照相机模型与配准多幅图像,坐标系转换,获取真实的三维坐标,然后进行渲染。有采用一系列的人脸作为基,将人脸用这些基进行线性组合的方法,即Morphable models方法。

    其中,能够融会贯通不同传统方法和深度学习方法的,就是3D Morphable Models系列方法,从传统方法研究到深度学习。

    它的思想就是一幅人脸可以由其他许多幅人脸加权相加而来,学过线性代数的就很容易理解这个正交基的概念。我们所处的三维空间,每一点(x,y,z),实际上都是由三维空间三个方向的基量,(1,0,0),(0,1,0),(0,0,1)加权相加所得,只是权重分别为x,y,z。

    转换到三维空间,道理也一样。每一个三维的人脸,可以由一个数据库中的所有人脸组成的基向量空间中进行表示,而求解任意三维人脸的模型,实际上等价于求解各个基向量的系数的问题。

    每一张人脸可以表示为:

    形状向量Shape Vector:S=(X1,Y1,Z1,X2,Y2,Z2,…,Yn,Zn)

    纹理向量Texture Vector:T=(R1,G1,B1,R2,G2,B2,…,Rn,Bn)
    在这里插入图片描述
    而一张任意的人脸,其等价的描述如下:
    在这里插入图片描述
    其中第一项Si,Ti是形状和纹理的平均值,而si,ti则都是Si,Ti减去各自平均值后的协方差矩阵的特征向量。 基于3DMM的方法,都是在求解α,β这一些系数,当然现在还会有表情,光照等系数,但是原理都是通用的。

    原理就说到这里,我们以后会专门讲述。

    8.2 方向特点

    人脸的三维建模有一些独特的特点。

    (1)预处理技术非常多,人脸检测与特征点定位,人脸配准等都是现在研究已经比较成熟的方法。利用现有的人脸识别与分割技术,可以缩小三维人脸重建过程中需要处理的图像区域,而在有了可靠的关键点位置信息的前提下,可以建立稀疏的匹配,大大提升模型处理的速度。

    (2)人脸共性多。正常人脸都是一个鼻子两只眼睛一个嘴巴两只耳朵,从上到下从左到右顺序都不变,所以可以首先建立人脸的参数化模型,实际上这也是很多方法所采用的思路。

    人脸三维重建也有一些困难。

    (1)人脸生理结构和几何形状非常复杂,没有简单的数学曲面模型来拟合。

    (2)光照变化大。同一张脸放到不同的光照条件下,获取的图像灰度值可能大不一样的,这些都会影响深度信息的重建。

    (3)特征点和纹理不明显。图像处理最需要的就是明显的特征,而光滑的人脸除了特征关键点,很难在脸部提取稠密的有代表性的角点特征。这个特点,使得那些采用人脸配准然后求取三维坐标的方法面临着巨大的困难。

    9.图像检索

    9.1 基本概念

    图像检索的研究从20世纪70年代就已经开始,在早期是基于文本的图像检索技术(Text-based Image Retrieval,简称TBIR),利用文本来描述图像的特征,如绘画作品的作者、年代、流派、尺寸等。随着计算机视觉技术的发展,90年代开始出现了对图像的内容语义,如图像的颜色、纹理、布局等进行分析和检索的图像检索技术,也就是基于内容的图像检索(Content-based Image Retrieval,简称CBIR)技术,本小节的图像检索就特指基于内容的图像检索。

    基于内容的图像检索也经历了传统方法和深度学习方法两个主要阶段,传统的基于内容的图像检索通常包括以下流程:
    在这里插入图片描述
    预处理,通常包括一些图像归一化,图像增强等操作。特征提取,即提取一些非常鲁棒的图像特征,比如SIFT,HoG等特征。特征库就是要查询的库,库中不存储图像而是存储特征,每一次检索图像完成特征提取之后,就在特征库中进行匹配和相似度计算。索引就是在某种相似性度量准则下计算查询向量到特征库中各个特征的相似性大小,最后按相似性大小进行高效的排序并顺序输出对应的图片。

    图像检索的中最复杂的一步就是检索,在这一步完成验证过程。
    在这里插入图片描述
    最简单的方法就是暴力(brute-force) 搜索方法(又称线性扫描),即逐个与数据库中的每个点进行相似性计算然后进行排序,这种简单粗暴的方式虽然很容易实现,但是会随着数据库的大小以及特征维度的增加其搜索代价也会逐步的增加,从而限制在数据量小的小规模图像数据库,在大规模图像库上这种暴力搜索的方式不仅消耗巨大的计算资源,而且单次查询的响应时间会随着数据样本的增加以及特征维度的增加而增加,为了降低搜索的空间的空间复杂度与时间复杂度,研究者们提出了很多高效的检索技术,其中最成功的大家也最熟悉到方法是基于哈希的图像检索方法。

    深度学习在图像检索里面的作用就是把表征样本的特征学习好,就够了。

    9.2 方向特点

    图像检索系统具有非常大的商业价值,从搜索引擎的以图搜图,到人脸验证和识别系统,到一些搜索排序系统(比如基于美学的摄影图库)。由于图像特征的学习是一个通用的研究方向,因此更多的在于设计高效的检索系统。

    10.GAN

    10.1 基本概念

    GAN,即Generative adversarial net,被誉为新的深度学习,涉及的研究非常多,可以单列为一个方向,一个经典的网络结构如下。
    在这里插入图片描述
    GAN的原理很简单,它包括两个网络,一个生成网络,不断生成数据分布。一个判别网络,判断生成的数据是否为真实数据。

    在这里插入图片描述
    上图是原理展示,黑色虚线是真实分布,绿色实线是生成模型的学习过程,蓝色虚线是判别模型的学习过程,两者相互对抗,共同学习到最优状态。

    10.2 方向特点

    作为新兴和热门方向,GAN包含的研究方向非常的广,包括GAN的应用,GAN的优化目标,GAN的模型发展,GAN的训练技巧,GAN的理论分析,GAN的可视化等等

    展开全文
  • 计算机视觉研究方向进展

    千次阅读 2018-12-25 13:49:15
    会议论文比期刊论文更重要的原因是:(1)因为机器学习、计算机视觉和人工智能领域发展非常迅速,新的工作层出不穷,如果把论文投到期刊上,一两年后刊出时就有点out了。因此大部分最新的工作都首先发表在顶级会议上...

    最新计算机视觉动态哪里看?

    1 背景

    会议论文比期刊论文更重要的原因是:(1)因为机器学习、计算机视觉和人工智能领域发展非常迅速,新的工作层出不穷,如果把论文投到期刊上,一两年后刊出时就有点out了。因此大部分最新的工作都首先发表在顶级会议上,这些顶级会议完全能反映“热门研究方向”、“最新方法”。(2)很多经典工作大家可能引的是某顶级期刊上的论文,这是因为期刊论文表述得比较完整、实验充分。但实际上很多都是在顶级会议上首发。比如PLSA, Latent Dirichlet Allocation等。(3)如果注意这些领域大牛的pulications,不难发现他们很非常看重这些顶级会议,很多人是80%的会议+20%的期刊。即然大牛们把最新工作发在顶级会议上,有什么理由不去读顶级会议?

    2 顶级会议

    2.1 三大CV顶级会议

    作为刚入门的CV新人,有必要记住计算机视觉方面的三大顶级国际会议:ICCV,CVPR和ECCV,统称为ICE。

    • CV的全称是International Comference on Computer Vision,正如很多和他一样的名字的会议一行,这样最朴实的名字的会议,通常也是这方面最nb的会议。ICCV两年一次,与ECCV正好错开,是公认的三个会议中级别最高的。它的举办地方会在世界各地选,上次是在北京,下次在巴西,2009在日本。iccv上的文章看起来一般都比较好懂,我是比较喜欢的。
    • CVPR的全称是International Conference on Computer Vision and Pattern Recogintion。这是一个一年一次的会议,举办地从来没有出过美国,因此想去美国旅游的同学不要错过。正如它的名字一样,这个会上除了视觉的文章,还会有不少模式识别的文章,当然两方面的结合自然也是重点。
    • ECCV的全称是Europeon Conference on Computer Vision,是一个欧洲的会议。虽然名字不是International,但是会议的级别不比前面两个差多少。欧洲人一般比较看中理论,但是从最近一次会议来看,似乎大家也开始注重应用了,oral里面的demo非常之多,演示效果很好,让人赏心悦目、叹为观止。不过欧洲的会有一个不好,就是他们的人通常英语口音很重,有些人甚至不太会说英文,所以开会和交流的时候,稍微有些费劲。

    总的来说,以上三个会议是做计算机视觉人必须关注的会议,建议每一期的oral都要精读,poster挑自己相关的仔细看看。如果有好的进一步的想法,可以马上发表,因为他们已经是最新的了,对他们的改进通常也是最新的。同时如果你做了类似的工作,却没有引用这些会议的文章,很有可能会被人指出综述部分的问题,因为评审的人一般都是牛人,对这三个会议也会很关注的。

    ICCV/CVPR/ECCV三个顶级会议, 都在一流会议行列, 没有必要给个高下. 有些us的人认为ICCV/CVPR略好于ECCV,而欧洲人大都认为ICCV/ECCV略好于CVPR。

    笔者就个人经验浅谈三会异同, 以供大家参考和讨论. 三者乃cv领域的旗舰和风向标,其oral paper (包括best paper) 代表当年度cv的最高水准, 在此引用Harry Shum的一句话, 想知道某个领域在做些什么, 找最近几年此领域的proceeding看看就知道了. ICCV/CVPR由IEEE Computer Society牵头组织, ECCV好像没有专门负责的组织. CVPR每年(除2002年)都在美国开, ECCV每两年开一次,仅限欧洲, ICCV也是每两年一次, 各洲轮值. 基本可以保证每年有两个会议开, 这样研究者就有两次跻身牛会的机会.

    2.2 其他会议

    • 机器学习顶级会议:NIPS, ICML, UAI, AISTATS; (期刊:JMLR, ML, Trends in ML, IEEE T-NN)
    • 计算机视觉和图像识别:ICCV, CVPR, ECCV; (期刊:IEEE T-PAMI, IJCV, IEEE T-IP)
    • 人工智能:IJCAI, AAAI; (期刊AI)
    • 另外相关的还有SIGRAPH, KDD, ACL, SIGIR, WWW等。

    特别是,如果做机器学习,必须地,把近4年的NIPS, ICML翻几遍;如果做计算机视觉,要把近4年的ICCV, CVPR, NIPS, ICML翻几遍。

    3 论文下载

    以上期刊很多论文都可以在网上免费下载,在CV方面如:CVPapersNIPSJMLR(期刊)COLT和ICML(每年度的官网)

    参考文献

    展开全文
  • 点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达在未来十年中,计算机视觉将取得长足发展。在本文中,我们将探讨2010~2020年间计算机视觉发展趋...

    点击上方小白学视觉”,选择加"星标"或“置顶

    重磅干货,第一时间送达

    在未来十年中,计算机视觉将取得长足发展。在本文中,我们将探讨2010~2020年间计算机视觉的发展趋势和取得的突破性成就,以及未来计算机视觉的发展目标。

    01. 计算机视觉简史

    在整个80年代,90年代和00年代,计算机视觉是一项非常困难的任务。甚至在实验室环境中的也很难得到较好的处理结果。在那个年代,用于训练视觉学习的机器学习系统是通过特征工程手动设计而成。

    那什么是特征工程?这意味着我们用“专家”的直觉进行了特殊的设计,这些办法对图像中的特定模式起作用,从而为学习计算机视觉创造许多有用的功能。多年来,我们积累了许多不同的办法,每种办法都有自己的缩写:HOGSIFTORB甚至SURF。但是,不幸的现实是,解决现实世界中的问题需要花费大量的时间将这些技巧的融合在一起以达到较好的效果。我们可以用他们来检测道路上的分界线,但是无法用于识别和区分人脸等。建立通用系统仍然是遥不可及的梦想。

    02. 超越特征的工程

    在2010年初计算机视觉发生了巨大变化,当时我们看到了自计算机本身发明以来计算机视觉领域的最大革命。2012年,在ImageNet大规模视觉识别挑战赛上,一种名为AlexNet的计算机视觉算法比其竞争对手提高了10%。世界震惊了。关于它的最神奇的事情是:该模型没有使用手动设计的部分。相反,该模型依赖于称为神经网络的通用学习系统。AlexNet的突破在于使用GPU(图形处理单元)来更快地训练计算机视觉模型:AlexNet在两个消费级GPU上进行了6天的训练。为了进行比较,OpenAI于2020年发布的GPT3在355年的模拟等效时间里进行了培训,培训费用约为4,600,000美元。自从AlexNet以来,我们继续添加清晰明确的数据点:数据集越大,模型越大,并且训练的时间越长,我们的学习功能就越好。

    最近,在最近几年中,随着transformers的出现,我们看到了视觉算法的新突破。transformers是一种基于编码器和解码器的深度学习架构,这些编码器和解码器在自然语言(NLP)任务中已经流行了一段时间了。来自Facebook的AI研究小组的DETR论文引起了轰动,它们展示了如何使用transformers来获得视觉任务的最新性能。transformers比当前流行的计算机视觉算法(例如MaskRCNN)更易于实现,并且代表了朝着减少计算机视觉自动化的方向又迈出一步。我们花在开发和调整算法上的时间越少,就越可能完成日益复杂的任务。

    在未来的十年中,这些都将对计算机视觉产生巨大的影响,目前关于智能代理(IoT摄像头,Alexa和Google Home设备等)是在云上还是直接在设备本身上存在许多争议。

    03. 数据功能和用于计算机视觉的合成数据

    我们已经讨论了算法和硬件。现在,我们陷入了AI难题中最重要的部分:数据

    历史趋势向我们展示了以下内容:一、算法变得越来越通用,二、人工设定数据的需求越来越小。其结果是计算机视觉的性能更多地取决于用于训练它的数据。这不足为奇,我们所有人都看到科技巨头聚集了大量的数据集。

    但是,获取庞大的数据集并不能解决所有的AI的问题。因为这些数据集,无论是从Internet上抓取还是在室内精心上演和捕获,都不是训练更通用的自主算法的最佳选择。这种“真实数据”所含有的误差不可避免地会渗入计算机视觉算法中。此外,真实数据不容易输入培训中:需要对其进行清理,标记,注释和修复。

    因此,我们发现已经要准备好迎接技术变革的新时代了,就像引入神经网络和transformers一样重要。数据是阻碍计算机视觉发展的最大障碍。我们认为,解决方案是数据合成。快速定义:合成数据是由计算机创建和生成的数据(例如视频游戏或电影中看到的CGI)。完全控制此虚拟世界意味着可以使用像素标签(请考虑元数据,例如哪些像素对应于图像中的脸部),甚至是在现实世界数据集中可能无法标记的标签。

    数据合成仍处于早期阶段。与2010年代非常相似,目前每个合成数据集都是使用人工直观设计的。但是,正如我们所说的那样,初创公司(包括我们!)正在构建系统,这将使我们能够生成由学习系统本身设计的无限量的合成数据流。

    自动化合成数据生成的出现将改变计算机视觉。从现在开始的十年后,计算机视觉算法将通过称为终身学习的过程不断改进。该模型将识别其弱点,为该弱点生成新的综合数据,然后对该数据集进行训练。最好的情况是:全部自动化实现,在云中某处成群的GPU上运行。

    这就是我们进入2020年代时可以期望的:它与数据有关,更具体地说,与数据合成有关。这将优化并实现更复杂的计算机视觉任务。

    下载1:OpenCV-Contrib扩展模块中文版教程

    在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

    下载2:Python视觉实战项目31讲

    小白学视觉公众号后台回复:Python视觉实战项目31讲即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

    下载3:OpenCV实战项目20讲

    小白学视觉公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

    下载4:leetcode算法开源书

    小白学视觉公众号后台回复:leetcode即可下载。每题都 runtime beats 100% 的开源好书,你值得拥有!

    
    

    交流群

    欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

    展开全文
  • 未来5-10年计算机视觉发展趋势

    千次阅读 多人点赞 2020-05-21 09:35:50
    未来5-10年计算机视觉发展趋势 来源:CCF计算机视觉专委会 引言 计算机视觉是人工智能的“眼睛”,是感知客观世界的核心技术。进入21世纪以来,计算机视觉领域蓬勃发展,各种理论与方法大量涌现,并在多个...

    未来5-10年计算机视觉发展趋势

     

    https://mp.weixin.qq.com/s/al58JbrJbVQabdE15Ca-8g

     

    来源:CCF计算机视觉专委会

    引言

    计算机视觉是人工智能的“眼睛”,是感知客观世界的核心技术。进入21世纪以来,计算机视觉领域蓬勃发展,各种理论与方法大量涌现,并在多个核心问题上取得了令人瞩目的成果。为了进一步推动计算机视觉领域的发展,CCF-CV组织了RACV 2019,邀请多位计算机视觉领域资深专家对相关主题的发展现状和未来趋势进行研讨。我们将研讨内容按专题实录整理,尽最大可能以原汁原味的形式还原观点争鸣现场,希望有助于激发头脑风暴,产生一系列启发性的观点和思想,推动计算机视觉领域持续发展。

    本期专题为“未来5-10年计算机视觉发展趋势”。各位专家从计算机视觉发展历程、现有研究局限性、未来研究方向以及视觉研究范式等多方面展开了深入的探讨。

    主题组织者:林宙辰,刘日升,阚美娜讨论时间:2019年9月27日发言嘉宾:查红彬,陈熙霖,卢湖川,刘烨斌,章国锋参与讨论嘉宾[发言顺序]:谢晓华,林宙辰,林倞,山世光,胡占义,纪荣嵘,王亦洲,王井东,王涛,杨睿刚,郑伟诗,贾云得,鲁继文,王亮文字整理:阚美娜,刘日升

     

    开场:山世光、林宙辰

    山世光:上次计算机视觉专委会常委会上,在谭院士的倡议下这次RACV尝试一下相对比较小规模的、以讨论未来与问题为主的这样一种形式。这次的RACV希望所有的发言人,都不是讲自己的或已经做的工作,而是围绕着每一个主题讲一讲自己的观点和看法。大家在发言的时候可以无所顾忌,可以争论。我们会有记录和录音,但最后的文字会经过大家的确认之后才发布。

    林宙辰: RACV是希望大家有一些深入的研讨,互相挑战,以达到深入讨论的目的。第一个主题是未来5-10年CV的发展趋势。希望我们这次研讨会尤其是CV发展趋势这个主题能够类似达特茅斯会议,产生一些新的思想。

     

    嘉宾主题发言

    1. 查红彬

    未来五年或十年CV的发展趋势是很难预测的,有时候想的太多,反而容易跑偏。所以,今天我主要从自己认识的角度说说后面我们该做些什么样的事情。

    首先,说说什么叫计算机视觉?我这里给了一个比较严格的定义,即使用计算机技术来模拟、仿真与实现生物的视觉功能。但这个定义并没有将事情完全讲清楚,这里把计算机和视觉两个概念揉到了一起,但到底什么叫计算机、什么叫视觉并没有说。什么叫计算机大家是能够公认的。但什么叫视觉,其实在计算机视觉领域里还没有一个大家都认可的定义。

    我们不妨先看看现在计算机视觉领域里有哪些研究内容。先来看看今年ICCV各个分会的关键词,其中最大的几个领域是deep learning;recognition;segmentation, grouping and shape等。这些领域是视觉吗?说是图像处理、分析与理解也能说的通。关键问题在于,我们讲来讲去到底是不是真的在做视觉?这点有必要再想想。举个例子--人脸识别:人脸识别现在能识别大量的人脸图像与视频,几十万、几百万人都能够识别。它是用大数据驱动的方式来达到目的的,而且是离线学习的。但识别算法在实际应用中对光照、遮挡等的鲁棒性比较差。我们回过头看看人的人脸识别有些什么样的功能呢?我们人识别人脸的功能很强,但只能识别很少数量的人脸,如亲戚、朋友、同事等,超过一定范围之后人是很难识别出来陌生人的人脸的,我们能看到有差别但分不清谁是谁。第二个,人是在生活情景当中进行主动性的样本学习。我们之所以能够认识亲属,是因为我们在日常生活当中与他们生活在一起,建立了各种各样的关系。我们主动地用样本来学,利用了不同层次的特征。所以,尽管我们识别人脸的数量少,但是我们对抗干扰的能力很强。所以我觉得这是人的人脸识别和现在机器的人脸识别之间的差别。也就是,人的视觉中的人脸识别有它明显的特点,它能很好地应对现实环境中的视觉处理任务。

    那么现实环境中的视觉处理应该考虑哪些因素呢?我们有计算机、机器人这些智能机器,同时还有其它两个关键的部分。第一个部分是要通过视觉这个接口来同外部世界建立联系,同环境进行互动;第二个是我们讲视觉的时候,生物的感知机理给我们提供了很多依据。这其中,我们要应对的是现实环境的开放性,以及三维世界的复杂性,我们要面对场景当中很多动态的变化以及层次性结构的多样性。


     

    另一方面,生物的感知机理有什么呢?它是一个学习过程,但这个学习是柔性的,并不是我们现在这样的离线学习并固定的方式。我们现在的机器学习用起来就只是测试。但我们人的学习中测试和学习过程并不是严格可分的,它有结构上的柔性,也需要层次化的处理。此外,它有主动性,能够根据它的目的和任务主动地进行学习。同时,我们日常生活当中所需要的是一种时序数据的处理,是一种增量型的处理过程。从这样的角度来看,我们将来的计算机视觉研究需要考虑把真实环境的特点与生物的感知机理融合进来。这样就会更接近“视觉”这个词本来的意义。

    那这其中有哪些事情我们可以去考虑呢?首先是学习的问题。现在,深度学习用的很多,但它只是我们人的模式识别当中的一部分功能,对于视觉研究来说,还有很大的挖掘空间。也就是说,我们考虑计算机视觉中的机器学习的时候,不仅仅是深度,还要把网络的宽度、结构可重构性与结构柔性结合起来。我们要把不同的结构层次研究明白,同时把不同模块之间的连接关系考虑到网络里来。我们人的大脑就是这样的,大脑从视觉的低层特征抽取往上,它具有很多不同的功能性结构在里面,而且这个功能性结构是可塑的。其次,除了通常讲的识别功能之外,我们要把记忆、注意等一些认知机制通过学习的方式实现出来。目前已经有一些这方面的工作了。将来这些机制在计算机视觉里面可能会作为学习的一个核心目标,融到我们现在的整个体系当中。另外,还应考虑通过环境的交互这种方式来选择需要的样本进行自主学习等。所以,这种学习方式上的结构柔性应该是我们追求的一个目标。

    另外一点,我们现在的计算机视觉还比较缺乏对动态场景的处理。我们现在很多工作是在静态场景里面,像人脸识别也是在静态场景里面来做。尽管有时候我们用视频来做,但并没有深入考虑整个场景的动态特性。现在动态目标的跟踪、检测、分析、行为的识别与理解等这些工作都有在做,但还没有上升到一个系统化的水平。我们也应该把更多的注意力放到像移动传感器的定位、三维动态场景的重建与理解等一些事情上面来。所以,我认为动态视觉是未来的另一个重要研究方向。

    还有一个是主动视觉。主动视觉是把感知与运动、控制结合起来,形成一个闭环。计算机视觉里很早就有一个研究课题,叫视觉伺服,是想把控制和感知很好地结合起来。我们的感知一部分是为任务目的服务,另外一部分是为感知本身服务,即从一种主动控制的角度来考虑感知功能的实现,以提高感知系统的自适应能力,迁移学习、无间断学习或终身学习等都可以应用进来。此外,还应当考虑常识、意识、动机以及它们之间的关系。也就是说,我们要把视觉上升到有意识的、可控制的一个过程。


     

     

    如果我们把前面提到的时序与动态处理等结合起来之后,应该更多考虑在线学习。我们不应该全部依赖目前这种离线学习、仅使用标注数据,而是应该在动态的环境当中,根据运动与动态数据流本身的特性来做预测与学习。这样可以把前面提到的记忆与注意力等一些机制结合起来,最终实现一种无监督的在线学习系统。这样一来就能把现实环境中的一些特点与变化考虑进来,形成一套新的理论。而这个理论,跟现在的深度学习、图像处理分析与理解等相比,会更接近我们讲的视觉这个概念。


     

    2. 陈熙霖

    预测可见未来是一件风险极大的事,对于这个命题作文我只能说个人的观点。我更愿意从历史的角度来看这件事情。首先,我们回顾一下计算机视觉的发展历程。我把过去几十年的过程分为以下几个阶段。第一个阶段我称之为启蒙阶段,标志性的事件是1963年L. Robert的三维积木世界分析的博士论文(Machine Perception of Three-dimensional Solids)和1966年夏天Minsky安排几个本科生做的手眼系统。这个阶段对计算机视觉的估计过于乐观,认为这事太容易了,很快就可以解决,正如S. Papert的报告中写到的“The summer vision project is an attempt to use our summer workers effectively in the construction of a significant part of a visual system”。启蒙阶段的重要启示就是发现这个问题远比想象的困难。

    从七十年代初期开始进入第二个阶段,我称之为重构主义,这是以D. Marr的视觉框架为代表的。这个框架在Marr的总结性著作“Vision --A Computational Investigation into the Human Representation and Processing of Visual Information”中有很好的阐述。其核心是将一切对象恢复到三维表达。其基本过程是:图像à基本要素图(primal sketch)à以观察者为中心的三维表达(2.5D skecth)à以观察对象为中心的3D表达。这个过程看起来很漂亮,但却存在两方面的问题——首先是这样的过程是否是必须的,其次是如果都试图恢复三维,这样不论对感知测量还是计算是否现实。我个人认为三维在计算机视觉中的作用也是有限的。这个阶段的工作也导致了上世纪90年代初对计算机视觉研究的反思和争论。有兴趣的各位可以看看1991年CVGIP: Image Understanding第53卷第1期上的讨论文章。

    第三个阶段我称之为分类主义,反正只要能识别就好,不管白猫黑猫抓住老鼠就好。人脸识别、各种多类物体识别等都在这个阶段大行其道,研究者们采用各种各样的方法,从研究各类不变算子(如SIFT、HOG等)到分类方法(如SVM、AdaBoost等)。这个阶段推进了识别问题的解决,但似乎总差最后一公里。

    最近的一个阶段我称之为拼力气比规模阶段,其核心是联结主义的复兴,这得益于数据和计算资源的廉价化。这类方法在各种分类问题上似乎得到了很好的解决。但这些方法背后缺少了很多研究需要追求和思考的东西,过去我们都在讲找一个美妙的办法。如同我们希望瞄准目标,以最小的代价击中目标。现在这类方法更像是炮决,今天我们似乎进入了这样的炮决时代。

    那么未来会是怎么样的?从前面的发展历史来看,计算机视觉经过几十年的发展进入了野蛮人的时代。什么叫进入野蛮人的时代了?今天大家说人工智能热,可几乎所有拿来验证人工智能的例子都是和计算机视觉相关的。而今天很多所谓的计算机视觉研究就是拿深度学习训练一个模型,所以说这是个野蛮人的时代。那么野蛮人时代有什么问题?我们看上一个和野蛮人时代相关的历史——罗马帝国。罗马帝国是被野蛮人消灭的,罗马(更具体的是指西罗马)从建国到被灭亡,中间大概有500年。而且西罗马被灭了以后,还有一个叫神圣罗马帝国,按照尤瓦尔·赫拉利《人类简史》上的说法后者既不神圣也不是帝国。当年罗马帝国也是所有的东西都讲究漂亮美丽——斗兽场、引水渠以及打到哪修到哪的条条大路(通罗马)。计算机视觉早年的研究者也是天天追求漂亮,要数学上美、物理上美等等,就和当年罗马帝国一样。现在也真的和罗马帝国一样了,我们遇到了蛮族人。这个蛮族人是谁?就是深度学习,和过去罗马人关心文明,蛮族人关心财富一样,在计算机视觉的研究上,我们也面临着如何选择的问题。当然,历史也会惊人地相似,蛮族人占领罗马以后也不是什么都没干。后来他们建立神圣罗马帝国,到后来导致文艺复兴。今天计算机视觉的研究在我们看来也需要一个文艺复兴。什么是我们的文艺复兴?我们当下的计算机视觉就处在这么一个需要思考的时期。而不是一味地倒向深度学习。现在有些研究走向比蛮力的阶段,就跟打仗比坦克、大炮的数量一样,靠拼GPU的规模和计算能力。下一步,我们需要往哪里走?这是现在这个野蛮人时代需要思考的。

    预测未来五到十年这是一个风险极大的问题。所以我只能通过前面讲的历史和我的一点思考谈谈对未来的一些可能。

    首先,一个值得关注的未来趋势是从识别到理解,套用古人的说法就是从知其然到知其所以然。过去十多年计算机视觉在识别方面取得了显著的进展,但是现在的识别远远不是我们所期望的识别。例如你教它识别一个杯子,它不会想到杯子和水有任何关系,不会想到杯子有任何的其他功能,因而完全是填鸭式的。今天的识别远远不是可解释的。谈到可解释,我认为在计算机视觉领域的可解释应该是对结论的解释,而不是解释网络行为,前者应该更有价值。那么要解释这一切靠什么?应该是靠某种形式的逻辑关系,这种关系可以通过语言表达,语言应该起到桥接作用。这里的语言和自然语言有关系也有区别,可以是独立于我们自然语言的,是机器自己对世界理解的语言。换句话说,我们把世界的物体重新编码起来,然后把物体和物体,物体和环境的联系建立起来就好。有了这样的从基本属性到对象直至环境的关系,就有可能实现从知其然到知其所以然。所以我觉得未来最重要的趋势就是从无需知识支撑的识别到需要知识支撑的理解,或者说从单纯的Bottom-up的识别到需要知识启发的具有反馈、推理的更广义的计算机视觉,这也是我自己这几年特别关注的研究方向。

    其次,值得关注的一个趋势就是对空间感的有限需求。关于为什么动物需要视觉,主要是两方面的需求——首先要保证寻找食物和不被天敌吃掉——识别能力;其次是保证不会因为对空间的错误判断而造成意外伤害(摔倒或者撞击等)。视觉最重要的就是解决这两件事情。那么为什么讲对空间感的有限需求?我们的三维空间感,只是在相对比较近的时候,才需要很精确。在距离稍远一点的情况下,大多数时候其实不关心精确的空间位置,而可能关心一些如遮挡、顺序等关系。另外,如果你试图把一切对象都用三维来表示的话,不管是从计算的代价还是从可实现性来讲都很难。试想恢复一个一米远处的对象,可以做得很精确,而对于一百米或者更远的对象,如果希望保持相同的量化精度,对深度值的量化就会成问题。这就是说的有限需求的含义,但是我觉得这件事情一定很重要,特别是在较近的时候。

    第三个值得关注的趋势就是不同模态的结合,即所谓聪明合一,人的聪明离不开耳聪目明。这里的模态不仅仅限于视听觉,还可以包括不同的二维、三维的视觉传感信息等。生物的感知从来不是仅靠单一模态的。在多模态中需要解决好的一个问题是不同模态间的对齐与因果问题。如果同时存在从多个模态获取的信息,时空对齐是非常重要的挑战。与时空对齐相关的另一个问题是因果关系,虽然我们希望获得因果,但绝大多数时候得到的仅仅是关联,两个现象之间可以是第三个因素导致的,如同云层间放电导致电闪和雷鸣,这两件事是关联的,但绝不是电闪导致雷鸣。在绝大多数情况下我更倾向于去探索关联而不是因果,特别是在数据驱动的模型下,离开机理试图发现因果是困难的。但在未来的计算机视觉研究中不同模态的结合和关联是一个重要的趋势。

    第四个需要关注的趋势是主动视觉,所谓主动就是在视觉系统中纳入了反馈的机制,从而具有选择的可能。视觉如果仅仅以独立的形式存在,则不论是从感知所需的精度、分辨率以及处理的能力都需要成指数规模的增加,生物视觉由于有了主动选择的机制,因而在视野、分辨率、三维感知与能量消耗方面得到了很好的平衡。当计算机视觉的研究不仅仅是为了验证某个单一的功能时,上述生物视觉的平衡一样需要在计算机视觉系统中考虑,实现从感知、响应到行为的闭环。从被动感知走到主动的感知,这是从算法到系统的一个重要趋势。将视觉的“看”与“响应”和“行为”构成广义的计算机视觉系统,通过有主动的“行为”进行探索,实现“魂”和“体”的合一。这对视觉应用系统是至关重要的——例如一个经过预训练的服务机器人,可以通过在新环境中的主动探索,实现整体智能的提升。所以我认为这是未来视觉应用系统的重要趋势。

    我没有讲具体的算法哪些是重要的。我想说一件事情,就是关于深度学习,我觉得未来深度学习就会像今天计算机里看到的寄存器、触发器、存储器乃至CPU一样,成为基本构件。关于趋势,延续前面的划分,计算机视觉将进入一个知识为中心的阶段。随着深度学习的广泛应用,计算机视觉系统将不仅处理单一任务。在复杂视觉任务的处理中,主动视觉将起到重要的作用。通过主动的响应和探索,构建并完善视觉系统对观察世界的关联(因果)关系并借此理解空间对象的时空关系、物理属性等。这算是我对今天讨论问题的个人预测。


     

    3. 卢湖川

    刚才前面两位老师已经提纲挈领的提了一些观点,我可能有一些和他们是相似的。

    从理论方面来讲,我觉得目前深度学习的理论好像有点走不太动了。具体来说,从Backbone的发展来看,网络结构的设计,基本上没有更多新的内容。另一方面,某些领域还是比较热门的,发展比较快。比如说自然语言处理(NLP)和视觉的结合,这几年取得了很多进展,特别是聊天机器人等相关的实际需求,驱动着VQA等技术都有较大的进展。尤其是基于图的方法和视觉结合在一起可能会越来越热。以知识图谱为例,如果知道一些先验知识,知道一些知识图谱的话,可能会更好的去理解图像或者视频。例如,给定一幅图像,里面有一只猫和一个鱼缸,猫用爪子抱住了鱼缸,还盯着鱼缸里面的鱼,如果我们知道知识图谱里猫和鱼的关系, 我们就能很好的描述出猫想吃鱼缸里的鱼,从而更好的帮助视觉理解图像或视频里目标和目标之间的关系。所以说,我觉得基于图或图谱的方法和视觉结合在一起未来几年会有更大的发展。

    第二方面,我觉得三维视觉会继续快速发展。从前两年开始冒头,到现在已经较为火爆,不仅仅局限于三维场景重构等领域,最近基于三维视觉的检测与分割等都有一些优秀的工作涌现。随着基于各种各样的嵌入式设备和手机端的需求,像华为手机已经有三个背面的摄像头,甚至多个摄像头(它的三个摄像头的定义,一个是超广角的,一个是广角的,另外一个是高精度的摄像头,不同的分辨率,可以更多的去模仿人的视觉方式)。由于人观测世界本身是三维的,所以移动端的这种大量的应用会牵引着三维视觉在这方面越来越走向更深入的发展。

    第三方面,最初我们提到深度学习时,通常都会说手工设计的特征(handcrafted feature)有各种各样的不好,而深度学习是一个端到端的网络。实际上,深度学习的网络结构也是手工设计的(handcrafted)。目前,网络结构搜索NAS兴起之后,我觉得在这方面可能会有更多的一些改善,能够把一些常规的操作,包括一些常规的模块都融入进去,来不断优化网络结构而不是手工设计(handcrafted design)。我觉得未来几年在这方面,甚至包括网络结构的压缩和裁剪方面都会有更多的进步。

    第四方面,深度学习兴起之后,我们看到诞生了一大堆的数据集,并且都是有ground truth标注的数据,在其驱动下,深度网络达到了一个比较好的性能,目前绝大多数的数据集在性能方面基本上也趋于饱和了,但是距离实际问题仍然有较大的距离。另一方面,人对世界的认知基本都是小样本学习的结果,和目前的大数据驱动的模式不太一样。所以能否将当前大数据驱动的方式和人参与的方式结合起来?现在也有很多这样的论文来研究人主动参与的或者是human in the loop的学习方式,可以把人对ground truth的主动标记结合起来,引导快速的学习,甚至把性能提高到一个更高的高度。

    第五方面,视频理解在前几年开始有初步的发展,特别是到这几年有更多的需求和深入的趋势。因为现在基于图像的所有任务做到一定程度之后可能都做不动了,或者说没有更多的花样了,那么对视频的各种理解越来越多,包括视频摘要、视频场景分类、广告识别、台标识别等等,很多这方面的应用,我觉得未来几年会有更长足的发展。

    我觉得在主题(topic)方面,未来会有更多的发展领域。随着刚才陈老师说到野蛮人的时代来了,大家参与视觉研究的热情很高,不光是学术界,产业界对这种需求也是非常巨大的。因此我觉得目前深度学习领域,视觉会在各个行业纵深发展。举个例子,这两天有一个公司提出这样的一个需求,即鞋印踩上去之后,希望能识别是哪个犯罪嫌疑人来踩的,这个就是足迹识别。进一步,他们想通过这个足迹来判断这个鞋的鞋面是什么样的,是什么牌子的。然后通过这些线索进而去库里搜索比对,搜索完了之后,再去视频里面去找犯罪嫌疑人,即穿这种鞋的人到底是谁。这个过程中,一步一步的从源头开始到后面,形成了一系列的视觉问题,行业的这种纵深发展需求是无限巨大的。视觉里面还有很多之前没有想到的事情在不断进步,两天前我参加了工业机器人展,看到有一个捡包裹的机器人。我们都知道快递小哥要送了一大堆包裹,各种各样的包裹都有,能否在包裹车拉来一车包裹后,让机器人去分类呢?我在展会上看到就有这么个机器人,它会自动的去识别是什么样的包裹,而且知道它的三维的曲面是怎么样,因为包裹放的角度都完全不同,它会调整机械臂,适应包裹的三维曲面的法线方向,去吸附它。我感觉在不同行业实际需求下,像分割、三维建模等视觉技术都会快速在各个行业里得到深入的发展。

    另外,我觉得在医疗图像方面也会有很大的进展。医疗图像现在更多的是各个疾病的检测。昨天跟一个医疗单位在一起交流,他们提供了一个很大的平台,它的最终目标是通过病人的不同模态的信息,来最后综合判断病人到底是什么样的病。不仅仅是关注医学影像信息的,还有一些其他的一些检查结果,其实是一个跨模态的融合,包括图像标注、病案标注等等,他们都使得医疗图像未来和视觉的结合会越来越紧密。

    目前5G不光是速度快容量大,它其实给计算机视觉AI带来了一个更广阔的前景,特别是无人车方面,刚才几位也提到了三维的地图等。跟中国移动交流了之后,发现他们的高精度地图,可以通过5G带宽实时传输,是可以看到马路崖子这种厘米级的精细度。所以我觉得5G+AI会为我们视觉相关领域的发展带来巨大的机会。以上就是我对未来5-10年视觉发展趋势的一些理解。 


     

    4. 刘烨斌

    我主要围绕三维视觉、虚拟现实和人工智能的发展谈点想法。虚拟现实是2016年火了之后一直发展比较平稳。2018年XISHUJI有过关于虚拟现实的重要性的指示,虚拟现实技术改变了未来的交互方式,主要是这种人与环境、人与人之间的交互方式可能会变得更加自然简单,并且取代键盘、手机触屏等现有的功能。

    三维视觉的趋势是做视觉信息的重构,提供三维的内容给虚拟现实,这个是三维重建,三维虚拟现实通过真实渲染能够产生很多数据,为视觉问题服务。很多视觉问题皆有数据驱动,数据如何得来,越来越多的部分时通过三维引擎来得到。计算机视觉的研究对象有好几类,室外的、室内的、包括人体人脸还有手,还有一些医学和生命对象。以人为本是计算机视觉的核心,所以我主要以人作为视觉研究对象,举例说明计算机视觉的发展趋势。

    从人为研究对象的角度,虚拟现实有三个目标,也即三个I,一个Immersion,一个Interaction,一个Imagination。三者都是虚拟人(AI、机器等)和真实人之间的作用关系。首先,虚拟人在视觉外观上是真实的,未来的虚拟人不管是真实做出来的机器人还是存储在计算机中的,都有逼近真人的发展趋势,使得交互更加友好。而这个目标,本质上就是人体的三维重建。第二个要素是人机的交互,虚拟人一定要能感知真实人的行为,包括手势识别,行为识别,情绪等这样的一些理解。最后,虚拟人需要对场景有反应,能够智能化,他能够根据你的行为智能地做下一步的处理,保证产生一个真实的虚拟人。

    总体来说,虚拟现实的智能建模技术被列为新一代人工智能发展规划里的八大关键共性技术,重点突破虚拟对象智能的行为建模技术,提升虚拟现实中智能对象行为的社会性、多样性、交互逼真性,实现虚拟现实和增强现实等技术与人工智能的有机结合和高效互动。上述定义中的重点是行为建模,行为必须是接近人的智能的行为,才能有交互的逼真性等等。围绕这个人体的建模,目前的目标一个是要精准的重建,第二是要规模化的采集,第三是要便携式(手机单图像也能做),第四是速度足够快,能够响应交互的要求,第五就是现在一个大的发展趋势,建模的结果含有语义信息,即语义化建模,包括服装,人脸,头发等。最后第六就是智能生成,即重建结果能真实动画展示。现有的三维视觉重建技术很难满足这六个方面的要求,所以围绕这些目标还有很多研究需要做。

    人体重建主要目的之一是全息通信。这里展示微软做的holoportation系统,它实现实时的,多相机下的人体动态三维重建。但这个系统的缺点是,它要求具有主动光,导致系统复杂度高,实时性和便捷性成为矛盾。实现实时高精度三维动态重建,也是未来的一个学术研究趋势。我们研制的单个深度相机实时的重建,虽然速度和便捷性都趋于完美,但精度还有待提高。单图像人体三维重建,虽然现在的质量还不算完美,但我觉得这是一个很实用的技术应用趋势。通过单个图像我们就可以来简便地重建它的三维模型,未来肯定是能大放光彩的。单图像人手动态三维重建,通过单个RGB监控相机就可以来实现实时性,可以看出三维重建输出了语义信息,已经取代了传统二维计算机视觉识别问题成为发展趋势。

    服装产业占据国民生产总值的6%,数字化服装是一个非常重要的计算机视觉应用之地。这个是展示我们最新做的一些事情,通过单个视频,可以网上的视频,就能通过语义的建模来实现比较高质量的服装三维建模,对一些VR、AR都可以应用,它是通过对人体和服装的解耦,语义信息的加入,包括光照和纹理的解耦来实现。这种东西未来可以产生一些应用,包括改变体型,包括增强现实的模拟,右边就是一个互联网视频的重构,它可以改变服装的颜色等等。我觉得这种便携实时的三维重建的趋势就是从低层次的三维建模,包括体素的、网格的,逐渐走向高层次的三维建模,包括部件级的重建、物理信息分离、感知物理动力学、特征空间的提取。这些高维信息能够智能地建模和生成,响应环境,控制和预测。包括图形学里做的一些研究,好玩的比如能让一个人去动的虚拟对象的这种物理的约束,包括我们自己去爬山这种增强现实的技术也会引入进来,把物理、智能响应引入进来。

    最后再谈谈更有广泛意义的一些动态三维重建问题。例如,医疗方面的比如外科手术的术野场景的三维感知,就是个非刚性复杂动态场景的三维建模问题。这是展示肝脏手术的视频,能够动态跟踪它的形状,三维扫描的CT可以在动态的场景下实时非刚性映射,辅助医疗和手术。还有就是在生命科学领域的动物行为三维重建,我觉得动物是未来视觉的一个很大的可以应用的点,我们叫计算行为学,也叫神经行为学。它研究的是行为跟神经活动的映射关系,通过采集动物行为数据来进行分析。行为学上对人进行分析非常难,因为人的基因差别非常大。但对于动物来说,可以做到每个小鼠基因都是一样的,像譬如在猪、猴子上也比较容易控制一些其他的差别的因素,所以对医疗,包括基因控制都会有帮助。在Nature子刊、Nature methods、Neural Science上都有一些相关的文章。它这里面其实有很多问题,包括群体对象自然环境下的交互,非刚性的捕捉,高层语义检测,互遮挡三维恢复,时间序列分析,有很多研究发表在Nature上。动物行为三维重建研究趋势就是希望动物更加自由地在实验环境里去生活,被记录,药物干预后提早发现行为差别。这样的研究还是很多的,包括可以提取维度更高的特征。我们也是在做这样一些研究,这里面有四个小猪,有两个是有渐冻症的,我们通过多视点拍摄,希望重构三维小猪的动作,通过重建动作来识别渐冻症小猪的行为特点,对未来的基因调控和药物治疗带来帮助。


     

    5. 章国锋

    几位老师已经从计算机视觉大的层面对未来5-10年发展趋势做了展望,我从我熟悉的三维视觉和AR方面对未来5-10年的发展趋势发表一下自己的看法。

    我的研究方向主要是SLAM,所以我就先从SLAM的角度做一些发展趋势的展望。我们都知道视觉SLAM是很依赖特征的,未来SLAM技术的发展趋势必然会从以前的底层特征比如点、线、面,向高层特征比如语义、文字、物体等趋势发展。并且,现在已经有一些提取运动规律的工作比如人的步态规律、机器人和无人车的运动规则等等,来进一步提高定位的稳定性。

    有一个趋势是朝着多传感器融合的方向发展,其实每个传感器都有着它的优点和缺点,那么最好的方法就是把这些传感器的信息都融合起来,比如说随着深度相机的流行,一些手机上都安装了深度摄像头,还有Wifi、蓝牙、地磁信号等等,把这些信号都融合起来肯定可以提升定位的稳定性。未来还会有更多类型的传感器出现,比如这几年新出来的事件相机、偏振相机,相信未来5-10年还会有一些新的传感器出来。通过多传感器融合,我相信SLAM技术会做的越来越精准和鲁棒。

    还有一个趋势就是随着5G时代的到来SLAM会朝着云和端结合的趋势发展,比如说现在高精度地图的构建是放在云上,并且支持动态的更新。这就很自然地涉及到移动端上的SLAM和云上的高精度地图如何做紧耦合,如何利用语义地图的信息来更好地定位,不同终端如何协同来做SLAM。

    现在主要是深度学习的时代,对于SLAM来说,目前已有不少基于深度学习的工作,相信未来还会有更多这方面的工作涌现出来,比如如何学习一个更好的特征,如何学习更好的策略去解决SLAM中手写规则的困境,可能还会有做得很好的端到端的位姿学习。还有一个非常重要的就是语义信息的融合,比如说,结构的信息怎么跟语义信息做更好的融合,就像人眼一样看世界。我觉得这是未来的一个发展趋势。

    以上是关于SLAM方面的。然后,三维重建,刘老师前面已经讨论得很多了,尤其是动态场景的重建,我这里稍微再做一点补充。我觉得未来物体的三维扫描方面,一些便携式、移动式的RGBD传感器会越来越流行,比如说基于结构光和ToF的深度传感器,未来我相信还会有一些新的传感器出现,可以帮助实现实时高效的三维重建。这里重建的不只是几何和纹理,还包括材质、语义等等。基于照片/视频的三维重建技术未来几年也还会有一些进展,比如实现更高的几何精度和纹理,能得到更细粒度的语义,并且结合分布式平台的算力实现更高效的重建。

    在大规模场景的三维扫描方面,目前基于相机拍摄的视频或者照片已经可以做到城市级场景的三维重建。一般都是通过无人机航拍,然后重建出来。如果进一步结合深度传感器(比如Lidar),相信可以实现更高精度的场景构建。再结合分布式平台的计算能力,实现整个城市甚至整个地球的完整三维地图的重建将不是问题。当然只是静态场景的重建还不算太难,更难的是怎么实现动态物体的重建和场景的动态更新,因为真实的世界不是静态的,而是动态变化的。我觉得未来可能会通过相对低成本比如多传感器融合的方式来实现四维的场景地图的动态更新。包括前面讲的通过三维扫描获得的物体模型可以注册到真实世界的三维地图中,来实现三维信息的共享和传递。


     

     

    然后,我想谈一下识别和重建的关系。识别和重建未来5到10年会往更深层次的融合。目前三维重建基本上是bottom-up的方式,对先验知识的利用不够充分,未来5-10年可能会诞生top-down的方式,比如说先识别后重建,或者两者同步进行。识别能够提供更高层次的结构先验,反过来重建能够帮助做更好的物体识别,因此未来会更加紧密的融合。另外,也还需要深度学习和几何优化算法的融合,才能最终构建出兼具几何外观、语义信息、结构化的、可动态更新的3D场景表示。

    另外,因为我本人一直在做AR方面的应用,所以也想谈一下关于AR/VR、AI和三维视觉协同发展的趋势。其实AR主要是AI和三维视觉的应用。这三者如果能够紧密协同发展,那么我相信未来五到十年就可以实现一个地球级的现实世界的数字化。左边这个图是华为前不久提出的Cyberverse数字现实技术,它主要是通过相机、Lidar等传感器对真实世界进行扫描并构建高精度地图,然后基于高精度地图来实现室内外精准的定位和导航以及各种AR效果。Cyberverse实际上也不是一个完全新的概念,Magic Leap在2018年就提出过类似的概念Magicverse,旨在将大规模物理世界和数字世界持续地融合在一起。如右图所示,Magicverse包括好几个层,主要两种类型,一类是叫做基础层(包含物理世界和数字世界),还有一类叫空间应用层。基础层最底下是物理世界,然后在物理世界上构造一个对应的数字世界,然后再上面就是空间应用层,包括流动性、能源与水、健康与保健、通讯、娱乐等。

    要实现这样一个数字化的现实世界,最关键的一点就是对物理世界进行三维数字化,也就是如何对高精度地图进行采集、构建和更新。我相信未来必然是朝着多模态、多传感器采集和融合的方式发展,因为每个传感器都有着它的优点和缺点,需要融合互补。这里最难的问题可能是怎么进行动态更新。我相信众包式的采集和更新是实现这个目标的有效方式,可以实现低成本、高频次的更新。高精度地图除了三维还应该包括语义信息,因此语义信息的提取也是非常重要的,而且需要满足不同应用的语义信息,比如说定位、AR/VR的展示、行为分析等等。这就要实现不同粒度语义信息的提取,这里面的粒度可以大到整个商场,再到一个门店,再小一点就是一个商品。除了物理世界的三维数字化,还需要对人的行为进行数字化,运动行为、消费的行为、社交行为等等。

    对于这样构建的人的行为也好、三维空间也好,再结合SLAM、AR技术,我们可以实现地球级的AR应用。当然,这里首先需要解决云端的高精度地图怎么与终端SLAM紧耦合,这样才能够实现长时间大范围的精准定位和高品质虚实融合。松耦合模式会有一些缺陷,误差累积会很快,稳定性也不够好。基于这样的一种方式,我们可以实现室内外的分米级甚至到厘米级的定位和导航。

    另外,我们知道5G时代很快就要到来了。目前的AR计算还主要是在终端,比如手机、AR眼镜等。未来有5G的情况下很多计算都可以放到云或边上,对终端的计算要求相对弱化,终端未来更多的是提供数据采集、连接和显示的能力。因为有云端算力的加持,高品质的AR效果可以得以实现,比如高逼真的物理效果模拟,准确的遮挡效果和虚实交互,精准的光照估计和电影级的真实感绘制与虚实融合效果就成为可能。在5G时代,一方面传输速度非常快,另一方面有云端算力加持,未来应用APP甚至都不要预装,我们打开一个APP就像在浏览器上输入网址或电视机上切换频道一样便捷。

    以上是我对三维视觉和AR方面未来发展趋势的看法,供大家参考。

     

    专家讨论发言

    谢晓华
     

    我感觉我们是不是忽略了一点,就是硬件发展。例如我们之前做超分辨率,做了很多,但是后来高清相机一出来,很多工作就白做了。那会不会在未来的十年范围内视觉传感器这一块会有比较大的突破,然后刚才提到的一些工作就没有必要去做了。


     

    林宙辰

    我想说一说什么样的计算体系适合做计算机视觉?现在我们都是基于冯诺依曼体系,但是人的视觉处理过程跟冯诺依曼体系有很大的差别。如果是在新型的计算平台上面,是不是很多计算机视觉的问题能更好或更高效的解决,我觉得是可以探讨的。另外一个,我赞成主动视觉和在线学习。我觉得现在的视觉系统触碰到了一点是,每个人都是from scratch,这样的话精力有限你就只能做一个非常简单的任务。我觉得将来可以做一个像wiki一样的项目,全世界都可以贡献,这样的话大家都在共同构建一个统一的系统,而且这个系统可以利用网络上的所有数据,可以自我进化(evolution)。然后这个系统大家都可以公用,这样就可以解决每个人的系统不停的从头学习的问题,因为单个人做的话只能做很小的一部分。


     

    林倞

    我想谈一谈关于benchmark或者关于AI的评价系统或者CV评价系统的好坏的基准。因为我认为我们很多的研究是受这个基准所驱动的,或者说是跟这个benchmark是相互驱动的。现在CV的趋势是融合、协同等,那么未来我们可能会需要一种新的评价体系来看CV的状况,可能不需要在一个特别的识别问题或者分割问题上达到特别高的精度,但是我们同时接入理解、分析、可解释性等,这样才能评价一个AI或者CV系统的鲁棒性,更像人一样的而不是把它归类为一个分类问题或者重建问题,我觉得这个可能是我们要很具体的去讨论和去发现的问题。


     

    山世光

    我们讨论十年后视觉可以发展到一个什么样的水平,可是我们并没有定义清楚,我们该如何从总体上度量视觉智能的进步,比如说现在视觉智能水平是60分,十年后我们可以做到80分,这个没有明确的标准。包括什么是视觉理解、图像理解,怎么定义呢?比如我们做人脸识别,很清楚,就是以某个数据库上的识别率为准。可是作为一个general的视觉我们好像没有这样的一个标准。

    另外,作为一个标准的benchmark的角度来说的话,是不是人的视觉也是分两种,一种是通用的视觉,一种是专用的视觉。比如我们普通人看不懂医疗影像但专业医师就可以,但是我们都有通用的视觉的能力。这两类视觉实现的路径是一样的还是不一样的?

    还有一个就是刚才提到的十年后我们可能把地球都数字化了,但是这个数字话不见得是个简单的数字化,比如是地图化的,那地图化的话对我们做视觉的有什么样的帮助呢?我觉得是不是类似于出现了一个视觉智能测试的“靶场”,我们的很多东西都可以在这个“靶场”里去测试。例如很多做自动驾驶的系统初步的训练都是用的合成的模拟数据。那么也许我们有了一个很好的关于地球的数字化模拟的时候,我们就有了一个很好的视觉的“靶场”,这个“靶场”既可以做训练也可以做测试。

    此外,要不要做视觉常识?大家都在说知识,我觉得知识这个体系如果没有常识,感觉有些空中楼阁。我们做视觉先得有视觉常识,有常识才有可能有所谓的理解,我不知道是否正确,我觉得这个问题可以讨论。


     

    陈熙霖

    关于理解的评价问题,我们可以想想人是怎么做的。对于人类形成体系的知识我们确实有benchmark,确实有考题。可是对人类探索中的知识是没有考题的。大家理解的知识最后形成一个公共认可的交集,最后逐步拓展。所以,我个人认为在未来的推动理解的研究中,benchmark不能没有,但是不能唯Benchmark。如果说过去近30年中Benchmark推动了计算机视觉的发展,今天可能成为束缚了计算机视觉发展的一个因素。我经常跟学生为此争论,一些学生认为离开可评测数据集的工作就不是研究。而对真正智能的研究可能就是没有Benchmark——没有最聪明,只有更聪明。对于场景理解一类的任务而言,一个机器可能发掘出100组关系,另一个机器可能发掘出300组关系,那后者的理解能力可能就超越了前者,如果前者的关系是后者的真子集,那后者就一定具有更强的理解能力。当然更多的是两者可能具有互补性,如同人类的三人行必有我师。

    第二件事情是说通用视觉与专用视觉,我的观点是对于医疗判读这类的所谓专用视觉其实远远超越了视觉本身,它不仅仅是视觉,医生的判断是在视觉现象基础上的知识/逻辑推理。


     

    胡占义

    这个观点我有点不大同意。我最近十多年一直在研究生物视觉,视觉绝不是说就是感知,视觉包含认知。仅仅视觉物体识别这个具体问题,人类就有约三分之一的大脑皮层参与。当然,某个大脑皮层区域参与视觉问题,绝不能说该皮层就是视觉皮层。大脑的大多数高级皮层,都在于加工多种感觉信息融合后的信息,进行认知决策和行为规划。所以说视觉问题,它涉及真个大脑,包括皮层和皮下组织的联合加工,绝不是完全由大脑的视觉皮层完成。视觉皮层是指主要对视觉信息进行加工的皮层,很多皮层参与视觉信息加工,但不是视觉皮层。

    我先说第一个观点,人的视觉和计算机视觉是有区别的,如果说把人类视觉的脑加工机制完全解释清楚,我觉得和搞清楚宇宙起源的难度没有区别,我研究了差不多十五六年生物视觉,据我所知,神经科学领域目前对视觉V1区研究的比较清楚,V2区已不太清楚,更不用后面的V4和IT区,以及前额叶(PFC)等高级皮层。视觉问题处理基本涉及到大脑皮层的各个区域。所以说研究计算机视觉我觉得我们要弄清楚到底什么是计算机视觉,什么是计算机视觉的核心科学问题,我们不能够把什么东西都往上加。我觉得我们要好好讨论讨论,五到十年内我们到底主要是研究视觉感知还是视觉认知?如果研究视觉认知那是一万年的事。我目前不怎么研究计算机视觉了,我主要关注生物视觉了,也许我说的不对,但我觉得大家还是聚焦一些,目标可实现一些。

    我们讨论五到十年的计算机视觉研究方向,不是指具体的算法,我们十年前也不知道深度学习能达到今天这样的一个高度,我们要讨论到底哪些方向是值得研究的,我自己觉得有三个需要关注的方向:1.基于神经生理的计算机视觉,估计在五到十年以内是一个重大方向;2.视频理解;3.涉及中国特色的全球战略相关的视觉研究:如卫星数据理解(全球战略),深海水下视觉信息处理(深海战略)。


     

    纪荣嵘

    我自己觉得我从博士毕业到现在大概10年的时间,我认为计算机视觉是远远超过了我当时读书时的任何方向,比如说自然语言理解,信息检索等等。我觉得一个重要的原因是深度学习带来的收获。但另一个方面,我们的这些系统太大太厚重,有没有可能把这个系统做的小一些,做的开销更小一些,这里面有几个维度。大家能马上想到的维度就是把系统做小,做小就可以把它放到端上,放到嵌入式设备上。第二个就是把系统做快,现在自动驾驶或者端上的设备的计算,有可能需要系统处理数据要远远快于实时。

    第三点,现在我们很多时候都是在做单点的系统,每个摄像机执行的功能都是一个完整的闭环,花了很多的计算代价做了很多重复的事情,未来的视觉系统有没有可能由点到面进行大范围系统之间的协同。就是说有没有可能由专到广的,为什么是由专到广,现在每个模型只能解决一个任务,为了解决目标识别用的是目标识别的模型,为了解决语义分割用的是语义分割的模型,为了解决人脸而用人脸的模型,我觉得我们的人脑并没有分得那么清楚。one by one或者 1 v 1的我个人感觉太消耗资源了,有没有可能有一种更灵活的机制,网络结构可以由不同的形式组合在一起,比如说一套模型的backbone,它往上的话既可以做识别又可以做分割还可以检索,还可以做相关的理解。这样的话就可以把整个计算量给降下来。我相信人类进化到现在这个阶段,我们用我们的大脑实现了多任务的,高效能的,并行而且只占用极小的存储开销,我们每天只用吃三碗米饭,我们能完成这个计算机系统消耗多少的计算量来完成的事情。

    第四个观点,我觉得我们的系统现在“吃”数据“吃”的太厉害。我觉得我们人类自身真的没有用到这么多的数据进行学习,我们用了大量的数据复用,比如说我识别消防车,只需要在车子上加一些特殊的部件,我就能识别消防车,我们人是很智能的。但是我们现在的计算机系统太吃这些硬性的资源,所以我觉得在计算资源的消耗上和训练数据消耗上我们也应该探索更多的机制。

    然后,从我自己的感受来说,过去的时间我们看到世界往前发展,我特别希望未来的五到十年里面,计算机视觉的发展是由我们中国的学者去引领的,因为我们现在有巨量的市场,这个市场有我们能马上可以看到的技术痛点,这痛点就在我们身边,应该是我们来做,而不是让外国人来做我们的痛点,我们应该去引领它,所以我觉得未来的五到十年有很多是我们这些中国计算机视觉的学者应该去做的事情。


     

    林宙辰

    在手机上要越做越小,我觉得这不是正确的方向。将来的视觉系统应该越做越大,不是越做越小。所有的运算通过5G放在云上面运算是未来的一个趋势。我们大家都在云端上建立一个大系统,这样的话能够解决多样性的问题。因为要用一个小系统来解决各种各样的问题,我觉得这个概率上讲是不可能的,就是要建立一个跟人脑一样复杂的一个系统,它才能够解决各式各样的问题,这个系统肯定只能放在云上面,手机端愿意多算就多,少算就少算,不要把所有的计算都挤到一个小的手机上面来。


     

    纪荣嵘

    我觉得不一定完全正确。我觉得端上可以做一些轻量级的计算,云上做更重量的计算。而且端上的计算可以使数据的传输由重量级变轻量级。比如说原来传图像,现在可以只传特征,原来要传所有的区域,现在只要传特定的区域。因为手机只用作摄像设备感觉太浪费了,手机其实是一个很好的计算设备。


     

    林宙辰

    我们并不矛盾。我是说想在手机上解决所有的问题这一点我是反对的。一开始你说要在手机上做小网络这个东西,肯定是越小功能越差。


     

    胡占义

    对于这个问题我提个建议,5G对我们计算机视觉影响有多大,其实就是小终端和大终端的问题。如果5G网络很快,终端干脆就可以很小,不需要在这里处理,直接放到云上。我觉得5G对计算机视觉的影响确实要好好理解。


     

    王亦洲

    你俩说的没有矛盾,在专业任务上一定要压缩。处理是与任务相关的,只要满足任务的需求就行。视觉是一个ill-defined problem。什么是视觉这个概念太大了,但如果局限到图像,又太小了。所以怎么去把握它呢?我们丢这个阵地,就丢在了问题的复杂度上面。现在已经被深度学习占领了,我们再漂亮的理论、性能都不行。 然后我们丢在哪儿了呢?视觉问题是不是深度学习就解决了?视觉并不仅仅是一个学习问题,刚才说视觉可以很大,它可以是个认知的问题,top-down、bottom-up、然后各种任务,我们定义的视觉问题的复杂度不够,系统的复杂度也不够。所以我们要把系统的复杂度给加上去,把任务的复杂度也加上去,但是在每个具体的专项的任务上面, 我们要尽量让它简洁(compact), 让它适合于任务(fit for task)就够, 所以怎么去拿回这个阵地,我觉得要在这两方面,复杂度上面加大,然后才能够有可能把这个视觉的东西给拿回来。但视觉其实不单单是视觉问题,应该是视觉主导的任务完成的一个问题。所以,以后CVPR它有没有存在的意义,或者说是不是还是那个趋之若鹜的东西都不一定。


     

    山世光

    我们值得讨论的问题是,怎么撇清计算机视觉与机器学习的关系?我们在未来几年是不是就认怂了,是不是计算机视觉的问题就是机器学习的问题。这个我觉得我们年轻人还是特别困惑,比如说有什么问题是机器学习肯定搞不定,只能靠计算机视觉理论和方法来去搞定的呢? 


     

    陈熙霖

    是现在很多东西都被划到机器学习了。可以对比一下30年前机器学习的书和30年前模式识别的书,再拿今天机器学习和模式识别的书,看差别就行。


     

    胡占义

    我觉得机器学习这个东西,是一种手段,它可以用于计算机视觉,也可以用于自然语言处理。模式识别和数学没有区别,我比较理想,我觉得一个是一种解释手段,一个是说要解决什么科学问题。


     

    王井东

    接着刚才山老师提到这个问题。现在计算机视觉这么火,有多少是机器学习能做出来的东西。像alexnet也是做视觉问题,其实根本没必要担心。我自己也做过机器学习,可以举个例子,早先做过加速、大规模等,在Matlab上面做,这怎么能证明这是个大规模的问题,所以说同样根本不用担心这个问题。

    刚才讨论到一个问题,就是说计算机视觉5到10年怎么走。现在遇到一个状况,不管是中国还是美国,今年年视觉方向的工作机会(opening)特别少,从2012起视觉火了8年,应该怎么继续走。计算机行业外的人给予CV很高的期望,比如超越人类。其实这件事情不靠谱,根本没有超越人类。但是不做计算机视觉的人总觉得计算机视觉的人应该做些什么东西。但是现在到这个阶段,也许这跟当年神经网络一样,像过街老鼠一样,说计算机视觉的人吹牛皮。其实不是我们吹得,是别人吹的。我们要思考,我们视觉如果继续往前走,科学研究方面是一个问题,另一方面是如何去得到持续关注真正做一些能够work的系统出来。尽管我们今天已经在很多方面做得不错,但坦白来讲还没真正work。计算机视觉是不是应该纯粹从视觉的角度解决,其实多模态是一个很好的方向,单单靠视觉这一点,在监控系统里面还是很大的一个问题。从方向上来讲我比较看好多模态这个方向。


     

    王涛

    关于未来计算机视觉发展的趋势很多。我感觉一个最重要的趋势应该是主动视觉。Imagenet竞赛能识别很多的物体,但是图像分类真正在实际场景中就不管用。真正管用的是基于物体检测,然后再进行识别的像人脸识别这种技术。为什么人脸识别成功了,图像分类系统还不成熟。输入一张图像,你必须得按不同的区域不同的粒度进行分析,比如在会场我们拍张照片,识别人,那我们去数人头。但是如果要识别投影仪设备,必须定位到这个投影仪图像才能找到。第二个问题是投影仪的信息有多种层次,比如说有人想知道牌子,那你必须再细看到那个Logo,但是另外有人想知道怎么操作这个投影仪,那你必须得识别它的各种接口,你才能把它的功能识别出来。我感觉最近的Imagenet和ActivityNet行为识别竞赛,大家现在做的这两类竞赛都是用图像分类的竞赛做。用图像分类做竞赛,实际中都不能用,为什么呢?它没有像人一样主动去识别,你得看到这个人,看到那个人真正发生动作的那一帧,这才能把它识别出来,所以我感觉主动是非常重要的。

    第二个,要有层次。层次就是不仅要识别出一些基本的要素,还要把里面的不同层次关系能够结构化的提取出来。我们实验发现把东西拿在一起学的效果会很差,但是如果把这个东西分成两个部分,先固定解码器学编码器,然后再固定编码器学解码器,系统就学出来了。我们的学习得有一些像搭积木一样的层次,先把基本的比如人脸、水杯、花识别出来,然后拍一张照片能把物体之间的关系给识别出来。

    第三个,应该怎么研究。视觉研究很广,想要做成功,得针对具体的应用。人脸识别系统很成熟,但是用在自动驾驶上识别行人就不行,得一类一类来,在不同应用场景中,需要看到不同的数据和不同的性质。所以我认为针对具体应用,未来除了在深度学习基础上主动视觉,发挥层次融合推理应该是一个比较好的趋势。


     

    胡占义

    我觉得主动视觉很重要,但5-10年主动视觉不可能取得巨大进展。这涉及到生物里面反馈(feedback)的高层知识,但反馈很难短期内取得进展。关于视觉的目的1994年CVGIP组织了一个专刊,曾经有过一个辩论。从1994年到现在,可以说主动视觉没有任何的进展。在生物神经系统里面有大量的反馈,但不知道反馈是什么东西。如果神经科学很难给出一点启示的话,那么我们计算机视觉就很难把它做成。这是我的一点个人观点。


     

    王涛

    我觉得以前主动视觉不成功是因为研究方法不对和技术限制。


     

    胡占义

    Recurrent有两个,一个是同层的抑制,一个是高层的反馈,而高层的反馈在生物视觉里面大家知道有大量的反馈,但是反馈的是什么东西还不清楚。所以说根据我的理解,我觉得3-5年内生物视觉很难有较大进展。


     

    王亦洲

    我补充一下,回到学习上,学习是视觉的核心。视觉其实是个伪问题,但学习是一个永恒的本质问题。没有学习,视觉存不存在都不太重要了。与其叫计算机视觉还不如叫computational visual intelligence. 视觉是一种智能,智能的核心是学习怎么去获得知识,反馈只是学习和推理的一个环节。学习是什么?是简单的模式识别,还是高级学习,这可能是学习下一步应该走的,给学习起一个俗的名字叫元学习,如果要和计算机视觉对应,我们叫元认知。核心就是学习,不搞学习是不行的。


     

    杨睿刚

    我觉得机器视觉与生物视觉应该有区别,不一定机器视觉要学习生物视觉。举个例子,比如说看全局我要大照片,然后看局部我要小照片,但是如果你有一个摄像头,可以一下子拍10亿像素,或者有一个摄像装置能把光场记录下来,那active learning与passive learning就没有区别了。这种硬件区别至少在二维图像上,将来我觉得十亿像素应该是很快到来的事情。


     

    陈熙霖

    这个地方我补充一句,这里的主动不仅指分辨率,其本质是通过主动的“行为”进行探索,从而达到有限资源的最大化利用。


     

    杨睿刚

    你说的是一种主动感知的explore,还有一种不改变环境不改变物体的。


     

    陈熙霖

    即使是不做改变,比如从一个角度看和从另一个角度看,光场相机并不解决这类问题,我们无法获得对象背后的光场。


     

    杨睿刚

    光场相机阵列。


     

    林宙辰

    杨睿刚的意思是说干脆把所有的信息都采集了,这个机制还是有点不一样。

     

    王亦洲

    主动学习有一个停机问题,有一个选择的问题。就是说,你所有信息都在这儿,你什么时候停下来,你决定采哪一块,这是最重要的。所以主动学习,它并不是你把所有东西都拍上去,你也得要选择。


     

    杨睿刚

    选择的问题肯定要在里面,但是现在做主动学习肯定涉及到机器人等问题,超出了计算机视觉的范畴。


     

    王亦洲

    所以就不要抱着计算机视觉了,这个就是我的意思。


     

    胡占义

    主动学习这里面有两个概念。第一个是要有探索和注视,否则的话就没有主动性。第二个是记忆,主动视觉是从生物来的概念。在计算机视觉里面,主动视觉这个概念太大了。


     

    查红彬

    我想这里可以将主动视觉与深度学习进行对比。深度学习的问题在于要有标注数据库,需要事先整理好的数据。而视觉系统在实际场景中工作时,需要自己选择对自己有用的样本。这样,将样本选择与视点选择,结构重构,计算优化等策略结合起来,就能有效地发挥其主动性,而不需要让人把所有的数据都收集好喂给它。


     

    郑伟诗

    学习对视觉很重要。Benchmark推动也束缚了目前计算机视觉的发展,ReID做到97%,大家就想不到该做什么,但问题本身并没解决。数据库太有限,采集的东西没有完全反映整个问题,比如说行人的遮挡问题,各种各样的问题。在有限数据的时候,学习可能不能完完全全地解决它。有限数据下的学习,有没有可能受到3D方面的启发?把一个人整个3D的信息,还有行人整个行为的3D信息都能捕捉到的话,我们就可以去掉开放环境下所受到的这些影响,然后我们就可以重构。像我们可以构造一个靶场,这个靶场很重要,无论我们做任何的系统都要做测试,但如果只在有限数据上或片面的数据上做测试的话,我们在真实应用的时候可能就会有受限。因此如果我们能够把3D这种因素嵌入到现在以2D图像为主导的计算机视觉里面的话,可能会对我们整个计算机视觉在未来3到5年的发展能有另外一个维度的推动作用。

    那么为什么做3D?另外一件事情就是现在可能在全世界都在谈的数据隐私问题。数据采集的隐私问题越来越重要,如果你用的是一个虚拟的靶场的话,这种隐私问题就完全不存在。所以,在未来包括可能在国外人脸识别、行人识别,甚至一些行为识别都有可能会受到严重的法律因素的滞后的影响的话,那么我们更需要从3D的角度,从另外一个维度去考虑,是不是在这方面可以拓宽计算机视觉的发展方向,这是我的观点。 


     

    贾云得

    我们做视觉很早了,早先把它作为一条小河,我们流那么多年,突然下大暴雨,现在是洪水猛兽(深度学习)来了。五年以后估计这个模式都过去了。我觉得那条河还会在。因为,从视网膜到视皮层这条通路在那摆着呢,非常高效。因此,还会有好多人研究,五年十年以后我们中国实验室做什么?肯定还是小河里面。

    我看好两个方向。第一个是三维视觉,三维视觉不会很热,也不会很冷,会一直往下走。第二,就是胡老师说的视频理解。这个好几个老师也说了,多模态,就像我们看电影也是一样的,看会儿画面看字幕,看会儿字幕看画面,来回互相理解,现在好像挺热的。原来我们遇到的是数据-语义的鸿沟。后面我们在识别结果和意识间的鸿沟也会出现,一旦有鸿沟就变成热点,因为里边主观加的东西太多了。我觉得视频理解应该是一个热点。


     

    鲁继文

    我觉得我们现在用了很多机器学习的知识。下一步,我自己更愿意做一些特别的工作,就是从机器学习到机器推理。比如给你一幅图像,你一看就知道这个图像未来应该怎么样发展,但对于计算机再强的网络都不行。我觉得现在计算机视觉里面很多时候性能之所以好,是在于我们对这个问题的定义,在这种定义基础上已经基本上可以解决。现在我们可能要再去找一些更能够描述或者更能够匹配人类视觉能力的计算机视觉任务。现在比如说检测、分割、检索、识别,都是单独的视觉任务,这种单纯的视觉任务还是有点简单。当然有的老师可能有不同的观点,就是说他们的变化这种东西可能比较难。但实际上人的视觉更多的时候可能不是这样子的。所以,我觉得在计算机视觉里面一个很重要的问题是怎么样找到这样的任务,能够更好的与我们人类的视觉任务匹配起来,这样的任务既不能太难也不能太简单。这样的任务我觉得还需要我们多花时间去思考讨论,我自己也不知道是什么任务。


     

    王亮

    未来5到10年的CV发展趋势这个主题的主要目的是希望听听我们国内视觉界专家们的新见解。今天听了各位讲了很多,方方面面都有。如果说个趋势的话,每一个方面可能都会有一定的趋势,但大家的意见有不相同,也有相同的地方。这个主题的定位是希望通过这次的深度研讨梳理几个视觉领域中最重要的大家都认可的这样一个发展趋势,有不同的意见没有关系,而且这个讨论也是有交叉的。


     

    查红彬

    这种讨论我觉得挺好。讲一些发展趋势,然后大家能够有一些思想上的碰撞和火花。做视觉研究,大家在发展趋势上,如果有完全一样的看法会很奇怪。要整理出比较明确的发展趋势也很难。为什么呢? 谁要想做出很好的工作,他就应该有一些与别人不一样的看法,如果大家都是同样的看法,这事情就很难往下做。所以我觉得,我们更多的是通过交流各自的想法,启发我们自己能有一些新的思路,或者在我自己的这些想法上能找到一些更多的理由、依据,然后把这个事情做下去。所以我想通过这些讨论,更多的是咱们能不能将来在国际会议上,在研究成果方面,我们也有自己的一些特色在里边。到目前为止,我们写文章是在拼什么?就拼数据库测试上性能提高了百分之几,而且大多数是在别人方法上改进一下,然后做个实验说我提高了百分之多少。但是我们很少有说你的想法跟别人在什么地方不一样,然后你这个不一样的东西在某个地方用起来会有一些效果。一开始你可能效果会比较差,而且你也不容易轻松地打动别人,但是在你的带领之下很多人都会来做这个事情的时候就不一样了。所以我想说,能不能将来不是只盯着这个数据库上的数据去拼,而是有更多的比较好的创意出来。


     

    山世光

    是不是可以倡议建立一个只评价idea、方法原理,不评价在benchmark或者数据库上的好坏的审稿机制?


     

    陈熙霖

    胡老师刚才提到的1994年CVGIP组织的一个专刊中,当年提出了三个需要改进的方面,今天真正实现的只有一件——就是benchmark。那场讨论中说我们这个领域里的工作缺乏比较,自说自话,之后就产生了各种各样比较的数据集。所以我刚才有一句话,在过去近30年中Benchmark推动了计算机视觉研究的进步,就是指的那场讨论开始的。


     

    查红彬

    我同意你的观点。现在回过头来看看,计算机视觉研究了这么多年,也许就是在那些文章出来之后,我们再没有看到什么新的主意、新的理论出来了。在那之前百家齐放,好像有很多新的说法出来。在那个benchmark出来之后大家都在做同样的事情,最后整个领域就变得不怎么活跃了。


     

    胡占义

    我们既然研究计算机视觉,我建议大家读一读Marr的书。


     

    卢湖川

    刚才说到的benchmark,我觉得至少计算机视觉这个benchmark的存在,使得计算机视觉有别于纯粹的机器学习,而且特别是起到了该有的历史作用。现在大家对它的诟病最主要的原因就是它还是一个单一的benchmark。那只能说这个benchmark并不像人一样,那如果有人再去定一个更复杂的benchmark,它是多维的,也许这个benchmark就能够驱动下一个时代的发展,也许就能够完成像人一样的学习或者识别等等。我觉得benchmark本身并没有太大问题,因为人从小受教育的时候就是教他这是什么那是什么,只是人是一个综合的智能体。现在的benchmark如果再往更高的维度发展,也许能够有更好的收获。


     

    杨睿刚

    现在的benchmark太多了,哪些benchmark重要,哪些benchmark不重要,还有随之而来的各种各样的比赛,哪些是重要的,哪些不重要。在某种意义上是不是也跟大家说,我又拿了个世界第一,但可能这个世界第一里面只有十个人参加。那有没有一种方法可以有这样的一个更加好的量化机制,可以给benchmark一个benchmark。


     

    王井东

    Benchmark现在有个很大的问题是很多人做不了。Imagenet很多人做不了,那做不了从我们研究人员的角度来讲,就是文章可能出不去,这是一个可能不好的地方。 但从另外一个角度来讲benchmark挺重要的。视觉的任务目的很多,我们做视觉还有一个重要目的就是培养学生,那至于视觉培养学生这个功能可能是区别于其他的,比如Multimedia。Multimedia从培养学生的角度上我觉得是很好的。但它有个很大的缺点,是没有benchmark。从这个角度来讲benchmark还是需要的。只是现在审稿人对数据集的规模期望更大了,这对很多人来讲尤其是学校里面是很有挑战的,现在可能就少数几个公司比较强。这是我对benchmark的观点。


     

    王亦洲

    建议PRCV单开一个track,鼓励创新性。单开一个不看性能的track。


     

     

     

    展开全文
  • CV:人工智能之计算机视觉方向...2、计算机视觉发展史 2.1、马尔计算视觉 2.2、多视几何与分层三维重建 2.3、基于学习的视觉 3、语义鸿沟 3.1、跨越语义鸿沟的几大挑战 4、计算机视觉常用数据集 5、计算机视觉方
  • 计算机视觉发展现状

    千次阅读 2019-10-10 18:37:38
    然而这些发展往往起源于其他不同领域的需要,因而何谓“计算机视觉问题”始终没有得到正式定义,很自然地,“计算机视觉问题”应当被如何解决也没有成型的公式。 尽管如此,人们已开始掌握部分解决具体计算...
  • Interview:人工智能岗位面试—人工智能职位之计算机视觉算法工程师的简介、知识结构、发展方向之详细攻略 目录 计算机视觉算法工程师的简介 计算机视觉算法工程师的知识结构 计算机视觉算法工程师的发展...
  • 计算机视觉方向数据集(转)

    千次阅读 2018-08-20 15:35:55
     ImageNet是一个计算机视觉系统识别项目,是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家李飞飞模拟人类的识别系统建立的。能够从图片识别物体。目前已经包含14197122张图像,是已知的最大的图像...
  • 【AI白身境】计算机视觉都有哪些研究方向

    万次阅读 多人点赞 2019-03-01 07:22:52
    【AI白身境】一文览尽计算机视觉研究方向 今天是新专栏《AI白身境》的第10篇,所谓白身,就是什么都不会,还没有进入角色。 相信看了前面的几篇文章后很多朋友已经等不及快速入行了,今天就来介绍一下计算机视觉的...
  • 讲真在计算机这个庞大的体系下挑选出一个方向来确实蛮难,自己挑来挑去,有种乱花渐欲迷人眼的感觉,不过就目前自己的兴趣、性格和学习能力,远景规划来看,计算机视觉这个方向目前来看对我自己来说确实是一个十分...
  • 1.1 什么是计算机视觉 1.2 计算机视觉发展的四个主要阶段 1.3 计算机视觉的若干发展趋势 1.4 几种典型的物体表达理论(Object representation theories)
  • 计算机视觉基本研究方向

    千次阅读 2013-10-29 10:27:36
    图像显著性是图像中重要的视觉特征,体现了人眼对图像的某些区域的重视程度 自从1998年Itti的工作以来,产生了大量的显著性映射方法,图像显著性也广泛应用于图像压缩、编码、图像边缘和区域加强、显著性目标分割和...
  • 计算机视觉入门

    万次阅读 多人点赞 2018-05-18 21:42:00
    目录简介方向热点简介计算机视觉(Computer Vision)又称为机器视觉(Machine Vision),顾名思义是一门“教”会计算机如何去“看”世界的学科。在机器学习大热的前景之下,计算机视觉与自然语言处理(Natural ...
  • 计算机视觉入门系列(一) 综述

    万次阅读 多人点赞 2020-12-16 04:42:36
    计算机视觉入门系列(一) 综述自大二下学期以来,学习计算机视觉及机器学习方面的各种课程和论文,也亲身参与了一些项目,回想起来求学过程中难免走了不少弯路和坎坷,至今方才敢说堪堪入门。因此准备写一个计算机...
  • 从特征描述符到深度学习:计算机视觉发展20年 转载:http://cs2.swfc.edu.cn/~zyl/?p=2184 Author: Tomasz Malisiewicz 翻译:赵毅力(panovr at gmail dot com) 我们都知道在过去两年(2012-2014年)...
  • 目标检测是计算机视觉和数字图像处理的一个热门方向,广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域,通过计算机视觉减少对人力资本的消耗,具有重要的现实意义。因此,目标检测也就成为了近年...
  • 简介:计算机视觉将彻底改变物联网……计算机视觉发展演进我们可以轻松地在日常产品中找到计算机视觉技术的应用,从可以识别手势的游戏机到可以自动聚焦于人脸的智能手机摄像头。如今,计算机视觉正在影响我们生活...
  • 深度学习与计算机视觉

    千人学习 2020-07-13 17:12:35
    计算机视觉(CV)是AI中最热门,也是落地最多的一个应用方向(人脸识别,自动驾驶,智能安防,车牌识别,证件识别)。所以基于人工智能的计算视觉行业必然会诞生大量的工作和创业的机会。如何能快速的进入CV领域,...
  • 计算机视觉如何入门

    万次阅读 多人点赞 2017-12-23 19:54:56
    这里有你要入门计算机视觉,需要了解的一些基础知识、参考书籍、公开课。 当前计算机视觉作为人工智能的一个分支,它不可避免的要跟深度学习做结合,而深度学习也可以说是融合到了计算机视觉、图像处理,包括我们说...
  • 如何学习计算机视觉

    万次阅读 多人点赞 2017-12-22 19:07:50
    (有关计算机视觉入门的其它只是,可以阅读另一篇文章计算机视觉入门必读)这两年,计算机视觉似乎火了起来,计算机视觉的黄金时代真的到来了吗?生物医学、机械自动化、土木建筑等好多专业的学生都开始研究其在各自...
  • 计算机视觉(CV)发展简史

    千次阅读 2021-04-25 23:07:45
    以下文章摘录自: 《机器学习观止——核心原理与实践》 ...我们首先来了解一下计算机视觉(CV)领域的发展简史。 从动物学家针对化石的研究中,人们发现生物的视觉系统大概起源于5亿4千3百万年(543 million yea...
  • 计算机视觉入门指南

    千次阅读 多人点赞 2019-11-13 18:47:28
    首先简单自我介绍一下,本科渣211,目前某985研一在读,做的是计算机视觉(CV)方向,目前CV方向人数过于饱和,找工作已是神仙打架,如果学不精很容易成为半吊子,对于即将入坑的童鞋们,还是劝大家慎重哦,不过对于...
  • 计算机视觉前沿技术探索

    千次阅读 2018-11-24 09:10:29
    计算机视觉前沿技术探索   摘要:计算机视觉与最前沿技术如何结合? 计算机视觉软件正在改变行业,使用户的生活变得不仅更容易,而且更有趣。作为一个有潜力的领域,计算机视觉已经获得了大量的投资。北美计算机...
  • 图像处理与计算机视觉基础,经典以及最近发展本文的安排如下。第一部分是绪论。第二部分是图像处理中所需要用到的理论基础,主要是这个领域所涉及到的一些比较好的参考书籍。第三部分是计算机视觉中所 涉及到的信号...
  • 学期:2017 spring 老师:Fei-Fei Li &...第一节课主要是介绍计算机视觉发展史、课程内容以及考核方式。 我学习的课程是cs231n 2017 spring,这是斯坦福第三次开设这门课程。2016年春季的时候第一次开...
  • 计算机视觉综述

    千次阅读 2018-05-03 14:39:45
    计算机视觉入门系列(一) 综述自大二下学期以来,学习计算机视觉及机器学习方面的各种课程和论文,也亲身参与了一些项目,回想起来求学过程中难免走了不少弯路和坎坷,至今方才敢说堪堪入门。因此准备写一个计算机...
  • 计算机视觉

    千次阅读 2016-11-12 15:11:18
    计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息,就像人类和许多其他类生物每天所做的那样。 计算机视觉是一门关于如何运用...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 37,927
精华内容 15,170
关键字:

计算机视觉发展方向