这是AQ第一次发文章，有什么做的不好的地方，还请大家多多包涵，要是有什么不对的地方，也欢迎大家批评指正！！！

图形编程技术基础

计算机图形学CG

定义：研究利用计算机进行图形的计算、处理、显示

      即：                                 数学算法

                         二/三维图形--------------二维栅格形式

研究内容：

    Modeling: ----构造场景的三维模型----建模

    Rendering:---将三维场景画在屏幕上---绘制（渲染）：根据三维模型，计算屏幕窗口中每个像素点的颜色：与光照、环境、物体材质有关

    Animation:--------------------------动画：关键帧技术、过程动画技术、基于物理的动画技术、关节动画、Morphing和deformation（空间变形）技术

图形（Graph）与图像（Image）的差别

图形：一堆像素组成的二维栅格

图像：含有表示“形”的几何信息

图形之中有图像的成分：图形的显示最终要转化成图像

                      图形中的纹理技术图像

学科的区别：

计算机图形学CG：三维模型→绘制→二维图像

数字图像处理IP：二维图像→分析处理→得到其他信息或生成某种特效

计算机视觉CV：二维图像→分析处理→三维信息

Graphics Pipeline图形流水线

概念：将3D模型转化为屏幕上的图像所经历的步骤

发展：1992 . SGI发布OpenGL1.0，图形流水线逐渐形成业界标准

1994 . 出现PC显卡

1999 . 出现GPU，图形流水线逐渐硬化到了PC机专用的图形硬件上实现

现在，GPU已经成为计算机中发展最快的硬件

Graphics Pipeline图形流水线→逐面片绘制：模型由许多面片组成，速度更快

逐面片进行投影（三维→二维）、光栅化（计算面片所覆盖的栅格）

Modeling↘

                        Rendering：3D model→2Dimages

Animation↗  逐像素绘制

OpenGL中的图形流水线

图形流水线总览--------上图“OpenGL中的图形流水线”的内部工作流程

图形开发库

基础图形库：OpenGL，Direct3D   → → → 图形编程的业界标准

基于OpenGL进行轻量级开发的库：bgfx

辅助OpenGL开发的工具库：aux、glut、freeglut、glfw

用OpenGL做界面的库：myGUI、CEGUI

辅助调用OpenGL扩展功能的库：glew、glad

三维图形引擎：OSG、OGRE

OpenGL：Open Graphics Library开放的图形编程库

调用图形硬件的程序接口，由大约150个函数组成，用户可以调用来完成各种绘图任务

基础图形库：

OpenGL：跨平台

Direct3D：在游戏界占优

辅助OpenGL开发的工具库：aux、glut、freeglut、glfw

1. 提供了管理窗口的功能
2. 加入了键盘、鼠标等的交互接口
3. 可能还提供了右键菜单等交互功能
4. 提供了一些“高级”建模函数，如glutSolidTeapot（）
5. Aux，微软从大约2007年开始已经不更新
6. glut→freeglut
7. glfw

GPU

是什么：显卡中的核心芯片

干什么：处理屏幕显示相关的计算，并实现图形流水线

GPU比CPU快？

答：GPU是并行的

CPU是为了通用计算，而GPU只执行相对固定的任务，因此，GPU快，却不如CPU灵活通用，但是，现代GPU变得越来越灵活，因为他具有了可编程功能和统一的渲染框架

GPU编程：采用汇编代码、易读写改、跨平台

图形流水线的发展

2002年开始，GPU在Vertex Operations和Fragment Operations这两个模块中具有了可编程功能

Vertex Shader of GPU：可直接在Vertex Shader中编程控制顶点的各种属性

Fragment Shader of GPU：可直接在Fragment Shader中编程控制片元、像素的各种属性

2006年，GPU流水线中增加了一个新的模块：Geometry Shader

统一渲染架构

2006年，微软的DirectX 10提出了GPU的统一渲染架构

这节课的内容整理到这，后续会不定时更新，敬请期待......

数据挖掘(Data mining)

概念

• 数据挖掘是指从大量数据中通过算法搜索隐藏于其中信息的过程
• 数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过 去的经验法则）和模式识别等诸多方法来实现上述目标。

特点

• 基于大量数据 小型数据可以人工分析总结规律，小数据量无法反应真实世界普遍特性
• 非平凡性 数据挖掘的知识一定是不简单的
• 隐含性 数据挖掘要发现深藏数据内部的知识，而不是直接浮现在数据表面的知识
• 新奇性 挖掘的知识在以前是未知的，否则只是验证了经验
• 价值性 可以为企业带来直接间接的效益

数据挖掘步骤

1. 定义问题
2. 建立数据挖掘库
3. 分析数据
4. 准备数据
5. 建立模型
6. 评价模型和分析

经典算法

• 神经网络法（neural network algorithm） 模拟生物神经系统的结构和功能，是一种通过训练来学习的非线性预测模型，它将每一个连接看作一个处 理单元，试图模拟人脑神经元的功能，可完成分类、 聚类、特征挖掘等多种数据挖掘任务
• 决策树法(decision tree) 决策树是根据对目标变量产生效用的不同而建构分类 的规则，通过一系列的规则对数据进行分类的过程， 其表现形式是类似于树形结构的流程图。比如，在贷款申请中，要对申请的风险大小做出判断。
• 遗传算法(Genetic Algorithm，GA) 遗传算法模拟了自然选择和遗传中发生的繁殖、交配 和基因突变现象，是一种采用遗传结合、遗传交叉变 异及自然选择等操作来生成实现规则的、基于进化理 论的机器学习方法。
• 粗糙集法(rough set approach) 粗糙集法也称粗糙集理论，是一种新的处理含糊、不 精确、不完备问题的数学工具，可以处理数据约简、 数据相关性发现、数据意义的评估等问题。
• 模糊集法(fuzzy set method) 模糊集法是利用模糊集合理论对问题进行模糊评判、 模糊决策、模糊模式识别和模糊聚类分析。模糊集合 理论是用隶属度来描述模糊事物的属性。系统的复杂 性越高，模糊性就越强
• 关联规则法(Association Rules) 关联规则反映了事物之间的相互依赖性或关联性。

任务

• 预测建模Predictive modeling
  • 分类：预测离散目标变量
  • 回归regression：预测连续目标变量
• 关联分析associative analysis
  • 用于发现描述数据强关联特征模式
• 聚类分析cluster analysis
  • 发现紧密相关的观测值族群，发现紧密相关的观测值 群组，使得与属于不同簇的观察值相比，同一簇的观 察值相互之间尽可能的类似
• 异常检测Anomaly Detection
  • 识别其特征显著不同于其他数据的观测值

挖掘过程

• 数据准备
  • 数据集成
  • 数据选择
  • 预处理
• 数据挖掘
• 结构表达与解释

成功案例

• 数据挖掘帮助Credilogros Cía Financiera S.A.改善客户信用评分
• 数据挖掘帮助DHL实时跟踪货箱温度
• 电信行业应用

存在问题

设计保密
法律
伦理问题

人工智能(Artificial Intelligent)

概念

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能 的理论、方法、技术及应用系统的一门新的技术科 学。

应用

机器视觉，指纹识别，人脸识别，专家系统，自动规 划，智能搜索，定理证明，博弈，语言和图像理解 等。人工智能是一门边缘学科，属于自然科学和社会 科学的交叉。

研究方法

• 大脑模拟
• 符号处理
• 统计学法
• 集成方法

成果

• 人际对弈
• 模式识别
• 自动驾驶
• 知识工程
• 智能搜索引擎
• 计算机视觉/图像处理
• 机器翻译
• 数据挖掘

发展阶段

• 计算机时代
• 大量程序时代
• 专家系统的出现，专家系统被用于股市预 测，帮助 医生诊断疾病，以及指示矿工确定矿藏位置等.
• 弱人工智能时代
  • 弱人工智能观点认为不可能制造出能真正地推理（ REASONING）和解决问题（PROBLEM_ SOLVING）的智能机器，这些机器只不过看起来像是智能的，但是并不真正拥有智能，也不会有自主意 识。主流科研集中在弱人工智能上，并且一般认为这 一研究领域已经取得可观的成就。强人工智能的研究 则处于停滞不前的状态下。
• 强人工智能时代
  • 强人工智能观点认为有可能制造出真正能推理（ REASONING）和解决问题（PROBLEM_ SOLVING）的智能机器，并且，这样的机器能将被 认为是有知觉的，有自我意识的。强人工智能可以有 两类：类人的人工智能，即机器的思考和推理就像人 的思维一样。 非类人的人工智能，即机器产生了和人完全不一样的 知觉和意识，使用和人完全不一样的推理方式。

旗下领域

机器学习(Machine Learning)

• 深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等 数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
• 深度学习是一类模式分析方法的统称
  • 基于卷积运算的神经网络系统，即卷积神经网络( Convolutional Neural Network CNN)
  • 基于多层神经元的自编码神经网络，包括自编码(Auto encoder)以及近年来受到广泛关注的稀疏编码 两类
  • 以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(Deep Belief Network DBN)
• 特点
  • 强调模式结构的深度，通常有5，5甚至10层隐层节点
  • 明确特征学习的重要性
• 典型模型
  • 卷积神经网络模型Convolutional Neural Network Model
    在无监督预训练出现之前，训练深度神经网络通常非 常困难，而其中一个特例是卷积神经网络。卷积神经 网络受视觉系统的结构启发而产生。第一个卷积神经 网络，基于神经元之间的局部连接和分层组织图像转 换，将有相同参数的神经元应用于前一层神经网络的 不同位置，得到一种平移不变神经网络结构形式。后 来，用误差梯度设计并训练卷积神经网络，在一些模 式识别任务上得到优越的性能。至今，基于卷积神经 网络的模式识别系统是最好的实现系统之一，尤其在 手写体字符识别任务上表现出非凡的性能。
  • 深度信任网络模型
    DBN可以解释为贝叶斯概率生成模型Bayesian probabilistic generative model，由多层随机隐变量组成，上面的两层具有无向对称连接，下面的层得到来自上一层的自顶向下的有向连接，最底层单元 的状态为可见输入数据向量
  • 堆栈自编码网络模型Stacked auto-encoding network model
    堆栈自编码网络的结构与DBN类似，由若干结构单元 堆栈组成，不同之处在于其结构单元为自编码模型( auto-en-coder)而不是RBM
• 训练过程
  • 自下上升的非监督学习Bottom-up unsupervised learning
    就是从底层开始，一层一层地往顶层训练。采用无标 定数据（有标定数据也可）分层训练各层参数，这一 步可以看作是一个无监督训练过程，这也是和传统神 经网络区别最大的部分，可以看作是特征学习过程。
  • 自顶向下的监督学习Top-down supervised learning
    就是通过带标签的数据去训练，误差自顶向下传输， 对网络进行微调。
• 应用
  • 计算机视觉
  • 语音识别
  • 自然语言处理 word2vector能够更好地表达语法信息。深度学习 在自然语言处理等领域主要应用于机器翻译以及语义 挖掘等方面

自然语言处理NLP natural language processing

• 自然语言是人类智慧的结晶，自然语言处理是人工智 能中最为困难的问题之一
• 主要范畴
• 文本朗读/语音合成
  • 中文自动分词
    • 文本分类
    • 词性标注
    • 机器翻译
    • 问答系统
    • 信息检索
    • 信息抽取
    • 自动概要
    • 文本校对
    • 自然语言生成
    • 语音识别
• 研究难点
  • 单词的边界界定
  • 词义的消歧
  • 句法的模糊性
  • 有瑕疵和不规范的输入
  • 语言行为和计划
• 相关技术
  • 数据稀疏与平滑技术Data sparseness and smoothing technology

大数据Big Data; hadoop

• 指无法在一定时间范围内用常规软件工具进 行捕捉、管理和处理的数据集合，是需要新处理模式 才能具有更强的决策力、洞察发现力和流程优化能力 的海量、高增长率和多样化的信息资产。
• 特征
  • 容量 数据的大小决定所考虑的数据的价值和潜在的信息
  • 种类 数据类型的多样性；
  • 速度 指获得数据的速度
  • 可变性 妨碍了处理和有效地管理数据的过程 真实性 数据的质量
  • 复杂性 数据量巨大，来源多渠道
  • 价值 合理运用大数据，以低成本创造高价值
• 结构
  • 理论 理论是认知的必经途径，也是被广泛认同和传播的基 线
  • 技术 技术是大数据价值体现的手段和前进的基石
  • 实践 实践是大数据的最终价值体现
• 技术
  • Hadoop分布式计算
    Hadoop是Apache公司开发的一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存 储并处理大数据。
• 核心
  • 1、HDFS(分布式文件存储系统) 数据以块的形式，分布在集群的不同节点。在使用 HDFS时，无需关心数据是存储在哪个节点上、或者 是从哪个节点从获取的，只需像使用本地文件系统一 样管理和存储文件系统中的数据。
  • 2、MapReduce(分布式计算框架) 分布式计算框架将复杂的数据集分发给不同的节点去 操作，每个节点会周期性的返回它所完成的工作和最 新的状态。大家可以结合下图理解MapReduce原理
  • 3、YARN(资源调度器) 相当于电脑的任务管理器，对资源进行管理和调度 其他重要模块
  • 4、HBASE(分布式数据库) HBase是非关系型数据库(Nosql)，在某些业务场景 下，数据存储查询在Hbase的使用效率更高。 5、HIVE(数据仓库) HIVE是基于Hadoop的一个数据仓库工具，可以用 SQL的语言转化成MapReduce任务对hdfs数据的查 询分析。HIVE的好处在于，使用者无需写 MapReduce任务，只需要掌握SQL即可完成查询分 析工作。
  • 6、Spark(大数据计算引擎) Spark是专为大规模数据处理而设计的快速通用的计 算引擎
  • 7、Mahout(机器学习挖掘库) Mahout是一个可扩展的机器学习和数据挖掘库
  • 8、Sqoop Sqoop可以将关系型数据库导入Hadoop的HDFS 中，也可以将HDFS的数据导进到关系型数据库中
• 趋势
  • 数据资源化 资源化是指大数据成为企业和社会关注的重要战略资 源，并已成为大家争相抢夺的新焦点
  • 与云计算的深度结合 大数据离不开云处理，云处理为大数据提供了弹性可 拓展的基础设备，是产生大数据的平台之一
  • 科学理论的突破 随着大数据的快速发展，就像计算机和互联网一样， 大数据很有可能是新一轮的技术革命。
  • 数据科学与数据联盟的成立 未来，数据科学将成为一门专门的学科，被越来越多 的人所认知
  • 数据泄露泛滥

区块链(block chain)

概念

区块链起源于比特币，是一个信息技术领域的术语。 从本质上讲，它是一个共享数据库，存储于其中的数据或信息，具有“不可伪造”“全程留痕”“可以追溯”“公 开透明”“集体维护”等特征。基于这些特征，区块链技术奠定了坚实的“信任“基础，创造了可靠的“合作” 机制，具有广阔的运用前景。
区块链是分布式数据存储、点对点传输、共识机制、 加密算法等计算机技术的新型应用模式。

类型

• 公有区块链 世界上任何个体或者团体都可以发送交易，且交易能 够获得该区块链的有效确认，任何人都可以参与其共 识过程。
• 联合（行业）区块链 由某个群体内部指定多个预选的节点为记账人，每个 块的生成由所有的预选节点共同决定（预选节点参与 共识过程），其他接入节点可以参与交易，但不过问 记账过程(本质上还是托管记账，只是变成分布式记 账，预选节点的多少，如何决定每个块的记账者成为 该区块链的主要风险点），其他任何人可以通过该区 块链开放的API进行限定查询
• 私有区块链 仅仅使用区块链的总账技术进行记账，可以是一个公 司，也可以是个人，独享该区块链的写入权限，本链 与其他的分布式存储方案没有太大区别。

特征

• 去中心化decentralization 区块链技术不依赖额外的第三方管理机构或硬件设 施，没有中心管制，除了自成一体的区块链本身，通 过分布式核算和存储，各个节点实现了信息自我验证、传递和管理。去中心化是区块链最突出最本质的特征
• 开放性 区块链技术基础是开源的，除了交易各方的私有信息 被加密外，区块链的数据对所有人开放，任何人都可 以通过公开的接口查询区块链数据和开发相关应用， 因此整个系统信息高度透明
• 独立性 基于协商一致的规范和协议(类似比特币采用的哈希 算法等各种数学算法)，整个区块链系统不依赖其他 第三方，所有节点能够在系统内自动安全地验证、交换数据，不需要任何人为的干预
• 安全性 只要不能掌控全部数据节点的51%，就无法肆意操控 修改网络数据，这使区块链本身变得相对安全，避免 了主观人为的数据变更
• 匿名性 除非有法律规范要求，单从技术上来讲，各区块节点 的身份信息不需要公开或验证，信息传递可以匿名进 行

核心技术

• 分布式账本
• 非对称加密
• 共识机制
• 智能合约
• 应用
• 金融/物联网/物流/公共服务/数字版权/保险/公益

物联网

概念

• 物联网是一个基于互联网、传统电信网等的信息承载 体，它让所有能够被独立寻址的普通物理对象形成互 联互通的网络
• 物物相连，万物万联
  • 第一，物联网的核心和基础仍然是互联网，是在互联 网基础上的延伸和扩展的网络
  • 其用户端延伸和扩展到了任何物品与物品之间，进行 信息交换和通信。
• 基本特征
  • 整体感知
  • 射频识别，二维码，智能传感器感知获取物体各类信 息
  • 可靠传输
  • 通过对互联网、无线网络的融合，将物体的信息实 时、准确地传送，以便信息交流、分享。
  • 智能处理
  • 用各种智能技术，对感知和传送到的数据、信息进行 分析处理，实现监测与控制的智能化。
• 关键技术

  • 射频识别技术RFID Radio Frequency Identification其原理为阅读器与标签之间进行非接触式的数据通信，达到识别目标的目的。是自动识别技术的一种，通过无线射频方式进行非接触双向数据通信，利用无线射频方式对记录媒体（电子标签或射频卡）进行读写，从而达到识别目标和数据交换的目的。

    • 应用领域
      • 物流货物追踪、信息自动采集、仓储管理应用、港口应用、邮政包裹、快递等。
      • 交通
        出租车管理、公交车枢纽管理、铁路机车识别等
      • 身份识别
        RFID技术由于具有快速读取与难伪造性
        动物晶片、汽车晶片防盗器、门禁管制、停车场管制、生产线自动化、物料管理。

  • 传感网 Sensor network
    无线传感器网络可以看成是由数据获取网络、数据分布网络和控制管理中心三部分组成的。其主要组成部分是集成有传感器数
    据处理单元和通信模块的节点，节通过协议自成一个分布式网络, 将采集来的数据通过优化后经无线电波传输给信息处理中
    心。

  • M2M系统框架Machine-to-Machine/Man

    • 从机器/设备中获得数据，然后把它们通过网络发送出去。使机器具备“说话”（talk）能力的基本方法有两种：生产设备的时候嵌入M2M 硬件；对已有机器进行改装，使其具备通信/联网能力。
    • M2M硬件是使机器获得远程通信和联网能力的部件。

  • 云计算

• 应用
  • 智能交通
  • 智能家居
  • 公共安全
• 挑战
  • 技术标准的统一与协调
  • 管理平台问题
  • 成本问题
  • 安全性问题

云计算cloud computing

概念

狭义上讲，云计算就是一种提供资源的网络，
从广义 上说，云计算是与信息技术、软件、互联网相关的一 种服务，这种计算资源共享池叫做“云”，云计算把许多计算资源集合起来，通过软件实现自动化管理，只需要很少的人参与，就能让资源被快速提供。

特点

虚拟化技术 virtualization technology
动态可拓展 Dynamically expandable
按需部署 On-demand deployment
可靠性高 high reliability
灵活性高 High flexibility
性价比高 Cost-effective
可拓展性 expansibility

服务类型

基础设施即服务
平台即服务
软件即服务

技术

体系结构
资源监控
自动化部署

应用

存储云
教育云
医疗云
金融云

模式识别

计算机视觉

强化学习

---

大数据、云计算和物联网的区别
大数据侧重于海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；
云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价提供给用户；
物联网的发展目标

人机对战中A1phaGo采用了数据结构的何种思想来处理冗余的不是最佳路径上的数据。
主要使用了数据结构中剪枝思维思想

谈一谈你对当前 5G 技术和云计算技术的理解
5G，第五代移动通信技术，有三个关键特征，

• 超高速率，实现每秒10Gb的下载速率，是4G的100倍。
• 超可靠超低时延，实现1ms的低时延，是4G时延的40分之一；
• 超大连接，实现每平方公里100万的连接数，是4G的100倍。

云计算技术：分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算具有很强的扩展性和需要性，可以为用户提供一种全新的体验，云计算的核心是可以将很多的计算机资源协调在一起，因此，使用户通过网络就可以获取到无限的资源，同时获取的资源不受时间和空间的限制。

通信基站能定位吗？原理，能精确定位吗
能
基站定位,就是靠从用户手机上获得基站的信息，然后将基站信息上传给基站定位提供商的服务器,服务器拥有这些基站所在地的经纬度信息，返回给用户，用户就知道了自己的大概位置。

计算机视觉五大技术

文章来源： 企鹅号 - AI火箭营

计算机视觉五大技术 - 云+社区 - 腾讯云

当前计算机视觉是深度学习领域最热门的研究领域之一。

计算机视觉实际上是一个跨领域的交叉学科，包括计算机科学（图形、算法、理论、系统、体系结构），数学（信息检索、机器学习），工程学（机器人、语音、自然语言处理、图像处理），物理学（光学 ），生物学（神经科学）和心理学（认知科学）等等。许多科学家认为，计算机视觉为人工智能的发展开拓了道路。

那么什么是计算机视觉呢？ 这里给出了几个比较严谨的定义：

“对图像中的客观对象构建明确而有意义的描述”（Ballard＆Brown，1982）

“从一个或多个数字图像中计算三维世界的特性”（Trucco＆Verri，1998）

“基于感知图像做出对客观对象和场景有用的决策”（Sockman＆Shapiro，2001）

为什么要学习计算机视觉？

一个显而易见的答案就是，这个研究领域已经衍生出了一大批快速成长的、有实际作用的应用，例如：

视觉识别是计算机视觉的关键组成部分，如图像分类、定位和检测。神经网络和深度学习的最新进展极大地推动了这些最先进的视觉识别系统的发展。在本文中，我将分享 5 种主要的计算机视觉技术，并介绍几种基于计算机视觉技术的深度学习模型与应用。

1、图像分类

给定一组各自被标记为单一类别的图像，我们对一组新的测试图像的类别进行预测，并测量预测的准确性结果，这就是图像分类问题。图像分类问题需要面临以下几个挑战：

视点变化，尺度变化，类内变化，图像变形，图像遮挡，照明条件和背景杂斑

我们怎样来编写一个图像分类算法呢？

计算机视觉研究人员提出了一种基于数据驱动的方法。

该算法并不是直接在代码中指定每个感兴趣的图像类别，而是为计算机每个图像类别都提供许多示例，然后设计一个学习算法，查看这些示例并学习每个类别的视觉外观。也就是说，首先积累一个带有标记图像的训练集，然后将其输入到计算机中，由计算机来处理这些数据。

因此，可以按照下面的步骤来分解：

目前较为流行的图像分类架构是卷积神经网络（CNN）——将图像送入网络，然后网络对图像数据进行分类。卷积神经网络从输入“扫描仪”开始，该输入“扫描仪”也不会一次性解析所有的训练数据。比如输入一个大小为 100*100 的图像，你也不需要一个有 10,000 个节点的网络层。相反，你只需要创建一个大小为 10 *10 的扫描输入层，扫描图像的前 10*10 个像素。然后，扫描仪向右移动一个像素，再扫描下一个 10 *10 的像素，这就是滑动窗口。

输入数据被送入卷积层，而不是普通层。每个节点只需要处理离自己最近的邻近节点，卷积层也随着扫描的深入而趋于收缩。除了卷积层之外，通常还会有池化层。池化是过滤细节的一种方法，常见的池化技术是最大池化，它用大小为 2*2 的矩阵传递拥有最多特定属性的像素。

现在，大部分图像分类技术都是在 ImageNet 数据集上训练的， ImageNet 数据集中包含了约 120 万张高分辨率训练图像。测试图像没有初始注释（即没有分割或标签），并且算法必须产生标签来指定图像中存在哪些对象。

现存的很多计算机视觉算法，都是被来自牛津、 INRIA 和 XRCE 等顶级的计算机视觉团队在 ImageNet 数据集上实现的。通常来说，计算机视觉系统使用复杂的多级管道，并且，早期阶段的算法都是通过优化几个参数来手动微调的。

第一届 ImageNet 竞赛的获奖者是 Alex Krizhevsky（NIPS 2012） ，他在 Yann LeCun 开创的神经网络类型基础上，设计了一个深度卷积神经网络。该网络架构除了一些最大池化层外，还包含 7 个隐藏层，前几层是卷积层，最后两层是全连接层。在每个隐藏层内，激活函数为线性的，要比逻辑单元的训练速度更快、性能更好。除此之外，当附近的单元有更强的活动时，它还使用竞争性标准化来压制隐藏活动，这有助于强度的变化。

就硬件要求而言， Alex 在 2 个 Nvidia GTX 580 GPU （速度超过 1000 个快速的小内核）上实现了非常高效的卷积网络。 GPU 非常适合矩阵间的乘法且有非常高的内存带宽。这使他能在一周内完成训练，并在测试时快速的从 10 个块中组合出结果。如果我们能够以足够快的速度传输状态，就可以将网络分布在多个内核上。

随着内核越来越便宜，数据集越来越大，大型神经网络的速度要比老式计算机视觉系统更快。在这之后，已经有很多种使用卷积神经网络作为核心，并取得优秀成果的模型，如 ZFNet（2013），GoogLeNet（2014）， VGGNet（2014）， RESNET（2015），DenseNet（2016）等。

2、对象检测

识别图像中的对象这一任务，通常会涉及到为各个对象输出边界框和标签。这不同于分类/定位任务——对很多对象进行分类和定位，而不仅仅是对个主体对象进行分类和定位。在对象检测中，你只有 2 个对象分类类别，即对象边界框和非对象边界框。例如，在汽车检测中，你必须使用边界框检测所给定图像中的所有汽车。

如果使用图像分类和定位图像这样的滑动窗口技术，我们则需要将卷积神经网络应用于图像上的很多不同物体上。由于卷积神经网络会将图像中的每个物体识别为对象或背景，因此我们需要在大量的位置和规模上使用卷积神经网络，但是这需要很大的计算量！

为了解决这一问题，神经网络研究人员建议使用区域（region）这一概念，这样我们就会找到可能包含对象的“斑点”图像区域，这样运行速度就会大大提高。第一种模型是基于区域的卷积神经网络（ R-CNN ），其算法原理如下：

实质上，我们将对象检测转换为一个图像分类问题。但是也存在这些问题：训练速度慢，需要大量的磁盘空间，推理速度也很慢。

R-CNN 的第一个升级版本是 Fast R-CNN，通过使用了 2 次增强，大大提了检测速度：

Fast R-CNN 的运行速度要比 R-CNN 快的多，因为在一幅图像上它只能训练一个 CNN 。 但是，择性搜索算法生成区域提议仍然要花费大量时间。

Faster R-CNN 是基于深度学习对象检测的一个典型案例。

该算法用一个快速神经网络代替了运算速度很慢的选择性搜索算法：通过插入区域提议网络（ RPN ），来预测来自特征的建议。 RPN 决定查看“哪里”，这样可以减少整个推理过程的计算量。

RPN 快速且高效地扫描每一个位置，来评估在给定的区域内是否需要作进一步处理，其实现方式如下：通过输出 k 个边界框建议，每个边界框建议都有 2 个值——代表每个位置包含目标对象和不包含目标对象的概率。

一旦我们有了区域建议，就直接将它们送入 Fast R-CNN 。 并且，我们还添加了一个池化层、一些全连接层、一个 softmax 分类层以及一个边界框回归器。

总之，Faster R-CNN 的速度和准确度更高。值得注意的是，虽然以后的模型在提高检测速度方面做了很多工作，但很少有模型能够大幅度的超越 Faster R-CNN 。换句话说， Faster R-CNN 可能不是最简单或最快速的目标检测方法，但仍然是性能最好的方法之一。

近年来，主要的目标检测算法已经转向更快、更高效的检测系统。这种趋势在 You Only Look Once（YOLO），Single Shot MultiBox Detector（SSD）和基于区域的全卷积网络（ R-FCN ）算法中尤为明显，这三种算法转向在整个图像上共享计算。因此，这三种算法和上述的3种造价较高的R-CNN 技术有所不同。

3、目标跟踪

目标跟踪，是指在特定场景跟踪某一个或多个特定感兴趣对象的过程。传统的应用就是视频和真实世界的交互，在检测到初始对象之后进行观察。现在，目标跟踪在无人驾驶领域也很重要，例如 Uber 和特斯拉等公司的无人驾驶。

根据观察模型，目标跟踪算法可分成 2 类：生成算法和判别算法。

为了通过检测实现跟踪，我们检测所有帧的候选对象，并使用深度学习从候选对象中识别想要的对象。有两种可以使用的基本网络模型：堆叠自动编码器（ SAE ）和卷积神经网络（ CNN ）。

目前，最流行的使用 SAE 进行目标跟踪的网络是 Deep Learning Tracker（DLT），它使用了离线预训练和在线微调。其过程如下：

鉴于 CNN 在图像分类和目标检测方面的优势，它已成为计算机视觉和视觉跟踪的主流深度模型。 一般来说，大规模的卷积神经网络既可以作为分类器和跟踪器来训练。具有代表性的基于卷积神经网络的跟踪算法有全卷积网络跟踪器（ FCNT ）和多域卷积神经网络（ MD Net ）。

FCNT 充分分析并利用了 VGG 模型中的特征映射，这是一种预先训练好的 ImageNet 数据集，并有如下效果：

因此， FCNT 设计了特征选择网络，在 VGG 网络的卷积 4-3 和卷积 5-3 层上选择最相关的特征映射。 然后为避免噪音的过拟合， FCNT 还为这两个层的选择特征映射单独设计了两个额外的通道（即 SNet 和 GNet ）： GNet 捕获对象的类别信息； SNet 将该对象从具有相似外观的背景中区分出来。

这两个网络的运作流程如下：都使用第一帧中给定的边界框进行初始化，以获取对象的映射。而对于新的帧，对其进行剪切并传输最后一帧中的感兴趣区域，该感兴趣区域是以目标对象为中心。最后，通过 SNet 和 GNet ，分类器得到两个预测热映射，而跟踪器根据是否存在干扰信息，来决定使用哪张热映射生成的跟踪结果。 FCNT 的图如下所示。

与 FCNT 的思路不同， MD Net 使用视频的所有序列来跟踪对象的移动。上述网络使用不相关的图像数据来减少跟踪数据的训练需求，并且这种想法与跟踪有一些偏差。该视频中的一个类的对象可以是另一个视频中的背景，因此， MD Net 提出了“多域”这一概念，它能够在每个域中独立的区分对象和背景，而一个域表示一组包含相同类型对象的视频。

如下图所示， MD Net 可分为两个部分，即 K 个特定目标分支层和共享层：每个分支包含一个具有 softmax 损失的二进制分类层，用于区分每个域中的对象和背景；共享层与所有域共享，以保证通用表示。

近年来，深度学习研究人员尝试使用了不同的方法来适应视觉跟踪任务的特征，并且已经探索了很多方法：

4、语义分割

计算机视觉的核心是分割，它将整个图像分成一个个像素组，然后对其进行标记和分类。特别地，语义分割试图在语义上理解图像中每个像素的角色（比如，识别它是汽车、摩托车还是其他的类别）。如上图所示，除了识别人、道路、汽车、树木等之外，我们还必须确定每个物体的边界。因此，与分类不同，我们需要用模型对密集的像素进行预测。

与其他计算机视觉任务一样，卷积神经网络在分割任务上取得了巨大成功。最流行的原始方法之一是通过滑动窗口进行块分类，利用每个像素周围的图像块，对每个像素分别进行分类。但是其计算效率非常低，因为我们不能在重叠块之间重用共享特征。

解决方案就是加州大学伯克利分校提出的全卷积网络（ FCN ），它提出了端到端的卷积神经网络体系结构，在没有任何全连接层的情况下进行密集预测。

这种方法允许针对任何尺寸的图像生成分割映射，并且比块分类算法快得多，几乎后续所有的语义分割算法都采用了这种范式。

但是，这也仍然存在一个问题：在原始图像分辨率上进行卷积运算非常昂贵。为了解决这个问题， FCN 在网络内部使用了下采样和上采样：下采样层被称为条纹卷积（ striped convolution ）；而上采样层被称为反卷积（ transposed convolution ）。

尽管采用了上采样和下采样层，但由于池化期间的信息丢失， FCN 会生成比较粗糙的分割映射。SegNet 是一种比 FCN （使用最大池化和编码解码框架）更高效的内存架构。在 SegNet 解码技术中，从更高分辨率的特征映射中引入了 shortcut/skip connections ，以改善上采样和下采样后的粗糙分割映射。

目前的语义分割研究都依赖于完全卷积网络，如空洞卷积 ( Dilated Convolutions ），DeepLab 和 RefineNet 。

5、实例分割

除了语义分割之外，实例分割将不同类型的实例进行分类，比如用 5 种不同颜色来标记 5 辆汽车。分类任务通常来说就是识别出包含单个对象的图像是什么，但在分割实例时，我们需要执行更复杂的任务。我们会看到多个重叠物体和不同背景的复杂景象，我们不仅需要将这些不同的对象进行分类，而且还要确定对象的边界、差异和彼此之间的关系！

到目前为止，我们已经看到了如何以多种有趣的方式使用卷积神经网络的特征，通过边界框有效定位图像中的不同对象。我们可以将这种技术进行扩展吗？也就是说，对每个对象的精确像素进行定位，而不仅仅是用边界框进行定位？ Facebook AI 则使用了 Mask R-CNN 架构对实例分割问题进行了探索。

就像 Fast R-CNN 和 Faster R-CNN 一样， Mask R-CNN 的底层是鉴于 Faster R-CNN 在物体检测方面效果很好，我们是否可以将其扩展到像素级分割？

Mask R-CNN 通过向 Faster R-CNN 添加一个分支来进行像素级分割，该分支输出一个二进制掩码，该掩码表示给定像素是否为目标对象的一部分：该分支是基于卷积神经网络特征映射的全卷积网络。将给定的卷积神经网络特征映射作为输入，输出为一个矩阵，其中像素属于该对象的所有位置用 1 表示，其他位置则用 0 表示，这就是二进制掩码。

另外，当在原始 Faster R-CNN 架构上运行且没有做任何修改时，感兴趣池化区域（ RoIPool ） 选择的特征映射区域或原始图像的区域稍微错开。由于图像分割具有像素级特性，这与边界框不同，自然会导致结果不准确。 Mas R-CNN 通过调整 RoIPool 来解决这个问题，使用感兴趣区域对齐（ Roialign ）方法使其变的更精确。本质上， RoIlign 使用双线性插值来避免舍入误差，这会导致检测和分割不准确。

一旦生成这些掩码， Mask R-CNN 将 RoIAlign 与来自 Faster R-CNN 的分类和边界框相结合，以便进行精确的分割：

结语

上述这 5 种主要的计算机视觉技术可以协助计算机从单个或一系列图像中提取、分析和理解有用的信息。通过 GitHub 存储库（https://github.com/khanhnamle1994/computer-vision）获取所有的演讲幻灯片以及指南。

原文链接 https://heartbeat.fritz.ai/the-5-computer-vision-techniques-that-will-change-how-you-see-the-world-1ee19334354b

关键词：计算机视觉、图像分类、对象检测、目标跟踪、语义分割、实例分割

• 发表于: 2018-10-242018-10-24 13:42:12
• 原文链接： https://kuaibao.qq.com/s/20181024A0WV8C00?refer=cp_1026