本文作者净浩泽，公众号：计算机视觉life，编辑成员
 
 
 
图像分割是计算机视觉研究中的一个经典难题，已经成为图像理解领域关注的一个热点，图像分割是图像分析的第一步，是计算机视觉的基础，是图像理解的重要组成部分，同时也是图像处理中最困难的问题之一。所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。对于灰度图像来说，区域内部的像素一般具有灰度相似性，而在区域的边界上一般具有灰度不连续性。 关于图像分割技术，由于问题本身的重要性和困难性，从20世纪70年代起图像分割问题就吸引了很多研究人员为之付出了巨大的努力。虽然到目前为止，还不存在一个通用的完美的图像分割的方法，但是对于图像分割的一般性规律则基本上已经达成的共识，已经产生了相当多的研究成果和方法。
 
 
本文对于目前正在使用的各种图像分割方法进行了一定的归纳总结，由于笔者对于图像分割的了解也是初窥门径，所以难免会有一些错误，还望各位读者多多指正，共同学习进步。
 
 
传统分割方法
 
这一大部分我们将要介绍的是深度学习大火之前人们利用数字图像处理、拓扑学、数学等方面的只是来进行图像分割的方法。当然现在随着算力的增加以及深度学习的不断发展，一些传统的分割方法在效果上已经不能与基于深度学习的分割方法相比较了，但是有些天才的思想还是非常值得我们去学习的。
 1.基于阈值的分割方法
 阈值法的基本思想是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。因此，该方法最为关键的一步就是按照某个准则函数来求解最佳灰度阈值。
 阈值法特别适用于目标和背景占据不同灰度级范围的图。
 图像若只有目标和背景两大类，那么只需要选取一个阈值进行分割，此方法成为单阈值分割；但是如果图像中有多个目标需要提取，单一阈值的分割就会出现作物，在这种情况下就需要选取多个阈值将每个目标分隔开，这种分割方法相应的成为多阈值分割。
 
 如图所示即为对数字的一种阈值分割方法。
 阀值分割方法的优缺点：
 
计算简单，效率较高；
只考虑像素点灰度值本身的特征，一般不考虑空间特征，因此对噪声比较敏感，鲁棒性不高。
 从前面的介绍里我们可以看出，阈值分割方法的最关键就在于阈值的选择。若将智能遗传算法应用在阀值筛选上，选取能最优分割图像的阀值，这可能是基于阀值分割的图像分割法的发展趋势。
 2.基于区域的图像分割方法
 基于区域的分割方法是以直接寻找区域为基础的分割技术，基于区域提取方法有两种基本形式：一种是区域生长，从单个像素出发，逐步合并以形成所需要的分割区域；另一种是从全局出发，逐步切割至所需的分割区域。
 区域生长
 区域生长是从一组代表不同生长区域的种子像素开始，接下来将种子像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的像素作为新的种子像素继续合并过程，知道找不到符合条件的新像素为止（小编研一第一学期的机器学习期末考试就是手写该算法 T.T），该方法的关键是选择合适的初始种子像素以及合理的生长准则。
 区域生长算法需要解决的三个问题：
 （1）选择或确定一组能正确代表所需区域的种子像素；
 （2）确定在生长过程中能将相邻像素包括进来的准则；
 （3）指定让生长过程停止的条件或规则。
 区域分裂合并
 区域生长是从某个或者某些像素点出发，最终得到整个区域，进而实现目标的提取。而分裂合并可以说是区域生长的逆过程，从整幅图像出发，不断的分裂得到各个子区域，然后再把前景区域合并，得到需要分割的前景目标，进而实现目标的提取。其实如果理解了上面的区域生长算法这个区域分裂合并算法就比较好理解啦。
 四叉树分解法就是一种典型的区域分裂合并法，基本算法如下：
 （1）对于任一区域，如果H(Ri)=FALSE就将其分裂成不重叠的四等分；
 （2）对相邻的两个区域Ri和Rj，它们也可以大小不同（即不在同一层），如果条件H(RiURj)=TURE满足，就将它们合并起来；
 （3）如果进一步的分裂或合并都不可能，则结束。
 其中R代表整个正方形图像区域，P代表逻辑词。
 区域分裂合并算法优缺点：
 （1）对复杂图像分割效果好；
 （2）算法复杂，计算量大；
 （3）分裂有可能破怪区域的边界。
 在实际应用当中通常将区域生长算法和区域分裂合并算法结合使用，该类算法对某些复杂物体定义的复杂场景的分割或者对某些自然景物的分割等类似先验知识不足的图像分割效果较为理想。
 分水岭算法
 分水岭算法是一个非常好理解的算法，它根据分水岭的构成来考虑图像的分割，现实中我们可以想象成有山和湖的景象，那么一定是如下图的，水绕山山围水的景象。
 分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。
 分水岭对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化都有可能产生过度分割的现象，但是这也同时能够保证得到封闭连续边缘。同时，分水岭算法得到的封闭的集水盆也为分析图像的区域特征提供了可能。
 
 
3.基于边缘检测的分割方法
 
基于边缘检测的图像分割算法试图通过检测包含不同区域的边缘来解决分割问题。它可以说是人们最先想到也是研究最多的方法之一。通常不同区域的边界上像素的灰度值变化比较剧烈，如果将图片从空间域通过傅里叶变换到频率域，边缘就对应着高频部分，这是一种非常简单的边缘检测算法。
 边缘检测技术通常可以按照处理的技术分为串行边缘检测和并行边缘检测。串行边缘检测是要想确定当前像素点是否属于检测边缘上的一点，取决于先前像素的验证结果。并行边缘检测是一个像素点是否属于检测边缘高尚的一点取决于当前正在检测的像素点以及与该像素点的一些临近像素点。
 最简单的边缘检测方法是并行微分算子法，它利用相邻区域的像素值不连续的性质，采用一阶或者二阶导数来检测边缘点。近年来还提出了基于曲面拟合的方法、基于边界曲线拟合的方法、基于反应-扩散方程的方法、串行边界查找、基于变形模型的方法。
 
 边缘检测的优缺点：
 （1）边缘定位准确；
 （2）速度快；
 （3）不能保证边缘的连续性和封闭性；
 （4）在高细节区域存在大量的碎边缘，难以形成一个大区域，但是又不宜将高细节区域分成小碎片；
 由于上述的（3）（4）两个难点，边缘检测只能产生边缘点，而非完整意义上的图像分割过程。这也就是说，在边缘点信息获取到之后还需要后续的处理或者其他相关算法相结合才能完成分割任务。
 在以后的研究当中，用于提取初始边缘点的自适应阈值选取、用于图像的层次分割的更大区域的选取以及如何确认重要边缘以去除假边缘将变得非常重要。
 
结合特定工具的图像分割算法
 
基于小波分析和小波变换的图像分割方法
 
小波变换是近年来得到的广泛应用的数学工具，也是现在数字图像处理必学部分，它在时间域和频率域上都有量高的局部化性质，能将时域和频域统一于一体来研究信号。而且小波变换具有多尺度特性，能够在不同尺度上对信号进行分析，因此在图像分割方面的得到了应用，
 二进小波变换具有检测二元函数的局部突变能力，因此可作为图像边缘检测工具。图像的边缘出现在图像局部灰度不连续处，对应于二进小波变换的模极大值点。通过检测小波变换模极大值点可以确定图像的边缘小波变换位于各个尺度上，而每个尺度上的小波变换都能提供一定的边缘信息，因此可进行多尺度边缘检测来得到比较理想的图像边缘。
 
 上图左图是传统的阈值分割方法，右边的图像就是利用小波变换的图像分割。可以看出右图分割得到的边缘更加准确和清晰
 另外，将小波和其他方法结合起来处理图像分割的问题也得到了广泛研究，比如一种局部自适应阈值法就是将Hilbert图像扫描和小波相结合，从而获得了连续光滑的阈值曲线。
 
基于遗传算法的图像分割
 
​ 遗传算法（Genetic Algorithms，简称GA）是1973年由美国教授Holland提出的，是一种借鉴生物界自然选择和自然遗传机制的随机化搜索算法。是仿生学在数学领域的应用。其基本思想是，模拟由一些基因串控制的生物群体的进化过程，把该过程的原理应用到搜索算法中，以提高寻优的速度和质量。此算法的搜索过程不直接作用在变量上，而是在参数集进行了编码的个体，这使得遗传算法可直接对结构对象（图像）进行操作。整个搜索过程是从一组解迭代到另一组解，采用同时处理群体中多个个体的方法，降低了陷入局部最优解的可能性，并易于并行化。搜索过程采用概率的变迁规则来指导搜索方向，而不采用确定性搜索规则，而且对搜索空间没有任何特殊要求（如连通性、凸性等），只利用适应性信息，不需要导数等其他辅助信息，适应范围广。
 ​ 遗传算法擅长于全局搜索，但局部搜索能力不足，所以常把遗传算法和其他算法结合起来应用。将遗传算法运用到图像处理主要是考虑到遗传算法具有与问题领域无关且快速随机的搜索能力。其搜索从群体出发，具有潜在的并行性，可以进行多个个体的同时比较，能有效的加快图像处理的速度。但是遗传算法也有其缺点：搜索所使用的评价函数的设计、初始种群的选择有一定的依赖性等。要是能够结合一些启发算法进行改进且遗传算法的并行机制的潜力得到充分的利用，这是当前遗传算法在图像处理中的一个研究热点。
 
基于主动轮廓模型的分割方法
 
​ 主动轮廓模型（active contours）是图像分割的一种重要方法，具有统一的开放式的描述形式，为图像分割技术的研究和创新提供了理想的框架。在实现主动轮廓模型时，可以灵活的选择约束力、初始轮廓和作用域等，以得到更佳的分割效果，所以主动轮廓模型方法受到越来越多的关注。
 ​ 该方法是在给定图像中利用曲线演化来检测目标的一类方法，基于此可以得到精确的边缘信息。其基本思想是，先定义初始曲线C，然后根据图像数据得到能量函数，通过最小化能量函数来引发曲线变化，使其向目标边缘逐渐逼近，最终找到目标边缘。这种动态逼近方法所求得的边缘曲线具有封闭、光滑等优点。
 
 ​ 传统的主动轮廓模型大致分为参数主动轮廓模型和几何主动轮廓模型。参数主动轮廓模型将曲线或曲面的形变以参数化形式表达，Kass等人提出了经典的参数活动轮廓模型即“Snake”模型，其中Snake定义为能量极小化的样条曲线，它在来自曲线自身的内力和来自图像数据的外力的共同作用下移动到感兴趣的边缘，内力用于约束曲线形状，而外力则引导曲线到特征此边缘。参数主动轮廓模型的特点是将初始曲线置于目标区域附近，无需人为设定曲线的的演化是收缩或膨胀，其优点是能够与模型直接进行交互，且模型表达紧凑，实现速度快；其缺点是难以处理模型拓扑结构的变化。比如曲线的合并或分裂等。而使用水平集（level set）的几何活动轮廓方法恰好解决了这一问题。
 
基于深度学习的分割
 
1.基于特征编码（feature encoder based）
 
在特征提取领域中VGGnet和ResNet是两个非常有统治力的方法，接下来的一些篇幅会对这两个方法进行简短的介绍
 
a.VGGNet
 
​ 由牛津大学计算机视觉组合和Google DeepMind公司研究员一起研发的深度卷积神经网络。它探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠33的小型卷积核和22的最大池化层，成功的构建了16~19层深的卷积神经网络。VGGNet获得了ILSVRC 2014年比赛的亚军和定位项目的冠军，在top5上的错误率为7.5%。目前为止，VGGNet依然被用来提取图像的特征。
 
 ​ VGGNet的优缺点
 
由于参数量主要集中在最后的三个FC当中，所以网络加深并不会带来参数爆炸的问题；
多个小核卷积层的感受野等同于一个大核卷积层（三个3x3等同于一个7x7）但是参数量远少于大核卷积层而且非线性操作也多于后者，使得其学习能力较强
VGG由于层数多而且最后的三个全连接层参数众多，导致其占用了更多的内存（140M）
 
b.ResNet
 
​ 随着深度学习的应用，各种深度学习模型随之出现，虽然在每年都会出现性能更好的新模型，但是对于前人工作的提升却不是那么明显，其中有重要问题就是深度学习网络在堆叠到一定深度的时候会出现梯度消失的现象，导致误差升高效果变差，后向传播时无法将梯度反馈到前面的网络层，使得前方的网络层的参数难以更新，训练效果变差。这个时候ResNet恰好站出来，成为深度学习发展历程中一个重要的转折点。
 ​ ResNet是由微软研究院的Kaiming He等四名华人提出，他们通过自己提出的ResNet Unit成功训练出来152层的神经网络并在ILSVRC2015比赛中斩获冠军。ResNet语义分割领域最受欢迎且最广泛运用的神经网络.ResNet的核心思想就是在网络中引入恒等映射，允许原始输入信息直接传到后面的层中，在学习过程中可以只学习上一个网络输出的残差（F(x)），因此ResNet又叫做残差网络。、
 
 使用到ResNet的分割模型：
 
Efficient Neural Network（ENet）：该网络类似于ResNet的bottleNeck方法；
ResNet-38：该网络在训练or测试阶段增加并移除了一些层，是一种浅层网络，它的结构是ResNet+FCN；
full-resolution residual network(FRRN)：FRRN网络具有和ResNet相同优越的训练特性，它由残差流和池化流两个处理流组成；
AdapNey：根据ResNet-50的网络进行改进，让原本的ResNet网络能够在更短的时间内学习到更多高分辨率的特征；
 ……
 ResNet的优缺点：
 1）引入了全新的网络结构（残差学习模块），形成了新的网络结构，可以使网络尽可能地加深；
 2）使得前馈/反馈传播算法能够顺利进行，结构更加简单；
 3）恒等映射地增加基本上不会降低网络的性能；
 4）建设性地解决了网络训练的越深，误差升高，梯度消失越明显的问题；
 5）由于ResNet搭建的层数众多，所以需要的训练时间也比平常网络要长。
 
2.基于区域选择（regional proposal based）
 
Regional proposal 在计算机视觉领域是一个非常常用的算法，尤其是在目标检测领域。其核心思想就是检测颜色空间和相似矩阵，根据这些来检测待检测的区域。然后根据检测结果可以进行分类预测。
 在语义分割领域，基于区域选择的几个算法主要是由前人的有关于目标检测的工作渐渐延伸到语义分割的领域的，接下来小编将逐步介绍其个中关系。
 
Stage Ⅰ： R-CNN
 
伯克利大学的Girshick教授等人共同提出了首个在目标检测方向应用的深度学习模型：Region-based Convolutional Neural Network（R-CNN）。该网络模型如下图所示，其主要流程为：先使用selective search算法提取2000个候选框，然后通过卷积网络对候选框进行串行的特征提取，再根据提取的特征使用SVM对候选框进行分类预测，最后使用回归方法对区域框进行修正。
 
 R-CNN的优缺点：
 
是首个开创性地将深度神经网络应用到目标检测的算法；
使用Bounding Box Regression对目标检测的框进行调整；
由于进行特征提取时是串行，处理耗时过长；
Selective search算法在提取每一个region时需要2s的时间，浪费大量时间
 
Stage Ⅱ：Fast R-CNN
 
​ 由于R-CNN的效率太低，2015年由Ross等学者提出了它的改进版本：Fast R-CNN。其网络结构图如下图所示（从提取特征开始，略掉了region的选择）Fast R-CNN在传统的R-CNN模型上有所改进的地方是它是直接使用一个神经网络对整个图像进行特征提取，就省去了串行提取特征的时间；接着使用一个RoI Pooling Layer在全图的特征图上摘取每一个RoI对应的特征，再通过FC进行分类和包围框的修正。
 
 Fast R-CNN的优缺点
 
节省了串行提取特征的时间；
除了selective search以外的其它所有模块都可以合在一起训练；
最耗时间的selective search算法依然存在。
 
Stage Ⅲ：Faster R-CNN
 
2016年提出的Faster R-CNN可以说有了突破性的进展（虽然还是目标检测哈哈哈），因为它改变了它的前辈们最耗时最致命的部位：selective search算法。它将selective search算法替换成为RPN，使用RPN网络进行region的选取，将2s的时间降低到10ms，其网络结构如下图所示：
 
 Faster R-CNN优缺点：
 
使用RPN替换了耗时的selective search算法，对整个网络结构有了突破性的优化；
Faster R-CNN中使用的RPN和selective search比起来虽然速度更快，但是精度和selective search相比稍有不及，如果更注重速度而不是精度的话完全可以只使用RPN；
 
Stage Ⅳ：Mask R-CNN
 
Mask R-CNN（终于到分割了！）是何恺明大神团队提出的一个基于Faster R-CNN模型的一种新型的分割模型，此论文斩获ICCV 2017的最佳论文，在Mask R-CNN的工作中，它主要完成了三件事情：目标检测，目标分类，像素级分割。
 恺明大神是在Faster R-CNN的结构基础上加上了Mask预测分支，并且改良了ROI Pooling，提出了ROI Align。其网络结构真容就如下图所示啦：
 
 Mask R-CNN的优缺点：
 
引入了预测用的Mask-Head，以像素到像素的方式来预测分割掩膜，并且效果很好；
用ROI Align替代了ROI Pooling，去除了RoI Pooling的粗量化，使得提取的特征与输入良好对齐；
分类框与预测掩膜共享评价函数，虽然大多数时间影响不大，但是有的时候会对分割结果有所干扰。
 
Stage Ⅴ：Mask Scoring R-CNN
 
最后要提出的是2019年CVPR的oral，来自华中科技大学的研究生黄钊金同学提出的
 MS R-CNN，这篇文章的提出主要是对上文所说的Mask R-CNN的一点点缺点进行了修正。他的网络结构也是在Mask R-CNN的网络基础上做了一点小小的改进，添加了Mask-IoU。
 黄同学在文章中提到：恺明大神的Mask R-CNN已经很好啦！但是有个小毛病，就是评价函数只对目标检测的候选框进行打分，而不是分割模板（就是上文提到的优缺点中最后一点），所以会出现分割模板效果很差但是打分很高的情况。所以黄同学增加了对模板进行打分的MaskIoU Head，并且最终的分割结果在COCO数据集上超越了恺明大神，下面就是MS R-CNN的网络结构啦~
 
 MS R-CNN的优缺点：
 
优化了Mask R-CNN中的信息传播，提高了生成预测模板的质量；
未经大批量训练的情况下，就拿下了COCO 2017挑战赛实例分割任务冠军；
要说缺点的话。。应该就是整个网络有些庞大，一方面需要ResNet当作主干网络，另一方面需要其它各种Head共同承担各种任务。
 
3.基于RNN的图像分割
 
Recurrent neural networks（RNNs）除了在手写和语音识别上表现出色外，在解决计算机视觉的任务上也表现不俗，在本篇文章中我们就将要介绍RNN在2D图像处理上的一些应用，其中也包括介绍使用到它的结构或者思想的一些模型。
 RNN是由Long-Short-Term Memory（LSTM）块组成的网络，RNN来自序列数据的长期学习的能力以及随着序列保存记忆的能力使其在许多计算机视觉的任务中游刃有余，其中也包括语义分割以及数据标注的任务。接下来的部分我们将介绍几个使用到RNN结构的用于分割的网络结构模型：
 
1.ReSeg模型
 
ReSeg可能不被许多人所熟知，在百度上搜索出的相关说明与解析也不多，但是这是一个很有效的语义分割方法。众所周知，FCN可谓是图像分割领域的开山作，而RegNet的作者则在自己的文章中大胆的提出了FCN的不足：没有考虑到局部或者全局的上下文依赖关系，而在语义分割中这种依赖关系是非常有用的。所以在ReSeg中作者使用RNN去检索上下文信息，以此作为分割的一部分依据。
 
 该结构的核心就是Recurrent Layer，它由多个RNN组合在一起，捕获输入数据的局部和全局空间结构。
 优缺点：
 
充分考虑了上下文信息关系；
使用了中值频率平衡，它通过类的中位数(在训练集上计算)和每个类的频率之间的比值来重新加权类的预测。这就增加了低频率类的分数，这是一个更有噪声的分割掩码的代价，因为被低估的类的概率被高估了，并且可能导致在输出分割掩码中错误分类的像素增加。
 
2.MDRNNs（Multi-Dimensional Recurrent Neural Networks）模型
 
传统的RNN在一维序列学习问题上有着很好的表现，比如演讲（speech）和在线手写识别。但是 在多为问题中应用却并不到位。MDRNNs在一定程度上将RNN拓展到多维空间领域，使之在图像处理、视频处理等领域上也能有所表现。
 该论文的基本思想是：将单个递归连接替换为多个递归连接，相应可以在一定程度上解决时间随数据样本的增加呈指数增长的问题。以下就是该论文提出的两个前向反馈和反向反馈的算法。
 
 
4.基于上采样/反卷积的分割方法
 
卷积神经网络在进行采样的时候会丢失部分细节信息，这样的目的是得到更具特征的价值。但是这个过程是不可逆的，有的时候会导致后面进行操作的时候图像的分辨率太低，出现细节丢失等问题。因此我们通过上采样在一定程度上可以不全一些丢失的信息，从而得到更加准确的分割边界。
 接下来介绍几个非常著名的分割模型：
 
a.FCN(Fully Convolutional Network)
 
是的！讲来讲去终于讲到这位大佬了，FCN！在图像分割领域已然成为一个业界标杆，大多数的分割方法多多少少都会利用到FCN或者其中的一部分，比如前面我们讲过的Mask R-CNN。
 在FCN当中的反卷积-升采样结构中，图片会先进性上采样（扩大像素）；再进行卷积——通过学习获得权值。FCN的网络结构如下图所示：
 
 当然最后我们还是需要分析一下FCN，不能无脑吹啦~
 优缺点：
 
FCN对图像进行了像素级的分类，从而解决了语义级别的图像分割问题；
FCN可以接受任意尺寸的输入图像，可以保留下原始输入图像中的空间信息；
得到的结果由于上采样的原因比较模糊和平滑，对图像中的细节不敏感；
对各个像素分别进行分类，没有充分考虑像素与像素的关系，缺乏空间一致性。
 
2.SetNet
 
SegNet是剑桥提出的旨在解决自动驾驶或者智能机器人的图像语义分割深度网络，SegNet基于FCN，与FCN的思路十分相似，只是其编码-解码器和FCN的稍有不同，其解码器中使用去池化对特征图进行上采样，并在分各种保持高频细节的完整性；而编码器不使用全连接层，因此是拥有较少参数的轻量级网络：
 
 
 
图像分割是计算机视觉研究中的一个经典难题，已经成为图像理解领域关注的一个热点，图像分割是图像分析的第一步，是计算机视觉的基础，是图像理解的重要组成部分，同时也是图像处理中最困难的问题之一。所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。对于灰度图像来说，区域内部的像素一般具有灰度相似性，而在区域的边界上一般具有灰度不连续性。 关于图像分割技术，由于问题本身的重要性和困难性，从20世纪70年代起图像分割问题就吸引了很多研究人员为之付出了巨大的努力。虽然到目前为止，还不存在一个通用的完美的图像分割的方法，但是对于图像分割的一般性规律则基本上已经达成的共识，已经产生了相当多的研究成果和方法。
 
 
本文对于目前正在使用的各种图像分割方法进行了一定的归纳总结，由于笔者对于图像分割的了解也是初窥门径，所以难免会有一些错误，还望各位读者多多指正，共同学习进步。
 
 
SetNet的优缺点：
 
保存了高频部分的完整性；
网络不笨重，参数少，较为轻便；
对于分类的边界位置置信度较低；
对于难以分辨的类别，例如人与自行车，两者如果有相互重叠，不确定性会增加。
 以上两种网络结构就是基于反卷积/上采样的分割方法，当然其中最最最重要的就是FCN了，哪怕是后面大名鼎鼎的SegNet也是基于FCN架构的，而且FCN可谓是语义分割领域中开创级别的网络结构，所以虽然这个部分虽然只有两个网络结构，但是这两位可都是重量级嘉宾，希望各位能够深刻理解~
 
5.基于提高特征分辨率的分割方法
 
在这一个模块中我们主要给大家介绍一下基于提升特征分辨率的图像分割的方法。换一种说法其实可以说是恢复在深度卷积神经网络中下降的分辨率，从而获取更多的上下文信息。这一系列我将给大家介绍的是Google提出的DeepLab 。
 DeepLab是结合了深度卷积神经网络和概率图模型的方法，应用在语义分割的任务上，目的是做逐像素分类，其先进性体现在DenseCRFs（概率图模型）和DCNN的结合。是将每个像素视为CRF节点，利用远程依赖关系并使用CRF推理直接优化DCNN的损失函数。
 在图像分割领域，FCN的一个众所周知的操作就是平滑以后再填充，就是先进行卷积再进行pooling,这样在降低图像尺寸的同时增大感受野，但是在先减小图片尺寸（卷积）再增大尺寸（上采样）的过程中一定有一些信息损失掉了，所以这里就有可以提高的空间。
 接下来我要介绍的是DeepLab网络的一大亮点：Dilated/Atrous Convolution，它使用的采样方式是带有空洞的采样。在VGG16中使用不同采样率的空洞卷积，可以明确控制网络的感受野。
 
 图a对应3x3的1-dilated conv，它和普通的卷积操作是相同的；图b对应3x3的2-dilated conv，事迹卷积核的尺寸还是3x3（红点），但是空洞为1，其感受野能够达到7x7；图c对应3x3的4-dilated conv，其感受野已经达到了15x15.写到这里相信大家已经明白，在使用空洞卷积的情况下，加大了感受野，使每个卷积输出都包含了较大范围的信息。
 这样就解决了DCNN的几个关于分辨率的问题：
 1）内部数据结构丢失；空间曾计划信息丢失；
 2）小物体信息无法重建；
 当然空洞卷积也存在一定的问题，它的问题主要体现在以下两方面：
 1）网格效应
 加入我们仅仅多次叠加dilation rate 2的 3x3 的卷积核则会出现以下问题
 
 我们发现卷积核并不连续，也就是说并不是所有的像素都用来计算了，这样会丧失信息的连续性；
 2）小物体信息处理不当
 我们从空洞卷积的设计背景来看可以推测出它是设计来获取long-ranged information。然而空洞步频选取得大获取只有利于大物体得分割，而对于小物体的分割可能并没有好处。所以如何处理好不同大小物体之间的关系也是设计好空洞卷积网络的关键。
 
6.基于特征增强的分割方法
 
基于特征增强的分割方法包括：提取多尺度特征或者从一系列嵌套的区域中提取特征。在图像分割的深度网络中，CNN经常应用在图像的小方块上，通常称为以每个像素为中心的固定大小的卷积核，通过观察其周围的小区域来标记每个像素的分类。在图像分割领域，能够覆盖到更大部分的上下文信息的深度网络通常在分割的结果上更加出色，当然这也伴随着更高的计算代价。多尺度特征提取的方法就由此引进。
 在这一模块中我先给大家介绍一个叫做SLIC，全称为simple linear iterative cluster的生成超像素的算法。
 首先我们要明确一个概念：啥是超像素？其实这个比较容易理解，就像上面说的“小方块”一样，我们平常处理图像的最小单位就是像素了，这就是像素级（pixel-level）；而把像素级的图像划分成为区域级（district-level）的图像，把区域当成是最基本的处理单元，这就是超像素啦。
 算法大致思想是这样的，将图像从RGB颜色空间转换到CIE-Lab颜色空间，对应每个像素的（L，a，b）颜色值和（x，y）坐标组成一个5维向量V[l, a, b, x, y],两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。
 算法首先生成K个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完毕。然后计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛。
 有点像聚类的K-Means算法，最终会得到K个超像素。
 Mostahabi等人提出的一种前向传播的分类方法叫做Zoom-Out就使用了SLIC的算法，它从多个不同的级别提取特征：局部级别：超像素本身；远距离级别：能够包好整个目标的区域；全局级别：整个场景。这样综合考虑多尺度的特征对于像素或者超像素的分类以及分割来说都是很有意义的。
 接下来的部分我将给大家介绍另一种完整的分割网络：PSPNet：Pyramid Scene Parsing Network
 论文提出在场景分割是，大多数的模型会使用FCN的架构，但是FCN在场景之间的关系和全局信息的处理能力存在问题，其典型问题有：1.上下文推断能力不强；2.标签之间的关系处理不好；3.模型可能会忽略小的东西。
 本文提出了一个具有层次全局优先级，包含不同子区域时间的不同尺度的信息，称之为金字塔池化模块。
 该模块融合了4种不同金字塔尺度的特征，第一行红色是最粗糙的特征–全局池化生成单个bin输出，后面三行是不同尺度的池化特征。为了保证全局特征的权重，如果金字塔共有N个级别，则在每个级别后使用1×1 1×11×1的卷积将对于级别通道降为原本的1/N。再通过双线性插值获得未池化前的大小，最终concat到一起。其结构如下图：
 
 最终结果就是，在融合不同尺度的feature后，达到了语义和细节的融合，模型的性能表现提升很大，作者在很多数据集上都做过训练，最终结果是在MS-COCO数据集上预训练过的效果最好。
 
 为了捕捉多尺度特征，高层特征包含了更多的语义和更少的位置信息。结合多分辨率图像和多尺度特征描述符的优点，在不丢失分辨率的情况下提取图像中的全局和局部信息，这样就能在一定程度上提升网络的性能。
 
7.使用CRF/MRF的方法
 
首先让我们熟悉熟悉到底啥是MRF的CRF的。
 MRF全称是Marcov Random Field，马尔可夫随机场，其实说起来笔者在刚读硕士的时候有一次就有同学在汇报中提到了隐马尔可夫、马尔可夫链啥的，当时还啥都不懂，小白一枚（现在是准小白hiahia），觉得马尔可夫这个名字贼帅，后来才慢慢了解什么马尔科夫链呀，马尔可夫随机场，并且在接触到图像分割了以后就对马尔科夫随机场有了更多的了解。
 MRF其实是一种基于统计的图像分割算法，马尔可夫模型是指一组事件的集合，在这个集合中，事件逐个发生，并且下一刻事件的发生只由当前发生的事件决定，而与再之前的状态没有关系。而马尔可夫随机场，就是具有马尔可夫模型特性的随机场，就是场中任何区域都只与其临近区域相关，与其他地方的区域无关，那么这些区域里元素（图像中可以是像素）的集合就是一个马尔可夫随机场。
 CRF的全称是Conditional Random Field，条件随机场其实是一种特殊的马尔可夫随机场，只不过是它是一种给定了一组输入随机变量X的条件下另一组输出随机变量Y的马尔可夫随机场，它的特点是埃及设输出随机变量构成马尔可夫随机场，可以看作是最大熵马尔可夫模型在标注问题上的推广。
 在图像分割领域，运用CRF比较出名的一个模型就是全连接条件随机场（DenseCRF），接下来我们将花费一些篇幅来简单介绍一下。
 CRF在运行中会有一个问题就是它只对相邻节点进行操作，这样会损失一些上下文信息，而全连接条件随机场是对所有节点进行操作，这样就能获取尽可能多的临近点信息，从而获得更加精准的分割结果。
 在Fully connected CRF中，吉布斯能量可以写作：
 
 我们重点关注二元部分：
 
 其中k(m)为高斯核，写作：
 
 该模型的一元势能包含了图像的形状，纹理，颜色和位置，二元势能使用了对比度敏感的的双核势能，CRF的二元势函数一般是描述像素点与像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关，这样CRF能够使图像尽量在边界处分割。全连接CRF模型的不同就在于其二元势函数描述的是每一个像素与其他所有像素的关系，使用该模型在图像中的所有像素对上建立点对势能从而实现极大地细化和分割。
 在分割结果上我们可以看看如下的结果图：
 
 可以看到它在精细边缘的分割比平常的分割方法要出色得多，而且文章中使用了另一种优化算法，使得本来需要及其大量运算的全连接条件随机场也能在很短的时间里给出不错的分割结果。
 至于其优缺点，我觉得可以总结为以下几方面：
 
在精细部位的分割非常优秀；
充分考虑了像素点或者图片区域之间的上下文关系；
在粗略的分割中可能会消耗不必要的算力；
可以用来恢复细致的局部结构，但是相应的需要较高的代价。
 OK，那么本次的推送就到这里结束啦，本文的主要内容是对图像分割的算法进行一个简单的分类和介绍。综述对于各位想要深入研究的看官是非常非常重要的资源：大佬们经常看综述一方面可以了解算法的不足并在此基础上做出改进；萌新们可以通过阅读一篇好的综述入门某一个学科，比如今天的内容就是图像分割。
 谢谢各位朋友们的观看！
 
推荐阅读
 
如何从零开始系统化学习视觉SLAM？
 从零开始一起学习SLAM | 为什么要学SLAM？
 从零开始一起学习SLAM | 学习SLAM到底需要学什么？
 从零开始一起学习SLAM | SLAM有什么用？
 从零开始一起学习SLAM | C++新特性要不要学？
 从零开始一起学习SLAM | 为什么要用齐次坐标？
 从零开始一起学习SLAM | 三维空间刚体的旋转
 从零开始一起学习SLAM | 为啥需要李群与李代数？
 从零开始一起学习SLAM | 相机成像模型
 从零开始一起学习SLAM | 不推公式，如何真正理解对极约束?
 从零开始一起学习SLAM | 神奇的单应矩阵
 从零开始一起学习SLAM | 你好，点云
 从零开始一起学习SLAM | 给点云加个滤网
 从零开始一起学习SLAM | 点云平滑法线估计
 从零开始一起学习SLAM | 点云到网格的进化
 从零开始一起学习SLAM | 理解图优化，一步步带你看懂g2o代码
 从零开始一起学习SLAM | 掌握g2o顶点编程套路
 从零开始一起学习SLAM | 掌握g2o边的代码套路
 零基础小白，如何入门计算机视觉？
 SLAM领域牛人、牛实验室、牛研究成果梳理
 我用MATLAB撸了一个2D LiDAR SLAM
 可视化理解四元数，愿你不再掉头发
 最近一年语义SLAM有哪些代表性工作？
 视觉SLAM技术综述
 汇总 | VIO、激光SLAM相关论文分类集锦
 研究SLAM，对编程的要求有多高？
 2018年SLAM、三维视觉方向求职经验分享
 2018年SLAM、三维视觉方向求职经验分享
 深度学习遇到SLAM | 如何评价基于深度学习的DeepVO，VINet，VidLoc？
 视觉SLAM关键方法总结
 SLAM方向公众号、知乎、博客上有哪些大V可以关注？
 SLAM实验室
 SLAM方向国内有哪些优秀公司？
 SLAM面试常见问题
 SLAM相关领域数据集调研
 从零开始一起学习SALM-ICP原理及应用
 解放双手——相机与IMU外参的在线标定
 目标检测

一、路径规划的作用
 路径规划主要是让目标对象在规定范围内的区域内找到一条从起点到终点的无碰撞安全路径。路径规划中有静态路径规划以及动态路径规划。这里仅针对静态路径规划方法进行简单的介绍，以下路径规划仅指在静态环境下的路径规划。
 在进行路径规划的时候，我们首先需要考虑的有以下几个方面：
 a.起点与终点的位置获取
 b.障碍物的环境表示
 c.规划方法
 d.搜索方法
 二、路径规划需要考虑的几个方面
 1.起点与终点的位置获取
 这个问题很简单，说白了就是我们如何让机器人知道起点和终点的位置。在静态路径规划的情况下，我们通常已知了机器人所处的环境，即地图。而地图则是一个存储着数据的二维数组。这样，我们就可以通过数组的下标唯一的确定数组中的一个或多个元素，即确定地图上的起点与终点位置。当然，在实际的情况中，可能会比这复杂得多，例如机器人在确定自身在地图中的位置时（即起点），会需要其本身所携带的各种传感器，如摄像头，激光雷达，红外传感器，陀螺仪等，通过传感器的数据来感知周围的环境，从而得知自身的位置。因为我们讨论路径规划，所以这部分不会进行很详细的介绍。
 2.障碍物的环境表示
 在进行路径规划的时候，我们需要让机器人知道地图上的哪些区域是可以通行的，哪些是不可以通行的，这样，我们根据一定的规则，就可以避开不可通行的区域，到达目的地。对一个机器人来说，它根据传感器的数据绘制出完整的地图后，就得到了它的活动空间的一个有效描述，即环境模型。在规划前首先要做的就是将环境的描述由外部的原始形式通过一系列处理转化围合式规划的内部的世界模型，这个过程称为环境建模，其中主要的是障碍物的表示方法。合理的环境表示有利于建立规划方法和选择合适的搜索算法，最终实现较少的时间和内存开销而规划出较为满意的路径。不同的路径规划方法正是基于不同的环境建模。
 a.栅格表示法
 栅格法通过使用大小相同的栅格画风空间环境，并用数组来表示环境。每个栅格点或在障碍物空间，火灾自由空间。对于混合栅格点（即一部分是自由空间，一部分是障碍物空间），依据其各自占据的比例将其归属于自由空间或障碍物空间。障碍物在数组中表示为1 ，自由空间表示为0.最短路径是通过搜索这张栅格地图来得到的。规划空间表达具有一致性、规范性和简单性，它同时具有表达不规则障碍物的能力。其缺点是存在着空间开销和求解精度之间的精度。
 
 b.单元数法
 单元数法是为了克服栅格法的缺点。其主要思想是通过将环境空间划分为大小不同的单元来进行环境的描述。常用做法是：将环境空间划分为几个比较大的单元（一般来说，二维空间划分成4部分，称为4×树，三维空间划分为8部分，称为8叉树），其划分的单元的工作空间可能是以下三个部分：自由空间、障碍物空间、混合空间。其优点是自适应性较好。主要缺点是计算单元之间的邻接关系时的损失较大，并且计算的算法实现要比栅格法更加复杂。
 3.规划方法
 为了解决路径规划问题，人们已经探索出很多有效的求解方法。他们不是互相排斥的，并且常常结合起来共同实现路径。大致可以分为两类：传统方法和智能方法。
 a.传统方法
 i— 几何法
 几何法抽取的是环境的几何特征。利用其结合特性将环境空间映射到一个加权（权值可以使两点之间的几何距离）图上，这样就能把避开障碍物的路径规划问题转化成一个简单的图搜索的问题上。基于几何法的路径规划方法一般分为3步：
 1>.在搜索图中找到起点
 2>.在搜索图中找到目标点
 3>.把这两个点用图中不穿过障碍物的折线或曲线连接起来，就得到了一条无碰撞路径。
 几何法包括：
 a.可视图法(Visibility Graph)
 该方法将所有障碍物的顶点（集合为V0）、起始点s、目标点g用直线组合相连，同时要求三者之间的连线均不能穿过障碍物，即直线是可视的，给图中的边赋权值，构造图G(V,E)。然后采用某种搜索方法规划最优路径。该方法在障碍物数目或行状不复杂的时候可以使用，但是当这二者不满足的情况下，所构造的图G(V,E)会成千成百的增加计算量，因此，有些聪明的人将其进行了一些改进，使得它不用保存那么多的信息也可以完成路径规划，这种方法叫切线法。
 
 优点：概念直观，实现简单
 缺点：缺乏灵活性，即一旦起点和目标点发生改变，就要重新构造可视图，且路径不是最优
 b.Voronoi图法
 该方法使用一系列的节点来定义的，这些节点到附近的两个或多个障碍物的边缘是等距的。Voronoi图把空间划分成若干个区域，每个区域只包含一个障碍物的边缘（类似于brushfram方法）
 
 优点：路径安全性十分高
 缺点：计算量十分的大，路径不是最优
 c.自由空间法
 把环境分成两部分，即障碍物空间和自由空间。用某种搜索策略在自由空间中找到一条路径。按照划分自由空间方法的不同又可分为：凸区法、三角形法、广义锥法。
 优点：路径无碰撞，比较灵活，起始点和目标点的改变不会引起连通图的重构。
 缺点：在某些情况下，路径偏离前景目标太远，另外规划出的路径形态比较复杂，精度不高。
 ii— 单元划分法
 单元划分的典型特征是划分空间与搜索是交叉进行的。这种方法把自由空间划分为一个由简单的单元所构成的集合，各单元之间的连线的邻接关系也同时被计算。首先标识出起点和目标点的所在的单元，再连接两点之间的连续单元格，就得到了一条安全路径。单元的花粉可以依赖障碍物，也可以独立于障碍物。
 对于前者，障碍物的边界用于生成单元格的边界，所得到的自由单元的集合精确的定义自由空间，其优点是：有效的表达了障碍物，最后所得的单元格少，相对于独立于障碍物的单元划分法搜索节点少。其缺点是：单元分解与计算单元之间的邻接关系的开销较大。
 对于独立于障碍物的单元分解，环境空间被划分为一些有规则形状的单元，算法简单。在所有单元中，如没有包含障碍物，称其为空单元：若被障碍物充满，则为满单元，若部分包含障碍物，称其为混合单元。八段元视为节点，其间的相邻关系用弧线连接起来，得到一个网络连通图，于是寻找安全路径问题变为图的搜索。其优点是：划分简单，易于实现。缺点是：
 不一定精确表示障碍物，改善途径是增加单元的数量，就可以提高换分的精度。
 iii— 人工势场法
 实际上是一种拟物方法，模拟自然界中的静电场，流体等。
 
 iiii— 数学分析方法
 这种方法将由起点到终点寻找最优路径问题转化为求一组带约束条件目标函数的极值问题，将路径规划问题转化成一个函数优化问题。由于这种优化是非线性的，并带有许多种限制条件，故往往使用离散化方法来找到最优解。
 b.智能路径规划方法
 i—基于模糊逻辑的路径规划
 模糊逻辑避障是一种仿人控制过程，其原理就是根据总结的规则确定输出值。该方法最大的特点是参考人的驾驶经验，计算量不大，易做到边运动边规划，能够满足实时性要求。同时克服了势场法的局部最优的问题。其缺点是：人的经验也不一定是完备的；输入量增多时，推理规则和模糊表会急剧膨胀
 ii— 基于神经网络方法的路径规划
 路径规划是感知空间到行为空间的一种映射。映射关系可以用不同的方式表示，但很难用精确地数学方程表示。而神经网络巧妙地避开了这一难题，通过其网络的自学习来达到建立精确模型的目的。缺点是：典型样本获得难度较大，网络训练速度不一，学习机制会有缺陷。
 iii—基于遗传算法的路径规划
 以自然遗传机制和自然选择等生物进化理论为基础，构造了一类随机化搜索算法。他利用选择、交叉和变异等遗传操作来培养控制机构的计算过程，在某种程度上对生物进化过程做数学方式的模拟。其特点为：对参数的编码进行操作而不是参数本身；作为并行算法，在某种程度上适用于全局搜索；是用的是随机搜索过程；对于待优函数基本上没有任何要求，只利用适应度信息。缺点是：运算速度不快进行众多的规划要占用较大的存储空间和运算时间；有时候会提前收敛。
 4.搜索方法
 给定一种环境空间的表示方法（环境的抽象）和规划技术（数学的理论表达）后，求避障路径问题就变成了求解数学问题的最优解的问题，也就是搜索一个从起点到终点的连续节点序列问题。搜索技术分为三类：基于微积分搜索技术、有指导的随机搜索技术和枚举技术。
 a.基于微积分搜索集输
 该技术使用微积分理论求解满足一组充分必要条件问题的最优解。由于方法的理论工具是传统的微积分，因此利用这种搜索技术的前提是目标函数与约束条件要有解析表达式，并且可导。而避障路径规划问题很难归纳出这样的解析表达式。在人工势场方法中，实际上也还是将路径规划问题转化为求解高维度函数的极值问题。这种技术易于陷入局部最优解。
 b.有指导的随机搜索技术
 该技术以枚举法为基础，附加了一些指导搜索过程的信息。其两个主要的子集是模拟退火算法（SAA）和遗传算法（GA）。
 c.枚举法
 该技术是搜索目标函数的域空间中的每一个点，他们实现简单，但可能会需要大量的计算。常用的有深度优先搜索（DFS）、广度优先搜索（BFS）、A*搜索、Dijkstra搜索、波传播算法等。
 波传播算法即是从水波中得到的启发。波传播算法就是模拟了这一过程，将环境视为水面，起点视为石子，这样，水波总能会经过目标点。波传播算法以波形分为矩形波传播算法和圆形波传播算法。
 
 
矩形波传播算优点：简单易行，只要栅格大小选取得当，并且起点与终点之间存在路径，运用该方法一定能找到到一条合适的路径。缺点：路劲不一定是最优。这种方法把路径长短用经过此格子时的波的传播圈数来度量。事实上，路径的长短和经过的波的传播圈数不是严格的单调关系。
 
 
圆形波的传播优点：可以找到比矩形波较优的路径。缺点是：栅格环境下，构造圆形波增加了复杂度。主要难点是圆形波各圈半径的确定。因为栅格的连续和形状，当波圈增加时，其半径等差增加并不是对应栅格个数的等差增加，如果半径增加选择大了，在波覆盖时就会漏掉一些格子；反之如果减小了，不仅会做一些无用的覆盖，而且会大大增加复杂度。实际上，圆形波的提出者的算法并不是真正的圆形波，还是用矩形波来传播，用类似于圆形波的距离概念进行填写的。上述的图片不是太清晰，可以看下面这一个图。
 d.搜索算法的比较
 基于微积分的搜索技术，可分为直接法和间接法，直接法根据目标函数的梯度来确定下一步的搜索方向，如Newton法，共轭梯度法和尺度变换法等。直接法采用的是一种爬山法，即根据最陡的方向爬上一个局部最优解。间接法则从极值的必要条件出发导出一组方程，然后求解方程组再通过比较求得极值，然而导出的方程一般是非线性的，他的求解非常困难，所以，对一些很简单的问题才使用间接法。
 由于遗传算法是一种马氏链过程，虽有一些关于收敛性的研究，但是还是缺乏中肯的分析。
 经典搜索算法中一些算法程序的实现非常简单，搜索出的结果非常接近最优结果，有的甚至就是最优结果。例如A*搜索算法，Dijkstra算法，贪心算法等。其中Dijkstra算法与贪心算法容易陷入局部最优而导致路径很差或路径规划失败，因此需要我们有针对性的运用他们。
 本文还有一些内容没有补充完整，稍后再进行补充。内容大部分参考了一篇论文，以下是原论文的链接：
 参考论文链接http://xueshu.baidu.com/usercenter/paper/show?paperid=08ed3a8e7c2e4c58411bcf4fe43590eb&site=xueshu_se
 待续。。。。。

摘 要
 
 本文设计了一种基于BP神经网络的人脸识别系统,并对其进行了性能分析。该系统首先利用离散小波变换获取包含人脸图像大部分原始信息的低频分量,对图像数据进行降维;再由PCA算法对人脸图像进行主成分特征提取,进--步降低图像数据的处理量;最后使用经过训练后的BP神经网络对待测人脸进行分类识别。详细介绍了离散小波变换PCA特征提取以及BP神经网络分类设计。通过系统仿真实验与分析发现:人脸特征的提取是该系统的关键;同时，由于人脸灰度信息的统计特征与有监督训练BP神经网络分类器,使该系统只在固定类别,并且光照均匀的人脸识别应用场景中具有较高的识别准确率。因此,很难在复杂环境中应用。
 
关键词:人脸识别;人工神经网络;离散小波变换; PCA; BP神经网络
 Abstract
 In this paper, a face recognition system based on BP neural network is designed and its performance is analyzed. The system first uses discrete wavelet transform to obtain the low-frequency components which contain most of the original information of the face image, and then uses PCA algorithm to extract the principal component features of the face image, progressively reducing the processing capacity of the image data. Finally, the trained BP neural network is used to classify and recognize the tested face. Discrete wavelet transform PCA feature extraction and BP neural network classification design are introduced in detail. Through the system simulation experiment and analysis, it is found that the extraction of facial features is the key of the system. At the same time, because of the statistical features of gray information and the supervised training of BP neural network classifier, the system only has a high recognition accuracy in fixed categories and uniform illumination of face recognition application scenarios. Therefore, it is difficult to apply in complex environment.
 
Key words: face recognition; artificial neural network; discrete wavelet transform; PCA; BP neural network
 1绪论
 
  人脸识别是模式识别研究的一个热点，它在身份鉴别、信用卡识别，护照的核对及监控系统等方面有着I泛的应用。人脸图像由于受光照、表情以及姿态等因索的影响，使得同一个人的脸像矩阵差异也比较大。因此,进行人脸识别时，所选取的特征必须对上述因素具备-一定的稳定性和不变性。主元分析(PCA)方法是一种有效的特征提取方法，将人脸图像表示成一一个列向量，经过PCA变换后，不仅可以有效地降低其维数，同时又能保留所需要的识别信息，这些信息对光照、表情以及姿态具有一定的不敏感性。 在获得有效的特征向量后，关键问题是设计具有良好分类能力和鲁棒性的分类器、支持向量机(SVI )模式识别方法,兼顾调练误差和泛化能力，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。
 
1.1人脸识别技术的细节
 
一般来说，人脸识别系统包括图像提取、人脸定位、图形预处理、以及人脸识别(身份确认或者身份查找)。系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图像或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。
 1.2人脸识别技术的广泛应用
 
一项技术的问世和发展与人类的迫切需求是密切相关的，快速发展的社会经济和科学技术使得人类对安全(包括人身安全、隐私保护等)得认识越来越重视。人脸识别得一个重要应用就是人类的身份识别。一-般来说， 人类得身份识别方式分为三类:
 1.特征物品，包括各种证件和凭证，如身份证、驾驶证、房门钥匙、印章等;
 2.特殊知识，包括各种密码、口令和暗号等;
 
3.人类生物特征，包括各种人类得生理和行为特征，如人脸、指纹、手形、掌纹、虹膜. DNA、签名、语音等。前两类识别方式属于传统的身份识别技术，其特点是方便、快捷，但致命的缺点是安全性差、易伪造、易窃取。特殊物品可能会丢失、偷盗和复制，特殊知识可以被遗忘、混淆和泄漏。相比较而言，由于生物特征使人的内在属性，具有很强的自身稳定性和个体差异性，因此生物特征是身份识别的最理想依据。基于以上相对独特的生物特征，结合计算机技术,发展了众多的基于人类生物特征的身份识别技术,如DNA识别技术、指纹识别技术、虹膜识别技术、语音识别技术和人脸识别技术等。生物识别技术在上个世纪已经有了- -定得发展，其中指纹识别技术已经趋近成熟，但人脸识别技术的研究还处于起步阶段。指纹、虹膜、掌纹等识别技术都需要被识别者的配合，有的识别技术还需要添置复杂昂贵的设备。人脸识别可以利用已有的照片或是摄像头远距离捕捉图像，无需特殊的采集设备，系统的成本低。并且自动人脸识别可以在当事人毫无觉察的情况下完成身份确认识别工作，这对反恐怖活动有非常重要的意义。基于人脸识别技术具有如此多的优势，因此它的应用前最非常广阔，已成为最具潜力的生物特征识别技术之一
 1.3人脸识别技术的难点
 
  虽然人类可以毫不困难地根据人脸来辨别一个人，但是利用计算机进行完全自动的人脸识别仍然有许多困难。人脸模式差异性使得人脸识别成为-个非常困难的问题，表现在以下方面:

  1.人脸表情复杂，人脸具有多样的变化能力，人的脸上分布着Ii十多块面部肌肉，这些肌肉的运动导致不同面部表情的出现，会造成人脸特征的显著改变。

  2.随着年龄而改变，随着年龄的增长，皱纹的出现和面部肌肉的松驰使得人脸的结构和纹理都将发生改变。

  3.人脸有易变化的附加物，例如改变发型，留胡须，戴帽子或眼镜等饰物。4.人脸特征遮掩，人脸全部、部分遮掩将会造成错误识别。

  5.人脸图像的畸变，由于光照、视角、摄取角度不同，可能造成图像的灰度。
 
1.4国内外研究状况
 
人脸识别是人类视觉最杰出的能力之-。 它的研究涉及模式识别、图像处理、生物学、心理学、认知科学，与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系。人脸识别早在六七十年代就引起了研究者的强烈兴趣。20世纪60年代，Bledsoe 提出了人脸识别的半自动系统模式与特征提取方法。70年代，美、英等发达国家开始重视人脸识别的研究工作并取得进展。1972 年，Harmon 用交互人脸识别方法在理论上与实践上进行了详细的论述。同年，Sakai 设计了人脸图像自动识别系统。80年代初
 T. Minami 研究出了优于Sakai的人脸图像自动识别系统。但早期的人脸识别一般都需要人的某些先验知识，无法摆脱人的干预。进入九十年代，由于各方面对人脸识别系统的迫切需求，人臉识别的研究变的非常热门。人脸识别的方法有了重大突破，进入了真正的机器自动识别阶段，如Kartbunen-Loeve变换等或新的神经网络技术。人脸识别研究
 
得到了前所未有的重视，国际上发表有关人脸识别等方面的论文数量大幅度增加，仅从1990年到2000年之间，sCl 及EI可检索到的相关文献多达数千篇，这期间关于人脸识别的综述也屡屡可见。国外有许多学校在研究人脸识别技术，研究涉及的领域很广。这些研究受到军方、警方及大公司的高度重视和资助，国内的一些知名院校也开始从事人脸识别的研究。
 
  人脸识别是当前模式识别领域的一个前沿课题，但目前人脸识别尚处于研究课题阶段，尚不是实用化领域的活跃课题。虽然人类可以毫不困难地由人脸辨别一个人，但利用计算机进行完全自动的人脸识别存在许多困难，其表现在:人脸是非刚体，存在表情变化:人脸随年龄增长面变化:发型、眼镜等装饰对人脸造成遮挡:人脸所成图像受光照、成像角度、成像距离等影响。人脸识别的困难还在于图像包括大量的数据，输入的像素可能成百上千，每个像素都含有各自不同的灰度级，由此带来的计算的复杂度将会增加。现有的识别方法中，通过从人脸图像中提取出特征信息，来对数据库进行检索的方法速度快，而利用拓扑属性图匹配来确定匹配度的方法则相对较快。
 
1.5人脸识别的研究内容
 
人脸识别技术(AFR)就是利用计算机技术，根据数据库的人脸图像，分析提取出有效的识别信息，用来“辨认”身份的技术。人脸识别技术的研究始于六十年代末七十年代初，其研究领城涉及图像处理、计算机视觉、模式识别、计算机智能等领城，是伴随着现代化计算机技术、数据库技术发展起来的综合交叉学科。
 1.5.1人脸识别研究内容
 
  人脸识别的研究范围广义上来讲大致包括以下hi个方面的内容。

  1.人脸定位和检测(Face Detection) :即从动态的场景与复杂的背景中检测出人臉的存在并且确定其位置，最后分离出来。这一任务主要受到光照、噪声、面部倾斜以及各种各样遮挡的影响。

  2.人脸表征(Face Representation) (也称人脸特征提取) :即采用某种表示方法来表示检测出人脸与数据库中的已知人脸。通常的表示方法包括几何特征(如欧氏距离、曲率、角度)、代数特征(如矩阵特征向量)、固定特征模板等。

  3.人脸识别(Face Recogni tion) :即将待识别的人脸与数据库中已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸表征方法与匹配策略。

  4.表情姿态分析(Expression/Gesture Analysis) :即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。


  5.生理分类(Physical Classi fication) :即对待识别人脸的生理特征进行分析，得出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推导出孩子脸部图像和基于年龄增长的人脸图像估算等。

  人臉识别的研究内容，从生物特征技术的应用前景来分类，包括以下两个方面:人脸验证与人脸识别。

  1.人脸验证((Face Veri ficat ion/Authenticat ion):即是回答“是不是某人?"的问题.它是给定一幅待识别人脸图像，判断它是否是某人的问题，属于一对一的两类模式分类问题，主要用于安全系统的身份验证。

  2.人脸识别(Face 。Recognition) :即是回答“是谁”的问题。它是给定-幅待识别人脸图像，再已有的人脸数据库中，判断它的身份的问题。它是个“-对多”的多类模式分类问题，通常所说的人脸识别即指此类问题，这也是本文的主要研究内容。
 
1.5.2人脸识别系统的组成
 
  在人脸识别技术发展的几十年中，研究者们提出了多种多样的人脸识别方法，但大部分的人脸识别系统主要由三部分组成:图像预处理、特征提取和人脸的分类识别。一个完整的自动人脸识别系统还包括人脸检测定位和数据库的组织等模块，如图1.1.其中人脸检测和人脸识别是整个自动人脸识别系统中非常重要的两个环节，并且相对独立。下面分别介绍这两个环节。
 
人脸检测与定位，检测图像中是否由人脸，若有，将其从背景中分割出来，并确定其在图
 像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时人脸的定位很简单。证件照背景简单，定位比较容易。在另一些情况下，人脸在图像
 中的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下因素的影响: :
 
  1.人脸在图像中的位置、角度、不固定尺寸以及光照的影响:

  2.发型、眼睛、胡须以及人脸的表情变化等，3.图像中的噪声等。

  特征提取与人脸识别，特征提取之前一般都要敌几何归一化和灰度归一化的工作。前者指根据人脸定位结果将图像中的人脸变化到同一位置和大小:后者是指对图像进行光照补偿等处理，以克服光照变化的影响，光照补偿能够一定程度的克服光照变化的影响而提高识别率。提取出待识别的人脸特征之后，即进行特征匹配。这个过程是一对多或者一对一的匹配过程，前者是确定输入图像为图象库中的哪一个人(即人脸识别)，后者是验证输入图像的人的身份是否属实(人脸验证).  
 
以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位相对比较容易，因此“特征提取与人脸识别环节”得到了更广泛和深入的研究。近几年随着人们越来越关心各种复杂的情形下的人臉自动识别系统以及多功能感知研究的兴起，人脸检测与定位才作为一个独立的模式识别问题得到了较多的重视。本文主要研究人脸的特征提取与分类识别的问题。
 
2基于bp神经网络的人脸识别算法
 
  虽然人脸识别方法的分类标准可能有所不同，但是8前的研究主要有两个方向，一类是从人脸图像整体(Holistic Approaches)出发，基于图像的总体信息进行分类识别，他重点考虑了模式的整体属性，其中较为著名的方法有:人工神经网络的方法、统计模式的方法等。另一类是基于提取人脸图像的几何特征参数(Feature-Based Approaches), 例如眼、嘴和鼻子的特征，再按照某种距离准则进行分类识别。这种方法非常有效，因为人脸不是刚体，有着复杂的表情，对其严格进行特征匹配会出现困难。面分别介绍- -些常 用的方法，前两种方法属于从图像的整体方面进行研究,后三种方法主要从提取图像的局部特征讲行研究。


  2.1基于特征脸的方法
 
特征脸方法(cigenface)是从生元分析方法PCA c Principal ComponentAnalysis 导出的一种人脸分析识别方法，它根据一-组人脸图像构造主元子空间，由于主元具有人脸的形状也称作特征脸。识别时将测试图像投影到主元子空间上得到了-组投影系数，然后和各个已知人的人脸图像进行比较识别，取得了很好的识别效果。在此基础上出现了很多特征脸的改进算法。
 
  特征脸方法原理简单、易于实现，它把人脸作为一个整体来处理，大大降低了识别复杂度。但是特征脸方法忽视了人脸的个性差异，存在着一定的理论缺陷。研究表明:特征脸方法随光线角度及人脸尺寸的影响，识别率会有所下降。
 
2.2基于bp神经网络的方法
 
一、实验要求采用三层前馈BP神经网络实现标准人脸YALE数据库的识别，编程语言为C系列语言。
 二、BP神经网络的结构和学习算法实验中建议采用如下最简单的三层BP神经网络，输入层为，有n个神经元节点，输出层具有m个神经元，网络输出为,隐含层具有k个神经元，采用BP学习算法训练神经网络。BP神经网络的结构BP网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对BP网络加以训练，网络就具有输入输出对之间的映射能力。BP网络执行的是有教师训练，其样本集是由形如（输入向量，期望输出向量）的向量对构成的。在开始训练前，所有的权值和阈值都应该用一些不同的小随机数进行初始化。BP算法主要包括两个阶段：
 
2.2.1向前传播阶段
 
①从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为输入向量，Yp为期望输出向量。
 ②计算相应的实际输出Op。在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是下列运算：
 
(2) 向后传播阶段
 ①计算实际输出Op与相应的理想输出Yp的差；
 ②按极小化误差的方法调整权矩阵。这两个阶段的工作一般应受到精度要求的控制
 
(1)作为网络关于第p个样本的误差测度（误差函数）。
 
(2)如前所述，之所以将此阶段称为向后传播阶段，是对应于输入信号的正常传播而言的，也称之为误差传播阶段。为了更清楚地说明本文所使用的BP网络的训练过程，首先假设输入层、中间层和输出层的单元数分别是N、L和M。X=(x0,x1,…,xN-1)是加到网络的输入矢量，H=(h0,h1,…,hL-1)是中间层输出矢量，Y=(y0,y1,…,yM-1)是网络的实际输出矢量，并且用D=(d0,d1,…,dM-1)来表示训练组中各模式的目标输出矢量。输出单元i到隐单元j的权值是Vij，而隐单元j到输出单元k的权值是Wjk。另外用θk和Φj来分别表示输出单元和隐单元的阈值。于是，中间层各单元的输出为：
 
(3)而输出层各单元的输出是：
 
其中f(*)是激励函数，采用S型函数：
 
2.2.2在上述条件下，网络的训练过程如下：
 
(1) 选定训练集。由相应的训练策略选择样本图像作为训练集。
 (2) 初始化各权值Vij，Wjk和阈值Φj，θk，将其设置为接近于0的随机值，并初始化精度控制参数ε和学习率α。
 (3) 从训练集中取一个输入向量X加到网络，并给定它的目标输出向量D。
 (4) 利用式(3)计算出一个中间层输出H，再用式(4)计算出网络的实际输出Y。
 (5) 将输出矢量中的元素yk与目标矢量中的元素dk进行比较，计算出M个输出
 
误差项：
 
对中间层的隐单元也计算出L个误差项：
 
(6) 依次计算出各权值和阈值的调整量：
 
(8) 当k每经历1至M后，判断指标是否满足精度要求：E≤ε，其中E是总误差函数。
 。
 如果不满足，就返回(3)，继续迭代。如果满足，就进入下一步。
 (9) 训练结束，将权值和阈值保存在文件中。这时可以认为各个权值已经达到稳定，分类器形成。再一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化。
 
YALE数据库是由耶鲁大学计算视觉与扼制中心创立,包括15位志愿者，每个人有11张不同姿势、光照和表情的图片，共计165张图片,图片均为80*100像素的BMP格式图像。我们将整个数据库分为两个部分，每个人的前5幅图片作为网络的训练使用，后6副图片作为测试使用。测试样例：
 
输入输出：
 
  神经网络在人脸识别应用中有很长的历史。早期用于人脸识别的神经网络主要是Kohonen自联想映射神经网络，用于人脸的“回忆”。所谓“回忆”是指当输入图像上的人脸受噪声污染严重或部分缺损时，能用Kohonen网络恢复出原来完整的人脸。Intrator 等人用一个无监督/监督混合神经网络进行人脸识别。其输入是原始图像的梯度图像，以此可以去除光照的变化。监督学习目的是寻找类的特征，有监督学习的目的是减少训练样本被错分的比例。这种网络提取的特征明显，识别率高，如果用几个网络同时运算，求其平均，识别效果还会提高。

  与其他类型的方法相比，神经网络方法在人脸识别上有其独到的优势，它避免了复:杂的特征提取工作，可以通过学习的过程获得其他方法难以实现的关于人脸识别的规律和规则的隐性表达。此外，神经网络以时示方式处理信息，如果能用硬件实现，就能显著提高速度。神经网络方法除了用于人脸识别外，还适用于性别识别、种族识别等。
 
2.3弹性图匹配法
 
弹性图匹配方法是-种基于动态链接结构DLA C Dynamic Link Architecture的方法。它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。匹配时，首先J找与输入图像最相似的模型图，再对图中的每个节点位置进行最佳匹配，这样产生-一个变形图，其节点逼近模型图的对应点的位置。弹性图匹配方法对光照、位移、旋转及尺度变化都敏感。此方法的主要缺点是对每个存储的人臉需计算其模型图，计算量大，存储量大。为此，Wiskott 在原有方法的基础上提出聚東图匹配，部分克服了这些缺点。在聚束图中，所有节点都已经定位在相应目标上。对于大量数据库，这样可以大大减少识别时间。另外，利用聚束图还能够匹配小同人的最相似特征，因此可以获得关于未知人的性别、胡须和眼镜等相关信息。
 2.4基于模板匹配的方法
 模板匹配法是一-种经典的模式识别方法，这种方法大多是用归一一化和互相关，直接计算两副图像之间的匹配程度。由于这种方法要求两副图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。最简单的人脸模板是将人脸看成-一个椭圆，检测人臉也就是检测图像中的椭圆。另一种方法是将人脸用一-组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛模板和下巴模板等。但这些模板的获得必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘。即使获得了可靠度高的边缘，也很难从中自动提取所需的特征量。模板匹配方法在尺度、光照、旋转角度等各种条件稳定的状态下，它的识别的效果优于其它方法，但它对光照、旋转和表情变化比较敏感，影响了它的直接使用。2.5基于人脸特征的方法人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。几何特征最早是用于人脸检测轮廓的描述与识别，首先根据检测轮廓曲线确定若干显著点，并由这些显著点导出- -组用于识别的特征度量如距离、角度等。采用儿何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征。
 定位眼睛往往是提取人脸几何特征的第-步。由于眼睛的对称性以及眼珠呈现为低灰度值的圆形，因此在人脸图像清晰瑞正的时候，眼睛的提取是比较容易的。但是如果人脸图像模糊，或者噪声很多，则往往需要利用更多的信息(如眼睛和眉毛、鼻子的相对位置等)，而且.这将使得眼睛的定位变得很复杂。而且实际图像中，部件未必轮廓分明，有时人用眼看也只是个大概，计算机提取就更成问题，因而导致描述同-一个人的不同人脸时，其模型参数可能相差很大，面失去识别意义。尽管如此，在正确提取部件以及表情变化微小的前提下，该方法依然奏效，因此在许多方面仍可应用，如对标准身份证照片的应用。
 
2.5九个人脸库介绍
 
 
FERET人脸数据库
 http://www.nist.gov/itl/iad/ig/colorferet.cfm
 由FERET项目创建，此图像集包含大量的人脸图像，并且每幅图中均只有一个人脸。该集中，同一个人的照片有不同表情、光照、姿态和年龄的变化。包含1万多张多姿态和光照的人脸图像，是人脸识别领域应用最广泛的人脸数据库之一。其中的多数人是西方人，每个人所包含的人脸图像的变化比较单一。
 
 
CMU Multi-PIE人脸数据库
 http://www.flintbox.com/public/project/4742/
 由美国卡耐基梅隆大学建立。所谓“PIE”就是姿态（Pose），光照（Illumination）和表情（Expression）的缩写。CMU Multi-PIE人脸数据库是在CMU-PIE人脸数据库的基础上发展起来的。包含337位志愿者的75000多张多姿态，光照和表情的面部图像。其中的姿态和光照变化图像也是在严格控制的条件下采集的，目前已经逐渐成为人脸识别领域的一个重要的测试集合。
 
 
YALE人脸数据库（美国，耶鲁大学）
 http://cvc.cs.yale.edu/cvc/projects/yalefaces/yalefaces.html
 由耶鲁大学计算视觉与控制中心创建，包含15位志愿者的165张图片，包含光照、表情和姿态的变化。
 Yale人脸数据库中一个采集志愿者的10张样本，相比较ORL人脸数据库Yale库中每个对象采集的样本包含更明显的光照、表情和姿态以及遮挡变化。
 
 
YALE人脸数据库B
 https://computervisiononline.com/dataset/1105138686
 包含了10个人的5850幅在9种姿态，64种光照条件下的图像。其中的姿态和光照变化的图像都是在严格控制的条件下采集的，主要用于光照和姿态问题的建模与分析。由于采集人数较少，该数据库的进一步应用受到了比较大的限制。
 
 
MIT人脸数据库
 由麻省理工大学媒体实验室创建，包含16位志愿者的2592张不同姿态（每人27张照片），光照和大小的面部图像。
 
 
ORL人脸数据库
 https://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html
 由英国剑桥大学AT&T实验室创建，包含40人共400张面部图像，部分志愿者的图像包括了姿态,表情和面部饰物的变化。该人脸库在人脸识别研究的早期经常被人们采用，但由于变化模式较少，多数系统的识别率均可以达到90%以上，因此进一步利用的价值已经不大。
 ORL人脸数据库中一个采集对象的全部样本库中每个采集对象包含10幅经过归一化处理的灰度图像，图像尺寸均为92×112，图像背景为黑色。其中采集对象的面部表情和细节均有变化，例如笑与不笑、眼睛睁着或闭着以及戴或不戴眼镜等，不同人脸样本的姿态也有变化，其深度旋转和平面旋转可达20度。
 
 
BioID人脸数据库
 https://www.bioid.com/facedb/
 包含在各种光照和复杂背景下的1521张灰度面部图像，眼睛位置已经被手工标注。
 
 
UMIST图像集
 由英国曼彻斯特大学建立。包括20个人共564幅图像，每个人具有不同角度、不同姿态的多幅图像。
 
 
年龄识别数据集IMDB-WIKI
 https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
 包含524230张从IMDB和Wikipedia爬取的名人数据图片。应用了一个新颖的化回归为分类的年龄算法。本质就是在0-100之间的101类分类后，对于得到的分数和0-100相乘，并将最终结果求和，得到最终识别的年龄
 
 
3matlab分析人脸方法介绍
 人脸识别之一：查找图片中的人脸并用方框圈出
 这种类似于智能手机拍照时，屏幕里那个框任务头部的红框。大致步骤为：获取RGB图片—>转换为灰度图像—>图像处理—>人脸识别。代码如下：clear all
 clc
 
%获取原始图片
 i=imread(‘face.jpg’);
 I=rgb2gray(i);
 BW=im2bw(I); %利用阈值值变换法将灰度图像转换成二进制图像
 figure(1);
 imshow(BW);
 %最小化背景
 [n1 n2]=size(BW);
 r=floor(n1/10);
 c=floor(n2/10);
 x1=1;x2=r;
 s=r*c;
 
for i=1:10
 y1=1;y2=c;
 for j=1:10
 if(y2<=c || y2>=9c) || (x11 || x2r10)
 loc=find(BW(x1:x2,y1:y2)==0);
 [o p]=size(loc);
 pr=o*100/s;
 if pr<=100
 BW(x1:x2,y1:y2)=0;
 r1=x1;r2=x2;s1=y1;s2=y2;
 pr1=0;
 end
 imshow(BW);
 end
 y1=y1+c;
 y2=y2+c;
 end
 x1=x1+r;
 x2=x2+c;
 end
 figure(2)
 subplot(1,2,1);
 imshow(BW)
 title(‘图像处理’);
 %人脸识别
 L=bwlabel(BW,8);
 BB=regionprops(L,‘BoundingBox’);
 BB1=struct2cell(BB);
 BB2=cell2mat(BB1);
 
[s1 s2]=size(BB2);
 mx=0;
 for k=3:4:s2-1
 p=BB2(1,k)*BB2(1,k+1);
 if p>mx && (BB2(1,k)/BB2(1,k+1))<1.8
 mx=p;
 j=k;
 end
 end
 subplot(1,2,2);
 title(‘人脸识别’);
 imshow(I);
 hold on;
 rectangle(‘Position’,[BB2(1,j-2),BB2(1,j-1),BB2(1,j),BB2(1,j)],‘EdgeColor’,‘r’)实验效果图：
 
         从实验效果图中，可以看出红框框出了人脸部分。
 
人脸识别之二：由输入的人像识别出数据库中人像
 这种情况类似于手机人脸解锁，通过当前的人脸去和保存的人脸做比对来实现解锁等功能；从网上看了好多资料，由于个人能力有限大多都没仿真出来，最后通过学习PCA算法，了解到可通过PCA算法对输入矩阵降维，提取特征值和特征向量的方式来做人脸比对。具体的PCA的东西在这里不作介绍，主要介绍一下如何实现人脸比对。
 大致步骤：制作人脸数据样本—>PCA提取样本数据特征值—>人脸比对1.人脸样本
 从网上搜集了10张人脸图片，来制作成样本。
 
                     %读取转换10张图片，生成数据矩阵function ImgData = imgdata()  
 
%导入图片
 picture1 = rgb2gray(imread(‘1.jpg’));
 picture2 = rgb2gray(imread(‘2.jpg’));
 picture3 = rgb2gray(imread(‘3.jpg’));
 picture4 = rgb2gray(imread(‘4.jpg’));
 picture5 = rgb2gray(imread(‘5.jpg’));
 picture6 = rgb2gray(imread(‘6.jpg’));
 picture7 = rgb2gray(imread(‘7.jpg’));
 picture8 = rgb2gray(imread(‘8.jpg’));
 picture9 = rgb2gray(imread(‘9.jpg’));
 picture10 = rgb2gray(imread(‘10.jpg’));
 [m,n] = size(picture1);
 picture_ten = {picture1,picture2,picture3,picture4,picture5,picture6,picture7,picture8,picture9,picture10};
 for i=1:10
 %把mn的矩阵变换成1(mn)的矩阵
 ImgData(i,:) = reshape(picture_ten{i},1,mn);
 end
 %数据范围缩小到0到1之间
 ImgData = double(ImgData)/255;
 
PCA分析function Cell_ten = PCA(imgdata,k)
 [m,n] = size(imgdata);
 img_mean = mean(imgdata); %计算每列平均值
 img_mean_ten = repmat(img_mean,m,1); %复制m行平均值至矩阵img_mean_ten
 Z = imgdata - img_mean_ten;
 T = Z’Z;%协方差矩阵
 [V,D] = eigs(T,k); %计算T中最大的前k个特征值与特征向量
 img_new = imgdataV*D; %低维度下的各个人脸的数据
 Cell_ten = {img_new,V,D};3.通过输入测试人脸从数据库中找到相对应人脸function face= facefind(Cell_ten,testdata)%此函数代码借鉴于他人，还未征求其同意，这里就暂时略过这里testdata是测试图片的数据4.主程序调用img=imgdata(); %图片矩阵数据
 Cell_ten=PCA(img,2);% PCA
 face1=facefind(Cell_ten,imread(‘test.jpg’));%识别
 subplot(1,2,1)
 imshow(‘test.jpg’)
 title(‘测试图像’)
 subplot(1,2,2)
 imshow(strcat(num2str(face1),’.jpg’))
 title(‘数据库图像’)测试效果： 使用这个方式可以实现简单的人脸识别，但精确度不高；
 
4 分析算法
 在人脸识别系统中有许多关键环节，其中最重要的莫过于特征提取。利用主成分分析法（PCA）进行特征提取是目前应用最多的提取方法。作为一种科学的统计方法，它在模式识别、信号处理、数字图像处理等等领域都有广泛涉猎。基于PCA中空间原始数据主要特征提取，减少数据冗余的思想，一些在低维特征空间的数据被处理，并合理保留了原始数据中有用的信息，数据空间中维数过高的问题也得以解决。
 4.1　　主成分分析的基本原理
 
实际上主成分分析就是一种数学降维演算方法，用若干个综合变量来代替原本更多的变量，让这些综合变量尽可能的实现对原有变量信息的取代，并保持彼此之间不存在关联。这种多变量化为少数相互无关的变量且信息量不变的统计分析方法就叫做主成分分析法。
 　　假设F1表示原变量的首个线性组合所组成的主要成分指标，就有F1=a11X1+a21X2+…ap1Xp。根据这个数学式可知，如果在每一个主成分中提取一个信息量，即可用方差（F1）进行度量，随着方差F1的增大，F1所包含的信息也就越多，同时它的线性组合选取也可表示为X1、X2…XP，它们都被称为方差F1中的第一主成分。如果第一主成分不足以代表原有的P个变量信息时，就可以考虑选取F2，即第二个线性组合，借由它来反映原本的有效信息。在F2中可以不显示第一主成分中已有的信息，以数学语言来表达要求的话即Cov（F1，F2）=0，其中F2为第二主成分。所以按照实际原变量的变化需求，就可以构造出多个主成分指标。
 　　4.2人脸识别的技术特点
 
人脸识别是模式识别中的重要分支，它是指通过计算机系统来分析人脸图像，从中获取有价值的识别信息，从而辨识身份。所以说从技术特点上来看，人脸识别具有以下几个关键特色。
 　1、PCA算法
 算法大致步骤：
 设有m条n维数据。
 1）将原始数据按列组成n行m列矩阵X；
 2）将X的每一行（这里是图片也就是一张图片变换到一行）进行零均值化，即减去这一行的均值(样本中心化和标准化)；将所有的样本融合到一个矩阵里面特征向量就是变换空间的基向量U=[u1,u2,u3,u4,…]，脑袋里面要想到一个样本投影变换就是该空间的一个点，然后对于许多点可以用KNN等不同的方法进行分类。
 3）求出协方差矩阵C=1mXXTC=1mXXT C=\frac {1 }{m } XX^TC=m1XXT；
 4）求出协方差矩阵的特征值及对应的特征向量；
 5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；
 6）Y=PXY=PX Y=PXY=PX即为降维到kk kk维后的数据。
 　　对数据进行中心化预处理，这样做的目的是要增加基向量的正交性，便于高维度向低纬度的投影，即便于更好的描述数据。
 　　对数据标准化的目的是消除特征之间的差异性，当原始数据不同维度上的特征的尺度不一致时，需要标准化步骤对数据进行预处理，使得在训练神经网络的过程中，能够加速权重参数的收敛。
 　　过中心化和标准化，最后得到均值为0，标准差为1的服从标准正态分布的数据。
 　　求协方差矩阵的目的是为了计算各维度之间的相关性，而协方差矩阵的特征值大小就反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大（越有投影的必要，矩阵相乘的过程就是投影），故而选取合适的前k个能以及小的损失来大量的减少元数据的维度。
 
2、PCA原理推导
 基于K-L展开的PCA特征提取：
 
5.算法优化方法
 我用了三种方法对其进行优化
 1.采用动量梯度下降算法训练 BP 网络。
 训练样本定义如下：
 输入矢量为
 p =[-1 -2 3 1
 -1 1 5 -3]
 目标矢量为 t = [-1 -1 1 1]
 2. 采用贝叶斯正则化算法提高 BP 网络的推广能力。在本例中，我们采用两种训练方法，即 L-M 优化算法（trainlm）和贝叶斯正则化算法（trainbr），用以训练 BP 网络，使其能够拟合某一附加有白噪声的正弦样本数据。其中，样本数据可以采用如下MATLAB 语句生成：
 输入矢量：P = [-1:0.05:1]；
 目标矢量：randn(’seed’,78341223)；
 T = sin(2piP)+0.1randn(size§)；
 3. 采用“提前停止”方法提高 BP 网络的推广能力。对于和例 2相同的问题，在本例中我们将采用训练函数 traingdx 和“提前停止”相结合的方法来训练 BP 网络，以提高 BP 网络的推广能力。在利用“提前停止”方法时，首先应分别定义训练样本、验证样本或测试样本，其中，验证样本是必不可少的。在本例中，我们只定义并使用验证样本，即有
 验证样本输入矢量：val.P = [-0.975:.05:0.975]
 验证样本目标矢量：val.T = sin(2pival.P)+0.1randn(size(val.P))
 值得注意的是，尽管“提前停止”方法可以和任何一种 BP 网络训练函数一起使用，但是不适合同训练速度过快的算法联合使用，比如 trainlm 函数，所以本例中我们采用训练速度相对较慢的变学习速率算法 traingdx 函数作为训练函数。
 参考文献
 
[1] HongZiquan.AlgbricFeatureExcaciofmftfoReonino[JPatteo Recognition. 1991. 22 (1) :43~44.
 [2] Yuille A L Detcction Templates for Face Recognitio[JCognitive Neuroscience , 1991. 191-200
 [3]卢春雨张长水局城区城特征的快速人脸检测法[D北京:清华大学学报.1999.96 (1) ;4-6.
 [4]陈刚,减飞虎实用人脸识别系统的本征脸法实现[D]2001年5月230():45-46.
 [
 5]杜平,徐大为,刘重庆，基F整体特征的人脸识别方法的研究[12003年6月49 (3) ;382-383.
 [6] Chow G, Li X. Towards A System for Automatic Facial Feature Detctio[U] 1993. 2903)2-3.
 [7]杨变若,王煎法,杨未来人脸全局特iE识别研究[Z]1997年11月3(5):; 871-875.
 [8]边肇棋,张学工阎平凡等模式识别D]北京:清华大学出版社2000 302)16-17.
 
致 谢
 
  从毕业设计的选题到论文的指导到最后定稿，期间遇到了无数的困难和阻碍，也曾想过对自己降低要求，也曾想过放弃最初想要坚持的设计，但是最后在孙老师和同学的鼓励和陪伴下，努力克服了所有的困难，独立完成了毕业设计和论文的书写。尤其是要感射我的论文指导老师孙老师，不厌其烦的对我的设计进行指导修改，耐心的帮助我改进设计帮助我搜集相关的资料，感谢孙老师如母亲--般的关怀，在孙老师身上不仅学习到了对学术严谨的态度，更被孙老师亲切无私的个人魅力所感染。

  还要感谢我的同学和其他所有的老师，他们严谨的学术态度，宽容待人严于律己的处世风范都使我受益良多。

 
麦克风阵列技术
 
名词解释
背景介绍
远场拾音
声源定位
     
     
麦克风及音频信号
什么是麦克风
麦克风的分类
麦克风的对比选型
     
     
麦克风阵列简介
语音交互的优势
人机交互痛点
近场语音和远场语音
麦克风阵列的功能
麦克风阵列构型
     
    
   
  
 

 
名词解释
 
缩略语
全名称
简单释义
API
Application Programming Interface
应用程序编程接口
DES
Data Encryption Standard
数据加密标准
3DES
Triple DES， Triple Data Encryption Algorithm
三重数据加密算法块密码的通称
JSON
JavaScript Object Notation
JavaScript对象标记
SaaS
Software as a Service
软件即服务
SDK
Software Development Kit
软件开发工具包
XML
eXtensible Markup Language
可扩展标记语言
ECM
Electret Condenser Micphone
驻极体电容麦克风
HCI
Human Computer Interaction
人机交互
HMI
Human Machine Interaction
人机交互
HCSI
Human Computer Speech Interaction
人机语音交互
AI
Artificial Intelligence
人工智能
ANN
Artificial Neural Networks
人工神经网络
BP
Back Propagation
反向传播
HMM
Hidden Markov Model
隐马尔可夫模型
ASR
Automatic Speech Recognition
自动语音识别
NLP
Natural Language Processing
自然语言处理
OCR
Optical Character Recognition
光学字符识别
TTS
Text To Speech
语音合成
AEC
Acoustic Echo Canceller
自动回声消除
AGC
Automatic Gain Control
自动增益控制
ANS
Automatic Noise Suppression
自动噪声抑制
BSS
Blind Source Separation
盲源分离
DBF
Digital Beam Forming
数字波束形成
DOA
Direction Of Arrival
波达方向
DSP
Digital Signal Processing
数字信号处理
NS
Noise Suppression
噪声抑制
SDB
Super Directive Beamforming
超指向波束形成
VAD
Voice Activity Detection
语音活动检测
VQE
Voice Quality Enhancement
语音质量增强
SIRI
Speech Interpretation & Recognition Interface
语音识别接口
WWDC
World Wide Developers Conference
苹果全球开发者大会
背景介绍
 
麦克风阵列是由一定数目的声学传感器（一般是麦克风）组成，用来对声场的空间特性进行采样并处理的系统。
 
远场拾音
 
指运用远场识别和降噪技术，使拾音距离达到5米。
 
声源定位
 
利用麦克风阵列，实现180°/360°语音信号采集，并能通过声源定位来确定目标说话人的方向。
 
麦克风及音频信号
 
什么是麦克风
 
 
麦克风是英文Microphone的音译名称，是业界的一种通俗叫法，有时候也简单称作话筒，香港和台湾地区也会称作微音器、拾音器。
 
 
麦克风的正式中文学术名称是传声器，是一种将声音信号转换为电子信号的换能器，即把声信号转成电信号。
 
 
消费级市场的麦克风基本都是标量麦克风，也就说只能采集单一的物理量信息——声压。
 
 
 
 
①声压是指声波通过媒质时，由振动所产生的压强改变量，也可以理解为声音的幅度或者强度。声压常用字母"p"表示，单位是帕斯卡（符号Pa）。声压的帕斯卡单位并不方便人们识记，一般就以对数形式来衡量有效声压相对于一个基准值的大小来表示，即声压级，其单位是分贝（符号dB）。
 ②人类对于1KHz的声音的听阈为20 x10-6Pa，通常以此作为声压级的基准值。这样讲可能晦涩难懂，我们来简单的类比一下：人类的呼吸声压是60x10-6Pa左右，声压级大约10dB，火箭发射的声压是4000Pa左右，声压级大约165dB，闪光弹的声压超过1万Pa，声压级大约175dB。
 
 
 
为了描述麦克风的性能，有几个性能指标是非常关键的，这包括了灵敏度、指向性、频率响应、阻抗、动态范围、信噪比、最大声压级（或AOP，声学过载点）、一致性等。这几个指标其实都好理解，决定了麦克风的性能，而且每个指标都非常关键，缺一不可。当然这些指标相对于喇叭的T-S参数来说，真的是简单的了许多。
 
 
麦克风是典型的传感器产业，但是其技术迭代非常迅速，近年来外观尺寸也发生了很大变化，集成到电路板中后一般人很难快速找出。
 
 
麦克风的分类
 
制作麦克风硬件最常用的两种技术是MEMS微机电和ECM驻极体电容技术。这两种技术工作原理类似，在实际应用场景中可以根据具体需要在二者之中进行选择。
 
一、 MEMS微机电麦克风
 微机电麦克风也称麦克风芯片或硅麦克风，硅麦一般都集成了前置放大器，甚至有些硅麦会集成模拟数字转换器，直接输出数字信号，成为数字麦克风。
 
MEMS传声器采用置于印刷电路板（PCB）并以机盖防护的MEMS（微机电系统）组件构建而成。在外壳上制作小孔，便于声音进入传声器，孔位于顶盖的叫作顶部端口型号，而孔位于PCB内部的叫作底部端口型号。MEMS组件设计通常会在半导体晶圆上构造机械振膜和安装结构。
MEMS振膜形成一个电容器，而声压波则会引起振膜的运动。MEMS传声器通常含有另一个半导体晶圆，用作音频前置放大器，将MEMS的变化电容转换为电信号。如果用户需要模拟输出信号，可为其提供音频前置放大器的输出。如果用户需要数字输出信号，就在与音频前置放大器所处的同一晶圆上加入模数转换器（ADC）。
MEMS传声器中数字编码采用的通用格式是脉冲密度调制（PDM），可以只和一个时钟和一条单独的数据线通信。数据采用单比特编码，从而简化了接收器中数字信号的解码。
 
二、ECM柱极体麦克风
 
驻极体振膜（具有固定表面电荷的材料）靠近导电板隔开放置，并且和MEMS传声器相似，也会形成一个电容器，以气隙作为电介质。通过电容器的电压随着电容值的变化而变化，而电容的变化是由移动驻极体振膜的声压波引起的，ΔV= Q /ΔC。电容器电压变化由传声器外壳包覆的JFET进行放大和缓冲。JFET通常采用共源配置，而外部应用电路则采用外部负载电阻和隔直电容。
简单理解：MIC内部设计为一个电容，电容的一端是固定的，另一端是可动的，两端之间的距离和声音输入有关系，声音的大小、频率导致金属片震动产生幅度和频率的变化，在驻极体电容这边就转换为电容电荷量大小与充电快慢，在MIC输出端就表示为一个幅度和频率有随着声音输入变化而变化的电信号。
 
麦克风的对比选型
 
MEMS微机电麦克风
ECM柱极体电容麦克风
优点
体积小，可SMT、产品稳定性好
技术成熟、价格便宜
缺点
价格偏高
体积大，不方便SMT、引线长，造成信号衰减、生产工序多，一致性差、灵敏度不稳定
麦克风阵列简介
 
语音交互的优势
 
相比于传统的键盘输入，语音输入方式在速度及准确率方面更具优势。正常来说语音输入的速度是传统输入方式的三倍以上，而随着深度学习技术的发展，当前语音的识别率可以达到97%。
 
人机交互痛点
 
1)识别距离近：语音交互受限距离不能进行远场的识别
 2)对话不智能：不能持续进行多轮对话不能打断
 3)嘈杂环境：在嘈杂环境下识别率低饱受噪声干扰
 4)响应时间慢：不能即时快速响应交互不流畅导致体验下降
 
近场语音和远场语音
 
一、 近场语音
 大家应该都体验过有屏手持设备的语音交互，如Siri以及各种语音助手App，我们把这种采用单颗麦克风进行拾音及识别的场景叫做近场语音识别。
 近场语音存在一些先天性的缺陷：
 1)近距离讲话：1米以内交互效果较好，超出1米后很难识别；
 2)对环境有要求：尽量安静，周围不能有噪声干扰；
 3)标准人声发音：字正腔圆普通话，其它的很难支持；
 4)无法自动多轮交互：需由用户触发一次交互的开始及结束；
 5)不支持打断功能：机器发声结束后才可以进行下一轮对话。
 
二、远场语音
 1)提供麦克阵列前端算法，解决人机交互中，距离较远带来的识别率较低的问题，让人机对话更加方便
 2)通过远场语音识别技术，可以让用户，即使在三至五米的距离，也可对智能家居进行语音操作
 
麦克风阵列的功能
 
人机之间的语音交互（这里主要指智能硬件、机器人等），区别于传统的有屏手持设备，涉及到复杂的环境和远距离拾音的问题。通过麦克风阵列使语音交互距离大大增加，使人机交互更加自然，更趋向于人人交互。
 
 
人机交互过程中的噪声可以分为以下几类：回声，混响，干扰和背景噪声；
麦克风阵列具备的功能：自动增益控制；回声控制、回声消除、回声抑制；去混响；声源定位、波束形成、语音增强、盲源分离、干扰抑制；噪声控制、主动噪声控制、降噪等。
 
麦克风阵列构型
 
 
六麦环形阵列：六麦环形阵列适用于应用场景较为复杂（例如商场、办公室），对角度定位要求比较高，回声消除和识别率要求较高的机器人和家居产品解决方案。
四麦线性阵列：四麦线性阵列适用于车载，空调，电视，应用型机器人等智能装备，支持0~180°角度定位，回声消除和连续唤醒等功能。
两麦线性阵列：两麦线性阵列对芯片性能要求较低，适用于低成本的智能装备解决方案，支持回声消除和噪声抑制等功能。
 
以六麦阵列为例，其具备以下功能特性：
 1)波束形成（波束形状是阵列对不同频率及方向的信号的响应，它与阵列麦克风数目、几何形状、源信号位置以及频率有关。）；
 2)回声消支持信噪比-30dB左右；
 3)平稳噪声滤波；
 4)方向性非平稳噪声抑制；
 5)语音增强和去混响；
 6)声源定位精度±10°。