摘 要
 
 本文设计了一种基于BP神经网络的人脸识别系统,并对其进行了性能分析。该系统首先利用离散小波变换获取包含人脸图像大部分原始信息的低频分量,对图像数据进行降维;再由PCA算法对人脸图像进行主成分特征提取,进--步降低图像数据的处理量;最后使用经过训练后的BP神经网络对待测人脸进行分类识别。详细介绍了离散小波变换PCA特征提取以及BP神经网络分类设计。通过系统仿真实验与分析发现:人脸特征的提取是该系统的关键;同时，由于人脸灰度信息的统计特征与有监督训练BP神经网络分类器,使该系统只在固定类别,并且光照均匀的人脸识别应用场景中具有较高的识别准确率。因此,很难在复杂环境中应用。
 
关键词:人脸识别;人工神经网络;离散小波变换; PCA; BP神经网络
 Abstract
 In this paper, a face recognition system based on BP neural network is designed and its performance is analyzed. The system first uses discrete wavelet transform to obtain the low-frequency components which contain most of the original information of the face image, and then uses PCA algorithm to extract the principal component features of the face image, progressively reducing the processing capacity of the image data. Finally, the trained BP neural network is used to classify and recognize the tested face. Discrete wavelet transform PCA feature extraction and BP neural network classification design are introduced in detail. Through the system simulation experiment and analysis, it is found that the extraction of facial features is the key of the system. At the same time, because of the statistical features of gray information and the supervised training of BP neural network classifier, the system only has a high recognition accuracy in fixed categories and uniform illumination of face recognition application scenarios. Therefore, it is difficult to apply in complex environment.
 
Key words: face recognition; artificial neural network; discrete wavelet transform; PCA; BP neural network
 1绪论
 
  人脸识别是模式识别研究的一个热点，它在身份鉴别、信用卡识别，护照的核对及监控系统等方面有着I泛的应用。人脸图像由于受光照、表情以及姿态等因索的影响，使得同一个人的脸像矩阵差异也比较大。因此,进行人脸识别时，所选取的特征必须对上述因素具备-一定的稳定性和不变性。主元分析(PCA)方法是一种有效的特征提取方法，将人脸图像表示成一一个列向量，经过PCA变换后，不仅可以有效地降低其维数，同时又能保留所需要的识别信息，这些信息对光照、表情以及姿态具有一定的不敏感性。 在获得有效的特征向量后，关键问题是设计具有良好分类能力和鲁棒性的分类器、支持向量机(SVI )模式识别方法,兼顾调练误差和泛化能力，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。
 
1.1人脸识别技术的细节
 
一般来说，人脸识别系统包括图像提取、人脸定位、图形预处理、以及人脸识别(身份确认或者身份查找)。系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图像或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。
 1.2人脸识别技术的广泛应用
 
一项技术的问世和发展与人类的迫切需求是密切相关的，快速发展的社会经济和科学技术使得人类对安全(包括人身安全、隐私保护等)得认识越来越重视。人脸识别得一个重要应用就是人类的身份识别。一-般来说， 人类得身份识别方式分为三类:
 1.特征物品，包括各种证件和凭证，如身份证、驾驶证、房门钥匙、印章等;
 2.特殊知识，包括各种密码、口令和暗号等;
 
3.人类生物特征，包括各种人类得生理和行为特征，如人脸、指纹、手形、掌纹、虹膜. DNA、签名、语音等。前两类识别方式属于传统的身份识别技术，其特点是方便、快捷，但致命的缺点是安全性差、易伪造、易窃取。特殊物品可能会丢失、偷盗和复制，特殊知识可以被遗忘、混淆和泄漏。相比较而言，由于生物特征使人的内在属性，具有很强的自身稳定性和个体差异性，因此生物特征是身份识别的最理想依据。基于以上相对独特的生物特征，结合计算机技术,发展了众多的基于人类生物特征的身份识别技术,如DNA识别技术、指纹识别技术、虹膜识别技术、语音识别技术和人脸识别技术等。生物识别技术在上个世纪已经有了- -定得发展，其中指纹识别技术已经趋近成熟，但人脸识别技术的研究还处于起步阶段。指纹、虹膜、掌纹等识别技术都需要被识别者的配合，有的识别技术还需要添置复杂昂贵的设备。人脸识别可以利用已有的照片或是摄像头远距离捕捉图像，无需特殊的采集设备，系统的成本低。并且自动人脸识别可以在当事人毫无觉察的情况下完成身份确认识别工作，这对反恐怖活动有非常重要的意义。基于人脸识别技术具有如此多的优势，因此它的应用前最非常广阔，已成为最具潜力的生物特征识别技术之一
 1.3人脸识别技术的难点
 
  虽然人类可以毫不困难地根据人脸来辨别一个人，但是利用计算机进行完全自动的人脸识别仍然有许多困难。人脸模式差异性使得人脸识别成为-个非常困难的问题，表现在以下方面:

  1.人脸表情复杂，人脸具有多样的变化能力，人的脸上分布着Ii十多块面部肌肉，这些肌肉的运动导致不同面部表情的出现，会造成人脸特征的显著改变。

  2.随着年龄而改变，随着年龄的增长，皱纹的出现和面部肌肉的松驰使得人脸的结构和纹理都将发生改变。

  3.人脸有易变化的附加物，例如改变发型，留胡须，戴帽子或眼镜等饰物。4.人脸特征遮掩，人脸全部、部分遮掩将会造成错误识别。

  5.人脸图像的畸变，由于光照、视角、摄取角度不同，可能造成图像的灰度。
 
1.4国内外研究状况
 
人脸识别是人类视觉最杰出的能力之-。 它的研究涉及模式识别、图像处理、生物学、心理学、认知科学，与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系。人脸识别早在六七十年代就引起了研究者的强烈兴趣。20世纪60年代，Bledsoe 提出了人脸识别的半自动系统模式与特征提取方法。70年代，美、英等发达国家开始重视人脸识别的研究工作并取得进展。1972 年，Harmon 用交互人脸识别方法在理论上与实践上进行了详细的论述。同年，Sakai 设计了人脸图像自动识别系统。80年代初
 T. Minami 研究出了优于Sakai的人脸图像自动识别系统。但早期的人脸识别一般都需要人的某些先验知识，无法摆脱人的干预。进入九十年代，由于各方面对人脸识别系统的迫切需求，人臉识别的研究变的非常热门。人脸识别的方法有了重大突破，进入了真正的机器自动识别阶段，如Kartbunen-Loeve变换等或新的神经网络技术。人脸识别研究
 
得到了前所未有的重视，国际上发表有关人脸识别等方面的论文数量大幅度增加，仅从1990年到2000年之间，sCl 及EI可检索到的相关文献多达数千篇，这期间关于人脸识别的综述也屡屡可见。国外有许多学校在研究人脸识别技术，研究涉及的领域很广。这些研究受到军方、警方及大公司的高度重视和资助，国内的一些知名院校也开始从事人脸识别的研究。
 
  人脸识别是当前模式识别领域的一个前沿课题，但目前人脸识别尚处于研究课题阶段，尚不是实用化领域的活跃课题。虽然人类可以毫不困难地由人脸辨别一个人，但利用计算机进行完全自动的人脸识别存在许多困难，其表现在:人脸是非刚体，存在表情变化:人脸随年龄增长面变化:发型、眼镜等装饰对人脸造成遮挡:人脸所成图像受光照、成像角度、成像距离等影响。人脸识别的困难还在于图像包括大量的数据，输入的像素可能成百上千，每个像素都含有各自不同的灰度级，由此带来的计算的复杂度将会增加。现有的识别方法中，通过从人脸图像中提取出特征信息，来对数据库进行检索的方法速度快，而利用拓扑属性图匹配来确定匹配度的方法则相对较快。
 
1.5人脸识别的研究内容
 
人脸识别技术(AFR)就是利用计算机技术，根据数据库的人脸图像，分析提取出有效的识别信息，用来“辨认”身份的技术。人脸识别技术的研究始于六十年代末七十年代初，其研究领城涉及图像处理、计算机视觉、模式识别、计算机智能等领城，是伴随着现代化计算机技术、数据库技术发展起来的综合交叉学科。
 1.5.1人脸识别研究内容
 
  人脸识别的研究范围广义上来讲大致包括以下hi个方面的内容。

  1.人脸定位和检测(Face Detection) :即从动态的场景与复杂的背景中检测出人臉的存在并且确定其位置，最后分离出来。这一任务主要受到光照、噪声、面部倾斜以及各种各样遮挡的影响。

  2.人脸表征(Face Representation) (也称人脸特征提取) :即采用某种表示方法来表示检测出人脸与数据库中的已知人脸。通常的表示方法包括几何特征(如欧氏距离、曲率、角度)、代数特征(如矩阵特征向量)、固定特征模板等。

  3.人脸识别(Face Recogni tion) :即将待识别的人脸与数据库中已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸表征方法与匹配策略。

  4.表情姿态分析(Expression/Gesture Analysis) :即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。


  5.生理分类(Physical Classi fication) :即对待识别人脸的生理特征进行分析，得出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推导出孩子脸部图像和基于年龄增长的人脸图像估算等。

  人臉识别的研究内容，从生物特征技术的应用前景来分类，包括以下两个方面:人脸验证与人脸识别。

  1.人脸验证((Face Veri ficat ion/Authenticat ion):即是回答“是不是某人?"的问题.它是给定一幅待识别人脸图像，判断它是否是某人的问题，属于一对一的两类模式分类问题，主要用于安全系统的身份验证。

  2.人脸识别(Face 。Recognition) :即是回答“是谁”的问题。它是给定-幅待识别人脸图像，再已有的人脸数据库中，判断它的身份的问题。它是个“-对多”的多类模式分类问题，通常所说的人脸识别即指此类问题，这也是本文的主要研究内容。
 
1.5.2人脸识别系统的组成
 
  在人脸识别技术发展的几十年中，研究者们提出了多种多样的人脸识别方法，但大部分的人脸识别系统主要由三部分组成:图像预处理、特征提取和人脸的分类识别。一个完整的自动人脸识别系统还包括人脸检测定位和数据库的组织等模块，如图1.1.其中人脸检测和人脸识别是整个自动人脸识别系统中非常重要的两个环节，并且相对独立。下面分别介绍这两个环节。
 
人脸检测与定位，检测图像中是否由人脸，若有，将其从背景中分割出来，并确定其在图
 像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时人脸的定位很简单。证件照背景简单，定位比较容易。在另一些情况下，人脸在图像
 中的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下因素的影响: :
 
  1.人脸在图像中的位置、角度、不固定尺寸以及光照的影响:

  2.发型、眼睛、胡须以及人脸的表情变化等，3.图像中的噪声等。

  特征提取与人脸识别，特征提取之前一般都要敌几何归一化和灰度归一化的工作。前者指根据人脸定位结果将图像中的人脸变化到同一位置和大小:后者是指对图像进行光照补偿等处理，以克服光照变化的影响，光照补偿能够一定程度的克服光照变化的影响而提高识别率。提取出待识别的人脸特征之后，即进行特征匹配。这个过程是一对多或者一对一的匹配过程，前者是确定输入图像为图象库中的哪一个人(即人脸识别)，后者是验证输入图像的人的身份是否属实(人脸验证).  
 
以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位相对比较容易，因此“特征提取与人脸识别环节”得到了更广泛和深入的研究。近几年随着人们越来越关心各种复杂的情形下的人臉自动识别系统以及多功能感知研究的兴起，人脸检测与定位才作为一个独立的模式识别问题得到了较多的重视。本文主要研究人脸的特征提取与分类识别的问题。
 
2基于bp神经网络的人脸识别算法
 
  虽然人脸识别方法的分类标准可能有所不同，但是8前的研究主要有两个方向，一类是从人脸图像整体(Holistic Approaches)出发，基于图像的总体信息进行分类识别，他重点考虑了模式的整体属性，其中较为著名的方法有:人工神经网络的方法、统计模式的方法等。另一类是基于提取人脸图像的几何特征参数(Feature-Based Approaches), 例如眼、嘴和鼻子的特征，再按照某种距离准则进行分类识别。这种方法非常有效，因为人脸不是刚体，有着复杂的表情，对其严格进行特征匹配会出现困难。面分别介绍- -些常 用的方法，前两种方法属于从图像的整体方面进行研究,后三种方法主要从提取图像的局部特征讲行研究。


  2.1基于特征脸的方法
 
特征脸方法(cigenface)是从生元分析方法PCA c Principal ComponentAnalysis 导出的一种人脸分析识别方法，它根据一-组人脸图像构造主元子空间，由于主元具有人脸的形状也称作特征脸。识别时将测试图像投影到主元子空间上得到了-组投影系数，然后和各个已知人的人脸图像进行比较识别，取得了很好的识别效果。在此基础上出现了很多特征脸的改进算法。
 
  特征脸方法原理简单、易于实现，它把人脸作为一个整体来处理，大大降低了识别复杂度。但是特征脸方法忽视了人脸的个性差异，存在着一定的理论缺陷。研究表明:特征脸方法随光线角度及人脸尺寸的影响，识别率会有所下降。
 
2.2基于bp神经网络的方法
 
一、实验要求采用三层前馈BP神经网络实现标准人脸YALE数据库的识别，编程语言为C系列语言。
 二、BP神经网络的结构和学习算法实验中建议采用如下最简单的三层BP神经网络，输入层为，有n个神经元节点，输出层具有m个神经元，网络输出为,隐含层具有k个神经元，采用BP学习算法训练神经网络。BP神经网络的结构BP网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对BP网络加以训练，网络就具有输入输出对之间的映射能力。BP网络执行的是有教师训练，其样本集是由形如（输入向量，期望输出向量）的向量对构成的。在开始训练前，所有的权值和阈值都应该用一些不同的小随机数进行初始化。BP算法主要包括两个阶段：
 
2.2.1向前传播阶段
 
①从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为输入向量，Yp为期望输出向量。
 ②计算相应的实际输出Op。在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是下列运算：
 
(2) 向后传播阶段
 ①计算实际输出Op与相应的理想输出Yp的差；
 ②按极小化误差的方法调整权矩阵。这两个阶段的工作一般应受到精度要求的控制
 
(1)作为网络关于第p个样本的误差测度（误差函数）。
 
(2)如前所述，之所以将此阶段称为向后传播阶段，是对应于输入信号的正常传播而言的，也称之为误差传播阶段。为了更清楚地说明本文所使用的BP网络的训练过程，首先假设输入层、中间层和输出层的单元数分别是N、L和M。X=(x0,x1,…,xN-1)是加到网络的输入矢量，H=(h0,h1,…,hL-1)是中间层输出矢量，Y=(y0,y1,…,yM-1)是网络的实际输出矢量，并且用D=(d0,d1,…,dM-1)来表示训练组中各模式的目标输出矢量。输出单元i到隐单元j的权值是Vij，而隐单元j到输出单元k的权值是Wjk。另外用θk和Φj来分别表示输出单元和隐单元的阈值。于是，中间层各单元的输出为：
 
(3)而输出层各单元的输出是：
 
其中f(*)是激励函数，采用S型函数：
 
2.2.2在上述条件下，网络的训练过程如下：
 
(1) 选定训练集。由相应的训练策略选择样本图像作为训练集。
 (2) 初始化各权值Vij，Wjk和阈值Φj，θk，将其设置为接近于0的随机值，并初始化精度控制参数ε和学习率α。
 (3) 从训练集中取一个输入向量X加到网络，并给定它的目标输出向量D。
 (4) 利用式(3)计算出一个中间层输出H，再用式(4)计算出网络的实际输出Y。
 (5) 将输出矢量中的元素yk与目标矢量中的元素dk进行比较，计算出M个输出
 
误差项：
 
对中间层的隐单元也计算出L个误差项：
 
(6) 依次计算出各权值和阈值的调整量：
 
(8) 当k每经历1至M后，判断指标是否满足精度要求：E≤ε，其中E是总误差函数。
 。
 如果不满足，就返回(3)，继续迭代。如果满足，就进入下一步。
 (9) 训练结束，将权值和阈值保存在文件中。这时可以认为各个权值已经达到稳定，分类器形成。再一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化。
 
YALE数据库是由耶鲁大学计算视觉与扼制中心创立,包括15位志愿者，每个人有11张不同姿势、光照和表情的图片，共计165张图片,图片均为80*100像素的BMP格式图像。我们将整个数据库分为两个部分，每个人的前5幅图片作为网络的训练使用，后6副图片作为测试使用。测试样例：
 
输入输出：
 
  神经网络在人脸识别应用中有很长的历史。早期用于人脸识别的神经网络主要是Kohonen自联想映射神经网络，用于人脸的“回忆”。所谓“回忆”是指当输入图像上的人脸受噪声污染严重或部分缺损时，能用Kohonen网络恢复出原来完整的人脸。Intrator 等人用一个无监督/监督混合神经网络进行人脸识别。其输入是原始图像的梯度图像，以此可以去除光照的变化。监督学习目的是寻找类的特征，有监督学习的目的是减少训练样本被错分的比例。这种网络提取的特征明显，识别率高，如果用几个网络同时运算，求其平均，识别效果还会提高。

  与其他类型的方法相比，神经网络方法在人脸识别上有其独到的优势，它避免了复:杂的特征提取工作，可以通过学习的过程获得其他方法难以实现的关于人脸识别的规律和规则的隐性表达。此外，神经网络以时示方式处理信息，如果能用硬件实现，就能显著提高速度。神经网络方法除了用于人脸识别外，还适用于性别识别、种族识别等。
 
2.3弹性图匹配法
 
弹性图匹配方法是-种基于动态链接结构DLA C Dynamic Link Architecture的方法。它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。匹配时，首先J找与输入图像最相似的模型图，再对图中的每个节点位置进行最佳匹配，这样产生-一个变形图，其节点逼近模型图的对应点的位置。弹性图匹配方法对光照、位移、旋转及尺度变化都敏感。此方法的主要缺点是对每个存储的人臉需计算其模型图，计算量大，存储量大。为此，Wiskott 在原有方法的基础上提出聚東图匹配，部分克服了这些缺点。在聚束图中，所有节点都已经定位在相应目标上。对于大量数据库，这样可以大大减少识别时间。另外，利用聚束图还能够匹配小同人的最相似特征，因此可以获得关于未知人的性别、胡须和眼镜等相关信息。
 2.4基于模板匹配的方法
 模板匹配法是一-种经典的模式识别方法，这种方法大多是用归一一化和互相关，直接计算两副图像之间的匹配程度。由于这种方法要求两副图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。最简单的人脸模板是将人脸看成-一个椭圆，检测人臉也就是检测图像中的椭圆。另一种方法是将人脸用一-组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛模板和下巴模板等。但这些模板的获得必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘。即使获得了可靠度高的边缘，也很难从中自动提取所需的特征量。模板匹配方法在尺度、光照、旋转角度等各种条件稳定的状态下，它的识别的效果优于其它方法，但它对光照、旋转和表情变化比较敏感，影响了它的直接使用。2.5基于人脸特征的方法人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。几何特征最早是用于人脸检测轮廓的描述与识别，首先根据检测轮廓曲线确定若干显著点，并由这些显著点导出- -组用于识别的特征度量如距离、角度等。采用儿何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征。
 定位眼睛往往是提取人脸几何特征的第-步。由于眼睛的对称性以及眼珠呈现为低灰度值的圆形，因此在人脸图像清晰瑞正的时候，眼睛的提取是比较容易的。但是如果人脸图像模糊，或者噪声很多，则往往需要利用更多的信息(如眼睛和眉毛、鼻子的相对位置等)，而且.这将使得眼睛的定位变得很复杂。而且实际图像中，部件未必轮廓分明，有时人用眼看也只是个大概，计算机提取就更成问题，因而导致描述同-一个人的不同人脸时，其模型参数可能相差很大，面失去识别意义。尽管如此，在正确提取部件以及表情变化微小的前提下，该方法依然奏效，因此在许多方面仍可应用，如对标准身份证照片的应用。
 
2.5九个人脸库介绍
 
 
FERET人脸数据库
 http://www.nist.gov/itl/iad/ig/colorferet.cfm
 由FERET项目创建，此图像集包含大量的人脸图像，并且每幅图中均只有一个人脸。该集中，同一个人的照片有不同表情、光照、姿态和年龄的变化。包含1万多张多姿态和光照的人脸图像，是人脸识别领域应用最广泛的人脸数据库之一。其中的多数人是西方人，每个人所包含的人脸图像的变化比较单一。
 
 
CMU Multi-PIE人脸数据库
 http://www.flintbox.com/public/project/4742/
 由美国卡耐基梅隆大学建立。所谓“PIE”就是姿态（Pose），光照（Illumination）和表情（Expression）的缩写。CMU Multi-PIE人脸数据库是在CMU-PIE人脸数据库的基础上发展起来的。包含337位志愿者的75000多张多姿态，光照和表情的面部图像。其中的姿态和光照变化图像也是在严格控制的条件下采集的，目前已经逐渐成为人脸识别领域的一个重要的测试集合。
 
 
YALE人脸数据库（美国，耶鲁大学）
 http://cvc.cs.yale.edu/cvc/projects/yalefaces/yalefaces.html
 由耶鲁大学计算视觉与控制中心创建，包含15位志愿者的165张图片，包含光照、表情和姿态的变化。
 Yale人脸数据库中一个采集志愿者的10张样本，相比较ORL人脸数据库Yale库中每个对象采集的样本包含更明显的光照、表情和姿态以及遮挡变化。
 
 
YALE人脸数据库B
 https://computervisiononline.com/dataset/1105138686
 包含了10个人的5850幅在9种姿态，64种光照条件下的图像。其中的姿态和光照变化的图像都是在严格控制的条件下采集的，主要用于光照和姿态问题的建模与分析。由于采集人数较少，该数据库的进一步应用受到了比较大的限制。
 
 
MIT人脸数据库
 由麻省理工大学媒体实验室创建，包含16位志愿者的2592张不同姿态（每人27张照片），光照和大小的面部图像。
 
 
ORL人脸数据库
 https://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html
 由英国剑桥大学AT&T实验室创建，包含40人共400张面部图像，部分志愿者的图像包括了姿态,表情和面部饰物的变化。该人脸库在人脸识别研究的早期经常被人们采用，但由于变化模式较少，多数系统的识别率均可以达到90%以上，因此进一步利用的价值已经不大。
 ORL人脸数据库中一个采集对象的全部样本库中每个采集对象包含10幅经过归一化处理的灰度图像，图像尺寸均为92×112，图像背景为黑色。其中采集对象的面部表情和细节均有变化，例如笑与不笑、眼睛睁着或闭着以及戴或不戴眼镜等，不同人脸样本的姿态也有变化，其深度旋转和平面旋转可达20度。
 
 
BioID人脸数据库
 https://www.bioid.com/facedb/
 包含在各种光照和复杂背景下的1521张灰度面部图像，眼睛位置已经被手工标注。
 
 
UMIST图像集
 由英国曼彻斯特大学建立。包括20个人共564幅图像，每个人具有不同角度、不同姿态的多幅图像。
 
 
年龄识别数据集IMDB-WIKI
 https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
 包含524230张从IMDB和Wikipedia爬取的名人数据图片。应用了一个新颖的化回归为分类的年龄算法。本质就是在0-100之间的101类分类后，对于得到的分数和0-100相乘，并将最终结果求和，得到最终识别的年龄
 
 
3matlab分析人脸方法介绍
 人脸识别之一：查找图片中的人脸并用方框圈出
 这种类似于智能手机拍照时，屏幕里那个框任务头部的红框。大致步骤为：获取RGB图片—>转换为灰度图像—>图像处理—>人脸识别。代码如下：clear all
 clc
 
%获取原始图片
 i=imread(‘face.jpg’);
 I=rgb2gray(i);
 BW=im2bw(I); %利用阈值值变换法将灰度图像转换成二进制图像
 figure(1);
 imshow(BW);
 %最小化背景
 [n1 n2]=size(BW);
 r=floor(n1/10);
 c=floor(n2/10);
 x1=1;x2=r;
 s=r*c;
 
for i=1:10
 y1=1;y2=c;
 for j=1:10
 if(y2<=c || y2>=9c) || (x11 || x2r10)
 loc=find(BW(x1:x2,y1:y2)==0);
 [o p]=size(loc);
 pr=o*100/s;
 if pr<=100
 BW(x1:x2,y1:y2)=0;
 r1=x1;r2=x2;s1=y1;s2=y2;
 pr1=0;
 end
 imshow(BW);
 end
 y1=y1+c;
 y2=y2+c;
 end
 x1=x1+r;
 x2=x2+c;
 end
 figure(2)
 subplot(1,2,1);
 imshow(BW)
 title(‘图像处理’);
 %人脸识别
 L=bwlabel(BW,8);
 BB=regionprops(L,‘BoundingBox’);
 BB1=struct2cell(BB);
 BB2=cell2mat(BB1);
 
[s1 s2]=size(BB2);
 mx=0;
 for k=3:4:s2-1
 p=BB2(1,k)*BB2(1,k+1);
 if p>mx && (BB2(1,k)/BB2(1,k+1))<1.8
 mx=p;
 j=k;
 end
 end
 subplot(1,2,2);
 title(‘人脸识别’);
 imshow(I);
 hold on;
 rectangle(‘Position’,[BB2(1,j-2),BB2(1,j-1),BB2(1,j),BB2(1,j)],‘EdgeColor’,‘r’)实验效果图：
 
         从实验效果图中，可以看出红框框出了人脸部分。
 
人脸识别之二：由输入的人像识别出数据库中人像
 这种情况类似于手机人脸解锁，通过当前的人脸去和保存的人脸做比对来实现解锁等功能；从网上看了好多资料，由于个人能力有限大多都没仿真出来，最后通过学习PCA算法，了解到可通过PCA算法对输入矩阵降维，提取特征值和特征向量的方式来做人脸比对。具体的PCA的东西在这里不作介绍，主要介绍一下如何实现人脸比对。
 大致步骤：制作人脸数据样本—>PCA提取样本数据特征值—>人脸比对1.人脸样本
 从网上搜集了10张人脸图片，来制作成样本。
 
                     %读取转换10张图片，生成数据矩阵function ImgData = imgdata()  
 
%导入图片
 picture1 = rgb2gray(imread(‘1.jpg’));
 picture2 = rgb2gray(imread(‘2.jpg’));
 picture3 = rgb2gray(imread(‘3.jpg’));
 picture4 = rgb2gray(imread(‘4.jpg’));
 picture5 = rgb2gray(imread(‘5.jpg’));
 picture6 = rgb2gray(imread(‘6.jpg’));
 picture7 = rgb2gray(imread(‘7.jpg’));
 picture8 = rgb2gray(imread(‘8.jpg’));
 picture9 = rgb2gray(imread(‘9.jpg’));
 picture10 = rgb2gray(imread(‘10.jpg’));
 [m,n] = size(picture1);
 picture_ten = {picture1,picture2,picture3,picture4,picture5,picture6,picture7,picture8,picture9,picture10};
 for i=1:10
 %把mn的矩阵变换成1(mn)的矩阵
 ImgData(i,:) = reshape(picture_ten{i},1,mn);
 end
 %数据范围缩小到0到1之间
 ImgData = double(ImgData)/255;
 
PCA分析function Cell_ten = PCA(imgdata,k)
 [m,n] = size(imgdata);
 img_mean = mean(imgdata); %计算每列平均值
 img_mean_ten = repmat(img_mean,m,1); %复制m行平均值至矩阵img_mean_ten
 Z = imgdata - img_mean_ten;
 T = Z’Z;%协方差矩阵
 [V,D] = eigs(T,k); %计算T中最大的前k个特征值与特征向量
 img_new = imgdataV*D; %低维度下的各个人脸的数据
 Cell_ten = {img_new,V,D};3.通过输入测试人脸从数据库中找到相对应人脸function face= facefind(Cell_ten,testdata)%此函数代码借鉴于他人，还未征求其同意，这里就暂时略过这里testdata是测试图片的数据4.主程序调用img=imgdata(); %图片矩阵数据
 Cell_ten=PCA(img,2);% PCA
 face1=facefind(Cell_ten,imread(‘test.jpg’));%识别
 subplot(1,2,1)
 imshow(‘test.jpg’)
 title(‘测试图像’)
 subplot(1,2,2)
 imshow(strcat(num2str(face1),’.jpg’))
 title(‘数据库图像’)测试效果： 使用这个方式可以实现简单的人脸识别，但精确度不高；
 
4 分析算法
 在人脸识别系统中有许多关键环节，其中最重要的莫过于特征提取。利用主成分分析法（PCA）进行特征提取是目前应用最多的提取方法。作为一种科学的统计方法，它在模式识别、信号处理、数字图像处理等等领域都有广泛涉猎。基于PCA中空间原始数据主要特征提取，减少数据冗余的思想，一些在低维特征空间的数据被处理，并合理保留了原始数据中有用的信息，数据空间中维数过高的问题也得以解决。
 4.1　　主成分分析的基本原理
 
实际上主成分分析就是一种数学降维演算方法，用若干个综合变量来代替原本更多的变量，让这些综合变量尽可能的实现对原有变量信息的取代，并保持彼此之间不存在关联。这种多变量化为少数相互无关的变量且信息量不变的统计分析方法就叫做主成分分析法。
 　　假设F1表示原变量的首个线性组合所组成的主要成分指标，就有F1=a11X1+a21X2+…ap1Xp。根据这个数学式可知，如果在每一个主成分中提取一个信息量，即可用方差（F1）进行度量，随着方差F1的增大，F1所包含的信息也就越多，同时它的线性组合选取也可表示为X1、X2…XP，它们都被称为方差F1中的第一主成分。如果第一主成分不足以代表原有的P个变量信息时，就可以考虑选取F2，即第二个线性组合，借由它来反映原本的有效信息。在F2中可以不显示第一主成分中已有的信息，以数学语言来表达要求的话即Cov（F1，F2）=0，其中F2为第二主成分。所以按照实际原变量的变化需求，就可以构造出多个主成分指标。
 　　4.2人脸识别的技术特点
 
人脸识别是模式识别中的重要分支，它是指通过计算机系统来分析人脸图像，从中获取有价值的识别信息，从而辨识身份。所以说从技术特点上来看，人脸识别具有以下几个关键特色。
 　1、PCA算法
 算法大致步骤：
 设有m条n维数据。
 1）将原始数据按列组成n行m列矩阵X；
 2）将X的每一行（这里是图片也就是一张图片变换到一行）进行零均值化，即减去这一行的均值(样本中心化和标准化)；将所有的样本融合到一个矩阵里面特征向量就是变换空间的基向量U=[u1,u2,u3,u4,…]，脑袋里面要想到一个样本投影变换就是该空间的一个点，然后对于许多点可以用KNN等不同的方法进行分类。
 3）求出协方差矩阵C=1mXXTC=1mXXT C=\frac {1 }{m } XX^TC=m1XXT；
 4）求出协方差矩阵的特征值及对应的特征向量；
 5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；
 6）Y=PXY=PX Y=PXY=PX即为降维到kk kk维后的数据。
 　　对数据进行中心化预处理，这样做的目的是要增加基向量的正交性，便于高维度向低纬度的投影，即便于更好的描述数据。
 　　对数据标准化的目的是消除特征之间的差异性，当原始数据不同维度上的特征的尺度不一致时，需要标准化步骤对数据进行预处理，使得在训练神经网络的过程中，能够加速权重参数的收敛。
 　　过中心化和标准化，最后得到均值为0，标准差为1的服从标准正态分布的数据。
 　　求协方差矩阵的目的是为了计算各维度之间的相关性，而协方差矩阵的特征值大小就反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大（越有投影的必要，矩阵相乘的过程就是投影），故而选取合适的前k个能以及小的损失来大量的减少元数据的维度。
 
2、PCA原理推导
 基于K-L展开的PCA特征提取：
 
5.算法优化方法
 我用了三种方法对其进行优化
 1.采用动量梯度下降算法训练 BP 网络。
 训练样本定义如下：
 输入矢量为
 p =[-1 -2 3 1
 -1 1 5 -3]
 目标矢量为 t = [-1 -1 1 1]
 2. 采用贝叶斯正则化算法提高 BP 网络的推广能力。在本例中，我们采用两种训练方法，即 L-M 优化算法（trainlm）和贝叶斯正则化算法（trainbr），用以训练 BP 网络，使其能够拟合某一附加有白噪声的正弦样本数据。其中，样本数据可以采用如下MATLAB 语句生成：
 输入矢量：P = [-1:0.05:1]；
 目标矢量：randn(’seed’,78341223)；
 T = sin(2piP)+0.1randn(size§)；
 3. 采用“提前停止”方法提高 BP 网络的推广能力。对于和例 2相同的问题，在本例中我们将采用训练函数 traingdx 和“提前停止”相结合的方法来训练 BP 网络，以提高 BP 网络的推广能力。在利用“提前停止”方法时，首先应分别定义训练样本、验证样本或测试样本，其中，验证样本是必不可少的。在本例中，我们只定义并使用验证样本，即有
 验证样本输入矢量：val.P = [-0.975:.05:0.975]
 验证样本目标矢量：val.T = sin(2pival.P)+0.1randn(size(val.P))
 值得注意的是，尽管“提前停止”方法可以和任何一种 BP 网络训练函数一起使用，但是不适合同训练速度过快的算法联合使用，比如 trainlm 函数，所以本例中我们采用训练速度相对较慢的变学习速率算法 traingdx 函数作为训练函数。
 参考文献
 
[1] HongZiquan.AlgbricFeatureExcaciofmftfoReonino[JPatteo Recognition. 1991. 22 (1) :43~44.
 [2] Yuille A L Detcction Templates for Face Recognitio[JCognitive Neuroscience , 1991. 191-200
 [3]卢春雨张长水局城区城特征的快速人脸检测法[D北京:清华大学学报.1999.96 (1) ;4-6.
 [4]陈刚,减飞虎实用人脸识别系统的本征脸法实现[D]2001年5月230():45-46.
 [
 5]杜平,徐大为,刘重庆，基F整体特征的人脸识别方法的研究[12003年6月49 (3) ;382-383.
 [6] Chow G, Li X. Towards A System for Automatic Facial Feature Detctio[U] 1993. 2903)2-3.
 [7]杨变若,王煎法,杨未来人脸全局特iE识别研究[Z]1997年11月3(5):; 871-875.
 [8]边肇棋,张学工阎平凡等模式识别D]北京:清华大学出版社2000 302)16-17.
 
致 谢
 
  从毕业设计的选题到论文的指导到最后定稿，期间遇到了无数的困难和阻碍，也曾想过对自己降低要求，也曾想过放弃最初想要坚持的设计，但是最后在孙老师和同学的鼓励和陪伴下，努力克服了所有的困难，独立完成了毕业设计和论文的书写。尤其是要感射我的论文指导老师孙老师，不厌其烦的对我的设计进行指导修改，耐心的帮助我改进设计帮助我搜集相关的资料，感谢孙老师如母亲--般的关怀，在孙老师身上不仅学习到了对学术严谨的态度，更被孙老师亲切无私的个人魅力所感染。

  还要感谢我的同学和其他所有的老师，他们严谨的学术态度，宽容待人严于律己的处世风范都使我受益良多。

图像识别技术是信息时代的一门重要的技术，其产生目的是为了让计算机代替人类去处理大量的物理信息。随着计算机技术的发展，人类对图像识别技术的认识越来越深刻。图像识别技术的过程分为信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。简单分析了图像识别技术的引入、其技术原理以及模式识别等，之后介绍了神经网络的图像识别技术和非线性降维的图像识别技术及图像识别技术的应用。从中可以总结出图像处理技术的应用广泛，人类的生活将无法离开图像识别技术，研究图像识别技术具有重大意义。
 
1图像识别技术的引入
 
图像识别是人工智能的一个重要领域。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。图像识别，顾名思义，就是对图像做出各种处理、分析，最终识别我们所要研究的目标。今天所指的图像识别并不仅仅是用人类的肉眼，而是借助计算机技术进行识别。虽然人类的识别能力很强大，但是对于高速发展的社会，人类自身识别能力已经满足不了我们的需求，于是就产生了基于计算机的图像识别技术。这就像人类研究生物细胞，完全靠肉眼观察细胞是不现实的，这样自然就产生了显微镜等用于精确观测的仪器。通常一个领域有固有技术无法解决的需求时，就会产生相应的新技术。图像识别技术也是如此，此技术的产生就是为了让计算机代替人类去处理大量的物理信息，解决人类无法识别或者识别率特别低的信息。
 
1.1图像识别技术原理
 
其实，图像识别技术背后的原理并不是很难，只是其要处理的信息比较繁琐。计算机的任何处理技术都不是凭空产生的，它都是学者们从生活实践中得到启发而利用程序将其模拟实现的。计算机的图像识别技术和人类的图像识别在原理上并没有本质的区别，只是机器缺少人类在感觉与视觉差上的影响罢了。人类的图像识别也不单单是凭借整个图像存储在脑海中的记忆来识别的，我们识别图像都是依靠图像所具有的本身特征而先将这些图像分了类，然后通过各个类别所具有的特征将图像识别出来的，只是很多时候我们没有意识到这一点。当看到一张图片时，我们的大脑会迅速感应到是否见过此图片或与其相似的图片。其实在“看到”与“感应到”的中间经历了一个迅速识别过程，这个识别的过程和搜索有些类似。在这个过程中，我们的大脑会根据存储记忆中已经分好的类别进行识别，查看是否有与该图像具有相同或类似特征的存储记忆，从而识别出是否见过该图像。机器的图像识别技术也是如此，通过分类并提取重要特征而排除多余的信息来识别图像。机器所提取出的这些特征有时会非常明显，有时又是很普通，这在很大的程度上影响了机器识别的速率。总之，在计算机的视觉识别中，图像的内容通常是用图像特征进行描述。
 
1.2模式识别
 
模式识别是人工智能和信息科学的重要组成部分。模式识别是指对表示事物或现象的不同形式的信息做分析和处理从而得到一个对事物或现象做出描述、辨认和分类等的过程。
 
计算机的图像识别技术就是模拟人类的图像识别过程。在图像识别的过程中进行模式识别是必不可少的。模式识别原本是人类的一项基本智能。但随着计算机的发展和人工智能的兴起，人类本身的模式识别已经满足不了生活的需要，于是人类就希望用计算机来代替或扩展人类的部分脑力劳动。这样计算机的模式识别就产生了。简单地说，模式识别就是对数据进行分类，它是一门与数学紧密结合的科学，其中所用的思想大部分是概率与统计。模式识别主要分为三种：统计模式识别、句法模式识别、模糊模式识别。
 
2图像识别技术的过程
 
既然计算机的图像识别技术与人类的图像识别原理相同，那它们的过程也是大同小异的。图像识别技术的过程分以下几步：信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。
 
信息的获取是指通过传感器，将光或声音等信息转化为电信息。也就是获取研究对象的基本信息并通过某种方法将其转变为机器能够认识的信息。
 
预处理主要是指图像处理中的去噪、平滑、变换等的操作，从而加强图像的重要特征。
 
特征抽取和选择是指在模式识别中，需要进行特征的抽取和选择。简单的理解就是我们所研究的图像是各式各样的，如果要利用某种方法将它们区分开，就要通过这些图像所具有的本身特征来识别，而获取这些特征的过程就是特征抽取。在特征抽取中所得到的特征也许对此次识别并不都是有用的，这个时候就要提取有用的特征，这就是特征的选择。特征抽取和选择在图像识别过程中是非常关键的技术之一，所以对这一步的理解是图像识别的重点。
 
分类器设计是指通过训练而得到一种识别规则，通过此识别规则可以得到一种特征分类，使图像识别技术能够得到高识别率。分类决策是指在特征空间中对被识别对象进行分类，从而更好地识别所研究的对象具体属于哪一类。
 
3图像识别技术的分析
 
随着计算机技术的迅速发展和科技的不断进步，图像识别技术已经在众多领域中得到了应用。2015年2月15日新浪科技发布一条新闻：“微软最近公布了一篇关于图像识别的研究论文，在一项图像识别的基准测试中，电脑系统识别能力已经超越了人类。人类在归类数据库Image Net中的图像识别错误率为5.1%，而微软研究小组的这个深度学习系统可以达到4.94%的错误率。”从这则新闻中我们可以看出图像识别技术在图像识别方面已经有要超越人类的图像识别能力的趋势。这也说明未来图像识别技术有更大的研究意义与潜力。而且，计算机在很多方面确实具有人类所无法超越的优势，也正是因为这样，图像识别技术才能为人类社会带来更多的应用。
 
3.1神经网络的图像识别技术
 
神经网络图像识别技术是一种比较新型的图像识别技术，是在传统的图像识别方法和基础上融合神经网络算法的一种图像识别方法。这里的神经网络是指人工神经网络，也就是说这种神经网络并不是动物本身所具有的真正的神经网络，而是人类模仿动物神经网络后人工生成的。在神经网络图像识别技术中，遗传算法与BP网络相融合的神经网络图像识别模型是非常经典的，在很多领域都有它的应用。在图像识别系统中利用神经网络系统，一般会先提取图像的特征，再利用图像所具有的特征映射到神经网络进行图像识别分类。以汽车拍照自动识别技术为例，当汽车通过的时候，汽车自身具有的检测设备会有所感应。此时检测设备就会启用图像采集装置来获取汽车正反面的图像。获取了图像后必须将图像上传到计算机进行保存以便识别。最后车牌定位模块就会提取车牌信息，对车牌上的字符进行识别并显示最终的结果。在对车牌上的字符进行识别的过程中就用到了基于模板匹配算法和基于人工神经网络算法。
 　　3.2非线性降维的图像识别技术
 
计算机的图像识别技术是一个异常高维的识别技术。不管图像本身的分辨率如何，其产生的数据经常是多维性的，这给计算机的识别带来了非常大的困难。想让计算机具有高效地识别能力，最直接有效的方法就是降维。降维分为线性降维和非线性降维。例如主成分分析（PCA）和线性奇异分析（LDA）等就是常见的线性降维方法，它们的特点是简单、易于理解。但是通过线性降维处理的是整体的数据集合，所求的是整个数据集合的最优低维投影。经过验证，这种线性的降维策略计算复杂度高而且占用相对较多的时间和空间，因此就产生了基于非线性降维的图像识别技术，它是一种极其有效的非线性特征提取方法。此技术可以发现图像的非线性结构而且可以在不破坏其本征结构的基础上对其进行降维，使计算机的图像识别在尽量低的维度上进行，这样就提高了识别速率。例如人脸图像识别系统所需的维数通常很高，其复杂度之高对计算机来说无疑是巨大的“灾难”。由于在高维度空间中人脸图像的不均匀分布，使得人类可以通过非线性降维技术来得到分布紧凑的人脸图像，从而提高人脸识别技术的高效性。
 
3.3图像识别技术的应用及前景
 
计算机的图像识别技术在公共安全、生物、工业、农业、交通、医疗等很多领域都有应用。例如交通方面的车牌识别系统；公共安全方面的人脸识别技术、指纹识别技术；农业方面的种子识别技术、食品品质检测技术；医学方面的心电图识别技术等。随着计算机技术的不断发展，图像识别技术也在不断地优化，其算法也在不断地改进。图像是人类获取和交换信息的主要来源，因此与图像相关的图像识别技术必定也是未来的研究重点。以后计算机的图像识别技术很有可能在更多的领域崭露头角，它的应用前景也是不可限量的，人类的生活也将更加离不开图像识别技术。
 
图像识别技术虽然是刚兴起的技术，但其应用已是相当广泛。并且，图像识别技术也在不断地成长，随着科技的不断进步，人类对图像识别技术的认识也会更加深刻。未来图像识别技术将会更加强大，更加智能地出现在我们的生活中，为人类社会的更多领域带来重大的应用。在21世纪这个信息化的时代，我们无法想象离开了图像识别技术以后我们的生活会变成什么样。图像识别技术是人类现在以及未来生活必不可少的一项技术。
 　　人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
 　　AI可以识别图像，但它能理解标题吗？
http://www.duozhishidai.com/article-10635-1.html
 　　图像识别经历了哪几个阶段，主要应用在哪些领域？
http://www.duozhishidai.com/article-6461-1.html
 　　图像识别技术是什么，应用于智能家居哪些领域
http://www.duozhishidai.com/article-133-1.html
 
 
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站
 
 
  

手势识别可以分为基于可穿戴设备的识别、基于触摸技术的识别和基于计算机视觉的识别。
 
一、基于可穿戴设备的识别
 
1、在手势交互过程中，可以直接采集每根手指的弯曲姿态，通过数据归一化和平滑处理两根手指之间方位的时空参数。然后，手势识别模型训练可以选择有效的特征参数。所采集的位置参数一般具有较高的精度。因此，手势模型训练方法的选择对手势识别效果影响较大。
 
Mehdi S A, Khan Y N. Sign language recognition using sensor gloves. In: Proceedings of the 9th International Conference on Neural Information Processing. 2002, 2204−2206 DOI:10.1109/ICONIP.2002.1201884
 
使用人工神经网络(ANN)模型进行基于感觉手套的美国手语识别，然后将其翻译成英语
 
Shi J F, Chen Y, Zhao H M. Node-Pair BP Network Based Gesture Recognition by Data Glove. System Simulation Technology, 2008, 4(3): 154−157 DOI:10.3969/j.issn.1673-1964.2008.03.003 
 
通过传感器获得不同输出节点的实测值，并将这些节点配对成一个BP神经网络来识别手势
 
Rung-Huei L, Ming O. A real-time continuous gesture recognition system for sign language. In: Proceedings Third IEEE International Conference onAutomatic Face and Gesture Recognition. 1998, 558−567 DOI:10.1109/AFGR.1998.671007 
 
用数据手套采集了51个基本姿势，包括6个方向，8个动作原始数据。然后利用隐马尔可夫模型进行建模，建立了一个能识别250种台湾手语的词汇系统。由这些手势组成的连续句平均识别率达到80.4%
 
Liu M T, Lei Y. Chinese finger Alphabet flow recognition system based on data glove. Computer Engineering, 2011, 37 (22): 168−170 
 
使用数据手套Ultra 5进行数据采集，并结合BP神经网络和Markov对汉语拼音进行识别
 
Wu J Q, Gao W, Chen L X. A system recognizing Chinese finger-spelling alphabets based on data-glove input. Pattern Recognition andArtificial Intelligence, 1999(1): 74−78 
 
将神经网络与学习决策树相结合，建立了一个识别模型，利用数据手套构建了一个中文手指拼写手势识别系统。
 
Weissmann J, Salomon R. Gesture recognition for virtual reality applications using data gloves and neural networks. In: IJCNN'99 International Joint Conference on Neural Networks Proceedings. 1999, 2043−2046 DOI:10.1109/IJCNN.1999.832699 
 
通过数据手套获得了18个不同手指关节的测量值，并利用BP和径向基函数建立了多个不同的神经网络模型用于手势识别。一些神经网络模型能够识别特定的手势，其准确率甚至达到了100%
 
2、此外,当输入数据手套的数据转换为虚拟手模型与对象交互,通常需要进行碰撞检测来确定对象和手之间的接触情况,并通过接触情况确定手的操作条件。
 
Xu Y H, Li J R. Research and implementation of virtual hand interaction in virtual mechanical assembly. Machinery Design & Manufacture, 2014(5): 262−266 
 
边界框法进行碰撞检测,并将检测结果与手势库,它决定此时角是否符合定义的动作,从而实现了虚拟装配技术的虚拟手。该方法的精度相对较差，不可能实现相对复杂的交互。在未来，将有可能通过虚拟力分析和运动分析来确定手和物体之间的相对位置。
 
3、随着MEMS技术的发展，传感器变得小型化、智能化，进一步推动了基于传感器的手势识别可穿戴设备的发展。利用传感器获取目标的角速度、加速度等运动信息，可以直接获取手势的空间位置，不需要进行手势分割。通过对信息的建模和分析，可以对交互手势进行识别。
 
Mirabella O, Brischetto M, Mastroeni G. MEMS based gesture recognition. In: 3rd International Conference on Human System Interaction. 2010, 599−604 DOI:10.1109/HSI.2010.5514506 
 
创造了一种手势识别系统，允许用户浏览数码照片、家庭电视或通过预定义的手势为身体残疾的人提供特殊服务。系统利用加速度传感器读取手势的输入数据，通过HMM训练，识别用户自定义手势的状态，用户可以根据应用程序的需要向手势列表中添加一个新的手势。
 
Kela J, Korpipää P, Mäntyjärvi J, Kallio S, Savino G, Jozzo L, Marca D. Accelerometer-based gesture control for a design environment. Personal & Ubiquitous Computing, 2006, 10(5): 285−299 DOI:10.1007/s00779-005-0033-8 
 
使用加速度计控制器和HMM来收集和识别用户的输入手势，研究手势模态对用户交互的影响。结果表明，不同的人对同一任务偏好不同的交互手势。对于某些任务，手势比语音、激光笔、平板电脑等交互方式更加自然，甚至可以增强与其他方式的交互。
 
Xu J, Liu C H, Meng Y X. Gesture recognition base on wearable controller. Application of Electronic Technique, 2016, 42(7): 68−71 
 
定义了六种简单手势类型，通过陀螺仪和加速度计获取手势数据，提取手势长度和能量等六个特征，并使用决策树分类器识别出六种手势
 
He Z Y, Jin L W, Zhen L X, Huang J C. Gesture recognition based on 3D accelerometer for cell phones interaction. In: APCCAS2008 - 2008IEEEAsia Pacific Conference on Circuits and Systems. 2008, 217−220 DOI:10.1109/APCCAS.2008.4745999 
 
在手机上添加加速度计，获取用户操作时手势的运动状态，提取离散余弦变换(DCT)快速傅里叶变换(FFT)和小波包分解(WPD)的三个不同特征，并使用SVM进行分类训练。与其他两种特征相比，基于wpd的特征提取方法对17种复杂手势识别的准确率较高，达到了87.36%
 
Schlömer T, Poppinga B, Henze N, Boll S. Gesture recognition with a Wii controller. In: Proceedings of the 2nd international conference on Tangible and embedded interaction. Bonn, Germany,ACM, 2008: 11−14 DOI:10.1145/1347390.1347395 
 
研究了基于wii控制器的交互式应用程序的手势识别效果。该系统允许用户对操作手势进行预训练。首先，用滤波方法对原始数据进行平滑处理。平滑后，通过k-均值数据压缩得到训练样本。然后利用HMM训练得到识别系统，将该系统的手势识别结果与其他模式融合，应用于多媒体交互
 
4、利用生物电获取用户的手势信息已成为近年来的研究热点。肌电(electromyography, EMG)识别用户手势的原理是根据运动过程中肌肉信号的变化来识别用户当前的动作。
 
获取肌肉信号的方法主要有两种。一种是在皮肤下植入电极，直接获得生理信号。虽然这种方法不容易受到外界环境的影响，但它具有侵入性，对使用者有物理损伤的风险。另一种常用的方法是通过放置电极检测皮肤表面电流的变化来分析使用者的运动状态。该方法虽然容易受到外界环境的影响，但操作简便，对用户的危害小，符合人机交互的交互原理。
 
Saponas T S, Tan D S, Morris D, Balakrishnan R. Demonstrating the feasibility of using forearm electromyography for muscle-computer interfaces. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. Florence, Italy,ACM, 2008: 515−524 
 
研究了人类肌肉活动信号和计算界面之间的感知交互，用户不需要依赖特定的动作或其他物理设备进行交互。在用户上臂附近的窄带区域布置了10个传感器。以250ms为间隔获取用户的EMG信号，提取包括频域功率和相位相干性在内的74个特征。利用SVM训练分类模型。结果表明，该方法可以区分手指运动或点击、手指位置差、压力等级等四种手势集
 
Amma C, Krings T, Böer J, Schultz T. Advancing Muscle-Computer Interfaces with High-Density Electromyography. In: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. Seoul, Republic of Korea,ACM, 2015: 929−938 DOI:10.1145/2702123.2702501 
 
按8×24的栅极排列192个电极，间隔10mm。排列整齐的电极阵列被放置在前臂肌肉上，以获得高密度的肌电图信号。电极间的差异由两个电极记录。每八个电极中就有一个不包含有意义的数据，所以有168个可用的数据通道。使用提取通道的均方根(RMS)作为输入特征，使用朴素贝叶斯分类器识别预定义的27个手势。此外，分类器还进一步分析了电极数量和电极位置对识别结果的影响。
 
Huang D, Zhang X, Saponas T S, Fogarty J, Gollakota S. Leveraging Dual-Observable Input for Fine-Grained Thumb Interaction Using Forearm EMG. In: Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology. Charlotte, NC, USA,ACM, 2015: 523−528 DOI:10.1145/2807442.2807506 
 
由于前臂拇指运动的肌电图信号相对较弱，黄提出使用双通道手机训练数据法来识别拇指的细粒度手势，包括左键、右键、点击、长按或更复杂的手指运动。其中一个通道是利用电极获取用户的手势运动，另一个通道是通过触摸屏手机加速度计获取的手势运动状态作为输入信号。最后，利用k近邻(KNN)算法对拇指手势进行分类识别。该识别结果对基于拇指的交互式系统具有重要意义。
 
 
 
二、基于触摸技术的识别
 
触摸手势是用手指或其他工具在触摸屏上直接执行的操作。基于触摸手势输入法，触摸手势识别主要分为单触摸手势识别和多触摸手势识别。
 
经典的单触摸手势识别算法有如下两种：
 
1、Rubine算法
 
Rubine D H. The automatic recognition of gestures. Carnegie Mellon University, 1992
 
通过提取任意输入手势的起始角正弦值、余弦值、手势总长度等13个特征，构造手势特征集，并基于统计识别方法构造分类器。对于包含30个单点位置的手势路径，分类器的准确率可达97%。该算法的关键是能否准确地选择识别特征。
 
2、$1算法
 
Wobbrock J O, Wilson A D, Li Y. Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In: Proceedings of the 20th annual ACM symposium on User interface software and technology. Newport, Rhode Island, USA,ACM, 2007: 159−168 DOI:10.1145/1294211.1294238 
 
核心思想是对输入的手势轨迹进行重新采样，将采样轨迹中心点与x轴的连线旋转到0度，将旋转后的手势缩放到标准的正方形大小并进行手势平移。然后，对处理过的手势和搜索匹配模板使用“黄金选择搜索”(GSS)，得到每个模板的最佳匹配得分。得分最高的手势是最终识别的手势。由于$1算法只能识别单笔手势，研究人员提出了$N算法和$P算法。
 
（1）、$N算法
 
Anthony L, Wobbrock J O. A lightweight multistroke recognizer for user interface prototypes. In: Proceedings of Graphics Interface 2010. Ottawa, Ontario, Canada, Canadian Information Processing Society, 2010: 245−252 
 
可以在不知道方向或轨迹顺序的情况下识别多笔画手势。其原理是N个手势轨迹可以根据顺序和方向生成2N种情况。根据手势的顺序将手势轨迹从头部连接到尾部，得到估计的N个手势模板集。然后按照$1的方法将手势轨迹与模板设置匹配，以最高分手势作为最终匹配手势。由于排列和组合的多样性，它可能会导致大量的N美元内存消耗和执行成本变得很高。
 
（2）、$P算法
 
VatavuR-D, Anthony L, Wobbrock J O. Gestures as point clouds: a $P recognizer for user interface prototypes. In: Proceedings of the 14th ACM international conference on Multimodal interaction. Santa Monica, California, USA, ACM, 2012: 273−280 DOI:10.1145/2388676.2388732
 
提出删除多个动作的时间序列信息,把它变成一组点云。这将输入gesture-matching问题转化为点对点匹配的时间复杂度O (n)问题,并利用匈牙利算法减少搜索时间复杂度O (n3),可有效解决时间复杂度问题$ n的一代。目前，很多触控交互都是基于多点触控手势交互，例如Apple touchpad的多点手指手势触控。对于多点触摸手势识别，可以对多点触摸手势进行预处理。然后，计算一个虚拟单点，然后使用一个触摸手势识别它。
 
 
 
三、基于计算机视觉的识别
 
手势图像信息由一个或多个摄像头采集，采集的数据进行预处理，包括去噪和信息增强。然后，利用分割算法获取图像中的目标手势。通过视频处理和分析得到当前手势的分类和描述，最后通过手势识别算法对目标手势进行识别。基于手势的手势识别主要由手势分割、手势分析和手势识别三部分组成。
 
1、手势分割
 
第一步是对输入图像执行手势分段。手势分割过程主要包括手势定位和手势分割两部分。
 
（1）、手势定位
 
手势定位过程在包含手势的图像帧序列中从复杂背景中提取手势区域，实现手势与背景的分离。手势定位后，通过算法将当前手势从背景区域分割出来。静态手势只需要提取单个帧图像的手势特征，而动态手势则需要对提取的帧序列进行手势分析。常用的手势分割方法有基于运动信息的检测分割、基于视觉特征的检测分割和基于多模式融合的检测分割。基于运动信息的检测分割主要包括光流法和差分法。光流法不需要预先获取图像背景来表示复杂环境下的手势运动，但要求背景图像保持静止，对光照要求较高。
 
Hackenberg G, McCall R, Broll W. Lightweight palm and finger tracking for real-time 3D gesture control. In: 2011 IEEE Virtual Reality Conference. 2011, 19−26 DOI:10.1109/VR.2011.5759431
 
使用光流方法实时跟踪手势。在静态背景下，差分法对手势的分割效果较好。对于一个移动的背景，需要对背景进行建模和区分。
 
Freeman W T, Weissman C D. Television control by hand gestures. International Workshop on Automatic Face & Gesture Recognition, 1995: 179−183 
 
使用Running Average方法对背景进行建模，然后进行手势分割
 
（2）、手势分割
 
基于明显特征的分割方法主要包括肤色分割、纹理分割、手形分割和轮廓分割。
 
（a）、肤色分割
 
肤色分割方法是最常用的方法：
 
Kaufmann B, Louchet J, Lutton E. Hand Posture Recognition Using Real-Time Artificial Evolution. In: Applications of Evolutionary Computation. Berlin, Heidelberg, Springer Berlin Heidelberg, 2010, 251−260 DOI:10.1007/978-3-642-12239-2_26 
 
Flasiński M, Myśliński S. On the use of graph parsing for recognition of isolated hand postures of Polish Sign Language. Pattern Recognition, 2010, 43(6): 2249−2264 DOI:10.1016/j.patcog.2010.01.004 
 
使用集群的肤色在颜色空间建立肤色模型,如肤色建模通过RGB颜色空间：
 
Bergh M V d, Gool L V. Combining RGB and ToF cameras for real-time 3D hand gesture interaction. In: Proceedings of the 2011 IEEE Workshop onApplications of Computer Vision (WACV). IEEE Computer Society, 2011: 66−72 DOI:10.1109/WACV.2011.5711485 
 
Jones M J, Rehg J M. Statistical Color Models with Application to Skin Detection. International Journal of Computer Vision, 2002, 46(1): 81−96 DOI:10.1023/A:1013200319198 
 
Weng C, Li Y, Zhang M, Guo K, Tang X, Pan Z. Robust Hand Posture Recognition Integrating Multi-cue Hand Tracking. In: Entertainment for Education Digital Techniques and Systems. Berlin, Heidelberg, Springer Berlin Heidelberg, 2010, 497−508 DOI:10.1007/978-3-642-14533-9_51 
 
翁等人使用贝叶斯手势分割,建立肤色模型,然后结合皮肤的颜色,运动,和手势识别的轮廓形状信息,大大提高了分割精度。
 
这些分割方法不受手形的影响，但由于光照引起的肤色变化，分割错误率大大提高。
 
（b）、基于多模式融合的分割方法主要是为了克服复杂环境对分割条件的影响，并结合各种特征，如表观特征和运动信息。当使用单色可穿戴设备或背景来简化场景分割时，为了提高分割的准确性，有时会用手进行标记，这极大地影响了交互的自然度，从而限制了应用范围。其次，对手势进行建模和分析。
 
主要包括基于外观的手势建模和基于三维模型的手势建模
 
基于外观的手势建模可以分为二维静态模型和运动模型。常用的策略有颜色特征、轮廓几何、可变形gabarit：
 
Ju S X, Black M J, Yacoob Y. Cardboard People: A Parameterized Model of Articulated Image Motion. In: Proceedings of the 2nd International Conference onAutomatic Face and Gesture Recognition. IEEE Computer Society, 1996: 38 70
 
Kervrann C, Heitz F. Learning structure and deformation modes of nonrigid objects in long image sequences. 1995 
 
和移动图像参数。颜色特征是最常用的建模方法。
 
Ren H B, Xu G H, Lin X Y. Hand gesture recognition based on characteristic curves. Journal of Software, 2002, 13(5): 987−993
 
用单台相机捕捉手部运动图像，用颜色、运动、边缘等多种信息建模，建立手部运动的坐标系来识别手势[71]。利用圆周、质心、边界盒等几何特征建立轮廓几何模型。
 
Priyal P S, Bora P K. A robust static hand gesture recognition system using geometry based normalizations and Krawtchouk moments. Pattern Recognition, 2013, 46(8): 2202−2219 DOI:10.1016/j.patcog.2013.01.033
 
使用旋转归一化方法对手势区域的图像进行对齐，并使用KravtCouk矩作为轮廓特征训练模型来识别静态手势。通过一组能够描述全局运动的物体轮廓插值节点，建立了基于gabarit的可变形模型。
 
最简单的插值方法是分段线性函数。
 
Ju S X, Black M J, Minneman S, Kimber D. Analysis of Gesture and Action in Technical Talks for Video Indexing. In: Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 1997: 595 
 
Ju等人利用snake算法分析了课堂上的视频浏览和索引手势。
 
基于运动图像参数的模型与其他模型的不同之处在于，它们是由视频序列中对象的平移、旋转和方向等运动参数建模的。
 
Luo Q, Kong X, Zeng G, Fan J. Human action detection via boosted local motion histograms. Machine Vision and Applications, 2010, 21(3): 377−389 DOI:10.1007/s00138-008-0168-5
 
提出在真实场景中使用一个新的描述符和一个局部运动直方图来描述运动模式，然后通过增强方法选择特征。该方法仅利用局部特征建立了明显的手势建模，计算复杂度较低。利用基于三维的手势模型建立当前图像的三维模型，并根据相关参数计算手势状态。常用的手势模型包括三维骨架模型、三维纹理体模型和三维几何模型。
 
骨架模型是最常用的三维模型。
 
Shotton J, Fitzgibbon A, Cook M, Sharp T, Finocchio M, Moore R, Kipman A, Blake A. Real-time human pose recognition in parts from single depth images. In: CVPR 2011, 2011, 1297−1304 DOI:10.1109/CVPR.2011.5995316 
 
使用Kinect生成的深度数据进行骨建模。
 
2、手势分析
 
手势分析由特征检测和参数估计两部分组成。
 
特征检测用于从分割后的手势中提取图像特征参数。图像特征主要包括视觉特征和语义特征。视觉特征包括颜色、纹理和轮廓，语义特征代表对图像内容的理解。
 
参数估计根据模型的不同使用不同的方法。
 
Lu W-L, Little J J. Simultaneous Tracking and Action Recognition using the PCA-HOG Descriptor. In: Proceedings of the The 3rd Canadian Conference on Computer and Robot Vision. IEEE Computer Society, 2006: 6 DOI:10.1109/CRV.2006.66 
 
先用方向梯度直方图(HOG)描述运动员的面积，然后用主成分分析(PCA)将HOG投影到线性子空间中，得到PCA-HOG描述特征。曲棍球和足球的实验表明，该方法在光照、姿态和视角的变化下，对跟踪和识别结果具有较强的鲁棒性。
 
3、手势识别
 
手势识别主要是基于传统的机器学习方法和神经网络。使用传统的机器学习模型识别基于视觉的手势有很多方法。
 
Moni M A, Ali A B M S. HMM based hand gesture recognition. A review on techniques and approaches. In: 2009 2nd IEEE International Conference on Computer Science and Information Technology. 2009, 433−437 DOI:10.1109/ICCSIT.2009.5234536
 
静态手势识别采用模板识别，动态手势识别采用与时域信息相关的HMM。
 
所选择的识别方法与手势的类型有很大的相关性。
 
Keskin C, Erkan A, Akarun L. Real time hand tracking and 3D gesture recognition for interactive interfaces using HMM. In: Proceedings of International Conference onArtificial Neural Networks. 2003 
 
戴着有色手套，用一对普通的网络摄像头捕捉用户的手势数据，训练HMM模型对用户预定义的八个手势进行实时跟踪和识别。
 
近年来，随着深度学习的发展，该技术已广泛应用于手势识别领域。
 
Chai X, Liu Z, Yin F, Liu Z, Chen X. Two streams Recurrent Neural Networks for Large-Scale Continuous Gesture Recognition. In: 2016 23rd International Conference on Pattern Recognition, 2016, 31−36 DOI:10.1109/ICPR.2016.7899603 
 
同时采集彩色图像和深度图像，提取手势的骨骼特征和梯度直方图特征。然后将提取的特征融合起来，建立快速rnn，将连续的手势分割成孤立的手势。通过一个简单的递归神经网络(SRNN)。通过简单递归神经网络(SRNN)和长短时记忆(LSTM)，建立了用于连续手势识别的双流递归神经网络2S-RNN。
 
Tsironi E, Barros P, Wermter S. Gesture recognition with a convolutional long short-term memory recurrent neural network. In: Proceedings of the European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN). Bruges, Belgium, 2016, 213−218 
 
Tsironi等结合卷积神经网络(CNN)对视觉特征的敏感性和LSTM对连续事件的有效性，提出了卷积长短时记忆递归神经网络(CNNLSTM)。
 
四、多模态交互技术与手势识别
 
在日常交流中，人们不仅使用手势，还通过语音、触觉、眼神等多种感知方式来表达信息。因此，多模态交互提供了两种或两种以上模态协作交互方法。利用用户的不同感知方式与计算机交互更加自然和有效，是未来交互的方式。对于不同的模态，模态之间的信息具有互补性和冗余性。例如，当用户用语言描述对象时，他或她会无意识地摆动手臂来增强或补充描述。在虚拟现实场景中，选择合适的多模态交互技术和融合方法，对于提高交互协作效率至关重要。手势和声音的结合可以直观地表达用户的意图。用户可以通过语音命令来确认手势的含义，手势可以消除噪声对操作的影响。因此，手势在VR交互中经常被用到。
 
Bolt R A.“Put-that-there” : Voice and gesture at the graphics interface. Acm Siggraph Computer Graphics, 1980, 14(3): 262−27
 
Bolt提出的“Put that there”系统是最早的多模态交互系统之一。该系统将手势和语音结合起来，使用户可以通过语音和指向手势在大屏幕显示界面中生成和编辑图形的形状、颜色、大小等属性
 
Cohen P R, Johnston M, McGee D, Oviatt S, Pittman J, Smith I, Chen L, Clow J. QuickSet: multimodal interaction for distributed applications. In: Proceedings of the fifth ACM international conference on Multimedia. Seattle, Washington, USA,ACM, 1997: 31−40
 
开发的QuickSet系统通过实时分析语音和手势，建立了支持军事训练的地图导航系统
 
Chatterjee I, Xiao R, Harrison C. Gaze + Gesture: Expressive, Precise and Targeted Free-Space Interactions. In: Proceedings of the 2015 ACM on International Conference on Multimodal Interaction. Seattle, Washington, USA, ACM, 2015: 131−138 DOI:10.1145/2818346.2820752
 
除了语音模式，手势也可以与其他模式融合，比如凝视。手势模态与凝视相融合，在不同场景下进行离散或连续的交互。例如，当用户执行关闭web窗口的任务时，当关闭图标被注视时，可以在任何位置轻击图标
 
Velloso E, Turner J, Alexander J, Bulling A, Gellersen H. An Empirical Investigation of Gaze Selection in Mid-Air Gestural 3D Manipulation. In: Human-Computer Interaction – INTERACT 2015. Cham: Springer International Publishing, 2015, 315−330 DOI:10.1007/978-3-319-22668-2_25 
 
当移动对象的位置时，没有必要直接指向要移动的对象。用户可以用自己的视线选择要移动的物体，然后通过手势在任意起始位置的轨迹来指定物体移动的轨迹。通过视觉选择的对象将跟随手势轨迹到达最终位置
 
目前的多模态融合方法主要包括早期融合和晚期融合。早期融合是指原始数据在信号级的融合。这种融合方法适用于模式间的紧密耦合。后期融合采用统一的数据表示，对每种模态的数据进行独立处理，然后进行语义融合和分析。该融合方法更适合于不同时间尺度特征的多模态融合;因此得到了广泛的应用
 
Sim K C. Speak-as-you-swipe (SAYS): a multimodal interface combining speech and gesture keyboard synchronously for continuous mobile text entry. In: Proceedings of the 14th ACM international conference on Multimodal interaction. Santa Monica, California, USA,ACM, 2012: 555−560 DOI:10.1145/2388676.2388793
 
提出了一种将语音和手势键盘两种模式相结合的say多模态交互系统，提高了文本输入的效率和准确性。利用隐马尔可夫模型对手势和语音模型进行训练，然后利用概率方法对模型进行融合。融合模型表明，两种模式提供的互补信息能够有效区分一些混淆词，从而提高了文本输入预测的准确性。在20000字输入系统中，仅使用手势键盘的文本预测准确率为92.2%。但在正常噪声条件下，与两种模式相结合，文本预测准确率为96.4%。在噪声环境下，文本预测准确率为94%
 
Kopp S, Tepper P, Cassell J. Towards integrated microplanning of language and iconic gesture for multimodal output. In: Proceedings of the 6th International Conference on Multimodal Interfaces. New York, NY,ACM Press, 2004: 97−104
 
由Kopp等人建立的NUMACK导航系统将语音和手势结合起来，可以回答用户提出的关于校园建筑及其位置的问题。该系统首先将获取的特定地标性手势(如手势表示和运动轨迹)映射到图像描述特征，然后将获取的语音信息转换为文本，并使用描述语句规划(SPUD)系统对获取的文本信息进行分析。然后对现有的SPUD系统进行扩展，将图像描述转换为语法树的一部分，并基于文本信息构造集成到语法树中。最后，构建了基于多模态融合的层次本体结构。这样，手势表示使用户在交流过程中保持较高的注意力，通过文本的准确表达减少手势信息中的歧义，从而获得更好的表达准确性和表意效果
 
 
表中列出了近年来发展起来的具有代表性的手势识别和交互技术。在实际操作中，可以根据不同的交互场景选择合适的交互设备，建立手势识别系统。不同的手势识别系统具有不同的特征。基于数据手套等可穿戴设备的手势识别系统能够直接获取用户与虚拟世界对象接触的信息，具有较高的准确性。然而，传感器的性能、数量和位置对识别能力有很大的影响。MEMS进一步提高了传感器获取数据的能力，但由于它主要捕捉对象的运动信息，所以主要用于动态手势识别。肌电作为一种重要的生理信号，通过运动过程中生理信号的变化来识别使用者当前的状态。它通常用于动态手势交互场景。对于肌肉表面信号的识别方法，电极的位置、数量和环境对识别能力有很大的影响。基于触摸技术的手势识别的外部干扰相对较小。单触摸识别效果较好。对于多点触控，通常将其转化为单点触控问题进行预处理识别。基于计算机视觉的手势识别包括单目、双目、多视点和深度相机识别方法。主要包括手势分割、手势特征提取与分析以及识别模型的建立。对于单目相机来说，信息量相对较小，识别速度较快，但结果受外部环境的干扰较大，精度较低。该双目相机可以利用相机的相对位置坐标恢复手势的空间位置，建立三维手势模型。具有识别范围大、精度高等特点。然而，该装置需要校准，其精度受基线和分辨率的限制。此外，它包含更多的信息，需要更高的计算能力。深度照相机不需要校准。利用结构光或ToF方法可以获得手势的深度信息，但测量范围相对较小，容易受到阳光的影响。因此，它主要应用于室内场景。由于单个手势模态所表达的信息相对有限，将手势与其他模态结合使用，不仅提供了更多的交互信息，而且使交互更加自然。这将是未来VR的主要交互方式。如何针对不同的交互场景选择合适的融合方法，建立有效的多模态融合模型，是未来研究的重点。

人脸识别四个步骤,分别为人脸图像采集及检测,人脸图像预处理(对齐),人脸图像特征提取和人脸图像匹配与识别.
 
1 人脸图像采集及检测
 
人脸图像采集
 即通过摄像镜头获取人脸的数字图像.
人脸检测(判断是否有人脸)
 人脸检测是人脸识别的预处理,在图像中标定出人脸的位置和大小.人脸图像中包含的模式特征十分丰富,如直方图特征,颜色特征,模板特征,结构特征及哈尔特征(Haar-like feature)等.人脸检测是将这些有用的信息提取出来,利用这些特征进行人脸检测.
 (1) 对检测的对象进行概率统计,得到检测对象的特征,建立检测模型;
 (2) 用得到的模型匹配输入的图像,如果有匹配则输入匹配的区域,无则无动作;
人脸检测算法
 模板匹配模型,Adaboost模型,其中Adaboost模型在速度与精度的综合性能上表现最好,特点是训练慢,检测快,基本可达到视频流实时检测.
 
2 人脸图像预处理
 
实现人脸对齐，即检测到输入图片中的人脸目标,需要对人脸图像预处理,因为同一个人不同图像序列中的姿态,表情会发生变化,不利于人脸特征提取,因此需要将人脸图像变换到统一的角度和姿态,人脸会受到各种条件的限制和随机干扰,通过找到的人脸基准点如眼角,鼻尖,嘴尖等部位,并进行如下操作:
 
序号
预处理
1
缩放
2
旋转
3
拉伸
4
光线补偿
5
灰度变换
6
直方图均衡化
7
规范化
8
几何校正
9
过滤
10
锐化
3 人脸图像特征提取
 
人脸特征提取是将人脸图像信息数字化，将一张人脸图像转换为一串数字(一般称为特征向量)。如对一个人脸，找到他的眼睛左边、嘴唇右边、鼻子、下巴等位置，利用特征点间的欧氏距离、曲率和角度等提取出特征分量，最终将相关的特征连接成一个长的特征向量。
 
4 人脸图像匹配与识别
 
人脸匹配与识别是将提取的人脸图像的特征数据与数据库中存储的人脸特征模板进行搜索匹配。根据相似度对身份进行判断，设定一个阈值，当相似度超过这个阈值，则将匹配得到的结果输出。
 识别与匹配有确认和辨认两种形式，确认即一对一进行比较，核实身份；辨认即一对多进行图像匹配，从N个人中找到目标。
 
5 识别算法
 
人脸识别发展如下表:
 
时间
方法
训练数据
方法描述
LFW精度
1990
Eigenface
<1万
主成分分析
60.02%
2006
LBP+CSML
<1万
局部二值模式
85.57%
2013
High-dim LBP
10万
高维LBP+Joint Bayesian
95.17%
2014
DeepFace
400万
CNN+softmax
97.35%
2014
Deep ID
20万
CNN+softmax
97.45%
2015
VGG
260万
VGG+Softmax
98.95%
2016
FaceNet
2亿
Inception+Triplet-loss
99.63%
5.1 20世纪的人脸识别:基于集合特征,基于模板匹配和子空间算法
 
(1) 子空间算法将人脸当成一个高维向量,将向量投影到低维空间中,投影之后得到的低维向量达到对不同的人具有良好的区分度,代表算法是Eigenface(PCA,主成分分析)和FisherFace(LDA,线性判别分析).PCA核心即是对高维向量投影后尽可能多的保留原始数据的主要信息,降低数据的冗余信息.LDA核心是最大化类间差距和最小化类内差距,保证同一个人的不同人脸图像投影后聚集在一起,不同的人脸图像投影之后用大间距分开.两者均使用求解矩阵的特征值和特征向量,通过降维处理图像数据.
 (2)人脸在高维空间中的分布是非线性的,可使用非线性降维算法,代表有流形学习和核(kernel)技术,流形学习假设向量在高维空间中的分布具有某些几何形状,然后保持这些几何形状约束的前提下将向量投影到低维空间中,这种投影是经过非线性变换完成的.
 (3) 隐马尔科夫模型(HMM)对光照,表情和姿态的变化更加鲁棒,神经网络也有应用,但使用的数据集较少,效果一般.
 
5.2 21世纪开始人脸识别方法转向:人工特征+分类器
 
(1) 分类器有较成熟的案例,如神经网络,支持向量机,贝叶斯等,人工特征提取是该类方法的优势.
 (2) 描述图像特征方法应用与人脸图像特征提取,如HOG,SIFT, Gabor和LBP等,典型有LBP,该方法简单有效,解决了光照敏感问题,但存在姿态和表情识别准确率低的问题.其中巅峰之作为"High-dim LBP",验证了高维特征和验证性存在正相关的关系,及人脸维度愈高,验证的准确度就愈高,该方法融合了各种特征,未成为主流.
 
5.3 深度学习的时代:利用深度学习提取特征(CNN)
 
(1) 利用CNN对海量数据进行学习,提取图像特征.
 (2) Facebook提出DeepFace方法,该方法是CNN应用于人脸识别领域的奠基,使用3D模型来做人脸对齐任务,CNN针对对齐后的人脸Patch进行多类的分类学习,使用交叉熵损失函数(softmax)进行问题优化,最后通过特征嵌入得到固定长度的人脸特征向量.
 (3) DeepID是香港中文大学唐晓鸥团队提出的方法,使用四层卷积,最后一层为softmax,中间为隐藏层,提取人脸特征,使用Multi-patch分别训练模型最后组合成高维特征,人脸验证阶段使用联合贝叶斯方法,通过学习一个多类(10000类,每类约20个实例)人脸识别任务学习特征,随人脸数据集增加,DeepID泛化能力越强.
 (4) 谷歌推出FaceNet方法,使用三元组损失函数替代了常用的softmax交叉熵损失函数,在一个超球空间进行优化类内距离更紧凑,类间距离更远,最后得到一个紧凑的128维人脸特征,网络使用GoogleNet的Inception模型,模型参数量较小,精度更高,损失函数可追溯到:LDA算法.
 
6 总结
 
人脸识别广泛应用于身份核实和信息安全以及安防领域。优势如下
 
（相对于其他生物识别技术而言）非接触，用户无需和设备直接接触；
非强制性，被识别的人脸图像信息可以主动获取；
并发性，实际应用场景可以进行多个人脸的分拣、判断和识别；
 
 
[参考文献]
 [1]https://zhuanlan.zhihu.com/p/36416906
 [2]https://blog.csdn.net/qq_40027052/article/details/79020643