人脸检测与识别方法
时间：2020-08-11 17:35:51 来源：柠檬阅读网 本文已影响 人 
1、人脸检测 人脸检测作为人脸信息处理中的一项关键技术，近年来成为模式识别与计算机视觉领域内一项受到普遍重视、研究十分活跃的课题，己经广泛应用于各种不同领域中。人脸检测技术的研究，由于受到背景、姿态、尺寸、光照以及检测时间等的影响，大部分算法都是在一定的约束条件下提出的。因此，研究鲁棒性较高的人脸检测问题是十分有必要的。人脸检测是把所有的人脸作为一个模式，而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开来的过程。人脸识别是把每一个人的人脸作为一个模式来对待，不同人的人脸属于不同的模式类，人脸识别的过程是将属于不同人的脸归于各自的模式的过程。换句话说，人脸检测强调的是人脸之间的共性，而人脸识别则要区分不同人脸之间的差异。人脸检测的任务是从一幅图像中判断是否存在人脸，找出人脸所在位置与其占区域，即回答“有没有人脸，人脸位置在哪里?”的问题。这一任务受光照条件、成像器材质量、遮挡、人脸大小、角度、表情等多方面因素的影响，要实现自动精确的人脸检测是一件比较困难的事情。人脸检测的研究历史和国内外研究现状 早期的人脸检测问题可以追溯到20世纪70年代，当时主要采用的是一些启发式的和人体测量技术的方法。这些技术大部分依赖于各种假设条件，如简单的背景，正面的人脸等。在这些早期的系统里，任何图像环境的改变都意味着需要重新调整好系统，甚至重新设计系统。因为这些问题的困扰，人脸检测的研究一直处于止步状态。直到20世纪90年代，由于人脸识别系统和视频解码的大量运用，人脸检测的研究才得到了新的发展:利用运动、颜色和综合信息等更具有鲁棒性的方法被提出来;变形模板，弹性曲线等在特征提取方面的许多进展使得人脸特征的定位变得更为准确。目前，国内外对人脸检测问题的研究非常多，比较著名的有国外的MIT,CMU等，国内的清华大学、北京工业大学、中国科学院计算技术研究所和中国科学院自动化研究所等。随着各方面研究人员对于人脸检测研究的重视，国际上发表的有关论文数量也大幅度增长。在国际著名的学术杂志，如IEEETransactions on Pattern Recognition and Machine Intelligence、ComputerVision and Image Understanding, Pattern Recognition等，以及著名的学术会议，如IEEE ICFG (International Conference on Automatic Face andGesture Recognition)、ICIP(International Conference on ImageProcessing)、CVPR(Conference on Computer Vision and Pattern Recognition)等上，每年发表的关于人脸检测的研究论文，占有关人脸研究论文的近三分之一。2.人脸识别的主要技术方法归纳起来，人脸识别方法分为基于几何特征的方法、模板匹配方法、子空间方法、隐马尔可夫方法、神经网络方法、弹性图匹配方法和柔性模型方法几大类。2. 1基于几何特征的方法 这类识别方法首先将人脸用一个几何特征矢量表示，进而用模式识别中的层次聚类思想设计分类器对人脸进行识别。在这种基于几何特征的识别中，识别总归为特征矢量之间的匹配，基于欧氏距离的判决是最常用的识别方法。
侧影识别是最早的基于几何特征的人脸识别方法【13】，主要是从人脸侧面轮廓线上提取特征点入手。一般将侧影简化为轮廓曲线，从中抽取若干基准点，用这些点之间的儿何特征来进行识别。由于现在的证件照片多为正面，而且侧面照片约束很多，所以对侧面人脸识别的研究最近己不多见。正面人脸识别最关键的一步是合适的归一化，使之不依赖于图像中人脸位置的尺度和旋转变化。识别所采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等局部形状特征，脸型特征以及五官在脸上分布的几何关系特征。以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。例如，Poggio和Brunelli【44】用积分投影法提取出35维人脸特征矢量用于模式分类。基于几何特征的识别方法具有如下优点:①符合人类识别人脸的机理，易于理解;②对每幅图像只需存储一个特征矢量，存储量小;③对光照变化不太敏感。这种方法存在如下问题:①从图像中抽取稳定的特征比较困难，特别是当特征受到遮挡时;②对强烈的表情变化和姿态变化的鲁棒性较差;③一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失。2.2模板匹配(静态匹配和弹性匹配)方法模板匹配【45、46】方法的思想是:库中存储着已知人脸的若干模板，这些模板即可以是整张人脸的灰度图像(View-based)，也可以是各生理特征区域的灰度图像(sub-view-based)，如眼睛模板、鼻子模板、嘴模板，还可以选择经过某种变换的人脸图像作为模板存储。为了取得光照的不变性，有些系统采用经过梯度滤波后的人脸图像作为模板。识别的时候，经过同样变换的输入图像的所有像素点位置与库中所有模板采用归一化相关度量进行匹配识别，来达到分类的目的，完成人脸的识别。上述为静态模板匹配，但是它存在着对不同表情的人脸鲁棒性差的缺点，针对这一情况，人们提出了弹性模板匹配。
弹性模板匹配是根据待检测人脸特征的先验的形状信息(通常利用小波特征)定义一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态交互适应来得以修正。由于模板变形利用了特征区域的全局信息，因此可以较好地检测出相应的特征形状。由于可变形模板要采用优化算法在参数空间内进行能量函数极小化，因此算法的主要缺点在于两点:第一，对参数初值的依赖程度高，很容易陷入局部最小;第二，计算时间长。针对这两方面的问题，可采用了一种由粗到细的检测算法:首先利用人脸器官构造的先验知识、面部图像灰度分布的峰谷和频率特性粗略检测出眼睛、鼻子、嘴、下巴的大致区域和一些关键的特征点;然后在此基础上，给出较好的模板的初始参数，从而可以大幅提高算法的速度和精度。2. 3特征子空间方法(特征脸方法)常用的线性子空间方法有:本征子空间、判别子空间、独立分量子空间等。此外，还有局部特征分析法、因子分析法等。这些方法也分别被扩展到混合线性子空间和非线性子空间。Turk等【25】采用特征脸(Eigenfaces)方法实现人脸识别。由于每个本征矢量的图像形式类似于人脸，所以称本征脸。对原始图像和重构图像的差分图像再次进行K-L变换，得到二阶本征空间，又称二阶本征脸【17】。Pentland等【18】提出对于眼、鼻和嘴等特征分别建立一个本征子空间，并联合本征脸子空间的方法获得了较好的识别结果。Shan等〔19]采用特定人的本征空间法获得了好于本征脸方法的识别结果。Albert等【50】提出了TPCA (Topological PCA)方法，识别率有所提高。Penev等【11】提出的局部特征分析(LFA,Local Feature Analvsis)法的识别效果好于本征脸方法。当每个人有多个样本图像时，本征空间法没有考虑样本类别间的信息，因此，Belhumeur等【51】和Swe t 【52】等基于线性判别分析(LDA, Linear Discriminant Analysis)的方法识别人脸。其中，Belhumeur等提出的方法就是Fisherfaces方法，获得了较好的识别结果。Bartlett等【53】采用独立分量分析(ICA, Independent Component Analysis)的方法识别人脸，获得了比PCA方法更好的识别效果。与PCA相比，工以有两个优势:一是ICA获得的独立分量不需要满足正交关系，能够消除像素间的高阶统计相关性，而PCA只能消除像素间的二阶统计相关性;二是ICA获得的一组矢量比本征矢量更具空间局部描述性，具有更好的人脸描述能力。实际上，由于光照、姿势和表情等的影响，人脸在空间的分布是很复杂的。Moghaddam等【54/55】通过线性混合的PCA方法，估计人脸的类内和类间差异的概率分布，采用贝叶斯方法识别人脸。Cappelli等【56】通过分割样本集，由每个子集求得相应的子空间，然后对每个样本选用适当的子空间或多个子空间共同描述特征。Kim等【57】利用多个本征空间的混合模型，提出基于多投影空间的混合LDA方法，获得了较好的识别效果。Frey等采用MFA (Mixture of FactorAnalyzers)方法识别人脸【58】.借鉴SVM的Kernel方法，PCA, LDA和ICA等被扩展到Kernel PCAt【59】,Kernel LDA【60】，和Kernel ICAO【61】。与线性子空间方法相比，基于Kernel的方法获得了更好的识别效果【62】，然而计算量较大。另一些实验表明采用混合线性模型的方法好于基于Kernel的方法【54】。2. 4隐马尔科夫方法隐马尔科夫模型(Hidden Markov Model, HMM) 【63】，是用于描述信号统计特性的统计模型。基于人脸从上到下、从左到右的结构特征，Samaria等【61】首先采用1-DHMM和2-D Pseudo HMM用于人脸识别。基于I-D HMM, Koh i r等【65】，采用低频DCT系数作为观察矢量获得了较好的识别效果。Eickeler等【66】采用2-D Pseudo HMM识别DCT压缩的JPEG图像中的人脸图像。Nefian等采用嵌入式HMM识别人脸【67】，后来集成coupled HMM和HMM，通过对超状态和各嵌入状态采用不同的模型构成混合系统结构【68】。
Othman等提出采用半连续的2-D HMM来解决每类训练样本不足的问题【69】。2.5神经网络方法 作为一种非线性动力学系统，神经网络在解决问题的自适应性和鲁棒性方面表现出极好的性能。Demers等[70]提出采用PCA方法提取人脸图像特征，用自相关神经网络进一步压缩特征，最后采用一个MLP来实现人脸识别。Laurence等[71]通过一个多级的SOM实现样本的聚类，将卷积神经网络CNN用于人脸识别。CNN利用了每个像素及其相邻像素之间的相关性，对图像的平移、旋转和变形具有一定的鲁棒性。Lin等[72]采用基于概率决策的神经网络(PDBNN,Probabilistic Decision-Based Neural Network)方法进行人脸识别。最近，径向基函数RBF神经网络因具有逼近性好、空间描述紧凑和训练速度快等特点而被用于人脸识别。Gutta等[73]叫提出了将RBF与树分类器结合起来进行人脸识别的混合分类器结构，后来他们基于RBF神经网络进行了针对部分人脸的识别研究[74]，结果表明利用部分人脸也可以有效地识别人脸。Er等[75]采用PCA进行维数压缩，再利用LDA抽取特征，然后基于RBF进行人脸识别。Haddadnia等[76]，基于PZMI (Pseudo Zernike Moment工nvariant)特征，并采用混合学习算法的RBF神经网络进行人脸识别。此外，Lucas等[77]采用连续的n-tuple网络识别人脸。
神经网络方法在人脸识别上比其他类型的方法有其独到的优势，它避免了复杂的特征提取工作，可以通过学习的过程获得其他方法难以实现的关于人脸识别的规律和规则的隐性表达。此外，神经网络以并行方式处理信息，如果能用硬件实现，就能显著提高速度。神经网络方法除了用于人脸识别外，还适用于性别识别、种族识别等。其缺点是神经元数目多，训练时间长，识别速度慢，不能满足实时系统的需要。2. 6弹性图匹配方法 弹性图匹配方法是一种基于动态链接结构(Dynamic Link Architecture,DLA)的方法[78]。它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。匹配时，首先寻找与输入图像最相似的模型图，再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其节点逼近模型图的对应点的位置o Wiskott等人使用弹性图匹配方法，以FERET图像库做实验，准确率达到97. 3%[79]。弹性图匹配方法对光照、位移、旋转及尺度变化都不敏感，是一种优于特征脸方法的人脸识别方法。此方法的主要缺点是对每个存储的人脸需计算其模型图，计算量大，存储量大。为此，Wi skott[80]在原有方法的基础上提出聚束图匹配，在一定程度上克服了这些缺点。在聚束图中，所有节点都已经定位在相应目标上。对于大量数据库，这样可以大大减少识别时间。另外，利用聚束图还能够匹配不同人的最相似特征，因此可以获得关于未知人的性别、胡须和眼镜等相关信息。Lee等[81]提出了一种基于弹性图动态链接模型的方法，既取得较高的识别速度，也获得了较理想的识别率，在一定程度上克服了以往方法总是在速度与识别率之间进行折中的缺点。2.7柔性模型方法 Lanitis等[82]通过在人脸特征边缘选择一些稀疏的基准点描述人脸的形状特征，然后将形状变形到所有人脸图像的平均形状，再根据变形后的形状进行纹理(灰度)变形，形成形状无关的人脸图像。首先分别对形状和灰度进行主成分分析，然后根据形状和纹理的相关性，用主成分分析方法对各自的结果进一步分析最终得到描述人脸的AAM (Active Appearance Model)模型。通过改变这些参数可得到不同变化的人脸图像，模型参数能够用于人脸识别。类似地，Romdhani等【83】采用激光扫描仪获得人脸的3。数据，分别对一些基准点构成的形状和基准点的灰度(或彩色)信息完成主成分分析，得到3D人脸形状和灰度(彩色)基图像，通过变化参数就可获得不同的3D人脸模型。通过施加一些先验约束可以避免合成不真实的人脸图像。利用线性形状和纹理误差，通过3D模型向2D输入图像的自动匹配实现人脸识别。
