《人脸识别技术研究解读11491.pdf》由会员分享，可在线阅读，更多相关《人脸识别技术研究解读11491.pdf（46页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 第 1 页（共 45 页）引言 人脸识别技术研究 1 引言 1.1 选题背景 目前，在个人身份鉴别中主要依靠 ID 卡和密码等传统手段，这些传统手段的安全性能较低，且都是基于，“What he Dossesses”或“What he remembers”的简单身份鉴别，离真真意义上的身份鉴别“Who he is”还相差甚远。依靠传统方法来确认个人身份越来越不适应现代科技的发展和社会的进步。生物特征识别技术给可靠的身份鉴定带来了可能。最近，国际生物特征组织(IBG)对生物特征识别技术做了较详细的市场分析和预测，其结果显示，全球生物特征识别技术2014年的产值约为69 亿美元，预计到 2016
2、年将超过 93 亿美元，市场潜力非常巨大。生物识别技术是指利用一个人特有的生理和行为特征进行自动的身份认证。只有满足以下几个条件的生理或行为特征才能被用做生物识别特征 1)普遍性。即每个人都要具备这种特征。2)唯一性。即不同的人应该具备不同的这种特性。3)持久性。即这种特征不随时间地点的改变而变化。4)可采集性。即该特征可以被定量地测量。研究和经验表明，人脸、指纹、手型、掌纹、虹膜、视网膜、签名、声音等都满足这些条件，可以用于识别人的身份。基于这些特征，人们发展了人脸识别、指纹识别、语音识别、虹膜识别等多种生物识别技术。在所有的生物特征识别技术中，利用人脸特征进行身份识别是最自然、最直接和最友
3、好的于段。与其它生物特征识别技术相比，人脸的获取非常容易，几乎可以在被采集对象无意识的状态下获取人脸图像，这样的取样方式没有“侵犯性”。人脸识别技术是种重要的生物特征识别技术，应用非常广泛。人脸是自然界存在的一种特殊的复杂视觉模式，它包含及其丰富的信息。首先，人脸具有一定的不变性和唯一性，人脸识别是人类在进行身份确认时使用最为普遍的一种方式，人脸图像还能够提供一个人的性别、年龄、种族等有关信息。其次，人脸也 第 2 页（共 45 页）人脸识别技术研究 具有多样的变化能力，从人脸的不同表情人们可以感知到一个人的情绪、感受、甚至秉性和气质。它无需特殊的采集设备，系统的成本低，而且自动人脸识别的使用
4、非常自然，可以在被识别对象毫无察觉的情况下进行，是种非常受使用者欢迎的方式。虽然人类在表情、年龄或发型等发生巨大变化的情况下，可以毫不费力地以人脸来识别某人，但要建立一个能够完全自动进行人脸识别的系统却是非常困难的，诸多因素使得人脸识别研究成为一项极其挑战性的课题它牵涉到模式识别、图像处理、计算机视觉、生理学、心理学、以及认知科学等方面的诸多知识，并与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系。与指纹、视网膜、虹膜、基因、掌形等其它生物特征识别系统相比，人脸识别具有直接、友好、方便和非接触等许多优点，多年来一直受到许多研究者的关注。人脸识别研究，起源于 19 世纪末法
5、国人 Sir Franis Gahon 的工作。到 20 世纪 90 年代，开始作为一个独立学科快速发展起来。人脸识别研究的发展大致分成三个阶段第一阶段是以 Allen 和 Parke 为代表，主要研究人脸识别所需要的面部特征。研究者用计算机实现了较高质量的人脸灰度模型。这阶段的工作特点是识别过程全部依赖于操作人员。第二阶段是人机交互式识别阶段，其中用几何特征参数来表示人脸正面图像是以 Harmon 和 Lesk 为代表，将人脸面部特征用多维特征矢量表示出来，并设计了基于这一特征表示法的识别系统。而以 Kaya 和Kobayashi 为代表，则采用了统计识别的方法、用欧氏距离来表示人脸特征，这
6、两类方法都摆脱不了人的干预。第三阶段是真正的机器自动识别阶段，近十余年来，随着高速度高性能计算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统，人脸识别技术进人了实用化阶段。如 Eyematic 公司研发的人脸识别系统。我国清华大学的“十五”攻关项目人脸识别系统也通过了由公安部主持的专家鉴定。人脸识别有着广泛的应用领域 (1)在安全防范领域中的应用。社会上有许多重要的部门，如军事、金融、保密等部门都需要对出入人员进行身份识别，以防止信息泄漏和不法现象的发生。使用该技术可以方便地进行身份识别，而不使被识别者感到不舒服。(2)在犯罪刑侦领域中的应用。在刑侦工作中，对罪犯的抓捕
7、是至关重要的一环。应用人脸识别技术可以依据犯罪嫌疑人的人脸图像对机 第 3 页（共 45 页）引言 场、车站、港口等重要交通场所进行监控，从而大大促进了罪犯抓捕工作的开展。(3)在公共事业领域中的应用。在现代社会，许多领域都需要对人进行身份验证。如银行、保险、交通等公工事业部门。采用传统的密码、IC 卡等手段和技术对人进行身份验证具有安全性差，易遗失、易伪造等缺点。而采用人脸识别技术进行身份验证则能够很好地克服传统身份验证手段和技术的缺点。因此成熟的人脸识别技术不但具有极大的学术研究价值，而且具有广泛的社会需求和市场领域。一个成功的具有商用价值的人脸识别系统必将对现实社会带来极大的影响。当前，
8、人脸识别己成为计算机视觉、模式识别和人工智能等领域的一个研究热点。我们有理由相信，随着技术的不断发展，人脸识别技术将不断完善，并得到更为广泛的应用。1.2 论文的研究历史背景及目的 近年来，由于视频监控，人机交互和视频检索等应用的需求，视频中的人脸 检测研究得到迅速发展。视频中人脸检测可以划分为三个环节:先提取视频文件中的帧，对图像进行人脸检测，再还原成视频，完成视频中人脸的检测。人脸检测最初来源于人脸识别。是指对于任意一副给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回一脸的位置、大小和姿态，并把有人脸的地放识别出来。早期，人脸检测技术主要服务于人脸识别课题的研究；
9、但是，随着生物识别技术的快速发展，入脸检测技术己经被广泛的应用于其它相关领域，产生一定的商业价值。例如：国家军事、安全系统验证、视频会议、人机智能交，各类金融卡、身份验证等等方面具有重要的应用价值，所以，现在人们有许多人对人脸识别越来越重视了。人脸检测的研究同时也具有非常重要的的学术价值，人脸是一类具有相当复杂的细节变化的自然结构目标，对此类目标的挑战性在于：人脸由于外貌、表情、肤色等不同，具有模式的可变性；一般意义下的人脸上，可能存在眼镜、胡须等附属物；作为三维物体的人脸影像不可避免地受由光照产生的阴影的影响。因此，第 4 页（共 45 页）人脸识别技术研究 如果能够找到解决这些问题的方法，
10、成功地构造出人脸检测系统，将为解决其他类似的复杂模式的检测问题提供重要的启示。人脸检测的目的是检测一张图像是否由人脸，如果有人脸，就把它从图像背景中分离出来，然后对特征进行人脸识别。而在视频中的人脸检测在信息处理中，已经成为是一项相当难突破的技术，越来越受到计算机视觉界的广泛关注，作为这个有价值课题，已经渗透到各不同领域中。1.3 国内外研究现状 三维人脸识别越来越受到研究人员的重视。国内外都兴起了对三维人脸识别技术研究的浪潮。1.3.1 国内进展 在国内，最早研究人脸检测识别的，当属于中科院计算所跟哈工大的一个联合面像实验室。该实验室的高文教授，陈熙林教授，山世光教授，直到今天，都一直活跃在
11、人脸识别领域，更可贵的是，在 IEEE上面发表了很多 paper。这一点，很值得国内的同行学习。后来，该实验室，成为上海银晨的研发中心，专门为上海银晨做技术研发和技术支持。其次是中科院生物识别研究所的李子青教授，以及下属的中科奥森公司。李子青教授，当年在微软亚洲研究院的时候，就从事人脸识别方面的研究工作。后来，在中科院组建了专门的人脸识别研究团队。该研究团队，首先提出了基于近红外的人脸识别技术，并将该项人脸识别技术用于 08 年北京奥运会。同时，基于近红外的人脸识别技术，得到了国际上同行业专家的认同和一致肯定。接着，是清华大学的丁晓青教授。丁晓青教授在 OCR(字符识别)领域，可谓国内第一人。
12、不过，最近几年转行做人脸识别，也是非常有成就的。不说别的，就只从 FRVT2006（美国国家标准研究所 2006年全球人脸识别供应商系统性能测试）的测试结果来看，丁晓青教授的研究团队是唯一一个完成大规模 3D 人脸识别性能测试的参赛团队。由此可见，在国内人脸识别领域来说，她们的算法，在 3D 领域，绝对排名第一。1.3.2 国外进展 第 5 页（共 45 页）引言 国外主要有美国、欧洲国家、日本等著名的科研机构有美国的 MIT和 CMU，英国的剑桥大学。在人脸识别领域中，国际上逐步形成了一下几个研究方向：基于几何特征的方法、基于肤色模型的方法、基于模板匹配的方法、基于 KL 变换的特征脸方法、
13、基于隐马尔可夫模型的方法和神经网络识别的方法等等。它们可以被归类到基于显式特征和基于隐式特征的两大类方法中。发展至今，人脸识别的方法越来越多，最有代表的是基于 Haar特征的人脸识别方法是其中较为典型的方法，该算法不仅具有较高的检测率，同时也能够满足实时检测的要求。基于 Haar特征的人脸识别方法始于 2001年 Paul Viola和Michael Jones两者撰写的一篇论文，他们在论文中提出了 Haar特征和 Adaboost算法，并利用它们进行人脸检测。但是此方法只能用于检测正面无旋转的人脸。为此，Rainer Lienhart等人于 2002年对此方法进行了扩展,增加了倾斜特征的定义
14、，此后此方法被扩展到全旋转缩放情况下的人脸检测。自从以上几位学者运用基于 Haar特征和 Adaboost算法进行人脸检测取得长足进步之后，基于 Haar特征的人脸检测方法备受专家学者的青睐，国内外相关内容的研究成果也是层出不穷。1.4 本文的主要工作 本文是在人脸特征库的基础上做人脸特征提取和识别研究，主要内容分为四章，分别如下：（1）第一章：主要介绍了本文的历史背景，着重介绍了人脸检测技术的研究现状以及国内外研究现状，并明确了本文的工作内容和章节安排。（2）第二章：主要分析几种主流的人脸识别算法和每种算法的优点和劣势，本文在这里主要介绍了三种即：基于几何特征的方法、基于模板的方法和基于模型
15、的方法。1.基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；2.基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方 第 6 页（共 45 页）人脸识别技术研究 法等。3.基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。（3）第三章：本章针对光照不均问题，提出了基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法份两步进行：光照估计和光照补偿。（4）第四章：基于几何特征的人脸识别并利用几何特征的方法实现人脸特征识别。第 7 页（共 45 页）人脸识别算
16、法分析 2 人脸识别算法分析 主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；2.基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。3.基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。2.1 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以
17、做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但 Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。可变形模板法可以视为几何特征方法的一种改进，其基本思想是:设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的
18、几何特征。这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。第 8 页（共 45 页）人脸识别技术研究 2.2 局部特征分析方法 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它
19、是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了 FaceIt人脸识别软件的基础。2.3 特征脸方法 特征脸方法是 90 年代初期由 Turk和 Pentland提出的目前最流行的算法之一，具有简单有效的特点,也称为基于主成分分析(principal component analysis,简称 PCA)的人脸识别方法。特征子脸技术的基本思想是：从统计的
20、观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，
21、而且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。现在 Eigenface(PCA)算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法；而自 1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。其技术的核心实际为“局部人体特征分析”和“图形/神经识别算法。”这种算法是利
22、用 第 9 页（共 45 页）人脸识别算法分析 人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。Turk和 Pentland提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸 ,识别时将测试 图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。Pentland等报告了相当好的结果，在 200个人的 3000幅图像中得到 95%的正确识别率，在数据库上对 150幅正面人脸象只有一个误识别。但系统在进行特征脸方法之前需要作大量预处理工作如归一化等。在传统特征脸的基础上，研
23、究者注意到特征值大的特征向量(即特征脸)并不一定是分类性能好的方向，据此发展了多种特征(子空间)选择方法，如 Peng的双子空间方法、Weng的线性歧义分析方法、Belhumeur的 FisherFace方法等。事实上，特征脸方法是一种显式主元分析人脸建模，一些线性自联想、线性压缩型网则为隐式的主元分析方法，它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量，Valentin对此作了详细讨论。总之，特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较像，所以它有着很大的局限性。基于 K
24、L 变换的特征人脸识别方法基本原理:KL变换是图象压缩中的一种最优正交变换，人们将它用于统计特征提取，从而形成了子空间法模式识别的基础，若将 KL 变换用于人脸识别，则需假设人脸处于低维线性空间，且不同人脸具有可分性，由于高维图象空间 KL 变换后可得到一组新的正交基，因此可通过保留部分正交基，以生成低维人脸空间，而低维空间的基则是通过分析人脸训练样本集的统计特性来获得，KL 变换的生成矩阵可以是训练样本集的总体散布矩阵，也可以是训练样本集的类间散布矩阵，即可采用同一人的数张图象的平均来进行训练，这样可在一定程度上消除光线等的干扰，且计算量也得到减少，而识别率不会下降。2.4 基于弹性模型的方
25、法 等人针对畸变不变性的物体识别提出了动态链接模型()，将物体用稀疏图形来描述(见下图)，其顶点用局部能量谱的多尺度描述 第 10 页（共 45 页）人脸识别技术研究 来标记，边则表示拓扑连接关系并用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。等人在此基础上作了改进，用图像库做实验，用 300幅人脸图像和另外 300幅图像作比较，准确率达到 97.3%。此方法的缺点是计算量非常巨大。Nastar将人脸图像()(，)建模为可变形的 3网格表面(，(，)(如下图所示 )，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。利用有限元分析的方法进行曲面变形，并根据变形的情况判断两张图
26、片是否为同一个人。这种方法的特点在于将空间 (，)和灰度(,)放在了一个 3空间中同时考虑，实验表明识别结果明显优于特征脸方法。Lanitis等提出灵活表现模型方法，通过自动定位人脸的显著特征点将人脸编码为 83个模型参数，并利用辨别分析的方法进行基于形状信息的人脸识别。弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，由于该算法较好的利用了人脸的结构和灰度分布信息，而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，适应性强识别率较高，该技术在 FERET测试中若干指标名列前茅，其缺点是时间复杂度高，速度较慢，实现复杂。2.5 其它方法 除了以上几
27、种方法，人脸识别还有其它若干思路和方法，包括一下一些：1）隐马尔可夫模型方法（Hidden Markov Model）2）Gabor 小波变换+图形匹配（1）精确抽取面部特征点以及基于Gabor引擎的匹配算法，具有较好的准确性，能够排除由于面部姿态、表情、发型、眼镜、照明环境等带来的变化。（2）Gabor滤波器将 Gaussian网络函数限制为一个平面波的形状，并且在滤波器设计中有优先方位和频率的选择，表现为对线条边缘反应敏感。（3）但该算法的识别速度很慢，只适合于录象资料的回放识别，对于现场的适应性很差。人脸等密度线分析匹配方法（1）多重模板匹配方法该方法是在库中存贮若干标准面像模板或面像器
28、官模板，在进行比对时，将采样面像所有象素与库中所有模板采用归一化相关量度量进行匹配。（2）线性判别分析方法（Linear Discriminant Analysis，LDA）（3）本征脸法 本征脸法将图像看做矩阵,计算本征值和对应的本征向量作为代数特征进行识别 ,具有无需提取眼嘴鼻等 第 11 页（共 45 页）人脸识别算法分析 几何特征的优点,但在单样本时识别率不高,且在人脸模式数较大时计算量大（4）特定人脸子空间(FSS)算法该技术来源于但在本质上区别于传统的特征脸 人脸识别方法。特征脸 方法中所有人共有一个人脸子空间，而该方法则为每一个体人脸建立一个该个体对象所私有的人脸子空间，从而不但
29、能够更好的描述不同个体人脸之间的差异性，而且最大可能地摈弃了对识别不利的类内差异性和噪声，因而比传统的 特征脸算法 具有更好的判别能力。另外，针对每个待识别个体只有单一训练样本的人脸识别问题，提出了一种基于单一样本生成多个训练样本的技术，从而使得需要多个训练样本的个体人脸子空间方法可以适用于单训练样本人脸识别问题。（5）奇异值分解(singular value decomposition,简称 SVD)是一种有效的代数特征提取方法.由于奇异值特征在描述图像时是稳定的,且具有转置不变性、旋转不变性、位移不变性、镜像变换不变性等重要性质,因此奇异值特征可以作为图像的一种有效的代数特征描述。奇异值分
30、解技术已经在图像数据压缩、信号处理和模式分析中得到了广泛应用.在本文中，主要选择基于几何特征的方法，这种方法最容易理解同样编写起来的难度也相对较小，但是为了弥补几何特征法对于光照和表情等变化的适应性，本文又探究了现在比较主流的，基于球面谐波基的人脸光照补偿算法，并将其运用到系统的设计中去，提高系统对人脸的识别率。第 12 页（共 45 页）人脸识别技术研究 3 光照对人脸识别影响的研究 人脸识别经过近 40 年的发展，对于均匀光照下的中性表情的证明人脸图像起识别率已经很高，然而在一些更加复杂的情况下，现有的多数系统的识别性能还是受到光照变化的影响特别大，这是因为当人脸的光照发生变化时候，人脸图
31、像的外观也会随之发生很大的变化。本章针对这个问题，提出了基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法份两步进行：光照估计和光照补偿。3.1 基于球面谐波基图像的人脸图像光照估计 球面谐波子空间理论表明，在各向同性远光源假设条件下，朗伯凸表面的任意图像均可表示为该凸表面9 个球面谐波基图像的线性组合，这 9 个线性组合的系数反映了该图像拍摄时的光照情况。而对于任意给定的2D 图像，如果能够估计出对象的 3D 形状和表面反射系数，则可以解析地计算出 9 个球面谐波基图像，然后就可以通过最小二乘法解出 9 个光照系数。本节首先简单介绍球面谐波子空间理论，然后给出粗略估计人
32、脸 3D 形状和表面反射属性进而计算给定人脸球面谐波基图像的策略，最后给出了基于最小二乘的光照系数估计方法。3.1.1 球面谐波基图像模型 本章的工作是基于 Basri等1和 Ramamoorthi2提 出的球面谐波理论而发展出来的，因此本节首先简单介绍球面谐波基图像模型。假设物体为朗伯凸表面，光源为各向同性远光源，则其辐照度E 为 cos),(),(dLEiii=cos),(dRLiii，(2-1)其中),(为表面法线方向的球坐标表示，L为入射光场，积分区间为物体表面法线方向的上半球，R为一个旋转操作，将局部坐标),(ii转换成全局坐标),(ii。第 13 页（共 45 页）光照对人脸识别影
33、响的研究 式(2-1)实际上是一个旋转卷积，因此很适合在空间频域中分析。球面上的信号处理工具为球面谐波函数，类似 2D 平面上的傅立叶级数。朗伯表面的反射方程在空域中积分区域很大(上半球)，根据 Heisenberg测不准原理，则其在频域中一定局限在低频范围)2,1,0(l。因此辐照度 E 在频域中用球面谐波函数展开为),(),(20mlmlllmllYLAE (2-2)其中)4,32,(210AAAAl为朗伯反射函数的球面谐波系数，mlL为光照的球面谐波系数，mlY为球面谐波函数。式(2-2)的详细推导请参考文献1,2。假设人脸为朗伯凸表面，用),(yx表示人脸图像中某点),(yx的反射率，
34、),(),(yxyx表示该点的法线方向，则其亮度为 ),(),(),(),(yxyxEyxyxI 2011),(),(),(lmllmmlyxyxYAyxL=),(201yxbLmlllmml （2-3）其中 ),(),(),(),(1yxyxYAyxyxbmlml （2-4）为人脸的球面谐波基图像。球面谐波基图像可以看作是人脸在谐波光照下的图像，谐波光照为只含有一个谐波成分的虚拟光照环境。这样，人脸图像可表示为其 9 个球面谐波基图像mlb 的线性组合，这 9 个线性组合的系数为光照系数 mlL。3.1.2 人脸的球面谐波基图像近似 为了利用球面谐波基图像模型进行分析，我们需要知道人脸的球面
35、谐波基图像mlb，即需知道人脸的反射率),(yx和法线),(),(yxyx，其中法线又与 3D形状相关。9D 线 第 14 页（共 45 页）人脸识别技术研究 性子空间方法7利用已知的人脸 3D 结构计算球面谐波基图像，Zhang3等假设人脸谐波基图像每点的分布符合高斯分布，再融合输入人脸的信息，用 MAP估计得到输入人脸的谐波基图像.在本文中，输入人脸的反射率图和法线图也是通过“人脸类”的先验知识得到。但我们所用的人脸类的先验知识的表示有所不同。人脸的形状大致相同，该假设已用于很多视觉算法中4,5,6。由于表示光照的参数只有 9 个，相对图像的像素数目很少，因此可以将图像的分辨率降低。而分辨
36、率降低之后,不同人脸的形状差异就更小了。且光照对图像的影响是全局的，因此微小的形状偏差不会对光照估计造成严重影响。但为了尽可能地减小输入人脸形状与平均人脸形状的差别，本文采用基于特征点的变形技术，将平均 3D 人脸形状变形到输入人脸，以得到尽可能与输入人脸相似的 3D 形状。本文中我们用一种改进的 AAM模型7来定位人脸图像上的关键特征点。在输入人脸图像的特征点与平均 3D 人脸形状的特征点对齐之后，其它的顶点我们采用 Kriging插值，将平均 3D 人脸形状变形到输入人脸,得到输入人脸的 3D 形状。有了输入人脸的形状，其姿态也可以根据特征点的相对位置确定，则我们可以很容易地计算输入人脸的
37、法线。图 2.1给出了本文采用的平均人脸形状、输入人脸图像的特征点及其经过对齐后的特定人脸形状和法线图。图 1 平均人脸形状及输入人脸的形状 光照变化对特征点的精确定位仍然是一个巨大的挑战。在光照条件很恶劣的情况下，自动定位的特征点不太准确。在本文实验部分我们比较了只用两个眼睛位置对齐平均人脸形状模型和输入人脸图像的结果，以观察系统对配准精度的敏 第 15 页（共 45 页）光照对人脸识别影响的研究 感性。关于反射率，我们假设人脸表面各点的反射率近似相等。更准确地，我们假设人脸的反射率图中除了直流分量外不包含其它低频分量)41(l。虽然人脸表面并不严格满足上述假设，我们发现在实际应用中还是取得
38、了很好的效果。人眼观察到的人脸皮肤颜色大致相同也证明了这一点。由于光照参数的维数很少，在实际应用中，为了使输入更符合这一点,我们将图像的分辨率可以降得很低，这样各点的反射率更接近，且反射率与皮肤差别较大的区域，如眉毛、眼睛、鼻子和嘴巴部分不参与光照估计运算。给定任意输入人脸图像，通过上述方法估计其反射率和法线方向后，即可根据式(2-4)计算其球面谐波基图像。3.1.3 光照估计 给定一幅人脸图像I(n维列向量，n为图像中的像素个数)，并通过 2.1.2节中的方法计算该人脸的球面谐波基图像B，则式(2-3)中的未知数只有 9个光照系数mlL，因此，光照估计就是估计式(2-3)中的光照环境的 9
39、个低频球面谐波系数)20(lLml。这可以通过解下述最小二乘问题得到|)(|minargIBLLL （2-5）其中B为谐波基图像的矩阵形式，是一个 9 n的矩阵，矩阵的每一列为一个谐波基图像),(yxbml。需要指出的是，根据式(2-5)估计出的光照系数 mlL与真实的光照系数mlL之间相差常数倍00，即mlL=00mlL，其中00为反射率图的直流系数。3.2 人脸图像光照补偿 在光照估计的基础上，本节我们讨论人脸图像光照补偿。光照补偿是期望将输入人脸图像经过处理后得到一个与光照无关或至少对光照变化不敏感的表示，从而使得人脸识别变得更容易。这可以用一个统一的计算模型来表达：第 16 页（共 4
40、5 页）人脸识别技术研究 )(ITF (2-6)其中I表示原始图像，T是削弱光照变化影响的变换，F是变换后的特征表示，可以是图像或者其它特征。本节我们讨论两种光照补偿方式：纹理图像和差图像。3.2.1 纹理图像 如式(2-3)所示，),(),(),(yxEyxyxI，其中),(),(),(1201yxyxYALyxEmlllmml。这种表示形式的一个好处是可以将人脸图像对纹理),(yx的依赖与形状和光照的依赖分开，其中图像对形状和光照的依赖关系用辐照度),(yxE表示。估计出了光照条件并已知人脸的法线方向，我们可以根据式(2-2)计算该人脸的辐照度度),(yxE。这样,给定输入图像),(yxI
41、及其对应的辐照度),(yxE，根据式(2-3)，我们得到输入人脸的纹理图像),(yx为原图像与其辐照度之比，即 ),(),(),(yxEyxIyx (2-7)纹理图像只包含纹理信息，与形状无关，也与光照无关。但是由于计算纹理图像时涉及除法，当辐照度E中的像素亮度值较低时，会引入噪声。为了抑制纹理图像中的噪声，在识别时我们再对式(2-7)做对数变换，得到),(log),(log),(logyxEyxIyx (2-8)作为式(2-6)中对光照变化不敏感的特征F。纹理图像中虽然没有形状信息，但辐照度度 E的计算还需要知道输入人脸的形状。与光照估计的全局过程不同，光照补偿是对图像中每个像素单独进行是一
42、个局部过程，因此在计算输入人脸的形状时，对特征点定位精度有一定敏感性。第 17 页（共 45 页）光照对人脸识别影响的研究 3.2.2 差图像 光照变化对特征点的准确定位至今仍是一个很大的挑战，因此本小节我们考虑另外一种光照补偿方式，既能保留输入人脸的形状和纹理信息，同时又对配准精度不敏感。根据),(),(),(yxEyxyxI，辐照度),(yxE依赖于光照和输入人脸的形状。辐照度E中只包含低频信息，滤去图像中的低频信息就能将光照的影响去掉。进行滤波操作最合适的方法是将),(),(),(yxEyxyxI中的乘法变成 log域中的加法。对式(2-3)两边进行 log运算，也可以得到式(2-8)的
43、纹理图像。由上面的讨论我们知道计算 E 还需要知道输入人脸的形状，因此对配准有一定要求。由于输入人脸的精确形状很难得到，所以在下面的差图像光照补偿算法中我们不显式地使用输入人脸的形状，只利用编码在输入图像中的形状信息。另外我们希望在处理之后的图像中不同输入人脸形状的信息还能得到保留。用平均人脸模型来代替式(2-8)中的输入人脸的形状是一个很好的选择：),(log),(log),(logyxEyxIyxavg (2-9)其中avgE是平均人脸在输入光照下的辐照度。由于avgE的低频性质和 E 类似，上式中的),(logyx受光照的影响也很小。不同的是，上式中avgE是用平均人脸形状计算的，所以最
44、后处理得到的图像),(logyx中，不仅包含了输入人脸的纹理信息，同时输入人脸形状同平均人脸形状的差异也得到了保留。上式一个直观的解释是：将输入图像(log域)减去一个只与光照有关的成分(平均人脸在输入光照下的辐照度)，最后得到的结果图像中光照的影响得到了减弱，同时输入人脸的形状和纹理信息没有丢失。需要指出的是，当粗略配准时(只有两个眼睛位置给定)，式(2-8)与式(2-9)是等价的。当输入光照对应的辐照度avgE亮度过低时，式(2-8)的),(logyxEavg会随avgE变化有较大变化，带来噪声。为了抑制噪声，我们退而求其次，用图像域中的减法来代替式(2-9)中 log域的减法，得到 第
45、18 页（共 45 页）人脸识别技术研究 ),(),(yxEyxIIavgdiff (2-10)如果将平均人脸的纹理看成为常数 1，则),(yxEavg可以看成为avgI，为平均人脸在输入光照下的图像。这样将),(),(),(yxIyxIyxIavgdiff (2-11)定义为差图像，作为式(2-6)中对光照变化不敏感的特征 F。由于两幅图像在相同光照下，通过对两幅图像做差，减弱了光照变化对人脸图像的影响，从而达到光照补偿的目的，同时又保留了用于识别的输入人脸与平均人脸的差别。该差别既包括由纹理引起的差别，也包括由形状引起的差别。第 19 页（共 45 页）识别系统设计 4 识别系统设计 4.
46、1 程序总体流程 4.1.1 应用程序的总体结构设计流程图 图 2 总体结构设计流程图 用 户 从“文件”菜单中选择“打开”选项 在弹出的“打开”对话框中选择要打开的位图，点击“确定”，应用程序显示所要打开的位图 显示识别结果 获取脸部区域 图象预处理 人 脸 定位 获取特征参数 识别 第 20 页（共 45 页）人脸识别技术研究 4.1.2 图像预处理的层次图 图 3 预处理的层次图 4.2 各模块功能概述 以上是该系统的总体结构设计图以及图像预处理模块的层次图。下面介绍系统中的各模块的功能及算法：4.2.1 图像获取模块 该模块主要是从摄像头拍照后进行获取图片，也可以从图片库中获取，获取后
47、的图片可以在软件的界面中显示出来以便进行识别。4.2.2 人脸区域获取 该系统中图像里人脸区域的获取，主要是根据肤色来进行获取，通过肤色非线形分段色彩变换来实现。这一非线性分段色彩变换得到的肤色模型属于色彩空间中的聚类模型，这一类肤色模型的建立首先要选取一种合适的色彩空间。预处理 光线补偿 图像灰度化 高斯平滑 均衡直方图 图像对比度增强 二值化 第 21 页（共 45 页）识别系统设计 4.2.3 图像预处理模块 图像预处理就是对获取得来的图像进行适当的处理，使它具有的特征能够在图像中明显的表现出来。该模块中的子模块有如下5个，下面对它们进行概述：1）光线补偿 因为系统得到的图片可能会存在光
48、线不平衡的情况，这会影响我们对特征 的提取，同时系统中要用到基于球面的谐波基光照补偿，这样不但会修正光照不均的问题同时又保留了用于识别的输入人脸与平均人脸的差别。该差别既包括由纹理引起的差别，也包括由形状引起的差别。2）灰度变化 图像灰度化的过程就是把彩色图像转换为黑白色图像的过程，它也是为了将图像的信息更加具体、简单的表现出来，但是，这样做也将会丢失图像信息。因此，尽可能在转化的过程中用简单的方式表现图像复杂的信息。3）高斯平滑处理 高斯平滑将对图像进行平滑处理，在图像采集过程中，由于各种因素的影响，图像往往会出现一些不规则的噪声，入图像在传输、存储等都有可能产生数据的丢失。从而影响图像的质
49、量。处理噪声的过程称为平滑。平滑可以降低图像的视觉噪声，同时出去图像中的高频部分后，那些本来不明显的低频成分更容易识别。平滑可以通过卷积来实现。经过卷积平滑后的水平投影后，二值化提供了较好的图像效果。4）对比度增强 对比度增强，就是对图像的进一步处理，将对比度再一次拉开。它针对原始图像的每一个像素直接对其灰度进行处理的，其处理过程主要是通过增强函数对像素的灰度级进行运算并将运算结果作为该像素的新灰度值来实现的。通过改变选用的增强函数的解析表达式就可以得到不同的处理效果。5）二值化 二值化的目的是将采集获得的多层次灰度图像处理成二值图像，以便于分析理解和识别并减少计算量。二值化就是通过一些算法，
50、通过一个阈值改变图像中的像素颜色，令整幅图像画面内仅有黑白二值，该图像一般由黑色区域和白色区域组成，可以用一个比特表示一个像素，“1”表示黑色，“0”表示白色，当然也 第 22 页（共 45 页）人脸识别技术研究 可以倒过来表示，这种图像称之为二值图像。这便有利于我们对特征的提取。该设计中采用组内方差和组外方差来实现二值化。6）直方图均衡 直方图均衡化的目的是使一输入图像转换为在每一灰度级上都有相同的象素点数，它的处理的中心思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，它的研究思路是：通过直方图变换式来进行直方图的均衡处理，直方图变换式是 但是直方图均衡化