《多姿态人脸识别综述(1)模板(共10页).doc》由会员分享，可在线阅读，更多相关《多姿态人脸识别综述(1)模板(共10页).doc（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精选优质文档-倾情为你奉上第 28 卷 第 7期模式识别与人工智能Vol. 28No. 72015 年 7 月PR & AIJul.2015多姿态人脸识别综述*邹国锋1傅桂霞1李海涛1高明亮1王科俊21 ( 山东理工大学电气与电子工程学院淄博 )2( 哈尔滨工程大学自动化学院哈尔滨 )摘 要 多姿态人脸识别已成为人脸识别研究的重要方向之一. 简要回顾人脸识别研究进展,针对近年来国内外出现的多姿态人脸识别技术和方法进行简单介绍和系统分类,分析各种方法的优缺点,并做出简要评价. 阐明多姿态人脸识别技术所面临的挑战,展望未来多姿态人脸识别研究的发展方向.关键词 多姿态人脸识别, 二维单视图, 二维多
2、视图, 三维多姿态人脸识别中图法分类号 TP 391. 41DOI10. 16451 / j. cnki. issn1003- 6059. A Survey of Multi-pose Face RecognitionZOU Guo-Feng1 , FU Gui-Xia1 , LI Hai-Tao1 , GAO Ming-Liang1 , WANG Ke-Jun21( College of Electrical and Electronic Engineering, Shandong University of Technology, Zibo )2( College of Automatio
3、n, Harbin Engineering University, Harbin )ABSTRACTMulti-pose face recognition has became one of important research directions of face recognition. In this paper, the research progress of face recognition is briefly reviewed. Multi-pose face recognition techniques and methods at home and abroad in re
4、cent years are introduced briefly and categorized systematically. The advantages and disadvantages of each method are analyzed, and a brief evaluation is made. The challenges of multi-pose face recognition technology are elucidated, and the development di-rection of the future research on multi-pose
5、 face recognition is discussed.Key Words Multi-pose Face Recognition, Two Dimensional Single View, Two Dimensional Multi-view, 3D Multi-pose Face Recognition*国家自然科学基金项目(No. ) 、山东省优秀中青年科学家科研奖励基金项目(No. BS2014DX009) 资助收稿日期:2014-10-20;修回日期:2015-01-07作者简介 邹国锋( 通讯作者),男,1984 年生,博士,讲师,主要研究方向为人脸识别、生物特征识别、智能监
6、控. E-mail: zgf 163. com. 傅桂霞,女,1985 年生,博士,讲师,主要研究方向为智能监控、智能机器人. 李海涛,男,1984 年生,博士,讲师,主要研究方向为智能仪器仪表. 高明亮,男,1984 年生,博士,讲师,主要研究方向为运动目标检测与跟踪. 王科俊,男,1962 年生,教授,博士生导师,主要研究方向为模式识别、视频监控、神经网络、生物信息学等.专心-专注-专业614模式识别与人工智能28 卷1引 言人脸识别研究最早可追溯到 1888 年 Galton1 发表于 Nature 上的论文,他利用一组数字代表不同的侧面人脸特征,并从心理学的角度分析人类自身的人脸识别能
7、力. 1910 年,Galton2 提出利用人脸面部的关键点及关键点之间的距离构成表示人脸的特征向量,并利用该向量进行身份识别,这是基于几何特征人脸识别方法的雏形,但并不是真正的自动人脸识别(Automatic Face Recognition, AFR) .最早的自动人脸识别研究起源于 20 世纪 60 年代,代表性成果是 1965 年 Chan 等3 在 PanoramicResearch Incorporated 上发表的技术报告. 国内人脸识别研究起步较晚,1979 年 自动化学报 发表一篇“ 人工智能国外研究情况综述” 4 ,这是能检索的国内期刊第一次出现“ 人脸识别” 的概念. 1
8、992 年,洪子泉等5 发表于 自动化学报 的“ 用于图象识别的图象代数特征抽取” 及郑坚平等6 发表于 计算机工程 的“ 标准正面人脸图像识别”,是国内人脸识别研究领域检索到最早的学术论文.在过去的几十年中,人脸识别技术越来越多受到国内外研究者的关注7 -8 . 尤其是20 世纪90 年代以来,人脸识别技术的研究和应用都取得巨大进步,涌现出一大批从事人脸识别研究的高校和科研院所,且每年都有大量的学术论文发表. 与此同时,人脸识别技术逐渐走向产品化,不断有商业性人脸识别系统进入市场. 但受到人脸识别方法的限制,大部分人脸识别产品只能在用户配合的情况下使用,这大大限制人脸识别技术的应用范围和发展
9、步伐. 目前,非配合、非受控环境下的人脸识别逐渐引起研究者的关注,但受限于采集环境,获取的人脸图像经常存在多种姿态变化、光照变化、表情变化、遮挡干扰等,针对这些干扰因素,研究者也开展大量相关的研究.由于姿态变化给人脸识别研究带来巨大的挑战及其本身具有的重要意义,近年来,多姿态人脸识别逐渐成为人脸识别研究领域的一个重要方向. 在多姿态人脸识别的研究中,国内外学者取得众多的研究成果. 基于这些研究成果,本文系统总结多姿态人脸识别研究的进展状况,并将当前已有的多姿态人脸识别方法概括为 3 类:1) 基于二维单视图的多姿态人脸识别;2) 基于二维多视图的多姿态人脸识别;3) 基于三维人脸的多姿态人脸识
10、别. 同时,鉴于当前国内还没有与多姿态人脸识别研究相关的综述性论文,本文系统分析已有的相关方法,并展望未来多姿态人脸识别的发展方向,希望有助于国内从事多姿态人脸识别研究的人员快速了解本领域的研究状况和最新进展.2 基于二维单视图的多姿态人脸识别自 20 世纪60 年代自动人脸识别技术提出以后,到 20 世纪 90 年代末三维人脸识别技术成为人脸识别研究的热点,这 30 年间人脸识别方法的研究主要基于二维人脸图像. 随着计算性能不断提高,二维人脸识别方法的研究得到飞速发展. 与此同时,基于二维图像的多姿态人脸识别研究也涌现出众多的新思路和新成果. 本文根据多姿态人脸识别中使用的标准人脸或训练人脸
11、是否为单幅图像,将基于二维图像的多姿态人脸识别分为基于二维单视图的多姿态人脸识别和基于二维多视图的多姿态人脸识别.单视图( 单样本) 人脸识别,是指每人仅存储一幅人脸图像作为标准样本或训练样本,以此识别姿态、光照变化的人脸图像9 -10 . 而基于二维单视图的多姿态人脸识别是一种特殊单样本人脸识别问题. 根据单视图人脸利用方式不同,基于单视图的多姿态人脸识别分为基于单视图生成虚拟多视图的多姿态人脸识别和基于单视图姿态校正的多姿态人脸识别.2. 1 基于单视图生成虚拟多视图的多姿态人脸识别因为基于二维单视图的多姿态人脸识别训练样本较少,无法充分获取人脸特征信息用于识别,所以研究者提出通过样本扩增
12、将单视图人脸识别转化为多视图人脸识别的思路. 按照样本扩增方法不同,本文将已有方法归类为直接针对二维人脸进行变换的样本扩增和通过三维人脸模型变换的样本扩增.2. 1. 1直接针对二维人脸变换的样本扩增2003 年,朱长仁等11 提出基于二元高次多项式函数的最小二乘拟合方法,利用单视图人脸通过变形生成多姿态人脸,并利用原有单视图人脸和生成的虚拟多姿态人脸构成训练样本库,最终通过融合决策进行多姿态人脸识别. 此方法避免对人脸多个视角进行拍摄构造多视图训练集的困难,相比单视图人脸直接作为训练样本的经典人脸识别算法,识别正确率也有较大提高. 张生亮12 利用镜像变换和尺度变换产生虚拟样本作为训练样本集
13、, 采用 2DPCA 和 2DLDA 抽取人脸特征用于识别, 获得较高识别率,但算法要求测试样本与训练样本具有较7 期邹国锋 等:多姿态人脸识别综述615好的一致性, 否则识别效果下降. 2013 年, 张尤赛等13 采用局部加权平均算法,使用人脸正面单视图生成多姿态人脸图像( 如图 1 所示),构成多姿态人脸样本库,然后采用 PCA 提取人脸特征用于识别,算法能在只拥有少量正面训练样本甚至单样本的情况下识别多姿态的人脸,在实际应用中具有良好的适应性. 但算法产生虚拟样本的过程耗时较多,如果需要产生较多数量的多姿态人脸,则对算法的实时性有较大影响.(a) 原图(b) 虚拟样本(a)Origin
14、al image(b)Virtual Samples图 1 基于 2D 单视图产生的部分虚拟样本Fig. 1Part of the virtual samples based on 2D single view2. 1. 2通过三维人脸模型变换的样本扩增2004 年,武芒等14 提出基于正投影视图的多姿态人脸识别算法,采用正投影视图生成特定的三维人脸模型,并对三维模型进行任意角度的投影,产生多姿态二维人脸,最后将正投影视图和产生的二维人脸都作为训练样本用于识别,较好地改善多姿态人脸识别的效果. 2005 年,Jiang 等15 提出基于三维重建人脸图像的多姿态人脸识别,该方法基于一幅正面、中性
15、表情、正常光照二维人脸重构出一幅三维标准人脸模型,然后分别将姿态、光照、表情等干扰因素加入该标准模型,形成多样的复杂训练样本,并采用 PCA、LDA 完成特征提取. 基于 CMU-PIE 人脸库的识别实验验证方法的可行性,但该方法需要原始二维人脸图像为正面、中性表情、正常光照,否则无法获得较好的三维人脸模型. 胡峰松等16 基于HMM 提出单样本可变光照、姿态人脸识别算法,该算法利用单张正面人脸与 Candide3 模型建立特定人脸三维模型,然后对三维人脸模型进行各种角度的旋转,得到姿态不同的人脸,将产生的多姿态人脸同原始人脸都作为训练数据,为每人建立独特人脸的 HMM 用于识别. 该算法能较
16、好适应姿态不同条件下的人脸识别,但在三维模型构建时对自动配准的精度要求较高,而 HMM 是一个较复杂的模型,需要设置较多的参数, 对于如何有效地将 HMM 与人脸识别相结合缺乏相应的理论依据.2. 2基于单视图姿态校正的多姿态人脸识别因单样本人脸识别受样本数量不足的限制,故针对样本扩增的研究较多,而针对姿态变化二维单样本人脸进行姿态校正的难度较大,研究成果相对较少. 根据校正是否针对某种特定姿态,校正方法分为不针对特定姿态变化的校正和针对某种特定姿态变化的校正.2. 2. 1不针对特定姿态变化的校正2004 年,杜成等17 基于线性物体类理论提出从单张旋转人脸合成正面人脸用于识别的方法,识别率
17、有较大提高,但该方法适用于图像具有相同光照、自然表情的情况,对于旋转角度过大导致无法准确定位特征点的情况效果不佳. 孙志远等18 提出基于独立成分分析(Independent Component Analysis,ICA) 的正面人脸合成方法,首先利用ICA 和PCA 提取不同姿态人脸的特征子空间,然后利用通过训练得到的姿态转换矩阵合成其相对应的正面人脸,并在此基础上使用小波对人脸图像进行预处理,根据姿态转换矩阵得到的正面人脸特征系数直接进行分类对比,识别率得到提高. 但当姿态人脸旋转角度较大时,正面人脸合成的效果并不明显.2. 2. 2针对某种特定姿态变化的校正2009 年,Lin 等19
18、提出快速半三维垂直姿态校正方法,该方法通过单幅二维人脸图像计算垂直姿态变化角度,利用该角度将垂直旋转的人脸校正到接近正面的人脸,对校正后的人脸采用 Gabor 变换进行特征提取. 该方法运算复杂度较低, 实时性较好,但由于校正方法对于面部特征的要求较高,当人脸有较多特征被遮挡或不可见时,校正效果较差,识别效果相应变差. 与人脸垂直姿态校正不同,2013年, 王科俊等20 提出人脸的平面旋转校正方法 融合 Adaboost 和分块积分投影的眼睛快速精确定位方法,并利用定位的双眼坐标实现平面旋转人脸的校正( 如图2 所示),校正效果较好,大为改善人脸识别的性能. 但该方法只能实现双眼可见的平面倾斜
19、人脸图像的校正,存在一定的局限性.上述基于二维单视图的部分多姿态人脸识别方法的实验结果对比如表 1 所示.图 2 文献20 中人脸平面旋转校正效果Fig. 2 Correction results of face plane rotation in reference 20616模式识别与人工智能28 卷表 1 基于二维单视图的多姿态人脸识别方法实验结果对比Table 1Comparison of experimental results of multi-pose face recognition methods based on 2D single view方法人脸库样本数量识别率 / %
20、二元高次多项式拟合11ORL30幅训练,50 幅测试88. 00生成镜像与尺度变换12虚拟局部加权平均13ORL200幅训练,200幅测试62. 90样本正投影视图14自建库100幅训练,180幅测试89. 00基于 HMM 模型16ORL100幅训练,270幅测试98. 90姿态基于 ICA 的正脸合成18FERET 子库600幅训练,170 幅测试86. 15校正半三维垂直姿态校正19自建库20幅标准,88 幅测试91. 003 基于二维多视图的多姿态人脸识别二维多视图的多姿态人脸识别不再受限于人脸数量,因此,基于多视图的多姿态人脸识别涌现出较多研究成果. 针对多视图人脸处理方式不同,本文
21、将这些方法分为 3 类:1) 基于姿态变化多视图校正出正面人脸的多姿态人脸识别;2) 基于姿态变化多视图产生虚拟样本的多姿态人脸识别;3) 针对姿态变化多视图的新特征提取方法.3. 1 基于姿态变化多视图校正出正面人脸的多姿态人脸识别基于姿态校正的多姿态人脸识别是经典的二维人脸处理方法,主要方法如下.1) 基于点分布模型的人脸姿态校正. Gonzalez-Jimenez 等21 采用多幅稀疏人脸网格图构建点分布模型,并确定相应的姿态参数,利用这些姿态参数控制头部表观形状变化. 然后通过将人脸网络图的姿态参数设置为正面人脸的典型值或将某个网络的参数调整为另外一个网络的姿态参数,实现人脸姿态校正.
22、 在获得姿态校正网络后,利用人脸的对称性,通过薄板样条为基础的变形合成虚拟人脸视图. 最后采用 Gabor 变换进行特征提取, 实现人脸识别, CMU-PIE 人脸库的实验结果验证方法的有效性.2) 基于线性回归的人脸姿态校正. 线性回归是一种常用的统计学方法,通过寻找自变量和因变量之间的关系进行线性建模,基于线性回归的人脸识别是通过大量的侧脸与对应的正脸进行训练,得到侧脸与正脸间的关系,进而由侧脸估计出正脸. 假设正脸集合为 xP0 = ( x1P0 ,x2P0 ,xPN0 ), 对应的侧脸集合为 xPk = ( x1Pk ,x2Pk ,xPNk ),N 为训练集中正脸的个数,xPik 是正
23、脸 xPi0 对应的侧脸图像. 线性回归即假设侧脸和正脸之间存在线性映射:xP0 = AxPk ,其中A 为线性变换矩阵. 对于任意侧脸, 都可估计出对应的正脸.Chai 等22 提出一种基于局部线性回归(Local Linear Regression, LLR) 的人脸姿态校正, 将人脸图像划分为若干子区域,然后求取非正面姿态样本子区域向正面姿态样本子区域的映射关系,利用训练得到的映射关系实现测试人脸姿态校正. 这种基于局部区域的校正能有效补偿姿态变化的影响,但当偏转角度较大时效果不佳,特别是当只有一只眼睛可见时识别率极低. 2011 年,谭晓衡等23 在局部线性回归算法的基础上,通过引入一
24、个局部常量因子,对不同水平旋转角度的侧脸进行姿态估计得到其正脸,改进后的算法对人脸识别率有较大改善,这表明采用局部常量化和线性化分析,能较好弥补侧脸到正脸变换的非线性信息丢失.3) 基于子区域映射的人脸姿态校正. 陈华杰等24 提出基于子区域关联映射的多姿态人脸识别,该算法将人脸分割为若干子区域,将姿态变化对图像的影响分解为关联子区域的形状映射与纹理映射. 基于二维耦合成分分析构造非正面人脸和正面人脸关联子区域间的映射关系,利用该映射关系实现非正面姿态向正面姿态人脸的校正. 关联子区域映射能有效补偿姿态变化带来的影响,对姿态变化敏感度较低,但映射关系求取耗时较多,有待进一步改善. 2013 年
25、,Ho 等25 基于 Markov 随机域和信念传播算法利用给定的非正面人脸重构虚拟正面人脸,首先将人脸图像划分为许多重叠的网格,将所有的局部网格与数据库中标准正面人脸的网格进行对齐处理,然后取其中最优的网格作为合成正面人脸的子区域. 该方法避免人为选取面部标记点和对姿态角的估计,实验结果证明该方法的有效性.4) 基于主动外观模型的姿态校正. 主动外观模型的匹配过程是将待测图像和模型之间的差最小化的过程,主要通过改变模型参数实现,表达式如下:m移 A0( x) + 移姿 i Ai( x) - I( W( x;P) 2 ,x沂S0i = 1其中,S0 是平均形状,A0( x) 是平均纹理,A(
26、x) 是在平均形状上的纹理向量,姿 i 是纹理参数,W( x;P) 为7 期邹国锋 等:多姿态人脸识别综述617形状向量中像素点, 由 P 控制,I( W( x;P) 是该像素点的纹理向量.将主动外观模型应用于人脸姿态校正,是在对图像进行匹配之后,只保留图像在平均正面形状 S0上的投影,经处理后的图像可有效消除姿态影响,改善识别效果. Sarfraz 等26 提出基于统计外观模型的姿态人脸识别方法,该方法首先提取多姿态人脸图像的扩展尺度不变特征变换 (Scale Invariant Feature Transform, SIFT) 特征,基于该特征和非正面视角人脸利用多元回归方法合成正面人脸用
27、于识别,该方法对于左右摇摆角度超过45 的人脸图像识别效果明显变差,而且无法处理俯仰变化的情况. Guillemaut 等27 利用改进的活动外观模型进行人脸姿态校正,该方法需事先定位特征点,但对大角度旋转图像效果不好. 赵恒等28 提出基于主动表观模型(Active Appearance Model, AAM) 的图像对齐和局部匹配人脸识别算法,能增强人脸识别算法对姿态表情变化的鲁棒性. 通过AAM 快速准确地定位人脸特征点,将人脸旋转到标准正面人脸模型. 然后,采用基于信息熵的 Gabor jet 加权方法用于人脸识别. 使用AAM 校正后的人脸图像,联合熵加权Gabor方法和加阈值 Bo
28、rda 改善姿态对人脸识别的影响.5) 基于主动形状模型的姿态校正. Ding 等29提出完全自动的姿态归一化算法,基于多视图的随机森林嵌入主动形状模型,提出寻找二维人脸特征点与三维人脸模型之间姿态独立对应关系的方法,将二维人脸图像中的像素映射到三维模型中,经旋转获得正面视角人脸. 该方法对左右旋转50 以内的人脸图像处理效果较好,无法处理其他姿态的人脸旋转. de Marsico 等30 将人脸姿态和光照变化的质量评估指标用于指导人脸姿态和光照归一化,姿态校正中采用堆叠整齐的主动形状模型(Stacked Trimmed Active Shape Model, STASM) . 同时经过人脸图
29、像的质量评估,丢弃质量较差的图像,这在一定程度上提高人脸识别系统识别效果.6) 基于三维人脸模型的姿态校正. An 等31 设计一种基于纹理映射的增强型多姿态人脸识别方法,首先基于三维椭球体模型对姿态变化的二维图像进行三维人头重建,并建立三维人头人脸区域和二维人脸图像之间的纹理映射关系,然后对三维人头模型进行姿态估计并进行相应的校正,再按照已知的映射关系将校正后的三维人头向二维平面投影,获得正面二维人脸图像用于识别. 但对于左右摇摆角度过大的姿态变化,该方法在映射过程中有效信息丢失严重,导致图像严重失真,识别效果变差.7) 其他姿态校正方法. 2010 年,龚卫国等32 提出一种基于正弦变换的
30、人脸姿态校正与识别方法,首先采用多幅正面人脸图像训练分类器,测试过程将具有姿态变化的人脸通过正弦变换校正出正面人脸,然后采用训练的分类器进行分类识别. 该方法的测试人脸姿态角的估计无一定的理论依据,只能人为设定旋转角度的大小,效率较低. 张疆勤等33 对人脸进行因子分析,分离出人脸姿态因子,得到合成的正面虚拟人脸,然后利用稀疏表示方法在虚拟正面人脸上进行分类识别. 该方法较好地解决人脸的姿态变化问题,同时对人脸的遮挡问题也具有较好的鲁棒性.3. 2 基于姿态变化多视图产生虚拟样本的多姿态人脸识别基于多视图的样本扩增方法能使样本中包含更多的多姿态人脸信息,按样本扩增过程中是否借助三维人脸模型,将
31、基于多视图产生虚拟样本的多姿态人脸识别分为基于二维姿态变化人脸产生虚拟样本的多姿态人脸识别和通过三维人脸模型变化产生虚拟样本的多姿态人脸识别.3. 2. 1 基于二维姿态变化人脸产生虚拟样本的多姿态人脸识别2012 年,李全彬等34 提出基于水平镜像和决策融合的多姿态人脸识别方法,该方法采用水平镜像变换产生更多的训练样本( 如图 3 所示),按照姿态范围,将所有训练样本分为 7 个子集, 然后利用 Gabor 和 2DPCA 进行特征提取,生成 7 个特征子空间. 测试过程提取输入图像及其水平镜像图像的特征,并分别向 7 个特征子空间投影,根据投影距离,采用决策融合方法获得最终识别结果. 该方法运算简单,识别系统的训练效率和识别效率都有一定提高. 但对于非对称人脸的情况,水平镜像处理通常引入干扰信息,影响识别效果.图 3 水平镜像产生的虚拟样本Fig. 3Virtual samples produced by horizontal mirror3. 2. 2 通过三维人脸模型变化产生虚拟样本的多姿态人脸识别2003 年,Lee 等35 提出基于三维形变模型的姿态不变人脸识别,通过边缘模型、颜色区域模型和线框模型共同描述人脸的形状和特征信息. 为使模型