《2022年BJUT_D三维人脸数据库及其处理技术 .pdf》由会员分享，可在线阅读，更多相关《2022年BJUT_D三维人脸数据库及其处理技术 .pdf（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、计算机研究与发展ISSN 100021239CN 1121777TPJournalof ComputerResearch and Development46 (6) : 100921018 , 2009收稿日期:2008-06-25 ;修回日期:2008-11-25通讯作者:孙艳丰( yfsun bjut. edu. cn)基金项目:国家自然科学基金项目(60533030 ,60825203) ;北京市自然科学基金项目(4061001) ;国家科技支撑计划基金项目(2007BA H13B01)BJUT23D三维人脸数据库及其处理技术尹宝才 孙艳丰 王成章 盖 赟(北京工业大学计算机学院多媒体与
2、智能软件技术北京市重点实验室北京 100124 )(yinbc bjut. edu. cn)BJ UT23D LargeScale 3D Face Database and InformationProcessingYin Baocai , Sun Yanfeng , Wang Chengzhang , and Ge Yun(Bei jing M unici palKey L aboratoryofM ultimediaand I ntelli gent Sof tw are Technolog y CollegeofCom puter Science andTechnology, Bei j
3、ing Universit y ofTechnolog y , Bei jing 100124 )Abstract 3D face recognition has become one of t he most active research topics in face recognition dueto it s robust ness in the variationon pose and illumination.3D database is the basis of this work.Design and construction of the face database main
4、ly include acquisitionof prototypical3D face data ,preprocessing and standardizing of the data and the struct ure design. Currently, BJU T23D database isthe largestChinese 3D face database in the world.It contains1200 Chinese 3D face images andprovides both the text ure and shape informationofhuman
5、faces.Thisdata resource playsanimportantrolein 3D face recognitionand face model.In this paper , the data description , datacollectionschema and the po st2processing methods are providedto help using the data and f utureextension.A 3D face data dense correspondence method is int roduced. Dense corre
6、spondence meansthat the key facials point s are carefully labeled and aligned among different faces , which can be usedfor a broad range of face analysis tasks.As an applicatio n , a pose estimationand face recognitionalgorit hm across different poses is proposed. Eexpremental result s show that the
7、 propo sed algorit hmhas a good performance.Key words 3D face database ; face recognition ; 3D face model ; morphable model ; mesh resampling摘 要 BJU T23D 是目前国际上最大的中国人的三维人脸数据库,其中包括经过预处理的1200 名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义. 首先介绍了BJU T23D 数据库的数据获取条件、 数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进
8、行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.关键词 三维人脸数据库;人脸识别 ;三维人脸模型;形变模型 ;网格重采样中图法分类号TP391经过 40 多年的发展,尤其是近 10 年的研究,人脸识别的理论和算法均取得了长足的进步,但这些理论和算法主要针对输入是二维人脸图像而开展的 .理论和实验研究已经证实,二维图像中人脸姿态或成像时光照条件的变化对算法的识别性能有很大影响 .而更实用的人脸识别算法应该是在摄像环境名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - -
9、 - 第 1 页，共 10 页 - - - - - - - - - 不可控 、 用户不配合的情况下使用.所以目前算法的缺陷大大限制了人脸识别技术在实际中的广泛应用. 如何解决不同姿态、 不同光照条件下的人脸识别问题是二维人脸识别研究的瓶颈,也是当前的研究热点 .与二维人脸图像数据相比,三维人脸数据中包含人脸的空间信息,这是人脸本身固有的特征信息,对姿态 、 光照条件的变化具有鲁棒性. 因此 ,近年来利用三维人脸数据进行人脸识别的途径已经引起人们的广泛关注,也出现了一些识别算法 1.与二维图像不同,三维人脸数据有多种不同的形式,如人脸的深度数据 、 曲面点的三维坐标及其点之间的连接关系 、 面部
10、轮廓线数据等.针对不同形式人脸数据的识别算法也需要相同形式的数据资源.人脸数据库对人脸识别算法的研究与开发、 模型训练 、 算法性能比较测试是不可缺少的数据资源,尤其在基于统计学习算法占主导地位的人脸识别领域 ,模型训练所采用的人脸库的规模、 覆盖的人脸数据的变化很大程度上影响算法精度和鲁棒性;不同算法性能测试所用到的数据库的规模和属性同样决定了评测的合理性和测试结果的有效性. 所以 ,随着三维人脸识别研究的不断深入,建立各种数据形式的三维人脸数据库,为同行提供模型训练数据资源、算法研究与比较的数据平台,具有重要的意义.经过 长 期 的 研 究 积 累,我 们 研 究 小 组 采 用Cyber
11、ware 3030R G B PS激光扫描仪获取三维人脸原始数据 ,通过对齐算法构建了可进行线性计算的三维人脸数据库BJU T23D 2,该库包含1200 个中性表情的中国人的三维人脸样本数据,其中部分数据有多个样本 .扫描后的数据是由点的纹理信息、 三维坐标信息及其点之间的连接关系构成. 该数据库目前可以为诸如人脸跟踪、 识别 、 动画等研究人员提供很好的数据资源. 本文先对三维人脸数据的采集环境 、 条件 、 数据形式进行了介绍,然后研究了数据库建立过程中的数据获取、 数据处理 、 数据对齐等相关技术 . 这些技术为数据库的使用及其相关的研究工作会提供一些有益的帮助.1相关的三维人脸数据库
12、综述目前已经有一些包含三维信息的三维人脸数据库 ,按着数据库的构造方法可以将它们分为基于多视角几何信息的方法、 基于结构光的方法和基于三维扫描仪的方法. CMU 的 FIA 数据库是基于多视角几何信息的三维数据库 3 ,其中数据是用6 个摄像机从 3 个不同角度获取20s 的视频信息,然后用计算机视觉的方法恢复三维信息得到的人脸数据.由于没有对视频人脸进行标定,这类方法是用复杂的人脸跟踪算法重构人脸的形状信息,所以其效果受人脸跟踪效果的影响较大. 3D2RAM 是基于结构光的方法建立的三维人脸数据库 4,它用一个照相机和放映机获取人的3D 坐标信息 ,建立一个含129人的 3D 人脸数据库 .
13、 该库样本的坐标信息精度高,但对于面部的眼睛或阴影部分无法获取其3D 信息,导致面部曲面形状不完全.由于三维扫描仪能够获取人脸部较精确的形状和纹理信息,因此成为建立三维人脸数据库非常好的工具. 在 GavabDB数据库中 5,使用 MinoltaV I2700 数字转换器获取61 个有表情变化的从不同视角扫描的人脸数据. 由于有些视角具有不可见部分,为获取完整的三维人脸表面信息还需要进行适当的后处理. Cyberware 扫描仪通过一次扫描可以获取人不同视角的完整数据,因此获取的数据准确性好,大大简化了后处理工作,用该设备建立的U SF 三维人脸数据库6有 200 人的三维人脸数据,由于每个样
14、本的形状和纹理信息维数很高 ,因此对于人脸数据处理与分析方面的研究 ,这样规模的数据还远远满足不了需要. 2007 年 ,Huang 的研究小组利用Cyberware 扫描仪建立了一个含有475人的三维人脸数据库 7 ,样本主要有中性和微笑两种表情,年龄分布在1925 岁之间 ,这一数据库可以缓解现有数据库规模小的缺陷,也为人脸识别、 跟踪 、 对齐 、 动画等相关研究工作提供重要基础 .2BJUT23D数据库介绍BJU T23D 的 三 维 人 脸 数 据 通 过 Cyberware3030R G B PS激光扫描仪获取. 扫描时 ,一条红色激光线从扫描仪里面发射出来,照射到头部 脸部 ,经
15、过激光线的反射,被仪器接收和计算.扫描时要求被扫描者端坐在旋转平台的一个高度适中的椅子上,并直视前方,以保证头部在扫描仪的中部. 扫描期间需保持端坐不动和静止的脸部表情直至扫描结束.该扫描仪通过一次扫描得到人头部的几何信息和彩色纹理信息,并使用柱面坐标记录几何信息.扫描精度为圆周方向(用表示,0 2)489 个采样点,轴方向(用h表示,0 h300mm)478 个采样点,扫描半径(用r表示)在 260mm340mm 之间.每一0101计算机研究与发展2009 , 46 (6)名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精
16、心整理 - - - - - - - 第 2 页，共 10 页 - - - - - - - - - 个几何采样点对应一个24 位(用R , G, B表示)纹理像素点,并以 489 478 大小的纹理图像存储.Fig.1Cyberwarelaser scanner.图1Cyberware激光扫描仪1) 光照条件用激光扫描仪扫描人脸时可以同时获取人脸的三维几何信息和彩色纹理信息,人脸纹理的好坏直接影响到所创建人脸库的质量及应用价值,并给基于人脸库进行的人脸建模、 人脸识别 、 人脸动画等方面的研究带来很大的影响.为了得到统一的、 较为真实的纹理信息,我们的数据采集在同一个扫描间进行 ,并对光照条件做
17、了一定的限制.扫描间是一个特定、 封闭的环境,其四周设置4盏专用的照明灯,由前后左右4 个方向指向被扫描对象 ,并保证扫描对象各个方向具有相同的光照强度. 为了模拟正常的环境光,扫描间的4 盏灯都是60 W 的白炽灯,同时设置扫描间的墙壁为通体白色 ,这样 4 盏灯相互照射后,从墙壁上返回的光形成了一个统一对环境光的模拟制式. 由于镜面反射对模型的生成会产生较大的影响,所以要求光的强度在一定的范围内.所有扫描工作都在扫描间完成,这样既保证对环境光的光照条件近似模拟,也保证所有三维人脸数据的光照条件完全相同.2) 饰物由于扫描仪对头发等深色部位的扫描效果比较差 ,而人脸研究仅对人的面部区域感兴趣
18、,因此要求被扫描者佩戴泳帽并将头发全部包住. 该泳帽一般应选择颜色较鲜明的色彩以便和面部区域分离,方便后期处理 .此外还要求被扫描者不能化妆、 不戴眼镜等任何饰物 .3) 数据规模及形式BJU T23D 三维人脸数据库共包括1200 名中国人的三维人脸数据,其中 500 人的数据对外公开发布 ,男女各 250 人 ,年龄分布在16 岁 49 岁之间 ,所有人脸数据均是中性表情.部分人脸有3 个样本 ,以便于人脸识别研究.三维扫描仪进行一次柱面扫描就是对人的头部表面进行高密度采样,采样信息包括空间几何信息和彩色纹理信息. 空间几何信息由两部分组成,既空间三维采样点的坐标信息(用 (X , Y,
19、Z) 表示 ,约 2 105个点 ) ,和由网格描述的这些点之间的连接关系 ,网格组成的三角面片约有4 105个. 彩色纹理信息是采样点柱面投影得到的二维图像,以普通图像格式存储,图像的长和宽由投影参数、 扫描设备硬件与操作平台决定,本文得到的纹理分辨率为478489 ,如图 2(c) 所示 .为建立几何信息同纹理信息之间的联系,在几何信息中还存储几何采样点在纹理信息文件中对应纹理点的归一化坐标,归一化坐标表明本采样点在纹理信息文件中对应纹理点位置的索引信息 ,几何信息和纹理信息之间的关系就是通过该索引信息建立起来的. 图 2 是扫描后的三维人脸及其对应的几何、 纹理信息 .Fig.23D p
20、rototyticalface data.(a) Scanned 3D face ; ( b)Shape data ; and (c)Texture image.图2三维原始人脸数据.(a)三维人脸;( b)几何数据;(c)纹理图像4) 人脸数据的命名规则在数据库中,每个三维人脸数据由单一的文件组成 ,文件按照统一的规则进行命名.文件名有 6 部分信息 ,命名规则为性别+I D+ 年龄 + 表情 + 内容+发布情况.具体表示形式如下:x_xxxx_Ax_Ex_Cxxxx_Rx1 2 3 4 5 6每部分的具体含义为:1表示性别区域,由一个字母组成. “M” 表示男性 , “F” 表示女性 .2
21、表示I D区域 ,由 4 个数字组成. 表示该文件在数据库中的ID ,当组成文件I D所需数字不足4位时剩余高位用0 补齐 .3表示年龄区域,由一个字母 “A” 和一位数字组成 . A 是年龄的英文Age 的首字母. 由于研究时1101尹宝才等:BJ U T23D三维人脸数据库及其处理技术名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 10 页 - - - - - - - - - 关心的是人脸数据所处的年龄段,所以只记录每个人脸数据所属的年龄段,并用 1 位数字表示 .
22、每个年龄段的代表数字如表1 所示 :Table 1Correspondence of Notation and Age表1 年龄符号对应表NotationAge Range110 - 19220 - 29330 - 39440 - 494表示表情区域,由一个字母 “E” 和一位代表表情的字母组成 .表情字母表示人脸数据具有的表情.每个表情代表字母的含义如表2 所示 . 目前数据库中所有人脸都是中性表情.Table 2Correspondence of Notation and Expression表2 表情符号对应表NotationExpressionNNormalHHappyPSurpris
23、eAAngry5 表示数据内容区域,由 5 位字母组成. C 是Content 的首字母,后面的 4 位字母“trim ” 表示该数据经过预处理 .6 表示发布标记区域,由两位字母组成.首字母为 R ,第 2 个数字表示是否已经发布,其中“0” 表示未发布 , “1” 表示已发布 .目前发布的数据是无法直接读取的,用户需要使用我们提供的工具将原始数据转换成可读的文本形式 . 转换后的文本数据包含3 个部分信息:顶点信息 、 纹理信息 、 网格信息 .顶点信息:顶点信息由密集采样点组成,三维人脸模型的顶点信息就是由这些采样点构成的.数据的表示形式为Vertex1 :X = -87.616997,
24、Y = -12.994000, Z =37.046001,Vertex1 表示序号为1 的顶点 ,X , Y , Z分别表示该点的 3 个坐标值 .纹理信息:纹理信息描述了每个顶点的对应的纹理值 .数据表示形式为Text ure1 :R =144, G =99, B =85,Text ure1 表示顶点1 的像素值,R , G, B分别表示点在 3 个颜色通道的值.网格信息:网格信息描述顶点之间的连接关系 .库中的数据使用三角网格来描述顶点之间的连接关系 .数据的表示形式为Triangle1: Fi rst Vertex=36407,Second Vertex=36310,Thi rd Ver
25、tex=36392,Triangle1 表示第 1 个三角网格,其后的 3 部分信息分别表示依附该三角网格的3 个顶点的标号.3 建立BJUT23D的信息处理技术扫描后的数据还有许多信息缺失和不平滑的情况 ,另外肩部和头部的信息对于人脸识别及相关研究是无用的,它们的存在将会增加数据规模,为后续数据库的应用增加计算量,所以需要对扫描后的数据进行预处理.3.1 面部数据的分离和预处理扫描人脸时,由于光照条件的细微变化、 人脸表面的不光滑性以及头发等复杂结构的影响,射在人脸表面的光线在返回时运动轨迹发生偏离,会使扫描后得到的三维人脸数据发生变形,出现一些毛刺和空洞等现象. 在对耳朵、 下巴等部位扫描
26、采样时,捕捉不到的三维信息也会形成空洞,有些地方则因为局部表面不光滑会产生毛刺. 对此 ,我们采用交互的方式,使用插值 、 平滑等预处理方法弥补三维人脸上的空洞并去掉毛刺.面部数据的分离是将人脸面部区域从整个头部扫描数据中分离出来,去除头发 、 肩等部位的三维数据 .我们使用的方法 8 首先确定分离的边界. 由于在三维人脸几何数据上直接进行边界关键点标定和边缘自动检测十分困难,所以借助人脸的纹理图像来进行不规则边界的确定,即在三维人脸对应的二维纹理图像上确定面部发际边界和耳朵部位的边界,然后通过纹理几何的对应关系,找到三维人脸几何数据相应的分割边界. 对于耳下的垂直切面和脖子下的水平切面则直接
27、在几何数据上确定,用来去除肩部以下和耳朵后面的数据. 确定了人脸的分离边界后 ,即可将人脸的面部区域从原始扫描数据中分离出来 . 如图 3 所示为分离后的三维人脸,图 3 (a)是分离后的几何形状及其对应的纹理图像,图 3(b)是分离后不同角度下的三维人脸面部图像.2101计算机研究与发展2009 , 46 (6)名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 10 页 - - - - - - - - - Fig.33D face data.(a)The cuttedsh
28、ape and texturefor 3D face and ( b) Frontaland side 3D face.图3三维人脸数据.(a)分离后的三维人脸几何信息和纹理信息; (b)正面 、 侧面3D人脸为保证三维人脸数据的一致性,在数据获取时要求被扫描者保持指定的姿态和位置,既目视前方,头部保持垂直.但实际扫描得到的人脸样本的姿态不可避免地存在一定偏差,因此需要对不同的人脸数据进行坐标矫正,将不同的三维人脸数据统一到同一个坐标系 .切割后的三维人脸数据接近一个柱面分布 ,所以用三维人脸数据的离散点集来拟合一个柱面 ,用柱面的中心轴作为三维人脸数据的新的垂直坐标轴 (Z轴) ,过鼻尖点且
29、与新的垂直坐标轴垂直相交的直线作为新的前向坐标轴( Y轴) ,新的X坐标轴则由Y轴和Z轴的叉乘运算确定.通过坐标变换可以得到每个三维人脸在新的坐标系下的坐标值,经过坐标变换的所有三维人脸数据均变换到朝向 、 姿态相同的坐标系下.如图 4 是三维人脸的坐标矫正示意图,其中Z是矫正后的垂直轴, Z0是矫正前的垂直轴, X, Y , Z是矫正后的坐标轴.Fig.4Recorrected face by a cylinder.图4人脸柱面矫正3.2人脸数据的规格化由于人脸的个性化差异,扫描得到的人脸数据有很大差别 .首先是构成三维人脸的点数和面数不同 ,这样的数据使基于形变模型的三维人脸重建无法进行
30、,也不利于人脸的统一表示;其次是点或面的排列与人脸特征无关. 因此建库时对预处理过的三维人脸数据进行了规格化,规格化后的数据既可以用统一的向量形式来表示,又保证所有的三维人脸数据特征对齐.规格化 9的第 1 步是建立不同三维人脸数据间的稠密对应,既根据人脸面部特征建立不同的三维人脸数据间点到点的一一对应关系.例如 ,已知一个人脸上的鼻尖点可以根据对应关系找到另外一个人脸上的鼻尖点,如果以某一个人脸作为标准人脸,就可以将人脸数据根据标准人脸的点和面进行有序化 .事实上 ,在三维数据上建立基于特征的点对点的稠密对应非常困难. 首先不同人脸的个性差异导致三维人脸的几何差异很大,而且还要考虑纹理特征信
31、息的对应;其次三维人脸数据是稠密点集,数据量很大 ,因此很难使用一般方法建立这种对应关系.文献 9考虑到扫描人脸数据是以柱面的形式表示,将三维人脸展开为二维形式,借助在二维图像上光流对应计算的方法建立三维数据的对应. 但光流算法的前提假设是两幅图像间光流的变化是连续光滑的 ,对于比较相像的两幅人脸可以近似地看做视频序列的相邻两帧图像,此时对应计算效果比较好.但对于形状差别较大的人脸数据,光流算法的前提假设不满足,对应计算将产生较大的误差.另外 ,这种将复杂三维几何进行柱面展开形成二维图像的方法实际上损失了很多三维信息,所以其对应计算的效果不是很好 .为此 ,BJU T23D 数据库采用基于网格
32、重采样的对齐方法 .网格重采样是通过原始数据建立网格和曲面的常用方法,它摒弃了在二维图像上的处理方法 ,直接在三维空间进行,能够更多更精确地保留原数据的三维信息. 利用重采样可以将不规则的多边形网格转化为规则的网格的特点,该方法将不同网格数和空间点数的原型人脸全部规格化为采样点数 、 网格数 、 拓扑完全一致的原形人脸,且重采样后的人脸同一相对位置的点都固定地代表了同一个面部特征 ,在此基础上能够直接进行不同人脸的点与点的线性组合,从特征的角度更具有线性组合的合3101尹宝才等:BJ U T23D三维人脸数据库及其处理技术名师资料总结 - - -精品资料欢迎下载 - - - - - - - -
33、 - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 10 页 - - - - - - - - - 理性 . 人脸对齐主要由人脸分片和网格重采样两个计算过程组成 .1) 人脸分片人脸分片将三维人脸分割成多个面片为网格重采样做准备 .目前自动分片算法 10的研究主要是针对纹理映射领域,虽然能够达到自动,但分片的形状不确定 ,无法保证所有人脸分出的同一片包含的人脸特征相同或相近. Krishnamurt hy 等人 11 提出的交互的人工分片方法,由用户选取一序列点,然后采用贪心图算法,在网格连线上寻找相邻点的最短路径 ,这些路径则形成分片的边界. 该
34、方法以网格的连接关系为基础进行分片操作,实现比较复杂 . 本文根据三维人脸数据包含三维几何与纹理两部分数据的特点 ,基于面部纹理图像手工交互标定特征点,然后以特征点的连线作为分片边界,划分特征区域,最后通过柱面映射找到三维人脸网格上的分割结点和分割线 . 考虑到重采样后网格要求比较均匀,所以采用面积比较接近的矩形进行分割.如图5所示是三维人脸分割的结果,一个人脸被分为122 个面片 .Fig.5Divide the 3D face intopatches.图5三维人脸分片2) 三维人脸网格重采样对于初始分片后的三维人脸通过网格重采样进行网格细分 .重采样时首先要确定每个面片的4 个角点 . 对
35、于规格的矩形面片,直接使用其4 个顶点作为角点 ;对分割后处于边界的不规格面片,利用最小内角法或长宽比法确定4 个角点 .为了能够进行均匀重采样,对所有矩形的边长度进行统计,然后进行等形线的均匀初始化,这样不仅使边界边的划分更均匀 ,还可以减少边界曲线提取的计算量. 对等形线初始化后的网格进一步的细分,利用点的合力调整新获得弹性点的位置,从而获得了每一面片的均匀重采样网格 .对每个面片重复以上重采样过程,直到重采样的密度与原始三维人脸数据的密度比较接近为止 .如图 6(c) 是对人脸数据进行5 次重采样的结果 ,约由 13 104个点 ,25 104个三角面组成.详细的三维人脸重采样过程参见文
36、献 8.Fig.6Face mesh resampling.( a)The ioslines initialized ;(b) One time mesh resampling; and (c)Five timesmeshresampling.图6 人脸重采样.(a)初始化网格; (b) 1次重采样的结果; (c) 5次重采样结果经过上面的重采样处理,所有三维人脸具有相同数量的点和三角面片,且整个网格的拓扑结构完全相同,从而可以建立三维人脸数据间严格的一一对应 ,这样的对应可以将所有三维人脸表示为统一的表示形式 .另外 ,由于这里的分片是基于特征的分片 ,因此重采样后点的对应也是基于特征的稠密
37、对应 .图 7 是分别基于网格重采样的方法和光流的方法进行人脸对齐的结果.从图中可以看出,基于网格重采样方法的对齐效果好于光流的算法.Fig.7The correspondencebased on mesh resamplingand opticalflow.(a)The correspondencebased onmesh resamplingand (b)The correspondencebased on opticalflow.图7基于重采样算法和光流算法的对齐效果比较.(a)基于网格重采样方法的对齐结果; ( b)基于光流方法的对齐结果4101计算机研究与发展2009 , 46 (6
38、)名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 10 页 - - - - - - - - - 4BJUT23D的应用 多姿态人脸识别算法研究 12 实用的人脸识别系统应该是在用户不配合的情况下使用 ,此时人的头部会以多种姿态的形式出现,所以进行人脸识别必须考虑头部姿态的变化,多姿态人脸识别也一直是人脸识别研究的难点.作为三维人脸数据库BJU T23D的直接应用成果,我们小组进行了多姿态人脸识别研究,并借助于三维人脸形变模型 9实现了对人脸的姿态估计.4.1 算法整体框架
39、根据二维人脸库(gallery ) 中的人脸图像(每个人只需要一幅二维人脸图像) ,采用三维人脸形变模型重建其对应的三维人脸. 在识别阶段采用该三维人脸模型估计二维测试图像中人脸的旋转角度,并以测试图像中人脸在3 个方向上的旋转角度为基准 ,将人脸库 (gallery ) 中重建的三维人脸旋转到相同视角的同一姿态.最后 ,采用相同姿态下人脸图像进行人脸对象的分类识别. 算法的整体框架如图8所示 :Fig.8The f rameworkformultiposeface recognition.图8算法整体框架4.2 三维人脸形变模型形变模型的基础是线性组合理论,即使用一类对象中若干典型样本张成该
40、类对象的一个子空间,用子空间基底的组合近似地表示该类对象的特定实例. 使用形变模型进行三维人脸建模分为两个过程:一是建立模型,包括原始人脸数据的获取、 人脸数据的对应和建立组合模型;二是针对特定人脸图像进行二维人脸图像与模型的优化匹配,实现三维人脸的重建 .建立 形 变 模 型 使 用 的 三 维 人 脸 数 据 源 于BJU T23D 数据库 ,所有数据均经过前述的规格化处理 ,实现了三维人脸的点到点的对应.第i个三维人脸数据用形状和纹理向量表示为Si=( Xi1, Yi1, Zi1, Xi2, Xin, Xin, Xin,)T,Ti= ( Ri1, Gi1, Bi1, Ri2, Rin,
41、Gin, Bin)T,1 iN ,(1)其中N三维人脸的总数, n是三维人脸顶点的个数.由于原型人脸数量比较大(N= 200),且人脸数据间有一定相关性,因此使用主元分析方法(PCA)对人脸形状和纹理向量进行处理,压缩数据量,消除数据间的相关性,得到形变模型的表示形式:Smodel= S-+m- 1iisi,Tmodel= T-+m-1iiti,(2)其中S-, T-是原型三维人脸的平均形状和纹理向量,m是主元个数, s=(s1, s2, sm- 1) , t=( t1, t2,tm- 1)是形状和纹理的主元向量组, =(1,2,m- 1) ,=(1,2,m - 1)是模型的组合参数.4.3
42、模型匹配模型匹配就是将形变模型与输入二维人脸图像进行优化匹配,使模型人脸与输入人脸的匹配误差最小,得到模型的组合参数.本文用图像对应像素点的灰度差的平方和作为两图像的匹配误差,即EI=x , y|Iinput( x , y) -Imod el( x, y) |2,(3)其中Iinput是输入的人脸图像, Imod el是三维模型人脸在某视点观察得到的人脸图像,可通过投影模型和5101尹宝才等:BJ U T23D三维人脸数据库及其处理技术名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第
43、7 页，共 10 页 - - - - - - - - - 光照模型确定.用表示光照和投影参数,则上式是,的函数,模型匹配是求使EI(,)最小的最优化问题.4.4 姿态估计为了估计输入图像的姿态,定义形变模型的三维旋转角度如下:=(x,y,z)T,则该 旋转 角度限制在 一个 固定的范围(- 180,180) ,对于正面和侧面图像的旋转范围为(- 90,90) .这些参数在优化过程中从其他的参数中分离出来,使用搜索方法寻找最优角度值.在各个不同旋转角度下分别进行匹配,得到最优的模型参数,.定义 x,y,z最小值和最大值分别为M i nx,M axx, M i ny, M axy和Mi nz, M
44、 axz,然后按照下面过程进行模型匹配.1)将角度 =(x,y,z)T的变化范围平均分成K份,并定义搜索步长间隔:x=Maxx-Mi nxK,y=Maxy-Mi nyK,z=Maxz-Mi nzK.2)三维模型相对于X , Y, Z坐标的旋转角度的离散值定义为ix= Mi nx+ i x,iy= Mi ny+ i y,iz= Mi nz+ i z, i =0,1, K.Fig.9Estimationof pose.图9姿态估计3)对于每一个旋转角度(ix,iy,iz)T,利用梯度下降法计算目标函数值最优时的模型参数,.根据K+ 1个模型旋转角度值对应的最优的模型误差值,误差最优的角度值和模型参
45、数表示为( opt),(opt),(opt),(opt)=(opt)x,(opt)y,(opt)z) .这一参数值作为人脸姿态的初始估计值.4)定义循环因子l= 1.5)缩小搜索步长间隔(l)x=x4l,(l)y=y4l,(l)z=z4l.对于初始姿态估计值周围的每一个旋转角度值( opt)xv1 ( l)x,(opt)yv2 (l)y,(opt)zv3 ( l)z,v1= 0,1,2,3, v2= 0,1,2,3, v3= 0,1,2,3) ,计算其对应的最优模型参数.使目标函数值EI最小的模型参数作为新的模型参数(opt),(opt),( opt),(opt)=(opt)x,(opt)y,
46、(opt)z)6)更新循环优化算子为l :l=l+ 1.如果算子l小于或等于最大的循环上界L,则转向步骤5;否则停止循环计算.通过上述的模型匹配过程,三维人脸形变模型即可根据一幅输入的二维人脸图像自动重建出对应的特定人的三维人脸.由于模型匹配算法对组合参数中的旋转角度参数进行了由粗粒度到细粒度的穷举计算,可以很好地估计二维图像中人脸对象在3个方向上的旋转角度,在前面的多姿态人脸识别算法中也充分利用了该匹配算法的这一优点,采用三维人脸形变模型估计图像中人脸的姿态.4.5 实验结果为测试基于三维人脸形变模型的多姿态人脸识别方法的性能,在 CMU 2PIE 人脸数据库上进行了实验 .该数据库共有68
47、 人 ,包括 13 种不同的姿态、23 种不同的光照、 4 种基本表情. 在实验中,采用CMU 2PIE 数据库中“Gallery” 目录下的人脸图像作为输入图像,用三维人脸形变模型自动重建其对应6101计算机研究与发展2009 , 46 (6)名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 10 页 - - - - - - - - - 的三维人脸 .在人脸识别实验中,三维人脸对象在空间中X ,Y , Z三个方向上的旋转角度变化范围定为由 - 90 到 + 90,即M i
48、 nx=M i ny=M inz= - 90,M axx=M axy=M axz= + 90,参数K= 10,L= 4.从 BJU T23D 中选取了 200 人 (男 、 女各 100 人)的三维人脸数据作为训练数据,根据前述的模型重建方法 ,对于任意给定人脸图像重建出相应的三维人脸模型并估计人脸图像的姿态. 图 9 是部分姿态估计的结果,第 1 ,3 ,5 列为输入的不同姿态的二维人脸图像 ,第 2 ,4 ,6 列为相应重建模型的二维投影图像,图像中人脸的姿态在模型匹配过程均估计出来. 从视觉上看输入图像和重构后的投影图像姿态上具有较好的一致性.在 CMU 2PIE 数据库中,每个人脸对象
49、的目录下 都 包 含 4 个 子 目 录 , 分 别 为“ expression ”,“illum ”, “light s”, “talking ” . 为验证人脸识别算法在 姿 态 变 化 条 件 下 的 识 别 性 能 , 我 们 采 用“expression” 子目录下标记为 “N_ 3 _ 3. ppm” 的人脸图像作为测试图像(probe image) ,统计了前述的多姿态 人脸识 别 算 法 的 累 积 识 别 率 ( cumulativematch characteristic ) ,如图 10 所示 :Fig.10Face recognitionacross poses.图10
50、不同姿态下的人脸识别结果5结 论本文介绍了大规模中国人的三维人脸数据库BJU T23D ,主要包括数据采集的环境、 条件及人脸数据的形式 、 数据命名规则等. 根据扫描数据的特点介绍了相关的数据预处理及规格化技术. 该数据库的主要特点是: 1)数据规模大,包括 1200 名中国人的三维人脸数据;2) 所有数据都进行了对齐,保证三维人脸有统一的拓扑结构,几何和纹理数据有统一的表述形式 .该数据库对于丰富三维人脸数据资源,为研究人员提供比较、 测试平台有着重要意义.作为数据库的应用成果,进行了多姿态人脸识别及姿态估计的研究工作. 首先在BJU T23D 数据库的基础上构建三维人脸形变模型,然后根据