《基于 afs 的多民族人脸语义描述与挖掘方法研究-段晓东.pdf》由会员分享,可在线阅读,更多相关《基于 afs 的多民族人脸语义描述与挖掘方法研究-段晓东.pdf(15页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、书书书第 卷第期 年月计算机学报 H I N E S E U N A L M P U E SV N 收稿日期: - - ;在线出版日期: - - 本课题得到国家自然科学基金( )和辽宁省科技计划项目( , )资助段晓东,男, 年生,博士,教授,主要研究领域为模式识别、数据挖掘 E - : 李泽东,男, 年生,博士研究生,中国计算机学会( )学生会员,主要研究方向为数据挖掘、模糊控制 E - : 王存睿,男, 年生,博士研究生,副教授,主要研究方向为数据挖掘、模式识别张庆灵,男, 年生,博士,教授,博士生导师,主要研究领域为网络控制、生物数学刘晓东,男, 年生,博士,教授,博士生导师,主要研究领
2、域为模糊控制、模式识别基于A F S的多民族人脸语义描述与挖掘方法研究段晓东)李泽东),)王存睿),)张庆灵)刘晓东)(大连民族大学大连市民族文化数字技术重点实验室辽宁大连 )(东北大学系统科学研究所沈阳 )(大连理工大学智能控制研究所辽宁大连 )摘要该文提出了一种基于语义规则的多民族人脸特征表达方法该方法在公理化模糊集理论框架下建立刻画人脸特征的语义概念,构建描绘不同民族人脸特征的语义规则集,并根据语义贴近度及隶属度的关联性设定约简准则进行语义挖掘,进而研究不同民族的人脸典型特征所提方法的特点包括:通过多民族人脸特征数据的分布规律获取表述人脸特征的语义;定义的逻辑运算规则能够实现人脸语义运算
3、,并获得描述人脸多样性特征的复杂语义;挖掘所获的多民族人脸典型特征由具有自然语言解释的语义表述,便于直观理解文中采用 、 、D 、N N 、B N 、S V M和 A等方法对 E I、 K 以及本文所构建的“中华多民族人脸数据库”中的人脸民族属性进行了分析,结果表明该文方法建立的语义规则集不仅能够对各民族人脸特征进行语义解释,而且对个体人脸的民族属性具有较好的判别率,该文方法为研究多民族的人脸语义特征规律提供了一个新途径关键词多民族人脸特征;公理化模糊集;语义概念;复杂语义;语义规则集中图法分类号 P D O I号 S P M u l t i- E t h n i c F a c e S e
4、m a n t i c D e s c r ipt i o n a n d M i n i ngM e t h o d B a s e d o n A F SD U A N X - D )L I Z - D ),) A N G - ),)Z H A N G - L )L I U X - D )(D a l i a n K e y L a b o r a t o r y o f D i g i t a l e c h n o l o g y f o r N a t i o n a l C u l t u r e,D a l i a n N a t i o n a l i t i e s U n
5、i v e r s i t y,D a l i a n,L i a o n i n g )(I n s t i t u t e o f S y s t e m S c i e n c e,N o r t h e a s t e r n U n i v e r s i t y,S h e n y a n g )( e s e a r c h C e n t e r o f I n f o r m a t i o n a n d C o n t r o l,D a l i a n U n i v e r s i t y o f e c h n o l o g y,D a l i a n,L i a
6、 o n i n g )A b s t r a c t - - I , ; - ; ; - ; ; - M , E I, K M - E ( M E ), , ,D ,N N ,B N ,S V M A - S , - K e y w o r d s - ; ; ; ; 引言人脸面部特征包含民族、性别和年龄等基本属性,而民族特征是人类人脸认知过程中先于性别和年龄特征认知的最显著特征- ,因此它也成为人脸识别技术的重要方向之一人脸民族特征受到遗传、地域和生活方式等诸多方面影响而客观存在,人类学研究已证实了不同族群在面部特征上客观存在差异性和多样性如何利用计算机技术深入分析和挖掘多民族面部特征及其
7、规律,对于推进和深化人脸识别技术和人类学研究也同样具有重要意义近年来,国内外许多学者从几何特征、肤色特征、整体特征、局部特征以及组合特征等不同途径对人脸民族特征开展了研究工作 B 最早利用面部几何特征之间的距离和比率,分析了白种人的面部特征;K 对于眼角、嘴巴和下巴等面部特征之间的几何关系,在一个自建的 个白种人数据库上进行了分析;B 和P 通过具有 个样本的白人数据库,研究了人脸部件几何结构(如鼻子长度、嘴巴宽度和下巴形状等)之间的匹配关系,研究表明人脸的几何特征可以有效地判别人脸而B 和G 则将肤色作为人脸的重要特征,通过白人与黑人的肤色差异感知进行了分析;张洪明等人根据人脸肤色模型对亚洲
8、人和欧美人进行了人脸特征提取;A 和M 对南印度、澳大利亚、美拉尼西亚、非洲人的人脸肤色关系进行了验证;另外,A 等人 证实了皮肤颜色对于外部照明环境高度敏感,进而肤色是常与其他面部特征融合使用、或被用于种族粗分析的主要特征随着 和P 将主成分分析(P A ,P A)成功地用于人脸的眼睛、鼻、嘴等不同区域之间的整体特征分析之后,整体特征已经成为常用的人脸特征分析方法;L 将P A方法推广至缅甸人和非缅甸人的人脸特征提取,A 等人 则对阿拉伯人、亚洲人、白种人的特征进行分析,均取得了较好的效果;严严和章毓晋 采用P A、流行等方法在 M U、U S D等数据库上做了基于尺度变化、光照、姿势变化等
9、情况下的人脸特征分析局部特征方法的提出,降低了环境(如光照、遮挡等)对人脸特征的约束,比整体特征有较大的优势,如小波分析 、局部二值化 等方法均在 E E 数据库上证明了局部特征比整体特征的优越性;而 等人 采用嵌入式地形独立分量分析方法( I A , I A)对部分中华民族表情特征进行了分析,再次表明了局部特征在人脸特征分析中具有一定的优势但实际应用中一些学者尝试用组合特征方法替代单一的人脸特征识别方法,如肤色特征、局部小波特征和整体特征等方法的融合使用;如D 等人 采用局部纹理和全局形态描述人脸特征,采用多个人脸区域特征组合表达人脸的整体特征对于中国多民族人脸特征研究,段晓东等人 - 早期
10、建立了中国多民族人脸数据库,并利用P A,L D A和G 等方法对部分民族的人脸特征进行了前期研究,研究表明中国的不同民族面部特征间也存在多样性人脸民族特征研究也属于体质人类学分支之一民族学与人类学学者利用人体测量学对不同民族的人脸生物特征进行度量 - ,分析研究不同民族人脸特征的统计差异和分布规律,并通过数据总结自然语言对民族特征的语义描述例如:壮族人脸具有宽额头与眉毛较短的特点,藏族多具有长梯形脸,维吾尔族鼻直挺和眉毛浓密而弯曲 - 等等这些语义虽然直观形象地描述了各民族特征,但在科学性和完整性上仍需深入研究:一是语义概念描述的合理性;二是很多隐含的人脸民族特征没有被挖掘出来因此建立客观合
11、理的人脸特征语义描述和挖掘隐含的人脸民族语义特征,可深化和揭示以人体测量学为基础的人脸民族特征本文将人脸民族特征识别与体质人类学的相关工作做为结合点,通过定义人脸语义及其语义运算,挖掘描述不同民族人脸的语义特征由于模糊方法对于特征的属性具有较好的可解释性,常被应用于特征属性的自然语义描述,但传统的模糊方法需要主观定义描述特征的隶属度函数,然而合理的人脸语义特征需要根据人脸特征分布属性的规律进行构建本文提出的公理化模糊集 - (A S ,A S)理论解决了这一问题,A S理论方法利用特征的分布属性构建隶属度函数,进而构建基于特征属性的语义概念,避免了主观因素产生的差异,根据数据的分布属性定义和分
12、析不同民族的人脸语义本文基于A S理论研究不同民族人脸特征的规律,利用多民族人脸特征属性的分布规律构建描述人脸特征的语义;定义人脸语义逻辑运算规则对人脸语义进行计算;构建语义挖掘算法提取不同民族的人脸语义集本文第节介绍人脸特征的数据计算机学报 年属性的隶属度函数以及语义规则的逻辑运算的相关工作,并给出相关的定义;第节介绍本文提出的人脸语义的挖掘方法和多民族人脸特征的语义描述;第节给出本文的相关实验结果以及多民族人脸特征的语义解释;第节是本文工作的总结和展望 基于A F S的人脸语义描述人脸语义是对人脸特征的一种自然语言描述例如人脸特征的几何形态、不同器官的相对位置、情绪等显性和隐性属性的解释等
13、等本节首先定义了人脸语义的概念以及人脸语义的逻辑运算规则;然后根据人脸特征数据的分布属性,在A S理论框架下给出了语义隶属度函数的构建方法. 人脸语义表达及语义逻辑运算定义(人脸简单语义)假设M mlj,kjS,kK,lL为一个集合人脸有S个特征,j表示其中第j个特征;若第j个特征由L种属性组成,l表示其中的第l种属性;若第l种属性有K种不同的描述,k为其中的第k种描述;则称mlj,k为一个人脸简单语义,M为一个人脸简单语义集人脸简单语义是人脸特征的多属性、多形态量化表达如“眼睛较大且明亮”,是一条描述眼睛特征的语义,该语义中表达了眼睛“较大”的几何形状和“明亮”的色泽等个属性本文以文献 -
14、中的多民族人脸数据库为例,在中性表情状态下,采集壮族、藏族和维吾尔族等个民族的人脸正面图像,采集对象年龄在 岁且父辈为同族,每个民族选取 个样本;利用提取的特征点按文献 - 构建表所示的人脸特征,同时定义了“较大”、“非较大”、“中等”、“非中等”、“较小”和“非较小”等种几何形态描述人脸特征;根据定义,文中的人脸简单语义可简记为mj,k,具体如表所示表 人脸特征及其简单语义标号人脸特征人脸特征形态较大非较大中等非中等较小非较小f 左嘴角到左颧骨中心距离(左下脸颊)m,m,m,m,m,m,f 鼻宽m,m,m,m,m,m,f 嘴宽m,m,m,m,m,m,f 眉内间距m,m,m,m,m,m,f 鼻
15、长m,m,m,m,m,m,f 左嘴角到同侧内眼角距离(面颊长度)m,m,m,m,m,m,f 左鼻孔到同侧内眼角距离(鼻沟长度)m,m,m,m,m,m,f 左眼左侧到左颧骨中心距离(左上脸颊)m,m,m,m,m,m,f 右眼右侧到右颧骨中心距离(右上脸颊)m,m,m,m,m,m,f 下唇中心到下颚顶点距离(下颚宽)m ,m ,m ,m ,m ,m ,f 右嘴角到右颧骨中心距离(右下脸颊)m ,m ,m ,m ,m ,m ,f 两眼瞳孔间距m ,m ,m ,m ,m ,m ,f 鼻孔中心点到嘴角中心点距离(人中长)m ,m ,m ,m ,m ,m ,f 眉毛内侧中心到颧骨距离(上脸颊长度)m ,m
16、 ,m ,m ,m ,m ,f 鼻孔两侧与眉心点夹角(鼻子-眉心角)m ,m ,m ,m ,m ,m ,f 两侧颧骨中心与眉心夹角(颧骨-眉心角)m ,m ,m ,m ,m ,m ,f 颌骨两侧与下颚顶点夹角(下颚轮廓弧度)m ,m ,m ,m ,m ,m ,f 眉毛两外侧与鼻孔中心点夹角(面颊角)m ,m ,m ,m ,m ,m ,f 眼长轴与眉长轴夹角(眼角弧度)m ,m ,m ,m ,m ,m ,如表中所示的人脸特征,根据人脸的对称性,人脸特征f 和f ,f 和f 是具有相同含义的人脸特征,即f 和f 表示人脸面部上脸颊,f 和f 表示人脸面部下脸颊假设有组关于壮族的人脸特征描述,如下所
17、示:语义 “面颊长度不窄”且“鼻沟长度非中等”;语义 “鼻沟长度中等”且“上脸颊中等宽”;语义 “鼻沟长度中等”且“两眼瞳孔间距中等”根据定义以及表中对应的人脸特征及人脸简单语义,壮族的人脸特征表示如下:语义 “m ,且m ,”;语义 “m ,且m ,”;语义 “m ,且m ,”定义(人脸复杂语义)假设A i mj,k(mj,kM)表示由两个或者两个以上简单语义mj,k组合而成的语义,“”表示A i中所有简单语义mj,k之间的组合关系为“且”,并且A i中任意的两个简单语义mj,h和mj,k所描述几何形态相异,则称A i为一个人脸复杂期段晓东等:基于A S的多民族人脸语义描述与挖掘方法研究语义
18、由定义可知,前述的语义规则可以采用如下方式进行表达语义 “面颊长度不窄”且“鼻沟长度非中等”表达为“m , m ,”;语义 “鼻沟长度中等”且“上脸颊中等宽”表达为“m , m ,”;语义 “鼻沟长度中等”且“两眼瞳孔间距中等”表达为“m , m ,”定义(人脸复杂语义之间的“或”逻辑表达)假设A A ,A ,A i,A n(in)为人脸语义的有限集,有限集中的A i是复杂人脸语义,则任意两个A i和Aj(in,jn,ij)之间的组合关系为“或”根据定义,上例中所示的壮族人脸语义规则可以表达为如下:A A A A mAmmAmmAm 定义(人脸复杂语义集) 人脸特征的多样性,具备多个人脸复杂语
19、义A i,A i mj,k(in,mj,kM)采用表示人脸复杂语义集合,集合中任意两个人脸复杂语义A i之间为“或”逻辑关系,表示为iIA i A i mj,k,mj,kM,I是非空集合()如果有iImAi()m,j犑mBj()m,则中存在等价关系,满足中的语义集之间的逻辑运算,如下所示定义(人脸语义的“等价”逻辑关系) 假设iImAi()m,j犑mBj()m,将记为商集,如果iImAi()m j犑mBj()m满足如下关系,则认为iImAi()m和j犑mBj()m上存在“等价关系”()iI,h犑,使得A iB h;()j犑,kI,使得BjA k 在中,当iImAi()m j犑mBj()m时,表
20、示iImAi()m代表的语义和j犑mBj()m代表的语义等价假设有组语义分别为A m , m ,A m , m ,和A m , m , m ,根据“等价”关系:A A A m , m , m , m , m , m , m , m , m , m , m , A A ,即语义A 与A 的语义等价定义(人脸语义的“”和“”逻辑运算)(,)是完全分配格,对于任意的A i mAim,BjmBjm,和的逻辑运算定义如下:iIA ij犑BjuUC u()iIA ij犑BjiI,j犑A iBj()其中U是指标集I与犑的不交并,对于uU,当uI时,C u A u;当u犑时,C u B u . 人脸语义集的隶
21、属度函数人脸语义隶属度函数是数据集中属性符合定义的人脸特征的程度描述函数本节通过人脸特征的分布属性和分布概率,构建人脸语义隶属度函数,对人脸特征进行表达定义(语义结构)设X是人脸特征属性数据集,M是一个简单语义集;M是M的幂集,:X XM如果满足如下性质,则称(M,X)为一个语义结构性质 (x ,x )X X,(x ,x )(x ,x )性质 (x ,x ),(x ,x )X X,(x ,x )(x ,x )(x ,x )上述性质说明在语义结构中,语义具有可比性和传递性性质表明,对于语义mM,如果x 属于语义m的隶属度大于或等于x 属于语义m的隶属度程度,则在语义m对x 的描述要优于对x 的描
22、述;性质表明,对于每个语义mM,论域X中的元素属于m的程度满足传递率定义(人脸特征的语义隶属程度)假设(M,X)是基于人脸特征属性集X的一个语义结构,A是一个复杂语义,则在语义结构(M,X)中,xX属于A的程度,表示如下:A(x) y yX,x,()yA()当A m(A)时,A(x)表示人脸特征数据集X中,有x ,x X,x 属于A的程度小于或等于x 属于A的程度定义(人脸复杂语义隶属度的运算规则)(M,X)是一个人脸语义结构,令(x)是(,)和(M,X)上的隶属度函数,如果有任意的语义,xX,且,之间满足“”和“”逻辑运算关系,如下所示: (x),(x)() (x),(x)()计算机学报 年
23、 当存在语义,关于语义在样本集X上的隶属函数:X,(x)被称为关于人脸语义的“”和“”逻辑运算规则(,)和人脸语义结构(M,X)上的隶属度函数,并且必须满足以下条件:()若语义,在(,)中,如果,对于任意的xX,则(x)(x);()若有xX,语义iImAi()m,如果Ai(x),则对于所有的iI有(x) ;()若有x,yX,AM,mAm,如果A(x)A(y),则(x)(y);如果A(x) X,则(x) 定义 (人脸简单语义的权重函数) 假设语义m是数据集X上的一个简单语义,x,yX,X,)如果m满足以下条件,则m被称为简单语义m对于x的权重函数:()m(x) ,A(x),xX;()m(x)m(
24、y)A(x)A(y),x,yX 本文基于A S理论框架构建人脸语义隶属度函数假设(,P)是一个概率空间,M是上的简单语义集,是简单语义集M的权重函数;令X是概率空间(,P)中的一个有限样本集,如果任意mM,x,m(x)时,有如下结论:()(x)是(,)上一个的隶属度函数,则对于任意人脸语义集iImAi()m,基于语义结构的隶属度函数和基于概率分布的隶属度函数可分别描述如下:(x) iX AiuAi(x)(u)N uuX(u)N u,xX()(x) iX AiAi(x)(t) p(t)(t) p(t),x()其中,N u是在样本集X中观察到的人脸语义次数()对于任意mM,m在上是连续的,X是概率
25、空间(,P)中任意的一组样本集;对于所有的x,当X无穷大时,式()定义的隶属度函数会收敛至式()定义的隶属度函数为了能够更加清晰的刻画人脸特征,构建如下人脸“非语义”的隶属度函数:(x) (x),xX()为此,本文基于语义结构建立了描述不同民族人脸特征的隶属度函数基于语义结构的隶属度函数和基于概率空间的隶属度函数具有一致性,其证明过程可参见文献 ;上述语义结构和语义运算规则等数学性质的证明可参考文献 - 文中将人脸特征数据归一化后,利用人脸特征分布属性构建的隶属度函数与传统三角形隶属度函数为例进行了比较,如图和图所示图 基于三角形的隶属度函数图 基于人脸特征分布属性的隶属度函数A S理论依据特
26、征的分布属性构建隶属度函数,而不是主观定义隶属函数图中的传统隶属度函数根据预先指定的模型计算隶属度,对特征的属性进行描述,其隶属函数具有主观性,会由于使用者的主观认知产生差异;图中基于A S理论框架建立的隶属度函数,它通过特征的分布属性,构建能够客观表达属性特征的隶属度函数当主观认知产生差异时,本文构建的隶属度函数可以通过权重函数m调节不同语义的隶属度,进而降低误差;通过隶属度函数构建的语义可以进行逻辑规则运算,能够更全面地刻画特征属性可见,相比于传统方法,本文期段晓东等:基于A S的多民族人脸语义描述与挖掘方法研究提出的方法对特征属性的描述更加客观、合理,且符合人的认知逻辑 多民族人脸语义规
27、则挖掘本节基于人脸语义隶属度函数和人脸语义逻辑运算,挖掘不同民族的语义规则集,进而刻画各民族的人脸特征挖掘方法分为个部分:首先利用不同民族之间的差异性,挖掘个体人脸语义规则描述;其次根据相同民族人脸的相似性,采用同一民族中个体人脸语义统计表达民族人脸语义集;最后挖掘不同民族的人脸民族语义 . 个体人脸语义挖掘假设X为多民族人脸特征数据集,其中有类民族样本,M mj,kjS,kK为人脸简单语义集本节以第类民族中的第i个样本为例,阐述其人脸语义挖掘方法及过程,共分个步骤步骤 构建x i的简单语义集根据样本集X中的人脸特征数据的分布属性,利用式()构建语义隶属度函数;建立简单语义评价函数Vximj,
28、k,提取个体x i的人脸简单语义Vximj,kmj,k(x i),x iX Ci,jS,kK( )其中mj,k(x i) iX mMumj,k(xi)m(u)N uuXm(u)N u,x iX Ci,其中,mj,k(x i)是x i在简单语义mj,k下的隶属度;为简单语义隶属度阈值;保留描述x i的简单语义中取V mj,k(x i)对应的简单语义:M xi m j,k V j,k(x i) 人脸特征是多样的、复杂的,简单语义对人脸特征的刻画不够清晰,需要能够深入描述人脸特征多样性的复杂语义步骤 构建x i的复杂语义集根据个体x i的人脸简单语义集,建立简单语义评价函数VxiAu挖掘个体x i的
29、人脸复杂语义VxiAuAu(x i),x iX Ci,A uxi( )其中Au(x i) iX mAuuA(xi)m(u)N uuXm(u)N uAu(x i)是x i在复杂语义A u下的隶属度;为复杂语义隶属度阈值;xi表示描述x i的复杂语义集,文中保留语义集中VxiAu(x i)对应的复杂语义: xi Axiu mj,kM ximj,k VxiAu(x i),A uxi( )文中以隶属度表示不同民族个体之间的人脸特征差异程度以壮族训练样本集中的个体样本x 为例,根据前两步过程得到其复杂语义集 x,训练集中各民族基于语义集 x的隶属度分布如图所示图 复杂语义下的多民族人脸隶属度分布从图知,
30、在个体样本x 的复杂语义集 x描述下,藏族和维吾尔族中有部分样本的隶属度与x 相同或相近,表明 x中包含了与藏族和维吾尔族相似的人脸语义步骤 挖掘个体x i的复杂语义集 xi,提取能够描述x i人脸典型特征的语义集首先构建评价函数xiAu,如下所示:xiAuAp(x i)Apx()r,x iX Ci,x rX Ci,Ap xi( )其中Ap(x i) iX mAppAu(x)m(p)NppXm(p)Np,x iX Ci,Apx()j 烅烄烆 iX mAppAp(xj)m(p)NppXm(p)N烍烌烎p,其中xjX Cj,xjX Ci,X CiX Cj X;Ap(x i)表示x i在复杂语义Ap
31、(Ap xi)下的隶属度;Au(xj)表示在语义Ap描述下,数据集XCj中的个体xj相比计算机学报 年较其他个体x k(x kX Cj)具有最大隶属度然后选取xiAu值较大的语义作为x i人脸特征的描述,如下所示:A xiApxiAp,Ap xi( )其中是选择描述个体x i典型人脸特征语义的阈值根据式( ),对图中所示的壮族样本x 的复杂语义集 x进行挖掘,提取x 的典型人脸语义集A x在A x描述下,x 与数据集中其他样本的隶属度差异如图所示图 基于典型人脸语义集的多民族人脸隶属度分布图中,在语义集A x的描述下,个体x 的隶属度高于藏族、维吾尔族中任意个体样本的隶属度,还能够刻画出个体样
32、本x 与藏族、维吾尔族中个体样本的差异,因此将其作为表达个体x 人脸特征的复杂语义集 . 民族人脸语义表达根据 节,样本集中的任一样本x i可用一组语义集A xi描述民族人脸语义集构建本节将第C i类民族中个体x i的语义A xi作为子集,依据人脸语义的“”逻辑运算和“等价”逻辑关系,构建其人脸民族语义集,如式( )所示:CiCixiXCiA xix iX Ci( )式( )所表示的人脸民族语义集中的复杂语义是非重复的经过上述的语义挖掘步骤,按照表中的人脸特征及简单语义,根据文献 - 中壮族、藏族和维吾尔族等个民族的人脸特征数据分布属性,构建出各民族的人脸语义集如表 并以表中壮族、藏族和维吾尔族的人脸语义集为例,其隶属度分布如图所示表 多民族人脸语义集民族复杂语义壮族m,m ,m ,m ,m ,m ,m,m ,m,m ,m,m ,m,m ,m,m ,m,m ,m,m ,m,m ,m ,m ,m,m,m ,m ,m ,m ,m,m ,m ,m,m,m ,m,m ,m ,m,m ,m ,m,m,m ,m,m,m ,m,m,m ,m,m ,m ,m,m,m ,m ,m ,m ,m,m ,m ,m,m ,m ,m,m ,m ,m,m ,m ,m,m ,m ,m,m,m ,m,m,m ,m,m,m,m,m,m,m,m ,m ,m,m ,m ,m,m,m