《人脸检测与识别精选PPT.ppt》由会员分享，可在线阅读，更多相关《人脸检测与识别精选PPT.ppt（100页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、关于人脸检测与识别1第1页，讲稿共100张，创作于星期一2n人脸识别是一个活跃的研究领域，是人类视觉最杰出的能力之一。n虽然人脸识别的准确性要低于虹膜、指纹识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式。9.1概述第2页，讲稿共100张，创作于星期一3（一）发展历史n人类天生就有通过人脸来辨识人的能力。n1888年和1910年，Galton在Nature上发表过两篇关于利用人脸进行身份识别的论文，开启了人脸识别的学术和应用研究。n人脸识别研究大致可分为三个阶段n第一阶段：1965-1990年，初级阶段n第二阶段：1991-1997年，活跃的重
2、要时期n第三阶段：1997-现在，实用化研究时期第3页，讲稿共100张，创作于星期一4（1）第一阶段：1965-1990n将人脸识别作为一个一般性的模式识别问题来研究；n采用的主要技术方案：基于几何结构特征的人脸识别方法；n非常重要的研究成果不多，基本没有得到实际应用。第4页，讲稿共100张，创作于星期一5（2）第二阶段：1991-1997n出现了代表性的人脸识别算法：nMIT媒体实验室的特克（Turk）和潘特兰德（Pentland）提出的“特征脸”方法，是这一时期内最负盛名的人脸识别方法。nMIT人工智能实验室的布鲁内里(Brunelli)和波基奥(Poggio)于1992年左右做的一个对比
3、实验，他们对比了基于结构特征的方法与基于模板匹配的方法的识别性能，并给出了一个比较确定的结论：模板匹配的方法优于基于特征的方法。n贝尔胡米尔（Belhumeur）等提出的Fisherface人脸识别方法，该方法目前仍然是主流的人脸识别方法之一，产生了很多不同的变种，比如零空间法、子空间判别模型、增强判别模型、直接的LDA判别方法以及近期的一些基于核学习的改进策略。nMIT的马哈丹(Moghaddam)则在特征脸的基础上，提出了基于双子空间进行贝叶斯概率估计的人脸识别方法第5页，讲稿共100张，创作于星期一6n洛克菲勒大学(RockefellerUniversity)的艾提克(Atick)等提出
4、了人脸局部特征分析技术（LFA），其本质上是一种基于统计的低维对象描述方法，与只能提取全局特征而且不能保留局部拓扑结构的PCA相比，LFA在全局PCA描述的基础上提取的特征是局部的，并能够同时保留全局拓扑信息，从而具有更佳的描述和判别能力。LFA技术已商业化为著名的FaceIt系统。n柔性模型(FlexibleModels)，包括主动形状模型(ASM)和主动表观模型(AAM)是这一时期内在人脸建模方面的一个重要贡献；n美国军方组织了著名的FERET人脸识别算法测试；n商业化运作的人脸识别系统，如Visionics（现为Identix）的FaceIt系统。（2）第二阶段：1991-1997第6页
5、，讲稿共100张，创作于星期一7（3）第3阶段：1997-至今n基奥盖蒂斯(Georghiades)等人提出的基于光照锥(IlluminationCones)模型的多姿态、多光照条件人脸识别方法是这一时期的重要成果之一；n支持向量机为代表的统计学习理论被应用于人脸识别中；n布兰兹(Blanz)和维特(Vetter)等提出的基于3D变形(3DMorphableModel)模型的多姿态、多光照条件人脸图像分析与识别方法是这一阶段内一项开创性的工作。n2001年的国际计算机视觉大会(ICCV)上，康柏研究院的研究员维奥拉(Viola)和琼斯(Jones)展示了一个基于简单矩形特征和AdaBoost的
6、实时人脸检测系统，在CIF格式上检测准正面人脸的速度达到了每秒15帧以上；nFERET项目之后，涌现了若干人脸识别商业系统。n非线性建模方法、统计学习理论、基于Boosting的学习技术、基于3D模型的人脸建模与识别方法等逐渐成为备受重视的技术发展趋势。第7页，讲稿共100张，创作于星期一8（二）人脸公共数据库nFERET人脸数据库：FERET项目创建，含14051幅多姿态、不同光照条件的灰度人脸图像，是人脸识别领域应用最广泛的人脸数据库之一；nORL人脸数据库：包含40人共400张面部图像，部分图像包含了姿态、表情和面部饰物的变化，早期经常被采用，由于变化模式较少，多数系统识别率均可达90%
7、以上；nMIT人脸数据库：由麻省理工媒体实验室创建，包含16位志愿者的2592张不同姿态、光照和大小的面部图像；nAR人脸数据库：包含116人不同光照、表情、遮挡和老化的人脸图像共3288幅；第8页，讲稿共100张，创作于星期一9nYale人脸数据库：由耶鲁大学计算视觉与控制中心创建，包含15为志愿者的165张图片，包含光照、表情和姿态的变化。nCMU-PIE人脸数据库：由美国卡耐基梅隆大学创建，包含68人的41368张多姿态、光照和表情的面部图像；nCAS-PEAL人脸数据库：包含1040名中国人共99450幅头肩部图像，涵盖姿态、表情、饰物和光照四种主要变化条件，部分人脸图像具有背景、距离
8、和时间跨度的变化。（二）人脸公共数据库第9页，讲稿共100张，创作于星期一10n国际上对人脸及人脸面部表情识别的研究现在逐渐成为科研热点。n国内外很多机构都在进行这方面的研究,尤其美国、日本。进入90年代，对人脸表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持，EI可检索到的相关文献就多达数千篇。n美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland大学、Standford大学、日本城蹊大学、东京大学、ATR研究所的贡献尤为突出。（三）研究和发展现状第10页，讲稿共100张，创作于星期一11（
9、三）研究和发展现状n国内关于人脸自动识别的研究始于二十世纪80年代，研究工作主要是集中在三大类方法的研究：n基于几何特征的人脸正面自动识别方法n基于代数特征的人脸正面自动识别方法n基于连接机制的人脸正面自动识别方法。第11页，讲稿共100张，创作于星期一12人脸检测子系统人脸识别子系统人脸定位与分割人脸图像规一化特征提取基于先验知识人脸检测法基于统计人脸检测法模式分类基于几何的方法基于神经网络SVM等的方法基于统计的方法（四）人脸检测与识别系统数据采集子系统第12页，讲稿共100张，创作于星期一13（五）人脸识别过程第13页，讲稿共100张，创作于星期一14一一对对一一的的验验证证过过程程（五
10、）人脸识别过程第14页，讲稿共100张，创作于星期一15一一对对多多的的辨辨别别过过程程（五）人脸识别过程第15页，讲稿共100张，创作于星期一16（六）人脸识别中的关键问题n光照问题n目前许多算法对光照条件都有不同程度的依赖，过亮过暗或偏光都会导致识别率的下降；n解决思路：n寻求对光照变化不敏感的底层视觉特征；n建立光照模型，进行有针对性的光照补偿，消除非均匀正面光照造成的影响；n用任意光照图像生成算法生成多个不同光照条件下的训练样本，采用具有学习能力的识别方法。第16页，讲稿共100张，创作于星期一17n姿态估计与匹配n姿态的变化（偏转或俯仰等）会造成面部信息的部分缺失，影响人脸特征的精确
11、提取；n解决思路n建立多姿态人脸数据库，通过多样本学习方法进行识别；n寻求基于姿态不变特征的方法，如基于弹性图匹配的识别方法、基于肤色模型的识别方法；n利用自动生成算法，在单视图基础上自动生成多角度视图进行识别。（六）人脸识别中的关键问题第17页，讲稿共100张，创作于星期一18（七）人脸识别的主要研究内容(1)人脸检测（Face Detection）n指在输入图像中确定所有人脸（如果存在）的位置、大小、位姿的过程。人脸检测是自动人脸识别系统中的一个关键环节。(2)人脸识别n人脸识别细分为两类，一类是回答我是谁的问题，即辨认（Identification），另一类是回答这个人是我吗？即确认（V
12、erification）。显然，用于Identification模式的识别系统对算法的运算速度的要求要高于Verification模式的识别系统。第18页，讲稿共100张，创作于星期一19n从人脸自动识别技术所依据的理论来讲，人脸检测与人脸识别都是模式识别问题。n人脸检测是把所有的人脸作为一个模式，而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开来。n人脸识别是把每一个人的人脸作为一个模式来对待，不同人的脸属于不同的模式类，人脸识别的过程是将属于不同人的脸归于各自的模式。n人脸检测强调的是人脸之间的共性，而人脸识别则要区分不同人脸之间的差异，二者同属于模式分类问题。（七）
13、检测与识别第19页，讲稿共100张，创作于星期一209.2人脸检测n人脸检测是人脸识别的第一步，其目的是从输入图象中判断是否有人脸存在，如果有，则给出人脸的位置和大小。n复杂背景下的人脸检测比较困难，主要体现在：n人脸自身的复杂性：人脸自身的复杂性：人脸模式受许多因素的影响，这些因素包括人种、性别、肤色、面部佩戴物等。n光照、背景的复杂性：光照、背景的复杂性：由于人可能处于任何的背景之中，因而背景具有不确定性和无穷多样性。n位置、尺寸的复杂性：位置、尺寸的复杂性：人脸通常处于一种不确定的大小和位置，包括人脸自身的旋转、倾斜以及摄像机角度等因素的影响。第20页，讲稿共100张，创作于星期一21n
14、人脸检测的方法大致可分为n基于人脸知识的检测法：用典型的人脸形成的规则来对人脸进行编码。通过面部特征之间的关系进行人脸定位；n基于模板匹配的检测法：存储几种标准的人脸模式，用来分别描述整个人脸和面部的特征，计算输入图像和存储模式间的相互关系并用于检测；n基于统计学习的检测法：通过使用大量的人脸与非人脸的样本训练，构造分类器，通过判别图像中所有可能的区域属于哪类模式的方法来实现人脸的检测。9.2人脸检测与定位第21页，讲稿共100张，创作于星期一22（一）基于知识的人脸检测方法n主要五种知识规则：n轮廓规则：人脸的轮廓可近似为一个椭圆，则人脸检测可以通过检测椭圆来完成。也可将人脸抽象分为三段轮廓
15、：头顶轮廓线、左侧脸轮和右侧脸轮。n器官分布规则：人脸的五官分布具有一定的几何规则。可先对人脸的器官或器官的组合建立模板，然后检测图像中几个器官可能分布的位置及其分布组合，用器官分布的集合关系规则对其进行筛选，从而找到可能存在的人脸。n肤色和纹理规则：人脸肤色聚类在颜色空间中一个较小的区域，可利用肤色模板有效地检测出图像中的人脸。n对称性规则：人脸具有一定的轴对称特性，各器官也具有一定的对称性。n运动规则：在序列图像中，可利用人脸或人脸的器官相对于背景的运动来检测人脸。如利用眨眼或说话来分离人脸与背景；利用人体的运动可检测运动的人脸。第22页，讲稿共100张，创作于星期一23（1）基于肤色的人
16、脸检测n人的肤色分布具有相对集中特性n基于肤色的人脸检测的技术问题：n颜色空间：nRGB空间nYCbCr空间n皮肤颜色分布模型n区域模型：肤色的特征值分布在某取值范围，如Y80，85Cb135，135cr180n高斯模型：假设肤色分布服从高斯分布第23页，讲稿共100张，创作于星期一24（1）基于肤色的人脸检测YCbCr空间肤色聚类区域CbCr平面肤色聚类区域第24页，讲稿共100张，创作于星期一25（1）基于肤色的人脸检测n根据已建立的肤色模型，计算图像中所有像素点颜色与肤色的相似程度。n颜色空间转换第25页，讲稿共100张，创作于星期一26（二）基于模板匹配的检测方法n根据人脸的“三庭五眼
17、”的关系，可以使用一个统一的模型来描画出人脸的结构图，并将其作为人脸的模板。n模板匹配的方法主要是通过计算模板和图像之间的相关性来实现识别功能的。检测时，将模板在被检测的区域内分别在行和列方向上移动，计算出相关值最大的区域就是人脸区域。nCraw提出的正面人脸的固定形状模板方法：先用Sobel算子提取边缘，将边缘组织在一起，根据几何约束条件去搜索人脸模板。该方法简单，易于实现，但无法处理尺寸、姿态和形状变化的情况。n弹性模板：固定模板方法的改进，能在有限的范围内自动地调整模板的范围，自适应地定位出人脸的位置。第26页，讲稿共100张，创作于星期一27nYuille利用弹性模板对脸部特征进行建模
18、，用一个先验的弹性模板来与脸部特征相匹配，脸部特征被表述成参数模板。输入图像的边缘、波峰值、峰谷值等被对应于模板中的参数，而构成一个能量函数。通过调整参数，将函数能量最小的弹性模板作为人脸的最佳匹配。n可变形模板方法存在两个问题：n能量函数中各种代价的加权系数只能由经验确定，难以推广；n能量函数的优化过程十分耗时，难以在实际中应用。（二）基于模板匹配的检测方法第27页，讲稿共100张，创作于星期一28（二）基于模板匹配的检测方法 人脸弹性图匹配方法人脸弹性图匹配方法 第28页，讲稿共100张，创作于星期一29（三）基于统计模型的人脸检测n由于人脸图象的复杂性，显式地描述人脸特征具有一定困难，因
19、此另一类方法基于统计模型的方法越来越受到重视。n将人脸区域看作一类模式，即模板特征，使用大量的“人脸”与“非人脸”样本训练，通过统计分析和机器学习技术构造分类器，通过判别图像属于哪类模式的方法实现人脸的检测。实际上，人脸检测问题被转化为统计模式识别的二分类问题。n优点：通过训练可以自动地提取人脸的特征；n缺点：所提取出的特征十分隐晦，缺乏认知学上的意义。此外，训练时间长，计算量大，而且一般需要大量精心制作的样本。第29页，讲稿共100张，创作于星期一30n基于统计模型的人脸检测可分为：n基于特征空间的方法n基于人工神经网的方法n基于概率模型的方法n基于支持向量机的方法n基于adaboost学习
20、的方法（三）基于统计模型的人脸检测第30页，讲稿共100张，创作于星期一31（三）基于统计模型的人脸检测n基于特征空间的方法将人脸区域图像变换到某一特征空间，根据其在特征空间中的分布规律划分“人脸”与“非人脸”两类模式。n典型的有：n基于主成分分析的人脸检测n基于事例学习的人脸检测n基于线性子空间的人脸检测第31页，讲稿共100张，创作于星期一32（1）基于主成分分析的人脸检测n主成分分析（PCA，Principal-ComponentAnalysis）是一种常用的方法。它根据图像的统计特性进行的正交变换（K-L变换），以消除原有向量各个分量间的相关性。变换得到对应特征值依次递减的特征向量，即
21、特征脸。第32页，讲稿共100张，创作于星期一33n由MIT的Sung等人1995年提出，首先采用椭圆k-均值算法对人脸和非人脸样本(大小为1919)进行聚类，分别聚成六个人脸子类和非人脸子类。从而形成人脸和非人脸的大致分布。在此基础上，定义一种混合马氏距离和欧氏距离的距离度量来度量图像间的相似程度。（2）基于事例学习的人脸检测第33页，讲稿共100张，创作于星期一34nYang(2000)等人提出了两种混合线性子空间的人脸检测方法。n采用混合自组织映射(SOM)和Fisher线性判别（FLD）的方法，首先应用SOM神经网络算法进行人脸和非人脸的聚类，把人脸空间和非人脸分别聚类成26个子类；其
22、次，根据聚类后的结果，把整个人脸样本看成是一个多类问题，对于非人脸样本也是如此。n采用FLD方法对上述多类模式进行判决函数求解，进而对未知图象的人脸和非人脸的归类。（3）基于线性子空间的人脸检测第34页，讲稿共100张，创作于星期一35n人工神经网（ANN）方法是把模式的统计特性隐含在ANN的结构和参数之中，对于人脸这类复杂的、难以显式描述的模式，基于ANN的方法具有独特的优势。nRowley（1998）等人直接采用多层感知神经网络进行人脸检测，使用了多个ANN检测多姿态的人脸。（4）基于神经网络的人脸检测第35页，讲稿共100张，创作于星期一36（4）基于神经网络的人脸检测第36页，讲稿共1
23、00张，创作于星期一37n在上述框架下，Rowley等对正面端正人脸和正面旋转人脸的检测单独进行了研究。n对正面端正的人脸，仅使用了正面人脸检测ANN，是一种三层前向网：输入层对应2020象素的图象区域；隐层节点分为对应不同人脸区域的若干组，与输入层部分连接；ANN输出1到-1区间的值表示这个区域是否为人脸。Rowley等使用相同的“人脸”样本和不同“自举”过程收集的“非人脸”样本训练了多个正面人脸检测ANN，对它们的检测结果进行仲裁，以进一步减少错误报警。n对于正面旋转人脸的检测使用了旋转角度检测器及正面人脸检测ANN，并使用相似的多ANN仲裁方法降低错误报警。（4）基于神经网络的人脸检测第
24、37页，讲稿共100张，创作于星期一38（4）基于神经网络的人脸检测第38页，讲稿共100张，创作于星期一39n支持向量机（Support Vector Machines，SVM）是 Vapnik等提出的基于结构风险最小化原理（Structural Risk Minimization Principle,SRM）的统计学习理论，用于分类与回归问题。nSRM使VC（Vapnik Cherovnenkis）维数的上限最小化，这使得SVM方法比基于经验风险最小化（Empirical Risk Minimization Principle,ERM）的人工神经网方法具有更好的泛化能力。（5）基于支持向量
25、机的人脸检测第39页，讲稿共100张，创作于星期一40nOsuna（1997）等人，把人脸检测看成是一个人脸和非人脸的两类模式的分类问题，并采用支持向量机(SVM)寻找分类的超平面。（5）基于支持向量机的人脸检测第40页，讲稿共100张，创作于星期一41n该方法的基本思路是对每一个1919象素的检测窗口使用SVM进行分类，以区分“人脸”和“非人脸”窗口。SVM的训练使用了大量人脸样本和“自举”方法收集的“非人脸”样本，并且使用逼近优化的方法减少支持矢量的数量。n需要说明的是，长期以来SVM的训练需要求解计算复杂度极高的二次规划问题，限制了该方法的应用。nPlatt提出的SMO（Sequenti
26、al Minimal Optimization）算法解决了SVM训练困难的问题。（5）基于支持向量机的人脸检测第41页，讲稿共100张，创作于星期一42n基于概率模型方法的一种思路是计算输入图像区域region属于人脸模式object的后验概率p(object|region)，据此对所有可能的图像窗口进行判别。（6）基于概率模型的方法第42页，讲稿共100张，创作于星期一43n基于后验概率估计的人脸检测方法：该方法利用贝叶斯原理将后验概率估计转化为一个似然度求解问题：n将难以估计的先验概率P(object)和P(object)用一个比率参数代替，作为调节检测器敏感度的参量。（6）基于概率模型的
27、方法第43页，讲稿共100张，创作于星期一44n隐马尔可夫模型(Hidden Markov Models,HMM)：nNefian等根据正面人脸由上到下各个区域（头发、额头、双眼、鼻子、嘴）具有自然不变的顺序这一事实，使用一个包含五个状态的一维连续HMM加以表示。将头部图象按照这五个区域划分为互有重叠的条块，对各块进行K-L变换，选取前若干个变换系数作为观测向量训练HMM。nNefian等还提出了基于嵌入式HMM的人脸检测方法。该方法同时考虑到人脸由左到右各个特征的自然顺序，使用了二维HMM，并且采用二维DCT变换的系数作为观察向量。nMeng等使用HMM描述人脸的小波特征中不同级间的相关性等
28、方法。n基于HMM的方法一般只使用“人脸”样本进行训练，主要针对用于人脸识别的头肩部图象。（6）基于概率模型的方法第44页，讲稿共100张，创作于星期一45第45页，讲稿共100张，创作于星期一46（7）基于Adaboost学习的方法nAdaboost即Adaptive Boosting算法是由Freund和Schapire于1995年提出。n2001年，Viola Paul和Jones Michael 正式将Adaboost算法用于人脸检测。nAdaboost算法的检测率很高平均可达94%以上，是目前比较热门的人脸检测算法。第46页，讲稿共100张，创作于星期一47n弱学习与强学习n随机猜测
29、一个是或否的问题，将会有50%的正确率。n如果一个假设能够稍微地提高猜测正确的概率，那么这个假设就是弱学习算法。得到这个算法的过程称为弱学习。n如果一个假设能够显著地提高猜测正确的概率，那么这个假设就称为强学习算法。得到这个算法的过程称为强学习。第47页，讲稿共100张，创作于星期一48n 矩形特征n特征的选取和特征值的计算对Adaboost人脸检测算法的速度起着重要作用。n在AdaBoost算法中使用矩形特征（也叫Haar-Like特征）作为特征模板。用一个5元组表示一个矩形特征(x,y,w,h,angle)，其中(x,y)为矩形的左上角位置，(w,h)为矩形的宽和高，angle表示矩形的旋
30、转角度。n计算一个矩形特征的特征值有几种方法：n黑色部分与白色部分像素和的差n黑色部分与整个矩形面积的权重差等等。第48页，讲稿共100张，创作于星期一49n矩形特征对一些简单的图形结构，比如边缘、线段，比较敏感，但是其只能描述特定走向（水平、垂直、对角）的结构，因此比较粗略。（如右图所示）n对于一个24X24的检测窗口，其内部的矩形特征的数量可达到160000以上。第49页，讲稿共100张，创作于星期一50第50页，讲稿共100张，创作于星期一51n矩形特征（续）n对于某一检测窗口，由于特征数量巨大，必须通过特定算法甄选合适的矩形特征（最佳特征），并将其组合成强分类器才能检测人脸。nhaar
31、特征反映了图像中灰度分布特点的特性，如何找到较好的haar特征来描述人脸图像灰度分布的特点？下图中的3个特征就能很好的描述图像中人脸的眼部的灰度的分布特点（人眼的水平区域比面颊上部区域的灰度要暗一些）。第51页，讲稿共100张，创作于星期一52n积分图：一种快速的矩形特征的选取算法，是一种间接的图像表示方法。n在一张积分图上，点i(x,y)的积分值ii(x,y)是原图像上该点的上方和左方所有点的亮度值的和。即：其中ii(x,y)为积分图，i(x,y)为原始图像。第52页，讲稿共100张，创作于星期一53原图像原图像积分图图像积分图图像原图像部分像素值原图像部分像素值对应积分图图像部分像素值对应
32、积分图图像部分像素值第53页，讲稿共100张，创作于星期一54n当采用下面两式，只需对原图像扫描一次即可计算出积分图：n其中，是对这一行及其以前行的像素值求和，并且有：第54页，讲稿共100张，创作于星期一55xyABCD1234n区域D的像素值=点4的积分图像值+点1的积分图像值-点2的积分图像值-点3的积分图像值第55页，讲稿共100张，创作于星期一56n积分图与特征值计算（续）xyAB123456(1,1)n此特征模板的特征值为：区域A的特征值-区域B的特征值第56页，讲稿共100张，创作于星期一57第一步：弱分类器的选取n一个弱分类器h(x,f,p,)由一个特征f，阈值和指示不等号方向
33、的p 组成：n训练一个弱分类器（特征f）就是在当前权重分布的情况下，确定f 的最优阈值以及不等号的方向，使得这个弱分类器（特征f）对所有训练样本的分类误差最低。具体方法如下：AdaBoost算法学习第57页，讲稿共100张，创作于星期一58n对于每个特征 f，计算所有训练样本的特征值，并将其排序。通过扫描排好序的特征值，可以为该特征确定一个最优的阈值，从而训练成一个弱分类器。n具体来说，对排好序的表中的每个元素，计算下面四个值：1）全部人脸样本的权重的和 ；2）全部非人脸样本的权重的和 ；3）排序在该元素之前的人脸样本的权重的和 ；4）排序在该元素之前的非人脸样本的权重的和 。第58页，讲稿共
34、100张，创作于星期一59n这样，当选取当前任意元素的特征值作为阈值时，所得到的弱分类器就在当前元素处把样本分开也就是说这个阈值对应的弱分类器将当前元素前的所有元素分类为人脸（或非人脸），而把当前元素后（含）的所有元素分类为非人脸（或人脸）。n可以认为这个阈值所带来的分类误差为:于是，通过把这个排序的表从头到尾扫描一遍就可以为弱分类器选择使分类误差最小的阈值（最优阈值），也就是选取了一个最佳弱分类器。同时，选择最小权重错误率的过程中也决定了弱分类器的不等式方向。第59页，讲稿共100张，创作于星期一60具体弱分类器学习演示表如下：通过演示表我们可以得到这个矩形特征的学习结果，这个弱分类器阈值为
35、4，不等号方向为p=-1，这个弱分类器的权重错误率为0.1。其中：其中：第60页，讲稿共100张，创作于星期一61第二步：由弱分类器确定强分类器n经过 T 次迭代后，得到T 个最佳弱分类器 ，按照下面的方式组合成一个强分类器：n其中 。n强分类器分类，相当对所有所有弱分类器的投票结果进行加权求和，并与平均投票结果进行比较来判断最终的结果。第61页，讲稿共100张，创作于星期一62n首先了解两个概念：（1）强分类器的训练检出率=被正确检出的人脸数与人脸样本总数的比例（2）强分类器的训练误判率=被误判为人脸的非人脸样本数与非人脸样本总数的比例n设强分类器训练误判率目标值为 ，训练检出率的目标值为
36、。AdaBoost算法将根据 和 来确定强分类器包含的弱分类器数目T。强分类器中弱分类器数的确定第62页，讲稿共100张，创作于星期一63n预设强分类器包含的弱分类器个数为，然后根据值训练一个强分类器，统计其检出率和误判率，当满足且时，可认为满足条件，不必再训练弱分类器。若不满足上述条件，则对进行调整。n具体依据如下：n（1）强分类器的检出率（误判率）随着阈值的减小而增大，随着阈值的增加而减小。极端的情况，如果将阈值设置为0，那么强分类器会将所有的样本分类为人脸，这时检出率和误判率最大，为100%。n（2）增加弱分类器的数目可以减小误判率。n根据以上两条，得如下强分类器训练程序流程图：第63页
37、，讲稿共100张，创作于星期一64强分类器训练程序流程图第64页，讲稿共100张，创作于星期一65 算 法 流 程 图第65页，讲稿共100张，创作于星期一66nAdaboost算法是一种用来分类的方法，它的基本原理是把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。n例如在图中n需要用一些线段把红色的球和深蓝色的球分开，然而如仅果仅用一条线的话，是分不开的。关于AdaBoost算法形象理解第66页，讲稿共100张，创作于星期一67n使用AdaBoost算法来进行划分的话，先画出一条错误率最小的线段如图a，但左下角的深蓝色的球被错划分到红色区域，因此加重被错误划分的球的权重，再下一次划
38、分的时候，将更加考虑那些权重大的球，如图c，最终得到一个准确的划分，如下图所示。第67页，讲稿共100张，创作于星期一68级联分类器n单独一个AdaBoost分类器即使很强，在误检率和检测时间上满足不了真正的实时人脸检测系统的需要。采用级联检测策略能很好地解决这个问题。Adaboost算法引入了一种瀑布型的分类器-级联分类器。n在级联分类器中，每一个待检测窗口只有通过了当前层的强分类器（AdaBoost分类器）才能进入下一层。这样大量的待检测窗口只需要最初几层简单的判断就可以被迅速淘汰，使得平均检测成本大大降低。多层级联结构中，每一层的强分类器都是由AdaBoost算法训练来的。第68页，讲稿
39、共100张，创作于星期一69级联分类器的检测示意图如下图：第69页，讲稿共100张，创作于星期一70训练L层级联分类器的步骤如下：n（1）训练第i层强分类器 ；n（2）保存强分类器 的参数，即各弱分类器的参数、强分类器的阈值以及被 误判为人脸的非人脸样本；n（3）补充非人脸样本集，组合前i层强分类器对候选非人脸样本进行检测，将被误判为人脸的非人脸样本加入到样本集中（人脸样本不更新）；n（4）训练第i+1层强分类器。第70页，讲稿共100张，创作于星期一71多层级联结构的检测率和误检率分析n系统检测率和系统误检率的计算：nD为级联分类器的检测率，为强分类器的检测率。nF为级联分类器的误检率，为强
40、分类器的误检率。nn为级联数目，由系统所要到达的检测率和误检率决定。第71页，讲稿共100张，创作于星期一72n级联分类器优势：n（1）降低训练难度：对于一个强分类器与一个L层的级联分类器，假设它们误判率相同为F，可知级联分类器的各层强分类器的误判率要大于F，训练一个误判率较高的强分类器难度相对较小。n（2）降低非人脸样本选取难度 训练级联结构的分类器，通过程序“自举”非人脸样本，逐层增加训练难度，可以很好的解决非人脸样本选取的难题。第72页，讲稿共100张，创作于星期一73Adaboost算法的检测机制n人脸检测过程需要对图像进行有效的扫描，有效地扫描方式有如下两种：n图像放缩法检测人脸；n
41、检测窗口放大法检测人脸。第73页，讲稿共100张，创作于星期一74n图像放缩法检测人脸：将检测图像通过比例缩放处理，构造图像金字塔。对图像金字塔中的每一个图像采用检测窗口进行扫描。n检测窗口放大法：不能使相邻大小的窗口放大的倍数过大，因为这样会漏检过小的人脸；同时又要考虑到，如果相邻窗口的大小相隔太小，检测过程会有很多多余的计算，检测速度会变慢。第74页，讲稿共100张，创作于星期一75n检测窗口放大法检测人脸：放大检测窗口法将图像保持不变，按比例不断放大检测窗口，直到检测窗口达到图像大小，停止放大。但是此方法需要重新调整计算Haar特征值，如果调整不好将会降低检测率。第75页，讲稿共100张
42、，创作于星期一76n采用了逐级等比放大检测窗口后，通常同一个人脸会在不同的尺度和相邻的位置上被检测到很多次，所以还需要一个合并的过程将所检测出来的矩形进行合并以得到唯一的人脸图像位置和人脸图像尺度。n在同一尺度下，当检测到人脸的两个子窗口重叠部分超过当前窗口大小的1/2时，合并重叠的子窗口，合并的方法就是取平均值。此外，在不同尺度下检测到的窗口如果发生重叠也需要合并，合并的方法也取平均值。后处理方法第76页，讲稿共100张，创作于星期一77n图(a)是同一尺度下多个窗口重叠的结果，图(b)是在不同尺度下多个窗口相互重叠的情况，图(c)是最终合并的结果。图10是检测流程图。第77页，讲稿共100
43、张，创作于星期一78（7）基于统计模型的方法总结n不依赖于人脸的先验知识和参数模型，可以避免不精确或不完整的知识造成的错误；n采用了实例学习的方法获取模型的参数，统计意义上更为可靠；n通过增加学习的实例可以扩充检测模式的范围、提高检测系统的鲁棒性。n基于统计模型的方法大多适用于复杂背景图象中的人脸检测。n目前基于统计模型的方法主要针对正面端正人脸的检测。评估不同方法的性能需要共同的测试集，目前比较公认的测试集是Sung等的MIT测试集和Rowley等的CMU测试集（涵盖了Sung等的测试集）。表2列出了几个具有代表性的算法在该测试集上的检测结果统计。第78页，讲稿共100张，创作于星期一79（
44、7）基于统计模型的方法总结第79页，讲稿共100张，创作于星期一80n基于统计模型的方法具有很强的适应能力和鲁棒性，但由于需要对所有可能的检测窗口进行穷举搜索，计算复杂度很高，因此检测速度有待于提高，n另外“非人脸”样本的选取仍然是一个较为困难的问题。（7）基于统计模型的方法总结第80页，讲稿共100张，创作于星期一819.3人脸识别人人脸脸识识别别算算法法框框架架第81页，讲稿共100张，创作于星期一829.3.1人脸识别的特征n人脸几何特征n形状几何特征n几何模板特征n人脸代数特征：原始图像经过代数变换而获得的特征：n主成分分析n独立成分分析n奇异值分解n隐马尔可夫模型第82页，讲稿共10
45、0张，创作于星期一83（一）形状几何特征提取n从脸部器官的形状及相互位置关系出发，提取出人脸特征；n常用的几何特征有：n人脸的五官（如眼睛、鼻子和嘴巴等的局部形状）特征；n脸型特征；n五官在脸上分布的几何特征。n基于几何特征的特征提取具有很强的直观性，但由于在提取过程中过多依赖于先验知识，没有形成一个统一的、优秀的特征提取标准，使得提取的特征或是过于严格，使识别的自适应性不强；或过于简略，则不足以识别适度极高的人脸样本。第83页，讲稿共100张，创作于星期一84（二）基于几何模板的特征提取n弹性模板特征提取方法是一种基于动态链接结构（Dynamic Link Architecture，DLA）
46、的方法。它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。匹配时，首先寻找与输入图像最相似的模型图，再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其节点逼近模型图的对应点的位置。第84页，讲稿共100张，创作于星期一85n1997年，Wiskott等使用二维结构的Gabor小波对人脸图像进行处理，将人脸表达成由若干个特征点构成的，具有一定拓扑结构信息的人脸弹性图；n它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用链接节点的距离向量标记；nWiscott提出的弹性图匹配
47、方法，以FERET图像库做实验，准确率达到97.3%；n弹性图匹配方法对光照、位移、旋转及尺度变化都不敏感，是一种优于特征脸方法的人脸识别方法。此方法的主要缺点是对每个存储的人脸需要计算其模型图，其计算量和存储量都较大。（二）基于几何模板的特征提取第85页，讲稿共100张，创作于星期一86n弹性图匹配算法采用标号图来表示人脸图像，标号图的节点用一组描述人脸局部特征的二维Gabor小波变换系数来表示；标号图的边用描述相邻两个节点向对应位置的度量信息来表示。通过不同的人脸图像的标号图之间的匹配来实现人脸对应部位的局部特征之间联系，从而能够对人脸图像解进行比较和分类识别。进而对图中的每个节点位置进行
48、最佳匹配。（二）基于几何模板的特征提取第86页，讲稿共100张，创作于星期一87（二）基于几何模板的特征提取第87页，讲稿共100张，创作于星期一88nGabor小波是以任意一个高斯函数作为窗函数的波函数。一个图像像素与不同方向和频率的Gabor核卷积后的系数集合称为一个Jet。n一个Jet描述了图像I(x)给定像素x=(x,y)周围的一小块灰度值，基于小波变换，定义如下卷积：n在弹性图匹配算法中，人脸上的特征点采用Gabor滤波器进行特征抽取。Gabor核函数为：（二）基于几何模板的特征提取第88页，讲稿共100张，创作于星期一89（三）基于PCA的特征提取n人脸识别的基准技术，并已成为事实
49、上的工业标准n基于主成分分析（PCA），PCA是将分散在一组变量上的信息集中到某几个综合指标（主成分）上的数学方法，实际上起着数据降维的作用，并保证降维过程最大化保留原数据的差异。有利于这对最大化类间差异（即不同人之间的差异）和最小化类内差异（即同一人的不同图像间的差异）。n2维数据降到1维的例子：绿色点表示二维数据，PCA的目标就是找到这样一条直线，使得所有点在这条直线上的投影点之间的平均距离最大。也就是最大化地保留了原数据的差异性第89页，讲稿共100张，创作于星期一90n直接计算C 的本征值和本征向量是困难的，可以通过对矩阵 做奇异值分解间接求出nm值的选择：n如果将本征向量恢复成图像，
50、这些图像很像人脸，因此称为“本征脸”M.Turk&A.Pentland,JCN91（1）本征脸（eigenface）方法第90页，讲稿共100张，创作于星期一91（2）本征特征方法n利用PCA分析眼、鼻、嘴等局部特征，即本征特征方法 R.Brunelli&T.Poggio,TPAMI93 A.Pentland et al.,CVPR94n这实际上相当于：为若干重要的特征建立本征空间，然后将多个本征空间集成起来第91页，讲稿共100张，创作于星期一92（3）本征脸vs.本征特征n本征脸利用全局特征，本征特征利用局部特征，二者各有优势待识别图像本征脸识别结果本征特征识别结果 A.Pentland