模式识别 第一章 绪论.ppt

《模式识别 第一章 绪论.ppt》由会员分享，可在线阅读，更多相关《模式识别 第一章 绪论.ppt（64页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第第1 1章章 绪论绪论 1 1第1章 绪论1.1 1.1 概述概述1.2 1.2 特征矢量和特征空间特征矢量和特征空间1.3 1.3 随机矢量的描述随机矢量的描述1.4 1.4 正态分布正态分布第第1 1章章 绪论绪论 2 2概述之一概述之一 模式识别学科模式识别学科感知：从环境获取信息感知：从环境获取信息第第1 1章章 绪论绪论 3 3计算机模式识别u模式识别：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。数据获取模式分割模式识别姚明姚明ROCKETS11第第1 1章章 绪论绪论 4 4模式识别的概念uPattern recognition模式识别uisthest

2、udyofhowmachinescanobservetheenvironment,learntodistinguishpatternsofinterestfromtheirbackground,andmakesoundandreasonabledecisionsaboutthecategoriesofthepatterns.(AnilK.Jain)u是研究机器如何观察环境，学习从背景获取感兴趣的辨识，做出正确和合理的判断属于哪种模式分类。第第1 1章章 绪论绪论 5 5模式识别的意义数字化感知数据：来源丰富、数量巨大第第1 1章章 绪论绪论 6 6模式识别的难点感知数据：非结构化（像素、声波等

3、）第第1 1章章 绪论绪论 7 7模式识别与其他学科第第1 1章章 绪论绪论 8 8模式识别学科位置u模式识别：计算机科学与电子工程交叉学科u中国：“控制科学与工程”一级学科二级学科：控制理论与控制工程、模式识别与智能系统、系统工程等u西方：没有自动控制系自动控制：电子工程系、机械工程系模式识别：电子工程系、计算机科学系第第1 1章章 绪论绪论 9 9u人类具有很强的模式识别能力，时刻在完成某种模式识别的任务。u模式识别作为一门学科，是研究用机器完成自动识别事物的工作。u模式识别学科形成于5060年代，与众多学科有联系，尤其与人工智能和图像处理关系密切。u模式识别是一门理论与应用并重的技术科学

4、。有广泛的需求。u还在发展中，现有的理论与方法还有不足。第第1 1章章 绪论绪论 1010概述之二概述之二 基本概念基本概念模式识别模式识别(Pattern Recognition)(Pattern Recognition)：确定一个确定一个样本的类别属性（模式类）的过程，即把某一样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。样本归属于多个类型中的某个类型。样本（样本（Sample)Sample)：一个具体的研究（客观）对象。一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。如患者，某人写的一个汉字，一幅图片等。模式模式(Pattern)(Patter

5、n)：对客体（研究对象）特征的描对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。的某一样本的测量值的集合（或综合）。第第1 1章章 绪论绪论 1111特征特征(Features)(Features)：能描述模式特性的量（测能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一量值）。在统计模式识别方法中，通常用一个矢量个矢量 表示，称之为特征矢量，记为表示，称之为特征矢量，记为模式类模式类(Class)(Class)：具有某些共同特性的模式的具有某些共同特性的模式的集合。集合。第第1 1章章 绪

6、论绪论 1212对象空间对象空间模式空间模式空间特征空间特征空间类型空间类型空间各类空间（各类空间（Space)Space)模式采集：模式采集：从客观世界（对象从客观世界（对象空间）到模式空间的过程称为空间）到模式空间的过程称为模式采集。模式采集。特征提取和特征选择：特征提取和特征选择：由模式由模式空间到特征空间的变换和选择。空间到特征空间的变换和选择。类型判别：类型判别：特征空间到类型空特征空间到类型空间所作的操作。间所作的操作。模模式式识识别别三三大大任任务务第第1 1章章 绪论绪论 1313概述之三 模式识别系统数据采集数据采集特征提取特征提取二次特征二次特征提取与选择提取与选择分类分类

7、识别识别待识待识对象对象识别结果识别结果通常在采集信息过程中，还要去除所获取信息通常在采集信息过程中，还要去除所获取信息中的噪声，增强有用的信息等工作。这种使信息中的噪声，增强有用的信息等工作。这种使信息纯化的处理过程叫做信息的纯化的处理过程叫做信息的预处理预处理。分类识别是根据事先确定的分类识别是根据事先确定的分类规则分类规则对前面选取对前面选取的特征进行的特征进行分类分类（即识别）。（即识别）。通常能描述对象的元素很多，为节约资源和提通常能描述对象的元素很多，为节约资源和提高处理速度，有时更为了可行性，在满足分类识高处理速度，有时更为了可行性，在满足分类识别正确率要求的条件下，按某种准则尽

8、量选用对别正确率要求的条件下，按某种准则尽量选用对正确分类识别作用较大的特征。使得用较少的特正确分类识别作用较大的特征。使得用较少的特征就能完成分类识别任务。征就能完成分类识别任务。预处理预处理这个环节的内容很广泛，与要解决的具这个环节的内容很广泛，与要解决的具体问题有关，例如，从体问题有关，例如，从图象图象中将中将汽车车牌汽车车牌的号码的号码识别识别出来，就需要先将出来，就需要先将车牌车牌从从图像图像中找出来，再中找出来，再对对车牌车牌进行进行划分划分，将每个，将每个数字数字分别分别划分划分开。做到开。做到这一步以后，才能对每个这一步以后，才能对每个数字数字进行进行识别识别。以上工。以上工作

9、都应该在预处理阶段完成。作都应该在预处理阶段完成。数字化数字化比特流比特流第第1 1章章 绪论绪论 1414数据采集数据采集特征提取特征提取二次特征二次特征提取与选择提取与选择分类分类识别识别待识待识对象对象识别结果识别结果数据采集数据采集特征提取特征提取改进分类改进分类识别规则识别规则二次特征提二次特征提取与选择取与选择训练训练样本样本改进采集改进采集提取方法提取方法改进特征提改进特征提取与选择取与选择制定改进分制定改进分类识别规则类识别规则人工人工干预干预正确率正确率测试测试第第1 1章章 绪论绪论 1515模式识别系统的主要环节：模式识别系统的主要环节：特征提取：特征提取：符号表示，如长

10、度、波形、。符号表示，如长度、波形、。特征选择：特征选择：选择有代表性的特征，能够正确分类选择有代表性的特征，能够正确分类学习和训练：学习和训练：利用已知样本建立分类和识别规则利用已知样本建立分类和识别规则分类识别：分类识别：对所获得样本按建立的分类规则进行对所获得样本按建立的分类规则进行分类识别分类识别第第1 1章章 绪论绪论 1616系统实例验钞机数据采集、特征提取：数据采集、特征提取：长度、宽度、磁性、磁性的位置，光反射亮度、光长度、宽度、磁性、磁性的位置，光反射亮度、光透射亮度等等透射亮度等等 特征选择：特征选择：长度、磁性及位置、反射亮度长度、磁性及位置、反射亮度分类识别：分类识别：

11、确定纸币的面额及真伪确定纸币的面额及真伪第第1 1章章 绪论绪论 1717 长度长度(mm)(mm)宽度宽度(mm)(mm)5 5元元13613663631010元元14114170702020元元14614670705050元元1511517070100100元元1561567777磁性磁性金属条位置金属条位置(大约大约)5 5元元有有 54/8254/821010元元有有 54/8754/872020元元有有 57/8957/895050元元有有 60/9160/91100100元元有有 63/9363/93第第1 1章章 绪论绪论 18185元 10元 20元 50元 100元12345

12、678反反射射光光波波形形第第1 1章章 绪论绪论 1919例子2：苹果和香蕉的分类颜色（绿颜色（绿/红）红）似圆度似圆度1.2 模式识别系统模式识别系统第第1 1章章 绪论绪论 2020概述之四基本方法一、统计模式识别一、统计模式识别二、句法模式识别二、句法模式识别三、模糊模式识别三、模糊模式识别四、人工神经网络法四、人工神经网络法五、人工智能方法五、人工智能方法第第1 1章章 绪论绪论 2121一、统计模式识别一、统计模式识别模式描述方法：模式描述方法：特征向量特征向量 模式判定：模式判定：模式类用条件概率分布模式类用条件概率分布P(X/P(X/i i)表示表示,m,m类就有类就有m m个

13、分布，然后判定未知模式属于哪一个分布。个分布，然后判定未知模式属于哪一个分布。第第1 1章章 绪论绪论 2222一、统计模式识别一、统计模式识别理论基础：理论基础：概率论，数理统计概率论，数理统计主要方法：主要方法：线性、非线性分类、线性、非线性分类、BayesBayes决策、聚类分析决策、聚类分析主要优点：主要优点：1 1）比较成熟）比较成熟 2 2）能考虑干扰噪声等影响）能考虑干扰噪声等影响 3 3）识别模式基元能力强）识别模式基元能力强主要缺点：主要缺点：1 1）对结构复杂的模式抽取特征困难）对结构复杂的模式抽取特征困难2 2）不能反映模式的结构特征，难以描述模式的性质）不能反映模式的结

14、构特征，难以描述模式的性质3 3）难以从整体角度考虑识别问题）难以从整体角度考虑识别问题第第1 1章章 绪论绪论 2323二、句法模式识别二、句法模式识别模式描述方法：模式描述方法：符号串，树，图符号串，树，图模式判定：模式判定：是一种语言，用一个文法表示一个类，是一种语言，用一个文法表示一个类，m m类就类就有有m m个文法，然后判定未知模式遵循哪一个文法。个文法，然后判定未知模式遵循哪一个文法。第第1 1章章 绪论绪论 2424理论基础：理论基础：形式语言，自动机技术形式语言，自动机技术主要方法：主要方法：自动机技术、自动机技术、CYKCYK剖析算法、剖析算法、EarlyEarly算法、转

15、算法、转移图法移图法主要优点主要优点：1 1）识别方便，可以从简单的基元开始，由简至繁。）识别方便，可以从简单的基元开始，由简至繁。2 2）能反映模式的结构特征，能描述模式的性质。）能反映模式的结构特征，能描述模式的性质。3 3）对图象畸变的抗干扰能力较强。）对图象畸变的抗干扰能力较强。主要缺点：主要缺点：当存在干扰及噪声时，抽取特征基元困难，且易失误。当存在干扰及噪声时，抽取特征基元困难，且易失误。第第1 1章章 绪论绪论 2525三、模糊模式识别三、模糊模式识别模式描述方法：模式描述方法：模糊集合模糊集合 A=(A=(a a,a,a),(),(b b,b,b),.),.(n n,n,n)模

16、式判定：模式判定：是一种集合运算。用隶属度将模糊集合划分是一种集合运算。用隶属度将模糊集合划分为若干子集，为若干子集，m m类就有类就有m m个子集，然后根据择近原个子集，然后根据择近原则分类。则分类。第第1 1章章 绪论绪论 2626理论基础：理论基础：模糊数学模糊数学主要方法：主要方法：模糊统计法、二元对比排序法、推理法、模模糊统计法、二元对比排序法、推理法、模糊集运算规则、模糊矩阵糊集运算规则、模糊矩阵主要优点主要优点：由于隶属度函数作为样本与模板间相似程度的度量，由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体的与主体的特征，从而允许样本有故往往能反映整体的与主体的特征，

17、从而允许样本有相当程度的干扰与畸变。相当程度的干扰与畸变。主要缺点：主要缺点：准确合理的隶属度函数往往难以建立，故限制了它的准确合理的隶属度函数往往难以建立，故限制了它的应用。应用。第第1 1章章 绪论绪论 2727四、人工神经网络法四、人工神经网络法模式描述方法：模式描述方法：以不同活跃度表示的输入节点集（神经元）以不同活跃度表示的输入节点集（神经元）模式判定：模式判定：是一个非线性动态系统。通过对样本的学习是一个非线性动态系统。通过对样本的学习建立起记忆，然后将未知模式判决为其最接近的建立起记忆，然后将未知模式判决为其最接近的记忆。记忆。第第1 1章章 绪论绪论 2828理论基础：理论基础

18、：神经生理学，心理学神经生理学，心理学主要方法：主要方法：BPBP模型、模型、HOPHOP模型、高阶网模型、高阶网主要优点主要优点：可处理一些环境信息十分复杂，背景知识不清楚，推可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。允许样本有较大的缺损、畸变。理规则不明确的问题。允许样本有较大的缺损、畸变。主要缺点：主要缺点：模型在不断丰富与完善中，目前能识别的模式类还不模型在不断丰富与完善中，目前能识别的模式类还不够多。够多。第第1 1章章 绪论绪论 2929五、逻辑推理法（人工智能法）五、逻辑推理法（人工智能法）模式描述方法：模式描述方法：字符串表示的事实字符串表示的事实模式判

19、定：模式判定：是一种布尔运算。从事实出发运用一系列规是一种布尔运算。从事实出发运用一系列规则，推理得到不同结果，则，推理得到不同结果，m m个类就有个类就有m m个结果。个结果。第第1 1章章 绪论绪论 3030理论基础：理论基础：演绎逻辑，布尔代数演绎逻辑，布尔代数主要方法：主要方法：产生式推理、语义网推理、框架推理产生式推理、语义网推理、框架推理主要优点主要优点：已建立了关于知识表示及组织，目标搜索及匹配的完已建立了关于知识表示及组织，目标搜索及匹配的完整体系。对需要众多规则的推理达到识别目标确认的整体系。对需要众多规则的推理达到识别目标确认的问题，有很好的效果。问题，有很好的效果。主要缺

20、点：主要缺点：当样本有缺损，背景不清晰，规则不明确甚至有歧义当样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好。时，效果不好。第第1 1章章 绪论绪论 3131概述之五应用(举例)生物学生物学自动细胞学、染色体特性研究、遗传研究自动细胞学、染色体特性研究、遗传研究天文学天文学天文望远镜图像分析、自动光谱学天文望远镜图像分析、自动光谱学经济学经济学股票交易预测、企业行为分析股票交易预测、企业行为分析医学医学心电图分析、脑电图分析、医学图像分析心电图分析、脑电图分析、医学图像分析第第1 1章章 绪论绪论 3232生物特征识别第第1 1章章 绪论绪论 3333遥感图像地表分类第第1 1章章

21、绪论绪论 3434医学图像分析第第1 1章章 绪论绪论 3535车牌识别第第1 1章章 绪论绪论 3636信函分拣第第1 1章章 绪论绪论 3737第第1 1章章 绪论绪论 38381.2 特征矢量和特征空间第第1 1章章 绪论绪论 39391.3 随机矢量的描述随机矢量：随机矢量：在模式识别过程中，要对许多具体对在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，对象而言，各个特征分量都是随机变量，即许多对象的特征向量在即许多对象的特征向量在n n维

22、空间中呈随维空间中呈随机性分布，称为随机矢量。机性分布，称为随机矢量。第第1 1章章 绪论绪论 40401.3 随机矢量的描述(一一)随机矢量的分布函数：随机矢量的分布函数：设设 为随机矢量，为随机矢量，为确定性矢量。为确定性矢量。随机矢量的联合概率分布函数定义为：随机矢量的联合概率分布函数定义为：式中式中 表示括号中事件同时发生的概率。表示括号中事件同时发生的概率。第第1 1章章 绪论绪论 41411.3 随机矢量的描述(一一)随机矢量的分布函数：随机矢量的分布函数：随机矢量随机矢量 的联合概率密度函数定义为：的联合概率密度函数定义为：第第1 1章章 绪论绪论 42421.3 随机矢量的描述

23、第第1 1章章 绪论绪论 43431.3 随机矢量的描述x xp(xp(x)(1wxp)(2wxp第第1 1章章 绪论绪论 44441.3 随机矢量的描述第第1 1章章 绪论绪论 45451.3 随机矢量的描述(二二)随机矢量的数字特征：随机矢量的数字特征：其中，其中，的分量：的分量：式中，式中，是是 的第的第 个分量的边缘个分量的边缘密度。随机矢量密度。随机矢量 的均值矢量的均值矢量 的各分的各分量是相应的各随机分量的均值。量是相应的各随机分量的均值。第第1 1章章 绪论绪论 46461.3 随机矢量的描述(二二)随机矢量的数字特征：随机矢量的数字特征：条件期望条件期望在模式识别中，经常以类

24、别在模式识别中，经常以类别 作为条件，在这作为条件，在这种情况下随机矢量种情况下随机矢量 的条件期望矢量定义为的条件期望矢量定义为第第1 1章章 绪论绪论 47471.3 随机矢量的描述随机矢量随机矢量 的自协方差矩阵表征各分量围绕的自协方差矩阵表征各分量围绕其均值的散布情况及各分量间的相关关系，其均值的散布情况及各分量间的相关关系，其定义为：其定义为：(二二)随机矢量的数字特征：随机矢量的数字特征：协方差矩阵协方差矩阵 第第1 1章章 绪论绪论 48481.3 随机矢量的描述第第1 1章章 绪论绪论 49491.3 随机矢量的描述第第1 1章章 绪论绪论 50501.3 随机矢量的描述(二二

25、)随机矢量的数字特征：随机矢量的数字特征：相关系数相关系数 由布尼亚科夫斯基不等式知由布尼亚科夫斯基不等式知:相关系数矩阵定义为相关系数矩阵定义为 :第第1 1章章 绪论绪论 51511.3 随机矢量的描述第第1 1章章 绪论绪论 52521.3 随机矢量的描述第第1 1章章 绪论绪论 53531.3 随机矢量的描述第第1 1章章 绪论绪论 54541.3 随机矢量的描述第第1 1章章 绪论绪论 55551.3 随机矢量的描述独立与相关独立：两件事是独立的，如果给定第一件事，无论它的结果是什么，第二件事物的机会都一样。否则，他们是不独立的。（两次抛硬币独立吗？）相关：如果两个变量之间存在强相关

26、，则已知一个变量的值对预测另一个变量的值将很有帮助，但若是弱相关，关于一个变量的信息对猜测另一个变量的值无多大帮助。（有其父，必有其子）DavidFreedman统计学第第1 1章章 绪论绪论 56561.4 正态分布第第1 1章章 绪论绪论 57571.4 正态分布（1 1）一维随机变量的正态分布）一维随机变量的正态分布第第1 1章章 绪论绪论 5858 妈妈新开了个淘宝店，欢迎前来捧场妈妈新开了个淘宝店，欢迎前来捧场妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，但生意一直不是很好，感觉妈妈还是很用心的，花了不

27、少功夫，但是就是没但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没有人气，所以我也来出自己的一份力，帮忙宣传一下。有人气，所以我也来出自己的一份力，帮忙宣传一下。并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。另外我家就在扬州五亭龙玩具城旁边，货源丰富，质量可靠，价格便宜。另外我家就在扬州五亭龙玩具城旁边，货源丰富，质量可靠，价格便宜。欢迎大家来逛逛欢迎大家来逛逛【扬州五亭龙玩具总动员扬州五亭龙玩具总动员】个人小广告：个人小广告：第第1 1章章 绪论绪论 59591.4 正态分布第第1 1章章 绪论绪论

28、60601.4 正态分布（2 2）随机矢量的正态分布）随机矢量的正态分布 正态分布随机矢量正态分布随机矢量 的概率密度函数定义为：的概率密度函数定义为：第第1 1章章 绪论绪论 61611.4 正态分布第第1 1章章 绪论绪论 62621.4 正态分布（2 2）二维随机变量的正态分布）二维随机变量的正态分布第第1 1章章 绪论绪论 63631.4 1.4 正态分布正态分布第第1 1章章 绪论绪论 6464范例范例木板木板图象图象512512d=3长度长度纹理纹理亮度亮度 c=2松木松木 桦木桦木维数维数无限无限有限有限/很大很大R有限有限d不大不大c总结：模式识别过程dR无限模式采集模式采集模式空间模式空间特征提取特征提取/选择选择类型空间类型空间分类分类特征空间特征空间客观世界客观世界待识别对待识别对象象识别过程识别过程错误概率检测错误概率检测制定分类的制定分类的判决规则判决规则特征提取特征提取/选择选择方法校正方法校正学习过程学习过程采集方法校正采集方法校正已知对象已知对象预处理预处理