《模式识别(2-2).ppt》由会员分享，可在线阅读，更多相关《模式识别(2-2).ppt（41页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 模式识别模式识别第二章贝叶斯决策理论第二章贝叶斯决策理论(2)2.3 2.3 几种常用的决策规则几种常用的决策规则n n基于基于最小错误率最小错误率的贝叶斯决策的贝叶斯决策回顾：n n 基于基于最小风险最小风险的贝叶斯决策的贝叶斯决策分类器设计分类器设计n决策域：决策域：在描述待识别对象的在描述待识别对象的d维特征所组成的特征维特征所组成的特征空间内，将其划分为空间内，将其划分为c个决策域，待识别的特征向量个决策域，待识别的特征向量落在哪个落在哪个决策域决策域，该样本就被判为哪一类。，该样本就被判为哪一类。n决策面：决策面：决策域的边界面，在数学上用解析形式表示决策域的边界面，在数学上用解析
2、形式表示成决策面方程。成决策面方程。n判别函数：判别函数：用于表达决策规则的某些函数则称为用于表达决策规则的某些函数则称为判别判别判别判别函数。函数。函数。函数。判别函数与决策面方程是密切相关的，并且都判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。是由相应决策规则所确定的。分类器设计分类器设计n例：在两类别问题中，按最小错误率作决策时，决在两类别问题中，按最小错误率作决策时，决策规则的一种形式是：策规则的一种形式是：分类器设计分类器设计n n两类情况：两类情况：两类情况：两类情况：分类器设计分类器设计n n多类情况：多类情况：多类情况：多类情况：决策面：决策面：决策面：决策
3、面：只有在特征空间中具有相邻关系的决策域的只有在特征空间中具有相邻关系的决策域的边界面才是有意义的决策面。当边界面才是有意义的决策面。当i 的决策域与的决策域与j的的决策域相邻时，以下关系决定了相应的决策面决策域相邻时，以下关系决定了相应的决策面:分类器设计分类器设计-决策面：决策面：q当特征空间只是当特征空间只是一维一维时，一个决策面实际上只是一个时，一个决策面实际上只是一个点点。q在在二维二维特征空间里，决策面是一条特征空间里，决策面是一条曲线曲线。q三维三维则是一则是一曲面曲面。q超过三维超过三维的空间，决策面是一个超曲面。的空间，决策面是一个超曲面。下图下图(a)表示了一个三类别问题用
4、一维特征空间时的所有表示了一个三类别问题用一维特征空间时的所有决策边界，而图决策边界，而图(b)则表示了相应的二维特征空间中的决则表示了相应的二维特征空间中的决策边界。策边界。分类器设计分类器设计n分类器可以用软件或硬件实现。图分类器可以用软件或硬件实现。图2.6表示了两类别表示了两类别问题分类器的框图，而图问题分类器的框图，而图2.7则表示了多类别分类器则表示了多类别分类器的结构框图。两者主要的不同在于多类别情况需有一的结构框图。两者主要的不同在于多类别情况需有一个求最大值的环节，在图个求最大值的环节，在图2.7中用中用MAX表示，而两类表示，而两类情况则可简化为正负号判别器情况则可简化为正
5、负号判别器(阈值单元阈值单元)。2.4 2.4 正态分布时的统计决策正态分布时的统计决策n为什么采用正态分布为什么采用正态分布?q正态分布在物理上是合理的、广泛的。（特征较多地分布在均值附近，远离均值点较少）q正态分布数学上简便，N(,)只有均值和方差两个参数。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n单变量正态分布：单变量正态分布：正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n多元正态分布多元正态分布:（1）概率密度函数形式）概率密度函数形式正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n多元正态分布多元正态分布:（1）概率密度函
6、数形式）概率密度函数形式正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质是非负矩阵，在此我们只考虑正定阵，即是非负矩阵，在此我们只考虑正定阵，即|0。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n（2）多元正态分布的重要特性）多元正态分布的重要特性 说明：说明：q多元正态分布的概率密度函数中的元就是我们前面多元正态分布的概率密度函数中的元就是我们前面说得特征向量的分量数，也就是维数。说得特征向量的分量数，也就是维数。q多维向量：每一个分量都是多维向量：每一个分量都是一个随机变量，服从正一个随机变
7、量，服从正态分布。但是一个多维随机向量不仅要求考虑每个态分布。但是一个多维随机向量不仅要求考虑每个分量单独的分布，还要考虑分量单独的分布，还要考虑两个随机变量之间的关两个随机变量之间的关系系。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n例：两个二元正态分布两个二元正态分布相同：期望相同：期望(1和和2)方差方差1和和2都相同都相同不同：这两个特征向量在空间的分布却不相同：不同：这两个特征向量在空间的分布却不相同：对右图来说，对右图来说，x1和和x2有很大的相关性，而对左图来说，有很大的相关性，而对左图来说，随机变量随机变量x1与与x2之间的相关性很小。之间的相关性很小。正
8、态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n对于右图可以看出一个随机变量的x1分量较小时，另一分量x2也必然较小。而当随机变量的x1较大时，则其相应的x2分量也较大。n换句话说，如果x1分量小于其均值1,则其相应的分量x2也很可能小于它的均值2。因此当x1-1 0时，也常伴有x2-2 0，这说明它们之间有联系，或称相关性。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n用(x2-2)(x1-1)这两项相乘来看就有倾向化。对整个随机变量样本集取期望值，就会使 E(x2-2)(x1-1)有非零值。n反过来看左图中的随机变量分布，就没有这种规律。正态分布概率密度
9、函数的定义与性质正态分布概率密度函数的定义与性质n一个随机变量x1分量小于其均值,并不对其相应分量x2与均值之间的关系有什么限制。在此时一个随机变量(x1-1)与(x2-2)的乘积的符号就可正可负，则 E(x2-2)(x1-1)就可能接近于零，或等于零。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n协方差矩阵协方差矩阵协方差矩阵衡量相关性。协方差矩阵衡量相关性。非对角元素表示了两个分量之间的相关性。非对角元素表示了两个分量之间的相关性。主对角元素则是各分量本身的方差。主对角元素则是各分量本身的方差。协方差矩阵的重要属性：正定的对称矩阵。协方差矩阵的重要属性：正定的对称矩阵。
10、由于它的主对角元素都是各分量的方差，因此一般情况下由于它的主对角元素都是各分量的方差，因此一般情况下 都是大于零的值。都是大于零的值。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质请问请问请问请问哪个是左哪个是左哪个是左哪个是左图图图图，哪个是右，哪个是右，哪个是右，哪个是右图图图图？正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n如果是一个三维向量，它的协方差矩阵是几乘几的矩阵？如果是一个三维向量，它的协方差矩阵是几乘几的矩阵？每个元素又对应什么含义？每个元素又对应什么含义？33矩阵矩阵正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质设设有
11、二有二维维随机随机变变量的分布如量的分布如图图a、b、c所示的三种情况，所示的三种情况，协协方差矩方差矩阵阵表示成表示成试问这试问这试问这试问这三种分布分三种分布分三种分布分三种分布分别对应别对应别对应别对应哪种情况？哪种情况？哪种情况？哪种情况？B.a120正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n(3)性质：性质：1）与与对分布起决定作用；对分布起决定作用；p(x)N(,),由由n个分量个分量组成，组成，由由n(n+1)/2元素组成。元素组成。多维正态分布由多维正态分布由n+n(n+1)/2个参数组成。个参数组成。2）等密度点的轨迹是一个超椭球面。区域中心由）等密度
12、点的轨迹是一个超椭球面。区域中心由决定，决定，区域形状由区域形状由决定。决定。(x)(x)常数常数 在二维情况下，上式的解是一个椭圆椭圆轨迹，其长短轴方向由协方差矩阵的特征向量决定，在三维时则是一个椭球面椭球面，超过三维则是超椭球面，主轴方向由协方差矩阵的特征向量决定，各主轴的长度则与相应的特征值成正比。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n Mahalanolbis距离：距离：r2(x)(x)按此定义：多元正态分布等密度点按此定义：多元正态分布等密度点X的轨迹是到的轨迹是到的的Mahalanolbis距离为常数的超椭球面。距离为常数的超椭球面。r r2 2=1,=
13、1,试试求求满满足此条件的曲足此条件的曲线线。，故得，故得为为一个一个椭圆椭圆.将将mahalanolbis距离与欧氏距离作比距离与欧氏距离作比较较，前者是一个，前者是一个椭椭圆圆，而后者，而后者则则是是圆圆。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n(3)性质：性质：3)多元正态分布的多元正态分布的离散程度离散程度由参数由参数|决定，这与单变决定，这与单变量时由标准差量时由标准差决定是对应一致的。决定是对应一致的。4)不相关性等价于独立性不相关性等价于独立性。在数理统计中一般情况下，两个。在数理统计中一般情况下，两个随机变量随机变量xi与与xj之间不相关，并不意味着它
14、们之间一定独立。之间不相关，并不意味着它们之间一定独立。不相关只表明不相关只表明ExixjExiExj，即两变量乘积的期望，即两变量乘积的期望值等于这两变量期望值之乘积，而只有值等于这两变量期望值之乘积，而只有p(xi,xj)p(xi)p(xj)，即两变量的联合密度函数等于两者概率密度函，即两变量的联合密度函数等于两者概率密度函数的乘积，这两个随机变量才是独立的。但反过来相互独数的乘积，这两个随机变量才是独立的。但反过来相互独立的随机变量，它们之间是不相关的。然而对多元正态分立的随机变量，它们之间是不相关的。然而对多元正态分布的任意两个分量布的任意两个分量xi与与xj而言，如果而言，如果xi与
15、与xj不相关，则它们不相关，则它们之间也一定是独立的，也就是说正态分布中不相关性等价之间也一定是独立的，也就是说正态分布中不相关性等价于独立性。于独立性。(证明证明P27）正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n(3)性质：性质：5 5）边缘分布和条件分布的正态性。）边缘分布和条件分布的正态性。6 6）线性变换的正态性）线性变换的正态性y=Ax，A为线性变换矩阵。若为线性变换矩阵。若x x为为正态分布，则正态分布，则y也是正态分布。也是正态分布。正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n(3)性质：性质：7 7）线性组合的正态性。）线性组合的正
16、态性。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策判别函数：判别函数：正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策判别函数：判别函数：决策面方程：决策面方程：正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策 1.第一种情况：第一种情况：各个特征统计独立，且同方差情况。(最简单情况)判别函数判别函数：各类样本落入以各类样本落入以i i为为中心的同样大小的超中心的同样大小的超球体内。球体内。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策正态分布概率模型下的最小错
17、误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策vv如果如果如果如果c c类先验概率相等：类先验概率相等：类先验概率相等：类先验概率相等：每类样本都以半径相每类样本都以半径相等的超球面形状分布等的超球面形状分布在特征空间内在特征空间内最小距离分类器最小距离分类器正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策最小距离分类器最小距离分类器若要对样本若要对样本x分类，只要计算分类，只要计算x到各类均值的欧式距离到各类均值的欧式距离平方即可，然后把平方即可，然后把x归于具有最小距离的类。归于具有最小距离的类。如果 则Xi 正态分布概率模型下的最小错误率贝叶正态分
18、布概率模型下的最小错误率贝叶斯决策斯决策线性分类器线性分类器正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策讨论：讨论：讨论：讨论：正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策讨论：讨论：讨论：讨论：正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策最小距离分类器是线性分类器的一个特例。最小距离分类器是线性分类器的一个特例。另一点是最小距离分类器在正态分布情况下，另一点是最小距离分类器在正态分布情况下，是按超球体分布以
19、及先验概率相等的前提下，才是按超球体分布以及先验概率相等的前提下，才体现最小错误率的。体现最小错误率的。最小距离分类器的思想在分类器设计中是一种最小距离分类器的思想在分类器设计中是一种较常用的方法。较常用的方法。只有在一定条件下，最小距离分类器同时又是只有在一定条件下，最小距离分类器同时又是最小错误率分类器。最小错误率分类器。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策实际上，最小距离分类器的概念是分类器中是最常用的，实际上，最小距离分类器的概念是分类器中是最常用的，因为它体现了基于最相似性的原则，即被分类事物与哪因为它体现了基于最相似性的原则，即被分类事物与哪一种作为标准的事物相像，就判为该类这一原则。一种作为标准的事物相像，就判为该类这一原则。在这一节的分析则说明了什么条件下最小距离分类器同在这一节的分析则说明了什么条件下最小距离分类器同时实现了最小错误率。时实现了最小错误率。l在正态分布条件下，一是正态分布的协方差矩阵为单位在正态分布条件下，一是正态分布的协方差矩阵为单位矩阵，因此等概率密度点轨迹对应于欧氏距离为常数；矩阵，因此等概率密度点轨迹对应于欧氏距离为常数；l另一是先验概率要相等，这一点在解实际问题中往往加另一是先验概率要相等，这一点在解实际问题中往往加以忽略，因为先验概率难以得到。以忽略，因为先验概率难以得到。