《Bayes决策理论课件(PPT 67页)flu.pptx》由会员分享，可在线阅读，更多相关《Bayes决策理论课件(PPT 67页)flu.pptx（68页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第3 3章章 Bayes Bayes决策理论决策理论第第3 3章章 Bayes Bayes决策理论决策理论 3.1 最小错误概率的最小错误概率的Bayes决策决策 3.2最小风险的最小风险的Bayes决策决策 3.3Neyman-Pearson决策决策3.4 最小最大决策最小最大决策3.5Bayes分类器和判别函数分类器和判别函数3.6 正态分布时的正态分布时的Bayes决策法则决策法则3.7离散情况的离散情况的Bayes决策决策第第3 3章章 Bayes Bayes决策理论决策理论在上一章，我们介绍了线性判别函数，作了一个在上一章，我们介绍了线性判别函数，作了一个假设假设抽取到的模式样本的
2、边界是抽取到的模式样本的边界是“整齐整齐”而而不混杂的，而且不混杂的，而且 以后遇到的待分类模式基本上以后遇到的待分类模式基本上不超过学习样本的分布范围，从而利用这些样本不超过学习样本的分布范围，从而利用这些样本得到的分类边界是无误差的。得到的分类边界是无误差的。但是实际上因为试但是实际上因为试验的样本是从总体中随机抽取的，不能保证用过验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边界对新的模式去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此，考虑样本不确定性样本也能较好地分类。因此，考虑样本不确定性的模式识别方法是非常重要的模式识别方法是非常重要 的
3、。另外，还有特的。另外，还有特征选择不完善所引起的不确定性，模式数据采集征选择不完善所引起的不确定性，模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。确定性。综上，我们引出统计决策的方法。返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论对模式对模式 识别的主要统计方法是识别的主要统计方法是Bayes决策理论，决策理论，它是用概率论的方法研究决策问题，要求它是用概率论的方法研究决策问题，要求（1）各类别先验概率以及条件概率密度均为已）各类别先验概率以及条件概率密度均为已知知，即各类
4、别总体的概率分布是已知的；，即各类别总体的概率分布是已知的；（2）要决策分类的类别是一定的；要决策分类的类别是一定的；返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论3.1 最小错误概率的最小错误概率的Bayes决策决策在模式识别问题中，感兴趣的往往是尽量减小分在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。最小错误率的决策方法。看一个简单的例子。假设某工厂生产两种大小，外形都相同的螺丝钉，假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一
5、种是铁的。两种产品混在一起，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论：要求对它们自动分类。分两种情况讨论：（1）先验概率已知；）先验概率已知；（2）先验概率和条件概率密度函数均已知。）先验概率和条件概率密度函数均已知。返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论先验概率已知先验概率已知先验概率已知先验概率已知铁螺丝出现的概率铁螺丝出现的概率铁螺丝出现的概率铁螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率它们反映了我们在下一个样品出现前对它的类别可能性它们反映了我们在下一个样品出现前对它的类别可
6、能性它们反映了我们在下一个样品出现前对它的类别可能性它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。的先验知识，称这种先于事件的概率为先验概率。的先验知识，称这种先于事件的概率为先验概率。的先验知识，称这种先于事件的概率为先验概率。合理的决策规则：合理的决策规则：合理的决策规则：合理的决策规则：决策错误的概率：决策错误的概率：决策错误的概率：决策错误的概率：返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论先验概率和条件概率密度函数均已知先验概率和条件概率密度函数均已知先验概率和条件概率密度函数均已知先验概率和条件概率密度
7、函数均已知铁螺丝出现的概率铁螺丝出现的概率铁螺丝出现的概率铁螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率铁螺丝出现的概率铁螺丝出现的概率铁螺丝出现的概率铁螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率铜螺丝出现的概率 螺丝背光源照射后反射光的亮度特征螺丝背光源照射后反射光的亮度特征螺丝背光源照射后反射光的亮度特征螺丝背光源照射后反射光的亮度特征求取后验概率：求取后验概率：求取后验概率：求取后验概率：返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论对待分类模式的特征我们得到一个观察值对待分类模式的特征我们得到一个观察
8、值对待分类模式的特征我们得到一个观察值对待分类模式的特征我们得到一个观察值 ，合理的决合理的决合理的决合理的决策规则：策规则：策规则：策规则：决策错误的条件概率（随机变量决策错误的条件概率（随机变量决策错误的条件概率（随机变量决策错误的条件概率（随机变量 的函数）：的函数）：的函数）：的函数）：模式特征模式特征模式特征模式特征 是一个随机变量，在应用是一个随机变量，在应用是一个随机变量，在应用是一个随机变量，在应用BayesBayes法则时，每当法则时，每当法则时，每当法则时，每当观察到一个模式时，得到特征观察到一个模式时，得到特征观察到一个模式时，得到特征观察到一个模式时，得到特征 ，就可利
9、用后验概率作，就可利用后验概率作，就可利用后验概率作，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察出分类的决策，同时也会带来一定的错误概率。若观察出分类的决策，同时也会带来一定的错误概率。若观察出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率到大量的模式，对它们作出决策的平均错误概率到大量的模式，对它们作出决策的平均错误概率到大量的模式，对它们作出决策的平均错误概率 应应应应是是是是 的数学期望。的数学期望。的数学期望。的数学期望。返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论平均错误概率平均错误概
10、率平均错误概率平均错误概率从式可知，如果对每次观察到的特征值从式可知，如果对每次观察到的特征值从式可知，如果对每次观察到的特征值从式可知，如果对每次观察到的特征值 ，是尽是尽是尽是尽可能小的话，则上式的积分必定是尽可能小的这就证实可能小的话，则上式的积分必定是尽可能小的这就证实可能小的话，则上式的积分必定是尽可能小的这就证实可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的了最小错误率的了最小错误率的了最小错误率的BayesBayesBayesBayes决策法则。下面从理论上给予证明决策法则。下面从理论上给予证明决策法则。下面从理论上给予证明决策法则。下面从理论上给予证明。以两类模
11、式为例。以两类模式为例。以两类模式为例。以两类模式为例。返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页结结 束放映束放映第第3 3章章 Bayes Bayes决策理论决策理论3.2 最小风险的最小风险的Bayes决策决策在上一节我们介绍了最小错误率的在上一节我们介绍了最小错误率的Bayes决策，决策，并且证明了应用这种决策法则时，平均错误概率并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率是最小的。但实际上有时需要考虑一个比错
12、误率更为广泛的概念更为广泛的概念风险，举例说明。毋庸置疑，风险，举例说明。毋庸置疑，任何风险都会带来一定损失。看一个一般的决策任何风险都会带来一定损失。看一个一般的决策表。表。返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页观察或测量到的观察或测量到的 d 维模式特征向量；维模式特征向量；状态或模式类空间状态或模式类空间决策空间决策空间 损失函数，表损失函数，表示真实状态为示真实状态为 而所采取的决策为而所采取的决策为 时所带来的某种时所带来的某种损失。损失。根据
13、根据Bayes公式，后验概率为：公式，后验概率为：第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页对于刚才的决策表考虑如下的一个条件期望损失，即给对于刚才的决策表考虑如下的一个条件期望损失，即给定定 ，我们采取决策，我们采取决策 情况下的情况下的条件期望损失（条件风条件期望损失（条件风险）险）：采取那种决策呢采取那种决策呢？最小风险最小风险Bayes决策规则决策规则：第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页 综上，可知该规则的进行步骤为：综上，可知该规则的进行步骤为：（1）根据）根据已知已知，计算出后验概率；，计算出后验概率；
14、（2）利用计算出的后验概率及决策表（专家根据经验确）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险定），计算条件风险（3）最小风险决策）最小风险决策第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页这样按最小风险的这样按最小风险的Bayes决策规则，采取的决策将随决策规则，采取的决策将随 的的取值而定，引入函数取值而定，引入函数 ，表示对，表示对 的决策。对整个特的决策。对整个特征空间上所有征空间上所有 的取值采取相应的决策的取值采取相应的决策 所带来的平所带来的平均风险均风险显然，我们对连续的随机模式向量按最小风险显然，我们对连续的随机模式向量按最
15、小风险Bayes决策决策规则采取的一系列决策行动可以使平均风险最小。规则采取的一系列决策行动可以使平均风险最小。到此为止，我们已经分析了两种分别使错误率和风险达到此为止，我们已经分析了两种分别使错误率和风险达到最小的到最小的Bayes决策规则，下面分析一下两种决策规则的决策规则，下面分析一下两种决策规则的关系。关系。第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页两类情况下的最小风险两类情况下的最小风险BayesBayes决策决策第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页在两类问题中，若有在两类问题中，若有在两类问题中，若有在两
16、类问题中，若有 ，决策规则变为，决策规则变为，决策规则变为，决策规则变为这时最小风险的这时最小风险的这时最小风险的这时最小风险的BayesBayes决策和最小错误率的决策和最小错误率的决策和最小错误率的决策和最小错误率的BayesBayes决策规则是一决策规则是一决策规则是一决策规则是一致的。致的。致的。致的。第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页一般的多类问题中，设损失函数为一般的多类问题中，设损失函数为一般的多类问题中，设损失函数为一般的多类问题中，设损失函数为0-10-10-10-1损失函数损失函数损失函数损失函数第第3 3章章 Bayes Bay
17、es决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论3.3 NeymanPearson决策决策NeymanPearsonNeymanPearson决策即限定一类错误率条件下使另一决策即限定一类错误率条件下使另一决策即限定一类错误率条件下使另一决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。类错误率为最小的两类别决策。类错误率为最小的两类别决策。类错误率为最小的两类别决策。返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页用用Lagrange乘子法建立其数学模型乘子法建立其数学模型第第3
18、 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页取得极小值的边界条件取得极小值的边界条件取得极小值的边界条件取得极小值的边界条件与最小错误率的与最小错误率的与最小错误率的与最小错误率的BayesBayes决策的比较决策的比较决策的比较决策的比较第第3 3章章 Bayes Bayes决策理论决策理论3.4 最小最大决策最小最大决策有时我们必须设计在整个先验概率范围上都能很有时我们必须设计在整个先验概率范围上都能很好的进
19、行操作的分类器。比如，在我们的有些分好的进行操作的分类器。比如，在我们的有些分类问题中可能设想尽管模式的有些物理属性恒定类问题中可能设想尽管模式的有些物理属性恒定不变，然而先验概率可能变化范围很大，并且以不变，然而先验概率可能变化范围很大，并且以一种不确定的一种不确定的 方式出现。或者，我们希望在先方式出现。或者，我们希望在先验概率不知道的情况下使用此分类器，那么一种验概率不知道的情况下使用此分类器，那么一种合理的设计分类器的方法合理的设计分类器的方法就是使先验概率取任何就是使先验概率取任何一种值时所引起的总风险的最坏的情况尽可能小，一种值时所引起的总风险的最坏的情况尽可能小，也就是说，最小化
20、最大可能的总风险也就是说，最小化最大可能的总风险。以二类模。以二类模式识别问题为例，进行讨论。式识别问题为例，进行讨论。返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页以两类情况下的最小风险以两类情况下的最小风险BayesBayes决策为例进行讨论决策为例进行讨论总风险公式总风险公式总风险公式总风险公式第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页假定决策域已经确定，我们以假定决策域已经确定，我们以 表示分类器判为表示分类器判为 时的特征空间时的特征空间中的区域，同样有中的区域，同样有 和和 ，于是总风险用条
21、件风险的形式表示为，于是总风险用条件风险的形式表示为第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页一旦一旦 和和 确定，风险确定，风险 就是先验概率就是先验概率 的线性函数，可表的线性函数，可表示为示为决策阀值决策阀值第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页一旦一旦 和和 确定，风险确定，风险 就是先验概率就是先验概率 的线性函数，可表的线性函数，可表示为示为决策阀值决策阀值 第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本
22、章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页综上所述，可以得出：在作最小风险综上所述，可以得出：在作最小风险Bayes决策时，若考决策时，若考虑虑 有可能改变或对先验概率毫无所知，则应选择使有可能改变或对先验概率毫无所知，则应选择使最小最小Bayes风险风险 为最大值时的为最大值时的 来设计分类器，来设计分类器，它相对于其它的它相对于其它的 为最大，但能保证在不管为最大，但能保证在不管 如何如何变化时，使最大风险将为最小，我们称其为变化时，使最大风险将为最小，我们称其为最小最大
23、决最小最大决策。策。其任务就是寻找使其任务就是寻找使Bayes风险为最大时的决策域风险为最大时的决策域 和和 ，它对应于下式，它对应于下式然后确定然后确定第第3 3章章 Bayes Bayes决策理论决策理论3.5 Bayes分类器和判别函数分类器和判别函数返回本章首页返回本章首页前面我们介绍了四种决策规则，这里结合第二章中介绍前面我们介绍了四种决策规则，这里结合第二章中介绍前面我们介绍了四种决策规则，这里结合第二章中介绍前面我们介绍了四种决策规则，这里结合第二章中介绍的的的的判别函数和决策面的概念判别函数和决策面的概念判别函数和决策面的概念判别函数和决策面的概念来设计分类器。来设计分类器。来
24、设计分类器。来设计分类器。对于对于对于对于n n 维空间中的维空间中的维空间中的维空间中的 c c 个模式类别各给出一个由个模式类别各给出一个由个模式类别各给出一个由个模式类别各给出一个由 n n 个特征组成的单值个特征组成的单值个特征组成的单值个特征组成的单值函数，这叫做判别函数。在函数，这叫做判别函数。在函数，这叫做判别函数。在函数，这叫做判别函数。在 c c 类的情况下，我们共有类的情况下，我们共有类的情况下，我们共有类的情况下，我们共有 c c个判别函数，个判别函数，个判别函数，个判别函数，记为记为记为记为判别函数的性质判别函数的性质判别函数的性质判别函数的性质假如一个模式假如一个模式
25、假如一个模式假如一个模式 X X 属于第属于第属于第属于第 i i 类，则有类，则有类，则有类，则有而如果这个模式在第而如果这个模式在第而如果这个模式在第而如果这个模式在第 i i 类和第类和第类和第类和第 j j 类的分界面上，则有类的分界面上，则有类的分界面上，则有类的分界面上，则有第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页1 多类情况多类情况最小错误率的最小错误率的Bayes决策规则：决策规则：可设判别函数为：可设判别函数为：第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页最小风险的最小风险的Bayes决策规则，决策规则，
26、可设判别函数为可设判别函数为决策面方程决策面方程分类器框图分类器框图第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页2 两类情况两类情况可设判别函数为：可设判别函数为：可将其任意分类，或拒绝可将其任意分类，或拒绝第第3 3章章 Bayes Bayes决策理论决策理论3.6 正态分布时的正态分布时的Bayes决策法则决策法则返回本章首页返回本章首页在前面我们提到设计在前面我们提到设计在前面我们提到设计在前面我们提
27、到设计BayesBayes分类器的两个先决已知条件：分类器的两个先决已知条件：分类器的两个先决已知条件：分类器的两个先决已知条件：（1 1）先验概率）先验概率）先验概率）先验概率 ；（2 2）条件概率密度函数）条件概率密度函数）条件概率密度函数）条件概率密度函数 。先验概率的估计并不困难，关键是条件概率密度函数。先验概率的估计并不困难，关键是条件概率密度函数。先验概率的估计并不困难，关键是条件概率密度函数。先验概率的估计并不困难，关键是条件概率密度函数。这里我们以正态分布概率密度函数为主进行讨论，因为这里我们以正态分布概率密度函数为主进行讨论，因为这里我们以正态分布概率密度函数为主进行讨论，因
28、为这里我们以正态分布概率密度函数为主进行讨论，因为 在实际问题中，大量的随机变量都服从或近似地服从在实际问题中，大量的随机变量都服从或近似地服从在实际问题中，大量的随机变量都服从或近似地服从在实际问题中，大量的随机变量都服从或近似地服从正态分布；正态分布；正态分布；正态分布；即使统计总体不服从正态分布，但是它的许多重要的即使统计总体不服从正态分布，但是它的许多重要的即使统计总体不服从正态分布，但是它的许多重要的即使统计总体不服从正态分布，但是它的许多重要的样本特征可能是渐进正态分布的；样本特征可能是渐进正态分布的；样本特征可能是渐进正态分布的；样本特征可能是渐进正态分布的；正态分布分析起来比较
29、方便。正态分布分析起来比较方便。正态分布分析起来比较方便。正态分布分析起来比较方便。第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质正态分布概率密度函数的定义及性质（1 1）单变量正态分布）单变量正态分布）单变量正态分布）单变量正态分布单变量正态分布概率密度函数单变量正态分布概率密度函数单变量正态分布概率密度函数单变量正态分布概率密度函数 ，有两个参数，有两个参数，有两个参数，有两个参数 和和和和 完全决定，常简记为完全决定，常简记为完全决定，常简记为完全决定，常简记为
30、 。期望期望方差方差第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页（2 2）多维变量正态分布）多维变量正态分布）多维变量正态分布）多维变量正态分布均值向量均值向量协方差矩阵协方差矩阵第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页多维变量正态分布密度函数的性质多维变量正态分布密度函数的性质多维变量正态分布密度函数的性质多维变量正态分布密度函数的性质（1 1）多维变量正态分布密度函数由均值向量）多维变量正态分布密度函数由均值向量）多维变量正态分布密度函数由均值向量）多维变量正态分布密度函数由均值向量 和协方和协方和协方和协方差矩阵差矩
31、阵差矩阵差矩阵 完全确定，包含的参数个数为完全确定，包含的参数个数为完全确定，包含的参数个数为完全确定，包含的参数个数为 。（2 2）等密度点的轨迹为一超椭球面，且它的主轴方向由）等密度点的轨迹为一超椭球面，且它的主轴方向由）等密度点的轨迹为一超椭球面，且它的主轴方向由）等密度点的轨迹为一超椭球面，且它的主轴方向由 阵的特征向量所确定，主轴的长度与相应的协方差矩阵的特征向量所确定，主轴的长度与相应的协方差矩阵的特征向量所确定，主轴的长度与相应的协方差矩阵的特征向量所确定，主轴的长度与相应的协方差矩阵阵阵阵 的本征值成正比。的本征值成正比。的本征值成正比。的本征值成正比。第第3 3章章 Baye
32、s Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页设设设设 在超椭球上，在超椭球上，在超椭球上，在超椭球上，到超椭球中心的距离为到超椭球中心的距离为到超椭球中心的距离为到超椭球中心的距离为 ，求，求，求，求主轴长度即是求其条件极值，构造主轴长度即是求其条件极值，构造主轴长度即是求其条件极值，构造主轴长度即是求其条件极值，构造LagrangeLagrange函数函数函数函数第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页所以，第所以，第所以，第所以，第 i i 个主轴的长度与个主轴的长
33、度与个主轴的长度与个主轴的长度与 的第的第的第的第 i i 个特征值的平方根个特征值的平方根个特征值的平方根个特征值的平方根成正比成正比成正比成正比，如图所示。定义，如图所示。定义，如图所示。定义，如图所示。定义 为向量为向量为向量为向量 到均值向量到均值向量到均值向量到均值向量 的的的的马氏距离马氏距离马氏距离马氏距离。等概率密度点的轨迹是一个到均值向量等概率密度点的轨迹是一个到均值向量等概率密度点的轨迹是一个到均值向量等概率密度点的轨迹是一个到均值向量 的马氏距离为的马氏距离为的马氏距离为的马氏距离为常数的超球体常数的超球体常数的超球体常数的超球体。（3 3）不相关性等价于独立性。不相关性
34、等价于独立性。不相关性等价于独立性。不相关性等价于独立性。（4 4）边缘分布和条件分布的正态性。）边缘分布和条件分布的正态性。）边缘分布和条件分布的正态性。）边缘分布和条件分布的正态性。（5 5）线性变换的正态性。）线性变换的正态性。）线性变换的正态性。）线性变换的正态性。（6 6）线性组合的正态性。）线性组合的正态性。）线性组合的正态性。）线性组合的正态性。第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页多维变量正态概率型下的最小错误率多维变量正态概率型下的最小错误率多维变量正态概率型下的最小错误率多维变量正态概率型下的最小错误率BayesBayes判别函数和决
35、判别函数和决判别函数和决判别函数和决策面策面策面策面第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页下面根据上式对以下三种情况进行讨论。下面根据上式对以下三种情况进行讨论。决策面方程决策面方程第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页（1 1），即每类的协方差矩阵都相等，而且类内各特即每类的协方差矩阵都相等，而且类内各特即每类的协方差矩阵都相等，而且类内各特即每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差征间相互独立，具有相等的方差征间相互独立，具有相等的方差征间相互独立，具有相等的方差 如果先验概率不等，那么
36、平方距离（欧氏距离）必须通过方差如果先验概率不等，那么平方距离（欧氏距离）必须通过方差进行归一化，并通过增加进行归一化，并通过增加 进行修正。进行修正。第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页 如果先验概率相等如果先验概率相等称其为最小距离分类器。对以上两类情况进行化简称其为最小距离分类器。对以上两类情况进行化简第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页下面来看线性分类器的决策面方程下面来看线性分类器的决策面方程第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页对其，我们用一个二维二类模式例子
37、，对其，我们用一个二维二类模式例子，对其，我们用一个二维二类模式例子，对其，我们用一个二维二类模式例子，设先验概率相等设先验概率相等设先验概率相等设先验概率相等，从几，从几，从几，从几何上表示其关系（不相等的情况请参照教材何上表示其关系（不相等的情况请参照教材何上表示其关系（不相等的情况请参照教材何上表示其关系（不相等的情况请参照教材P32P32）第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页（2 2），即各类的协方差矩阵都相等即各类的协方差矩阵都相等即各类的协方差矩阵都相等即各类的协方差矩阵都相等如果先验概率相等，如果先验概率相等，只要计算只要计算 到各类的均
38、值点到各类的均值点 的马氏距离平方，然后把的马氏距离平方，然后把 归于归于 距离平方最小的类别。距离平方最小的类别。第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页对以上两类情况进行化简对以上两类情况进行化简第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页决策面方程决策面方程第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页对其，我们用一个二维二类模式例子，对其，我们用一个二维二类模式例子，对其，我们用一个二维二类模式例子，对其，我们用一个二维二类模式例子，设先验概率相等设先验概率相等设先验概率相等设先验概
39、率相等，从几，从几，从几，从几何上表示其关系何上表示其关系何上表示其关系何上表示其关系第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页（2 2）各类的协方差矩阵不相等各类的协方差矩阵不相等各类的协方差矩阵不相等各类的协方差矩阵不相等第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes Bayes决策理论决策理论3.7 离散情况的离散情况的Bayes决策决策返回本章首页返回本章首页前面我们我们介绍都是连续情况的前面我们我们介绍都是连续情况的前面我们我们介绍都是连续情况的前面我们我们介绍都是连续情况的BayesBay
40、es决策理论，这里决策理论，这里决策理论，这里决策理论，这里我们看一下的离散情况。设我们看一下的离散情况。设我们看一下的离散情况。设我们看一下的离散情况。设 是离散型随机变量，从而是离散型随机变量，从而是离散型随机变量，从而是离散型随机变量，从而BayesBayes决策法则就是：决策法则就是：决策法则就是：决策法则就是：这时这时这时这时BayesBayes决策规则仍然不变，最小错误概率的决策规则仍然不变，最小错误概率的决策规则仍然不变，最小错误概率的决策规则仍然不变，最小错误概率的BayesBayes决决决决策法则仍为：策法则仍为：策法则仍为：策法则仍为：第第3 3章章 Bayes Bayes
41、决策理论决策理论返回本章首页返回本章首页最小风险的最小风险的最小风险的最小风险的BayesBayes决策法则仍为：决策法则仍为：决策法则仍为：决策法则仍为：这里着重讨论最小错误率的这里着重讨论最小错误率的这里着重讨论最小错误率的这里着重讨论最小错误率的BayesBayes决策法则。等价的判别决策法则。等价的判别决策法则。等价的判别决策法则。等价的判别函数有以下几种形式：函数有以下几种形式：函数有以下几种形式：函数有以下几种形式：对二类模式的分类问题，判别函数可采用以下的形式：对二类模式的分类问题，判别函数可采用以下的形式：对二类模式的分类问题，判别函数可采用以下的形式：对二类模式的分类问题，判
42、别函数可采用以下的形式：第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页设模式特征向量为设模式特征向量为设模式特征向量为设模式特征向量为且各特征相互独立。并令：且各特征相互独立。并令：且各特征相互独立。并令：且各特征相互独立。并令：第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页从而似然比：从而似然比：从而似然比：从而似然比：将其改写为线性判别函数的形式：将其改写为线性判别函数的形式：将其改写为线性判别函数的形式：将其改写为线性判别函数的形式：第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页式中：式中：式
43、中：式中：可将其任意分类，或拒绝可将其任意分类，或拒绝第第3 3章章 Bayes Bayes决策理论决策理论课后习题（一）课后习题（一）返回本章首页返回本章首页1 1设五维空间的线性方程为设五维空间的线性方程为设五维空间的线性方程为设五维空间的线性方程为2 2试求出其权向量与样本向量点积的表达式试求出其权向量与样本向量点积的表达式试求出其权向量与样本向量点积的表达式试求出其权向量与样本向量点积的表达式 中的中的中的中的 ，3 3 以及增广权向量与增广样本向量形式以及增广权向量与增广样本向量形式以及增广权向量与增广样本向量形式以及增广权向量与增广样本向量形式 中的中的中的中的 与与与与 。4 4
44、上式是一个五维空间的超平面，上式是一个五维空间的超平面，上式是一个五维空间的超平面，上式是一个五维空间的超平面，求该平面到坐标原点的法向距求该平面到坐标原点的法向距5离。离。62 论述以下概念并分析其解决问题的思想方法论述以下概念并分析其解决问题的思想方法7（1）基于最小错误率的）基于最小错误率的Bayes决策；决策；8（2）最小最大决策；）最小最大决策；9（3）Fisher线性判别；线性判别；10（4）最小平方误差准则函数；）最小平方误差准则函数；11（5）最小最大化准则。）最小最大化准则。第第3 3章章 Bayes Bayes决策理论决策理论返回本章首页返回本章首页3 3试从模式类与模式概
45、念分析以下词之间的关系：试从模式类与模式概念分析以下词之间的关系：试从模式类与模式概念分析以下词之间的关系：试从模式类与模式概念分析以下词之间的关系：王老头，王王老头，王王老头，王王老头，王4 4老太，王明（安徽工业大学本科生），周强（年轻教师），老老太，王明（安徽工业大学本科生），周强（年轻教师），老老太，王明（安徽工业大学本科生），周强（年轻教师），老老太，王明（安徽工业大学本科生），周强（年轻教师），老年年年年5 5人，老头，老太，年青人。人，老头，老太，年青人。人，老头，老太，年青人。人，老头，老太，年青人。第第3 3章章 Bayes Bayes决策理论决策理论THANK YOU VERY MUCH！本章到此结束本章到此结束下一章下一章“概率密度函数的估计概率密度函数的估计”返回本章首页返回本章首页结结 束放映束放映第第3 3章章 Bayes Bayes决策理论决策理论演讲完毕，谢谢观看！