《模式识别(2-3).ppt》由会员分享，可在线阅读，更多相关《模式识别(2-3).ppt（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 模式识别模式识别第二章贝叶斯决策理论第二章贝叶斯决策理论(3)2.4 2.4 正态分布时的统计决策正态分布时的统计决策n单变量正态分布：单变量正态分布：n多元正态分布多元正态分布:回顾：回顾：n协方差矩阵协方差矩阵协方差矩阵衡量相关性。协方差矩阵衡量相关性。非对角元素表示了两个分量之间的相关性。非对角元素表示了两个分量之间的相关性。主对角元素则是各分量本身的方差。主对角元素则是各分量本身的方差。协方差矩阵的重要属性：正定的对称矩阵。协方差矩阵的重要属性：正定的对称矩阵。由于它的主对角元素都是各分量的方差，因此一般情况下由于它的主对角元素都是各分量的方差，因此一般情况下 都是大于零的值。都是大
2、于零的值。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策判别函数：判别函数：决策面方程：决策面方程：正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策 1.第一种情况：第一种情况：各个特征统计独立，且同方差情况。(最简单情况)判别函数判别函数：各类样本落入以各类样本落入以i i为为中心的同样大小的超中心的同样大小的超球体内。球体内。vv如果如果如果如果C C C C类先验概率相等：类先验概率相等：类先验概率相等：类先验概率相等：正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策未知x，只要计算x到每类
3、均值点的马氏距离的平方，把x归于最近一类。最小距离分类器。2、第二种情况：、第二种情况：i 相等，即各类协方差相等。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策决策规则:对于二类情况:正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策当P(i)P(j)时，其相应的决策面超平面过均值向量连线的中点；但当先验概率不等时，超平面朝远离先验概率大的方向移动。与上一小节不同的是，一般情况下该超平面不与两一般情况下该超平面不与两均值向量的连线正交。均值向量的连线正交。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策
4、斯决策从几何上看，这相当于各类样本具有同样概率密度函数从几何上看，这相当于各类样本具有同样概率密度函数的点的轨迹是同样大小和形状的超椭球面。但不同类样的点的轨迹是同样大小和形状的超椭球面。但不同类样本的超椭球面的中心由类均值本的超椭球面的中心由类均值i决定。上图表示在二维特决定。上图表示在二维特征空间的情况，此时超椭球面是二维空间的椭圆。征空间的情况，此时超椭球面是二维空间的椭圆。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策3、第三种情况、第三种情况(一般情况)：为任意，各类协方差矩阵不等为任意，各类协方差矩阵不等为任意，各类协方差矩阵不等为任意，各类协方差
5、矩阵不等，二次项xT x与i有关。所以判别函数为二次型函数。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策以上前以上前2种情况都是线性分类器的情况，也就是用线性函数作种情况都是线性分类器的情况，也就是用线性函数作为判别函数，或分界面方程是线性。为判别函数，或分界面方程是线性。在正态分布条件下，基于最小错误率贝叶斯决策只要能做
6、到两在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩阵是一样的，那么无论先验概率相等不相等，都可类协方差矩阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实现。以用线性分界面实现。而最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，而最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，先验概率相等。先验概率相等。反过来说，如果希望用线性分类器实现错分类少的分类，则反过来说，如果希望用线性分类器实现错分类少的分类，则两类用正态分布近似时，应要求其协方差矩阵相似，先验概两类用正态分布近似时，应要求其协方差矩阵相似，先验概率相近才行。当然如果两类分布分得很开，没有什么重叠
7、，率相近才行。当然如果两类分布分得很开，没有什么重叠，也可做到错分率很小。也可做到错分率很小。正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策n例1：两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。n根据医学知识和以往的经验，医生知道：q患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；q一般人群中，患病的人数比例为0.5%。q一个人的白细胞浓度是3100，医生应该做出怎样的判断？正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策
8、数学表示数学表示：用表示“类别”这一随机变量，1表示患病，2表示不患病；x表示“白细胞浓度”这个随机变量。例子中，医生掌握的知识非常充分，他知道：1）类别的先验分布先验分布：P(1)=0.5%P(2)=99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策2）观测数据白细胞浓度分别在两种情况下的类条类条件分布件分布：P(x|1)N(2000,1000)P(x|2)N(7000,3000)P(3100|1)=2.1785e-004 P(3100|2)=5.7123e-005 由贝叶斯公式得：P(1|31
9、00)=1.9%P(2|3100)=98.1%医生的判断：正常医生的判断：正常医生的判断：正常医生的判断：正常正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策n例2设一个二维空间中的两类样本服从正态分布，其参数设一个二维空间中的两类样本服从正态分布，其参数分别为分别为 试证明其基于最小错误率的贝叶斯决策分界面方程试证明其基于最小错误率的贝叶斯决策分界面方程为一圆，并求其方程。为一圆，并求其方程。先验概率先验概率 v例例3：有训练集资料矩阵如下表所示，现已知，各类样本服从正态分布，输入训练样本数N=9、N1=5，N2=4、特征数n=2、输入类数M=2，试问，未知样
10、本 X=(0,0)T应属于哪一类？训练样本号k1 2 3 4 5 1 2 3 4 特征 x1特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别1 2解解1 假定二类协方差假定二类协方差 矩阵不等矩阵不等（12）则均值:1 11 1-1-1-1-1-2-2X X1 1X X2 21 12 2待待 定定 样样 品品两种解的分界线两种解的分界线v解解2、假定两类协方差矩阵相等、假定两类协方差矩阵相等=1+2v练习：练习：1在下列条件下，求待定样本x=(2,0)T的类别，画出分界线。v1)、二类协方差相等，2)、二类协方差不等。训练样本号k1 2 31 2
11、 3特征x11 1 2-1 -1 -2特征x21 0 -11 0 -1类别 1 2训练样本号k1 2 31 2 31 2 3特征 x12 0 1-2 -1 -2 0 1 -1特征 x21 0 -1 1 0 -1-1 -2 -2类别123v2：有训练集资料矩阵如下表所示，现已知，各类样本服从正态分布，输入训练样本数N=9、N1=N2=3、特征数n=2、输入类数M=3，试问，未知样本 X=(0,0)T应属于哪一类？2.4 2.4 本章小结本章小结n第一第一 使用什么样的决策原则我们可以做到错使用什么样的决策原则我们可以做到错误率最小呢？误率最小呢？q这个条件是要知道一个样本这个条件是要知道一个样本
12、x分属不同类别的可能分属不同类别的可能性，表示成性，表示成P(i|x)，然后根据后验概率最大的类来，然后根据后验概率最大的类来分类。分类。q后验概率要通过后验概率要通过Bayes公式从先验概率与类分布函公式从先验概率与类分布函数来计算。数来计算。2.4 2.4 本章小结本章小结n第二第二 错分类最小并不一定是一个识别系统最重错分类最小并不一定是一个识别系统最重要的指标要的指标。q对语音识别、文字识别来说可能这是最重要的指标；对语音识别、文字识别来说可能这是最重要的指标；q但对医疗诊断、地震、天气预报等还要考虑错分类的但对医疗诊断、地震、天气预报等还要考虑错分类的不同后果，因此引入了风险，损失这
13、些概念，以便在不同后果，因此引入了风险，损失这些概念，以便在决策时兼顾不同后果的影响。决策时兼顾不同后果的影响。q在实际问题中计算损失与风险是复杂的，在使用数学在实际问题中计算损失与风险是复杂的，在使用数学式子计算时，往往用赋于不同权值来表示。式子计算时，往往用赋于不同权值来表示。2.4 2.4 本章小结本章小结 第三第三 当各类样本近似于正态分布时，可以算出当各类样本近似于正态分布时，可以算出使错误率最小或风险最小的分界面，及相应的使错误率最小或风险最小的分界面，及相应的分界面方程。因此如能从训练样本估计近似的分界面方程。因此如能从训练样本估计近似的正态分布，可以按贝叶斯决策方法对分类器进正
14、态分布，可以按贝叶斯决策方法对分类器进行设计。因此一种利用训练样本的方法是通过行设计。因此一种利用训练样本的方法是通过它的概率分布进行估计，然后用它进行分类器它的概率分布进行估计，然后用它进行分类器设计。设计。2.4 2.4 本章小结本章小结 利用贝叶斯决策理论来实现对样本的分类，是在样本利用贝叶斯决策理论来实现对样本的分类，是在样本各类别的先验概率与类条件概率密度函数已知的前提下才各类别的先验概率与类条件概率密度函数已知的前提下才能进行的，因此在这些参数未知的情况下使用贝叶斯决策能进行的，因此在这些参数未知的情况下使用贝叶斯决策方法，就得有一个学习阶段。在这个阶段，设法获得一定方法，就得有一
15、个学习阶段。在这个阶段，设法获得一定数量的样本，然后从这些样本数据获得对样本概率分布的数量的样本，然后从这些样本数据获得对样本概率分布的估计。有了估计。有了概率分布的估计概率分布的估计后，才能对未知的新样本按贝后，才能对未知的新样本按贝叶斯决策方法实行分类。叶斯决策方法实行分类。由于估计本身很不容易，在样本数量有限时也不准确、由于估计本身很不容易，在样本数量有限时也不准确、可靠。因此常常采用可靠。因此常常采用从样本出发直接设计分类器从样本出发直接设计分类器的思路，的思路，这是后续章节的任务。这是后续章节的任务。一、设有如下符合正态分布的两类样本：5，7，9，11；假设两类先验概率均为0.5。设未知样本y=10，试用基于最小错误率的贝叶斯决策方法对该样本进行分类。：15，17，19，21；二、设在一维特征空间中两类样本服从正态分 布，其中 两类先验概率之比 试求：（1）按最小错误率贝叶斯决策规则进行决策的决策分界面x的值。（2）设损失矩阵为：，求最小损失准则下的判别阈值3.设一维两类模式服从正态分布，其中：令两类先验概率 取01损失函数，试计算判决分界点；试确定样本-3,-2,1,3,5各属于那一类