《模式识别_孙即祥_第四章统计判决g.ppt》由会员分享，可在线阅读，更多相关《模式识别_孙即祥_第四章统计判决g.ppt（116页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、模式识别主讲主讲：蔡宣平蔡宣平 教授教授 电话电话：7344173441（O O）,73442,73442（H H）E-mailE-mail：单位单位:电子科学与工程学院信息工程系电子科学与工程学院信息工程系12随机模式分类识别，通常称为随机模式分类识别，通常称为BayesBayes(贝叶斯贝叶斯)判决判决。（基础复习）（基础复习）第四章第四章 统计判决统计判决主要依据类的概率、概密，按照主要依据类的概率、概密，按照某种准则某种准则使分使分类结果从统计上讲是最佳的。准则函数不同，所导类结果从统计上讲是最佳的。准则函数不同，所导出的出的判决规则判决规则就不同，分类结果也不同。就不同，分类结果也不
2、同。本章主要论述分类识别的一般原理、几种重要本章主要论述分类识别的一般原理、几种重要的的准则准则和相应的和相应的判决规则判决规则，正态分布模式类的判决，正态分布模式类的判决函数以及它们的性能。函数以及它们的性能。34BayesBayes公式：公式：设实验设实验E E的样本空间为的样本空间为S S，A A为为E E的事件，的事件，B B1 1,B,B2 2,B Bn n为为S S的一个划分，且的一个划分，且P P(A)0(A)0，P P(B(Bi i)0)0，(i=1,2,(i=1,2,n),n)，则，则:“概率论概率论”有关概念复习有关概念复习5B1SB2B3B4A划分示意图“概率论概率论”有
3、关概念复习有关概念复习6条件概率条件概率“概率论概率论”有关概念复习有关概念复习先验概率：先验概率：P(i)表示类表示类 i出现的先验概率，简称类出现的先验概率，简称类 i的概率。的概率。后验概率：后验概率：P P(i i|x|x)表示表示x x出现条件下类出现条件下类 i i出现的概率出现的概率,称其为称其为类别的类别的后验概率后验概率，对于模式识别来讲可理解为，对于模式识别来讲可理解为x x来自类来自类 i i的的概率。概率。类概密：类概密：p(x|(x|i i)表示在类表示在类 i i条件下的概率密度，即类条件下的概率密度，即类 i i模模式式x x 的概率分布密度，简称为的概率分布密度
4、，简称为类概密类概密。7 为表述简洁，我们将随机矢量为表述简洁，我们将随机矢量X X及它的某个取值及它的某个取值x x都都用同一个符号用同一个符号x x表示，在以后各节中出现的是表示随机表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。矢量还是它的一个实现根据内容是可以清楚知道的。“概率论概率论”有关概念复习有关概念复习条件期望条件期望(某个特征某个特征)因不涉及因不涉及x的维数的维数,可将可将Xn改写为特征空间改写为特征空间W W。8对于两类对于两类 1 1，2 2问题，直观地，可以根据后验概率做判决：问题，直观地，可以根据后验概率做判决：式中，式中，p p(x
5、|(x|i i)又称又称似然函数似然函数(likelihood function of(likelihood function of class class i i)，可由已知样本求得。，可由已知样本求得。Bayes法则最大后验概率准则法则最大后验概率准则根据根据Bayes公式，后验概率公式，后验概率 可由类可由类 i的先验概率的先验概率P(i)和条件概率密度和条件概率密度 来表示，即来表示，即9将将P(i|x)代入判别式，判别规则可表示为代入判别式，判别规则可表示为或改写为或改写为l12称为称为似然比似然比（likelihood ratio），），12称为似然比的判决阀值。称为似然比的判决阀
6、值。原则：要确定原则：要确定x x是属于是属于11类还是类还是22类，要看类，要看x x是来自于是来自于11类的概率大还是来自类的概率大还是来自22类的概率大。类的概率大。10已知：已知：（统计结果）（统计结果）先验概率：先验概率：P(1 1)=1/3)=1/3（鲈鱼出现的概率）（鲈鱼出现的概率）P(2 2)=1-)=1-P(1 1)=2/3)=2/3（鲑鱼出现的概率鲑鱼出现的概率）条件概率条件概率：p(x|1 1)见图示见图示（鲈鱼的长度特征分布概率）（鲈鱼的长度特征分布概率）p(x|2 2)见图示见图示（鲑鱼的长度特征分布概率）（鲑鱼的长度特征分布概率）求：后验概率求：后验概率：P(|x=
7、10)=?（如果一条鱼如果一条鱼x x1010，是什么类别？），是什么类别？）11解法解法1 1：利用利用Bayes公式公式12写成似然比形式写成似然比形式解法解法2：13例题1图示鲈鱼鲈鱼鲑鱼鲑鱼100.050.55.58.514例题1图示1015n 最小误判概率准则判决最小误判概率准则判决n 最小损失准则判决最小损失准则判决n 最小最大损失准则最小最大损失准则n N-P(NeymanPearson)N-P(NeymanPearson)判决判决第四章第四章 统计判决统计判决1641 41 最小误判概率准则判决最小误判概率准则判决第四章第四章 统计判决统计判决1718图例：最小误判概率准则19
8、20最小误判概率准则下的判决规则：最小误判概率准则下的判决规则：如果，如果，则判则判或等价地，或等价地，如果，如果，则判则判21另一个等价形式是：另一个等价形式是：如果如果 则判则判由贝叶斯定理由贝叶斯定理22对于多类问题，对于多类问题，最小误判概率准则最小误判概率准则有如下有如下几种等价的判决规则几种等价的判决规则:若若 ，则判，则判 若若 ，则判，则判（后验概率形式）（后验概率形式）若若 ，则判，则判 若若 ，则判，则判（条件概率形式）（条件概率形式）若若 ，,则判则判（似然比形式）（似然比形式）如果如果 ，则判则判（条件概率的对数形式）（条件概率的对数形式）23例：对一批人进行癌症普查，
9、患癌症者定为属例：对一批人进行癌症普查，患癌症者定为属 1类，类，正常者定为属正常者定为属 2类。统计资料表明人们患癌的概率类。统计资料表明人们患癌的概率 ，从而，从而 。设有一种诊断此病的。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为癌症者有阳性反映的概率为0.95即即 ，从而可知从而可知 ，正常人阳性反映的概率，正常人阳性反映的概率为为0.01即即 ,可知可知 。问有阳性反映的人患癌症的概率有多大？问有阳性反映
10、的人患癌症的概率有多大？24解：解：说明有阳性反应的人其患癌的概率有说明有阳性反应的人其患癌的概率有32.3%32.3%25写成似然比形式：写成似然比形式：2627上式中去掉与类别无关的项并不影响分类判决结果：上式中去掉与类别无关的项并不影响分类判决结果：或对数形式或对数形式 类的判决函数可以表示为：类的判决函数可以表示为：28(1)当当 时时当当 和和 相邻相邻 时时29当当 和和 相邻相邻 时时式中：式中：显显然，然，该该判判别别界面界面为为一超平面。此决策超平面一超平面。此决策超平面过过点点 ，是该超平面的法矢量。是该超平面的法矢量。30若各类的概率相等，由判别式若各类的概率相等，由判别
11、式 可简化为马氏距离的平方，即：可简化为马氏距离的平方，即：因此因此 的类别就由的类别就由 到各类的均矢的马氏距离决定，到各类的均矢的马氏距离决定，应判应判 属于马氏距离最小的那一类。属于马氏距离最小的那一类。31x1x2 决策超平面过决策超平面过点，矢量点，矢量是该超平面的法矢量。是该超平面的法矢量。通常不与通常不与方向相同，所以决策界面不与方向相同，所以决策界面不与正交。正交。32x1x2 为单位阵，为单位阵，为分量的方差，显然有矢量为分量的方差，显然有矢量和矢量和矢量方向相同，此时决策平面垂直于两类中心的连线方向相同，此时决策平面垂直于两类中心的连线 若若此时决策界面还过此时决策界面还过
12、和和连线的中点连线的中点 33(2)这是一般的情况。这是一般的情况。i i类模式的判决函数为类模式的判决函数为:其中其中相邻两类的决策界面为相邻两类的决策界面为:3435二维模式，二维模式，1 12 2的几种情况的几种情况12(a)圆，圆，2 2类的方差小类的方差小12(b)椭圆，椭圆，2 2类的方差小类的方差小12(c)抛物线，抛物线，2 2类的方差小类的方差小12(d)双曲线双曲线(e)直线，两类的分布关于一直线是对称直线，两类的分布关于一直线是对称1236例：模式分布如图所示，两类的均矢和协方差阵例：模式分布如图所示，两类的均矢和协方差阵可用下式估计。可用下式估计。(0,1,1)(1,1
13、,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x32137(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x32138两类均作为正态分布，并假设两类均作为正态分布，并假设 ，故判决式为故判决式为39 考虑两类问题，设两类模式为协方差阵相考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度等的多变量正态分布，它们的密度函函数分别为数分别为:4.1.3 4.1.3 正态模式分类的误判概率正态模式分类的误判概率对数似然比对数似然比40令令是是 的线性函数，而的线性函数，而 的各分量是正态分布的，的各分量是正态分
14、布的，故故 是正态分布的随机变量。是正态分布的随机变量。41xi0rij2/2xj-rij2/2p(Lij|i)Lijp(Lij|j)42将属于将属于类的模式误判为属于类的模式误判为属于类的错误概率为类的错误概率为将属于将属于类的模式误判为属于类的模式误判为属于类的错误概率为类的错误概率为式中式中43于是，总的误判概率为于是，总的误判概率为:44特取特取 ，此时，此时 =0=0 上式表明了误判概率与两类的马氏距离的关系上式表明了误判概率与两类的马氏距离的关系：随随 的增大而单调递减，只要两类马氏距的增大而单调递减，只要两类马氏距离足够大，其误判概率可足够小。离足够大，其误判概率可足够小。454
15、.1 4.1 设以下两类模式均为正态分布设以下两类模式均为正态分布 1 1：(0,0)(0,0)T T，(2,0)(2,0)T T，(2,2)(2,2)T T，(0,2)(0,2)T T 2 2：(4,4)(4,4)T T，(6,4)(6,4)T T，(6,6)(6,6)T T，(4,6)(4,6)T T 设设P(P(1 1)=P()=P(2 2)=1/2)=1/2，求该两类模式之间的，求该两类模式之间的BayesBayes 判别界面的方程。判别界面的方程。作业作业4.2 4.2 设两类二维正态分布参数为设两类二维正态分布参数为u u1 1=(-1,0)=(-1,0)T T，u u2 2=(1
16、,0)=(1,0)T T先验概率相等。先验概率相等。（a a）令令 试给出负对数似然比判决规则试给出负对数似然比判决规则（b b）令令试给出负对数似然比判决规则。试给出负对数似然比判决规则。464.2 4.2 最小损失准则判决最小损失准则判决第四章第四章 统计判决统计判决474.2.1 4.2.1 损失概念、损失函数与平均损失损失概念、损失函数与平均损失设模式空间中存在设模式空间中存在c c个类别个类别:决策空间由决策空间由a a个决策个决策:决策决策 j j常指将模式常指将模式x x指判为某一类指判为某一类w wj j或者是拒判。或者是拒判。对一个实属对一个实属 i i 类的模式采用了决策类
17、的模式采用了决策 j j 所造成的损失所造成的损失记为：记为：于是就有于是就有 空间中的二元函数，称其为空间中的二元函数，称其为损失函数损失函数。48决策决策-损失表损失表 n决策决策 j j指将模式指将模式x x指判为指判为w wj j或者是拒判。或者是拒判。0-10-1损失函数损失函数49 令决策的数目令决策的数目a a等于类数等于类数c c，如果决策，如果决策 j j 定义为判定义为判 属属于于 j j 类，那么对于给定的模式类，那么对于给定的模式 在采取决策在采取决策 j j 的条件下的条件下损失的期望为损失的期望为条件平均风险条件平均风险 条件期望损失条件期望损失 刻划了在模式为刻划
18、了在模式为 、决策为、决策为 j j条条件下的平均损失，故也称件下的平均损失，故也称 为为条件平均损失或条条件平均损失或条件平均风险（件平均风险（RiskRisk）。由贝叶斯公式，上式可以写为。由贝叶斯公式，上式可以写为50求上式求上式Rj(x)关于关于x的数学期望的数学期望:平平均均损损失失51n可以将最小条件平均损失判决规则表示为可以将最小条件平均损失判决规则表示为如果如果 则判则判 4.2.2 4.2.2 最小损失准则判决最小损失准则判决定理：定理：使条件平均损失最小的判决也必然使总的平均使条件平均损失最小的判决也必然使总的平均损失最小。损失最小。所以最小条件平均损失准则也称为最小平均损
19、失所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为准则或最小平均风险准则，简称为最小损失准则最小损失准则。52 对于两类问题，对于两类问题，如果如果则：则：这时最小损失判决规则这时最小损失判决规则可以表为：可以表为：53经整理可得：经整理可得：两类问题的最小损失准则的似然比形式的判两类问题的最小损失准则的似然比形式的判决规则为：决规则为：如果如果 则判则判 54若记似然比阈值若记似然比阈值注意，若注意，若我们规定任判或拒判。我们规定任判或拒判。则两类问题的判决规则为：则两类问题的判决规则为：如果如果则判：则判：55如果如果则判：则判：损失函数如何确定依赖于实际问题和经验
20、，有时损失函数如何确定依赖于实际问题和经验，有时为了方便，对于一般的为了方便，对于一般的类问题，令类问题，令 （0-10-1损失函数）损失函数）此时：此时：此即为最小误判概此即为最小误判概率准则的判决规则率准则的判决规则 56取取0-10-1损失函数时，最小损失准则等价于最小损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。最小误判概率准则是最小损失准则的特例。4.2.2 最小损失准则判决最小损失准则判决5
21、758似然比为：似然比为：59运用最小损失准则，判决规则为：运用最小损失准则，判决规则为：判判即信号为即信号为“0 0”。时时两边取对数：两边取对数：当当 时时6061624.2.3 4.2.3 含拒绝判决的最小损失判决含拒绝判决的最小损失判决拒绝判决可以作为最小损失判决中的一个可能判决，拒绝判决可以作为最小损失判决中的一个可能判决，“拒绝判决拒绝判决”。63如果如果j j=1,2,=1,2,c c则作出拒绝判决。则作出拒绝判决。设设(c+1c+1()|i i)=)=r r，(i i=1,2,=1,2,c),c)，（即各类的拒判损失相同）（即各类的拒判损失相同）则则 又设又设(j j()|i
22、i)=)=e e，(j j i i，i i，j j=1,2,=1,2,c),c)，（即各误判损失相同）（即各误判损失相同）（即各正确判决损失相同）（即各正确判决损失相同）(i i()|i i)=)=c c，(i i=1,2,=1,2,c),c)，且通常有且通常有 c c r r e e6465如果如果，(j=1,2,c)，则对则对做拒绝判决。做拒绝判决。=1-t 这里这里 称之称之为为拒判拒判门门限。限。因因为为 c r 1-1/c时时,1-t1/c,上式恒成立上式恒成立,不存在拒判问题不存在拒判问题,即存在拒判决策的条件应该是即存在拒判决策的条件应该是:t1-1/c67判决规则判决规则如下：
23、如下：4.2.3 4.2.3 含拒绝判决的最小损失判决含拒绝判决的最小损失判决如果如果 则判则判如果如果则判则判684.34.3最小最大损失准则最小最大损失准则第四章第四章 统计判决统计判决69最小误判概率准则最小误判概率准则最小损失准则最小损失准则拒判拒判拒拒绝绝判判决决的的最最小小损损失失70拒判拒判拒拒绝绝判判决决的的最最小小损损失失拒判损失拒判损失误判损失误判损失正确判决损失正确判决损失71最小最大损失准则最小最大损失准则的基本思想：的基本思想：实际中，类先验概率实际中，类先验概率 P P(i i)往往不能精确往往不能精确知道或在分析过程中是变动的，从而导致判决知道或在分析过程中是变动
24、的，从而导致判决域不是最佳的。所以应考虑如何解决在域不是最佳的。所以应考虑如何解决在 P P(i i)不确知或变动的情况下使平均损失变大的问题。不确知或变动的情况下使平均损失变大的问题。应该立足最差的情况争取最好的结果。应该立足最差的情况争取最好的结果。72对于两类问题，设一种分类识别决策将特征空对于两类问题，设一种分类识别决策将特征空间间分划为两个子空间分划为两个子空间1和和2，记，记ij为将实属为将实属i类的模式判为类的模式判为j的损失函数，各种判决的平均损失的损失函数，各种判决的平均损失为为xdxpxxRRrrrra=)()(xdxpxxRxdxpxxRrrrrrrrra+a=21)()
25、()()(21xdPxpxdPxpiiiiiiiirrrr)()()()(21212211+=+=11)()()()(22211111xdxpPxdxpPrrrr+22)()()()(22221112xdxpPxdxpPrrrr73利用利用)(1)(12-=PP则平均损失可写成则平均损失可写成-+=1)()(2222122xdxpRrr-+-+-+12)()()()()()(221221111222111xdxpxdxpPrrrr)(1+DbPa由于由于)(1P在在 0 0 和和 1 1 之间取值，所以平均损失值有之间取值，所以平均损失值有baRa+-=21)(1)(xdxpxdxpiirrr
26、r和和74n由上式可见，当类概密、损失函数ij、类域i 取定后，R是P(1)的线性函数。n考虑P(1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(1)值，并分别按最小损失准则确定相应的最佳决策类域1、2，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(1)的关系曲线。75PA(1)1 P(1)ACDR*BR*B0DCPB(1)76 如果能求出某个如果能求出某个)()(11DBPP，相对于相对于)(1BP的最佳判决的最佳判决类域类域1和和2能使该式中的能使该式中的0=b，即，即0)()()()()(1222122111122211=-+-+-=xdxpx
27、dxpbrrrr在此决策类域下，无论在此决策类域下，无论)(1P如何变化，因如何变化，因0=b而使而使R与与)(1P无关，从而使得平均损失无关，从而使得平均损失R恒等于常数恒等于常数a，即即aRxdxpR=D-+=*1)()(2222122rr求使求使0=b的的)(1P等价于在最小平均损失等价于在最小平均损失*R)(1P关系关系中求使中求使0)(1=*dPdR的的)(1P，显然，此时的，显然，此时的)(1P使使*R取所有最小损失的最大取所有最小损失的最大值值*mR。所以所以*mR是最大的最小损失。是最大的最小损失。77具体的设计过程是具体的设计过程是:(1)(1)按最小损失准则找出对应于按最小
28、损失准则找出对应于(0,1)(0,1)中的各个不同值的中的各个不同值的)(1P的最佳决策类域的最佳决策类域1、2，(2)(2)计算相应各个计算相应各个)(1P及最佳决策类域的最小平均损失，得及最佳决策类域的最小平均损失，得*R)(1P曲线，找出使曲线，找出使*R取最大值的取最大值的)(1*P，(3)(3)运用运用)(1*P、)(11-*P及及ij构造似然比阈值并运用最小构造似然比阈值并运用最小损失准则下的决策规则对具体的模式分类识别。损失准则下的决策规则对具体的模式分类识别。)()()()()()()()()(12121221122lllPxpxpxpPxpxpxpxRjjjjrrrrrrr-
29、+-+=78最小最大损失判决规则最小最大损失判决规则 为：为：如果如果 )()()(1)()()(111121222121-*PPxpxprr则判则判21xr当采用当采用 0-10-1 损失函数时，由损失函数时，由0=b可得可得xdxpxdxprrrr)()(2112=上式表明，最小最大损失判决所导出的最佳分界面上式表明，最小最大损失判决所导出的最佳分界面应使两类错误概率相等应使两类错误概率相等,可知此时的平均损失可知此时的平均损失=1)(2xdxpRrr79作业作业P125 4.1 4.2 4.7P125 4.1 4.2 4.78044 N-P(NeymanPearson)44 N-P(Ne
30、ymanPearson)判决判决第四章第四章 统计判决统计判决81在某些实际问题中，可能存在以下几种情况：在某些实际问题中，可能存在以下几种情况：不知道各类的先验概率不知道各类的先验概率)(iP；难于确定误判的代价难于确定误判的代价ij；某一种错误较另一种错误更为重要。某一种错误较另一种错误更为重要。针对针对，可以采用最小最大损失准则或令各类概可以采用最小最大损失准则或令各类概率相等的办法克服；率相等的办法克服；针对针对(3)(3)，可以采用最小损失准则判决。针对上，可以采用最小损失准则判决。针对上面的三个问题，更主要的是针对面的三个问题，更主要的是针对，我们采用，我们采用N-PN-P准则准则
31、。针对针对，如果允许的话，可，如果允许的话，可以避开使用损失函数以避开使用损失函数 而采用最小误判概率准则而采用最小误判概率准则；82所谓所谓N-PN-P准则，是严格限制较重要的一类错误概准则，是严格限制较重要的一类错误概率令其等于某常数而使另一类误判概率最小。率令其等于某常数而使另一类误判概率最小。对两类问题，对两类问题，0)(=xdr r将特征空间将特征空间W W分成两分成两 个子空间个子空间1W W和和2W W，其中，其中W W=W WW W21U U，F F=W WW W21I I。当一模式特征点当一模式特征点1W W xr r时，指判时，指判1 xr r；当当2W W xr r 时，
32、指判时，指判2 xr r。83将实属将实属类的模式类的模式判属判属类的误判概率为类的误判概率为将实属将实属类的模式判属类的模式判属类的误判概率为类的误判概率为 N-PN-P准则是在使某一类误判概率等于常数的约准则是在使某一类误判概率等于常数的约束下使另一类误判概率最小。束下使另一类误判概率最小。84令令=021常数，求常数，求使使12最小。运用最小。运用拉格朗日拉格朗日乘乘数法求条件极值，为此作辅助函数数法求条件极值，为此作辅助函数:85郎格朗日乘数法郎格朗日乘数法:在条件极值问题中在条件极值问题中,满足条件满足条件 g(x,y)=0 g(x,y)=0 下，下，去寻求函数去寻求函数 f(x,y
33、)f(x,y)的极值。的极值。对三变量函数对三变量函数 F(x,y,)=f(x,y)+g(x,y)F(x,y,)=f(x,y)+g(x,y)分别求分别求F F对三变量的偏导对三变量的偏导,并联立方程式并联立方程式 F F =g(x,y)=0=g(x,y)=0 F Fx x=f=fx x(x,y)+g(x,y)+gx x(x,y)=0 (x,y)=0 F Fy y=f=fy y(x,y)+g(x,y)+gy y(x,y)=0 (x,y)=0 求得的解求得的解 (x,y)(x,y)就成为极值的候补。就成为极值的候补。这样求极值的方法就叫做拉格朗日乘数法、这样求极值的方法就叫做拉格朗日乘数法、叫叫做
34、拉格朗日乘数。做拉格朗日乘数。86求求使使取极小值。取极小值。无法直接用解析的办法求得。无法直接用解析的办法求得。一般地讲，一般地讲，但注意到但注意到在式子中是确定的，在式子中是确定的，、在在空间中也是确定的，如果选择满足条件空间中也是确定的，如果选择满足条件的的的全体作为的全体作为这时所求得的这时所求得的值值比比的其它取法时的的其它取法时的值要小。值要小。就能保证就能保证因为这种取法下因为这种取法下,是使被积函数取正数的最大的域。是使被积函数取正数的最大的域。87，如前定义如前定义这时的这时的值为值为 上有上有于是在于是在在在上有上有上式中第二项的积分为正值，第三项的积分为负值。上式中第二项
35、的积分为正值，第三项的积分为负值。显然显然88同理同理,由由因此选择满足条件因此选择满足条件的全体的全体 作为作为选择满足条件选择满足条件的全体的全体 作为作为在在中中 在在中中 综上，即：综上，即：89于是将其中一类错误概率作为控制量而使另一类于是将其中一类错误概率作为控制量而使另一类错误概率最小错误概率最小的的N-N-P P判决规则为：判决规则为：上式中上式中，是判决阈值是判决阈值。如果如果，则判则判 可以看出，可以看出，N-PN-P判决规则的形式和最小误判判决规则的形式和最小误判概率准则及最小损失准则的形式相同，只是似然概率准则及最小损失准则的形式相同，只是似然比阈值不同。比阈值不同。9
36、0这里这里是由下列关系式确定：是由下列关系式确定：即适当地选取即适当地选取以保证使以保证使，因此，因此的值决定着类域的值决定着类域、。这里这里为似然比为似然比的条件概密。的条件概密。，令，令为求为求因当因当时就判时就判，所以当，所以当给定后，给定后，可由式可由式确定。确定。拉格朗日乘子拉格朗日乘子911221xp(l|2)p(l|1)的值决定着类域的值决定着类域1、2，这里的，这里的 是由是由0e所所确定的，即适当地选取确定的，即适当地选取使使021=。为求。为求 ，令，令)(2lp为似然比为似然比)(xlr在在2xr的条件下的概密，因当的条件下的概密，因当l时就时就判判1xr，所以当，所以当
37、0给定后，拉格朗日乘子给定后，拉格朗日乘子可由式可由式 确定。确定。l lW W1W W2l92在具体运用在具体运用N-PN-P准则时，首先根据给定的控制准则时，首先根据给定的控制量量e e0计算门限计算门限l l，然后运用判决规则进行判决分类。，然后运用判决规则进行判决分类。93例：例：设两类问题中，二维模式均为正态分布，设两类问题中，二维模式均为正态分布，其均值矢量和协方差阵分别为：其均值矢量和协方差阵分别为：，取定，取定试求试求N-P判决阈值。判决阈值。解解：由公式和给定的条件可算得两类的概密分别为：由公式和给定的条件可算得两类的概密分别为:由上面二式可以算得由上面二式可以算得 :94其
38、为判决界面，上式两边取对数，于是可得判决规其为判决界面，上式两边取对数，于是可得判决规则则:由于界面只是由于界面只是的函数，需求的函数，需求的边缘密度的边缘密度95由上面的判决规则，有由上面的判决规则，有:96有数学手册可查得有数学手册可查得:可算得可算得与与的关系如下表所示：的关系如下表所示：4211/21/4210.0460.0890.01590.2580.37897x1x221-1 1 1 221t=-(1/2)ln 由设定的由设定的，查上表可得，查上表可得，对应的，对应的，从而得此问题的判决规则为，从而得此问题的判决规则为:，则判，则判 若若98本章主要介绍了贝叶斯统计决策理论为基础的
39、贝本章主要介绍了贝叶斯统计决策理论为基础的贝叶斯分类方法叶斯分类方法,其中包括了其中包括了最小误判概率最小误判概率、最小损失最小损失准则准则等，依据这些准则设计的分类器，从理论上讲是等，依据这些准则设计的分类器，从理论上讲是最优的性能，即分类的错误率或风险在所有可能的分最优的性能，即分类的错误率或风险在所有可能的分类器中为最小，因此经常被用来作为衡量其他分类器类器中为最小，因此经常被用来作为衡量其他分类器设计方法优劣的标准。设计方法优劣的标准。由于正态分布在由于正态分布在物理上物理上的合理性和的合理性和数学上数学上的计算的计算简便性，我们详细介绍了贝叶斯分类方法在正态分布简便性，我们详细介绍了
40、贝叶斯分类方法在正态分布下的几种特殊情形，导出了其对应的判决函数、决策下的几种特殊情形，导出了其对应的判决函数、决策面方程及相应的几何描述。面方程及相应的几何描述。99下面我们简单回顾一下本章所学的几种贝叶斯下面我们简单回顾一下本章所学的几种贝叶斯决策准则决策准则:1 1、最小误判概率准则、最小误判概率准则如果如果则判则判两类时两类时:多类时多类时:如果如果判判1002 2、最小损失准则、最小损失准则则判则判如果如果 两类时两类时:多类时多类时:计算计算若若则判则判1013 3、含拒绝判决的最小损失准则、含拒绝判决的最小损失准则拒判拒判其中：其中：拒判损失拒判损失误判损失误判损失正确判决损失正
41、确判决损失两类时两类时:1023 3、含拒绝判决的最小损失准则、含拒绝判决的最小损失准则多类时多类时:计算计算若若则判则判其中其中 为拒绝判决。为拒绝判决。1034 4、最小最大损失准则、最小最大损失准则如果如果 则判则判 是如何获得的？是如何获得的？让让 从从0 逐渐变化到逐渐变化到1，按最小损失准则算出最，按最小损失准则算出最小平均损失，即取各类条件平均损失的最小者。小平均损失，即取各类条件平均损失的最小者。由此可得出由此可得出RP(RP(1 1)曲线，最大的曲线，最大的R R对应的对应的P(P(1 1)就就是是1045 5、N-PN-P准则准则如果如果，则判则判 l l是如何获得的？是如
42、何获得的？由由固定固定e e0 0反求反求l l105例：在军事目标识别中，假定有灌木丛和坦克两种例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是类型，它们的先验概率分别是0.7和和0.3，损失函数如，损失函数如下表所示，其中，类型下表所示，其中，类型 1和和 2分别表示灌木和坦克，分别表示灌木和坦克，判决判决 1=1，2=2，3表示拒绝判决。现在做了四表示拒绝判决。现在做了四次试验，获得四个样本的类概率密度如下：次试验，获得四个样本的类概率密度如下：P(x|1):0.1,0.15,0.3,0.6,P(x|2):0.8,0.7,0.55,0.3 1 2 12.52.0 2
43、4.01.0 31.51.5（1 1）用最小误判概率准则，判）用最小误判概率准则，判断四个样本各属哪一个类型。断四个样本各属哪一个类型。问：问：（3）把拒绝判决考虑在内，重新考核四次试验的结把拒绝判决考虑在内，重新考核四次试验的结果。果。（2 2）假定只考虑前两种情况，）假定只考虑前两种情况，试用最小损失准则判断四个试用最小损失准则判断四个样本各属于哪一个类型。样本各属于哪一个类型。类型判决判决损损 失失106答答:求出四个样本两类的似然比。求出四个样本两类的似然比。最小误判概率准则时的阈值：最小误判概率准则时的阈值：（1）因此按最小误判概率准则判决时，第一、第因此按最小误判概率准则判决时，第
44、一、第二样本属于第二类即坦克，第三、第四属于第一二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。类即灌木丛。107（2）按最小损失准则判决按最小损失准则判决因此按最小损失准则判决时，第一、第二样本属于因此按最小损失准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。第二类即坦克，第三、第四属于第一类即灌木丛。最小损失准则时的阈值：最小损失准则时的阈值：108（3）带拒绝的最小损失准则判决带拒绝的最小损失准则判决由于是比较大小由于是比较大小,可忽略可忽略p(x),p(x),即只需计算即只需计算109（3）带拒绝的最小损失准则判决带拒绝的最小损失准则判决因此第一、因此第
45、一、第二、第三、第四样本均拒判。第二、第三、第四样本均拒判。=2.5*0.7*(0.1,0.15,0.3,0.6)+2.0*0.3*(0.8,0.7,0.55,0.3)=(0.655,0.683,0.855,1.23)=4.0*0.7*(0.1,0.15,0.3,0.6)+1.0*0.3*(0.8,0.7,0.55,0.3)=(0.52,0.63,1.005,1.77)=1.5*0.7*(0.1,0.15,0.3,0.6)+1.5*0.3*(0.8,0.7,0.55,0.3)=(0.465,0.473,0.563,0.765)110利用贝叶斯分类器实现手写数字识别的例子利用贝叶斯分类器实现手写
46、数字识别的例子对每个手写的数字样品对每个手写的数字样品,按按NxNNxN方式划分方式划分,共有共有2525份，份，如图所示。如图所示。对每一份内的象素个数进行累对每一份内的象素个数进行累加统计加统计,除以每一份内的象素总除以每一份内的象素总数数,设定阈值设定阈值T=0.05,若每一份若每一份内的象素占有率大于内的象素占有率大于T则对应则对应的特征值为的特征值为1,否则为否则为0.1 1、理论基础、理论基础（1）先计算先验概率）先计算先验概率2 2、实现步骤、实现步骤P(i)类别为数字类别为数字i的先验概率的先验概率Ni数字数字i的样品数的样品数N为样品总数为样品总数111利用贝叶斯分类器实现手
47、写数字识别的例子利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤、实现步骤（2）计算）计算 ，再计算类条件概率，再计算类条件概率 表示样品表示样品X属于属于 i类条件下，类条件下，X的第的第j个分量为个分量为1的概率估计值。的概率估计值。112利用贝叶斯分类器实现手写数字识别的例子利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤、实现步骤其中其中=0=0或或1 1（3 3）利用贝叶斯公式求后验概率）利用贝叶斯公式求后验概率113利用贝叶斯分类器实现手写数字识别的例子利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤、实现步骤（4 4）后验概率的最大值的类别（）后验概率的最大值的
48、类别（0909）就是手写）就是手写数字的所属类别。数字的所属类别。114利用贝叶斯分类器实现手写数字识别的例子利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤、实现步骤（4 4）后验概率的最大值的类别（）后验概率的最大值的类别（0909）就是手写）就是手写数字的所属类别。数字的所属类别。（1）先计算先验概率）先计算先验概率（2）计算）计算 ，再计算类条件概率，再计算类条件概率（3 3）利用贝叶斯公式求后验概率）利用贝叶斯公式求后验概率115已知两个一维模式类别的类概率密度函数为已知两个一维模式类别的类概率密度函数为先验概率先验概率P P(1 1)=)=P P(2 2)=0.5)=0.5。(1)(1)求求BayesBayes判决函数（用判决函数（用0-10-1损失函数）；损失函数）；(2)(2)求总误判概率求总误判概率P P(e)(e)。P126:4.8 作业作业116