《统计决策方法.pptx》由会员分享，可在线阅读，更多相关《统计决策方法.pptx（83页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、会计学1统计决策方法统计决策方法课前思考课前思考 n n机器自动识别分类，能不能避免错分类?n n怎样才能减少错误？n n不同错误造成的损失一样吗？n n先验概率，后验概率，概率密度函数？n n什么是贝叶斯公式？n n正态分布？期望值、方差？n n正态分布为什么是最重要的分布之一？第1页/共83页学习指南学习指南n n理解本章的关键n n要正确理解先验概率，类概率密度函数，后验要正确理解先验概率，类概率密度函数，后验概率这三种概率概率这三种概率n n对这三种概率的定义，相互关系要搞得清清楚对这三种概率的定义，相互关系要搞得清清楚楚楚n nBayesBayes公式正是体现这三者关系的式子，要透彻
2、公式正是体现这三者关系的式子，要透彻掌握。掌握。第3页/共83页2.1引言引言n n统计决策理论n n是模式分类问题的基本理论之一是模式分类问题的基本理论之一n n贝叶斯决策理论n n是统计决策理论中的一个基本方法是统计决策理论中的一个基本方法第4页/共83页物理对象的描述物理对象的描述n n在特征空间中讨论分类问题n n假设一个待识别的物理对象用其假设一个待识别的物理对象用其d d个属性观察值个属性观察值描述，称之为描述，称之为d d个个特征特征特征特征，记为，记为x x=x x1 1,x x2 2,x xd d T Tn n这组成一个这组成一个d d维的特征向量，而这维的特征向量，而这d
3、d维待征所有维待征所有可能的取值范围则组成了一个可能的取值范围则组成了一个d d维的维的特征空间特征空间特征空间特征空间。第5页/共83页贝叶斯决策理论方法讨论的问题贝叶斯决策理论方法讨论的问题n n讨论的问题n n总共有总共有c c类物体类物体n n已知各类在这已知各类在这d d维特征空间的统计分布，维特征空间的统计分布，n n各类别各类别i=1,2,i=1,2,c,c的先验概率的先验概率P(i)P(i)n n类条件概率密度函数类条件概率密度函数p(x|i)p(x|i)n n问题问题:如何对某一样本按其特征向量分类如何对某一样本按其特征向量分类已知d维特征空间的统计分布，如何对某一样本分类最
4、合理第6页/共83页n n基于最小错误率的贝叶斯决策 n n基于最小风险的贝叶斯决策n n在限定一类错误率条件下使另一类错误率为最小的两类别决策n n最小最大决策n n序贯分类方法2.2 几种常用的决策规则几种常用的决策规则第7页/共83页2.2.12.2.1基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n分类识别中为什么会有错分类？分类识别中为什么会有错分类？n n当某一特征向量值当某一特征向量值X X只为某一类物体所特有，只为某一类物体所特有，即即 n n对其作出决策是容易的，也不会出什么差错对其作出决策是容易的，也不会出什么差
5、错 n n问题在于出现模棱两可的情况问题在于出现模棱两可的情况 n n任何决策都存在判错的可能性。任何决策都存在判错的可能性。第8页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 n n基本思想基本思想n n使错误率为最小的分类规则使错误率为最小的分类规则n n称之为基于最小错误率的贝叶斯决策称之为基于最小错误率的贝叶斯决策 第9页/共83页例例n n两类细胞识别两类细胞识别n n特征特征-后验概率后验概率-分类分类n n两类两类鱼识别鱼识别n n特征特征-后验概率后验概率-分类分类n n天气预报中的后验概率天气预报中的后验概率n n特征特征n n后验概率后验概率n n分类分类
6、第10页/共83页例例n n细胞识别，加入更多类别细胞识别，加入更多类别?n n鱼识别，加入更多种类鱼识别，加入更多种类?n n存在问题存在问题n n后验概率直接用来分类后验概率直接用来分类n n后验概率不易直接得到后验概率不易直接得到n n后验概率不易后验概率不易联合考虑联合考虑n n第11页/共83页例例n n另一种概率另一种概率:类条件概率类条件概率n n正常细胞特征的概率分布正常细胞特征的概率分布n n异常细胞异常细胞特征的概率分布特征的概率分布n n salmonsalmon的概率分布的概率分布n n sea basssea bass的概率分布的概率分布n n分类中如何使用类条件概率
7、？分类中如何使用类条件概率？n n什么是先验概率？什么是先验概率？第12页/共83页条件概率条件概率 n nP(*|#)是条件概率的通用符号n n即在某条件即在某条件#下出现某个事件下出现某个事件*的概率的概率n nP(P(K K|X):X|X):X出现条件下出现条件下,样本为样本为 K K类的概率类的概率n nP(*|#)与P(*)不同第13页/共83页几个重要概念几个重要概念n n先验概率先验概率n nP(1)P(1)及及及及P(2)P(2)n n概率密度函数概率密度函数n nP(x|i)P(x|i)n n后验概率后验概率n nP(i|X)P(i|X)第14页/共83页贝叶斯决策理论贝叶斯
8、决策理论n n先验概率，后验概率，概率密度函数n n假设总共有假设总共有c c类物体，用类物体，用 i i(i=1,2,(i=1,2,c),c)标记每个标记每个类别，类别，x x=x x1 1,x x2 2,x xd d T T，是，是d d维特征空间上的维特征空间上的某一点，则某一点，则n nP(P(i i)是是先验概率先验概率先验概率先验概率n np(x|p(x|i i)是是 i i类发生时的类发生时的条件概率密度函数条件概率密度函数条件概率密度函数条件概率密度函数n nP(i|x)P(i|x)表示表示后验概率后验概率后验概率后验概率第15页/共83页基于最小错误率的贝叶斯决策基于最小错误
9、率的贝叶斯决策 n n例例：癌细胞的识别n n假设每个要识别的细胞已作过预处理，并抽取假设每个要识别的细胞已作过预处理，并抽取出了出了d d个特征描述量，用一个个特征描述量，用一个d d维的特征向量维的特征向量X X表示，表示，n n识别的目的是要依据该识别的目的是要依据该X X向量将细胞划分为正向量将细胞划分为正常细胞或者异常细胞。常细胞或者异常细胞。n n这里我们用这里我们用 表示是正常细胞，而表示是正常细胞，而 则属于则属于异常细胞。异常细胞。第16页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n先验概率先验概率 n nP(1)P(1)和和P(2)P(2)n n含义
10、含义:每种细胞占全部细胞的比例每种细胞占全部细胞的比例 n nP(1)+P(2)=1P(1)+P(2)=1n n一般情况下正常细胞占比例大，即一般情况下正常细胞占比例大，即P(1)P(2)P(1)P(2)第17页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n nsalmon”or“sea bass”判别中的先验概率先验概率n nP P(salmonsalmon)n nP P(sea basssea bass)第18页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n先验概率先验概率n n根据根据先验概率决定先验概率决定n n这种分类决策没有意义这种分类决策没
11、有意义n n表明由先验概率所提供的信息表明由先验概率所提供的信息太少太少 第19页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n概率密度函数概率密度函数n n利用对细胞作病理分析所观测到的信息，也就利用对细胞作病理分析所观测到的信息，也就是所抽取到的是所抽取到的d d维观测向量。维观测向量。n n为简单起见，我们假定只用其一个特征进行分为简单起见，我们假定只用其一个特征进行分类，即类，即d=1d=1n n得到两类的类条件概率密度函数分布得到两类的类条件概率密度函数分布n nP(x|1)P(x|1)是正常细胞的属性分布是正常细胞的属性分布n nP(x|2)P(x|2)是异常
12、细胞的属性分布是异常细胞的属性分布第20页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 类条件概率密度函数类条件概率密度函数概率密度函数性质第21页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n nsalmon”or“sea bass”判别中的类条件概率密类条件概率密度函数度函数第22页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n类条件概率密度函数类条件概率密度函数类条件概率密度函数类条件概率密度函数直接用来分类直接用来分类是否合理？是否合理？具有一定的合理性不满足最小错误率要求没有考虑先验概率第23页/共83页基于最小错误率的贝叶斯
13、决策基于最小错误率的贝叶斯决策n n后验概率含义后验概率含义 n nP P(1 1|X X)n n当观测向量为当观测向量为X X值时值时,该细胞属于正常细胞的概率。该细胞属于正常细胞的概率。n nP P(2 2|X X)n n当观测向量为当观测向量为X X值时值时,该细胞属于异常细胞的概率。该细胞属于异常细胞的概率。第24页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 后验概率第25页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n“salmon”or“sea bass”判别中的后验概率后验概率第26页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝
14、叶斯决策n n类条件概率和后验概率区别n n后验概率后验概率:P(1|x):P(1|x)和和P(P(|x)|x)n n同一条件同一条件x x下，比较下，比较11与与22出现的出现的概率概率n n两类两类11和和22，则有，则有P(1|x)+P(2|x)=1P(1|x)+P(2|x)=1n n如如P(1|x)P(2|x)P(1|x)P(2|x)则可以下结论，则可以下结论，在在x x条件下，事件条件下，事件11出现的可能性出现的可能性大大n n类条件概率类条件概率:P(x|1):P(x|1)和和P(x|2)P(x|2)n n是在不同条件下讨论的问题是在不同条件下讨论的问题n n即使只有两类即使只有
15、两类11与与22，P(x|1)+P(x|1)1P(x|1)+P(x|1)1n nP(x|1)P(x|1)与与P(x|2)P(x|2)两者没有联系两者没有联系第27页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n贝叶斯公式n n先验概率，后验概率，概率密度函数之间关系先验概率，后验概率，概率密度函数之间关系n n根据根据先验概率先验概率先验概率先验概率和和概率密度函数概率密度函数概率密度函数概率密度函数可以计算出可以计算出后验后验后验后验概率概率概率概率第28页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n问题n n为什么为什么先验概率先验概率先验概率
16、先验概率和和类条件概率密度函数类条件概率密度函数类条件概率密度函数类条件概率密度函数可以作可以作为已知？为已知？n n而而后验概率后验概率后验概率后验概率需要通过计算获得？需要通过计算获得？第29页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得？n n计算概率都要拥有大量数据计算概率都要拥有大量数据 n n估计估计先验概率先验概率先验概率先验概率与与类条件概率密度函数类条件概率密度函数类条件概率密度函数类条件概率密度函数时都可搜时都可搜集到大量样本集到大量样本 n n对某一特定事件对某一特定事件(如如
17、x)x)要搜集大量样本是不太容要搜集大量样本是不太容易易 n n只能借助只能借助BayesBayes公式来计算得到公式来计算得到 第30页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n问题n n根据最小错误率，如何利用根据最小错误率，如何利用先验概率先验概率先验概率先验概率、类条件类条件类条件类条件概率密度函数概率密度函数概率密度函数概率密度函数和和后验概率后验概率后验概率后验概率进行分类？进行分类？第31页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n贝叶斯决策理论前提n n各类别总体的概率分布是已知的各类别总体的概率分布是已知的;n n要决策分类
18、的概率分布是已知的。要决策分类的概率分布是已知的。n n贝叶斯决策理论方法所讨论的问题是：n n已知已知:总共有总共有c c类物体，以及先验概率类物体，以及先验概率P(P(i i)及类条及类条件概率密度函数件概率密度函数p(x|p(x|i i)n n问题问题:如何对某一样本按其特征向量分类的问题。如何对某一样本按其特征向量分类的问题。第32页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n基于最小错误率的贝叶斯决策规则:如果如果P(P(1 1|X X)P(P(2 2|X X)，则，则X X归归为为 1 1类别类别如果如果P(P(1 1|X X)P(P(2 2|X X)，则，
19、则X X归归为为 2 2类别类别第33页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n几种等价形式：n n后验概率形式后验概率形式:如果如果 则则 x x归为归为 i in n先验概率及类条件概率密度函先验概率及类条件概率密度函数表示：数表示：如果如果 则则 x x归为归为 i i第34页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n几种等价形式：n n比值的方式表示，比值的方式表示，如果如果 则则x x归为归为 1 1 ，否则否则x x归为归为 2 2 第35页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n几种等价形式：n n
20、对数形式对数形式若若 则则x x归为归为 1 1 ，否则否则x x归为归为 2 2第36页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n例2.1 n n假设在某地区切片细胞中正常假设在某地区切片细胞中正常(1)(1)和异常和异常()两类的先验概率分别为两类的先验概率分别为P(1)=0.9P(1)=0.9，P(2)=0.1P(2)=0.1。n n现有一待识别细胞呈现出状态现有一待识别细胞呈现出状态x x，由其类条件概，由其类条件概率密度分布曲线查得率密度分布曲线查得p(x|1)=0.2p(x|1)=0.2，p(x|p(x|)=0.4)=0.4，n n试对细胞试对细胞x x进
21、行分类。进行分类。第37页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n例2.1n n解：利用贝叶斯公式，分别计算出状态为x时1与的后验概率 第38页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n例2.1n n根据贝叶斯决策有根据贝叶斯决策有P(1|x)P(1|x)0.8180.818P(P(|x)|x)0.1820.182n n分析分析:错误概率是多少？错误概率是多少？n n判断为正常细胞，错误率为判断为正常细胞，错误率为0.1820.182n n判断为异常细胞，错误率为判断为异常细胞，错误率为0.8180.818因此判定该细胞为正常细胞比较合理。
22、因此判定该细胞为正常细胞比较合理。第39页/共83页最小错误率的证明最小错误率的证明n n最小错误率贝叶斯准则使得错误率最小证明:从平均的意义上的错误率从平均的意义上的错误率在连续条件下，平均错误率，以在连续条件下，平均错误率，以P(e)P(e)表示，应有表示，应有 :第40页/共83页最小错误率的证明最小错误率的证明n n最小错误率贝叶斯准则使得错误率最小证明:n n分析两类别问题分析两类别问题n n按贝叶斯决策规则，当按贝叶斯决策规则，当P(w2|x)P(w2|x)p(w1|x)p(w1|x)时决策为时决策为w2w2。n n显然这个决策意味着，对观测值显然这个决策意味着，对观测值x x有有
23、P(w1|x)P(w1|x)概率的概率的错误率。错误率。n n上例中所作的上例中所作的w1w1决策，实际上包含有决策，实际上包含有P(w2|x)=0.182P(w2|x)=0.182的错误概率的错误概率 第41页/共83页最小错误率的证明最小错误率的证明n n最小错误率贝叶斯准则使得错误率最小证明:在两类别的情况下，可以将在两类别的情况下，可以将p(e|x)p(e|x)表示成当表示成当第42页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n最小错误率贝叶斯准则使得错误率最小证明:n n如果我们把作出如果我们把作出w1w1决策的所有观测值区域称为决策的所有观测值区域称为R1R
24、1，则在，则在R1R1区内的每个区内的每个x x值，条件错误概率为值，条件错误概率为p(w2|x)p(w2|x)。n n另一个区另一个区R2R2中的中的x,x,条件错误概率为条件错误概率为p(w1|x)p(w1|x)。第43页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n最小错误率贝叶斯准则使得错误率最小证明:n n因此平均错误率因此平均错误率P(e)P(e)可表示成可表示成 第44页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n n最小错误率贝叶斯准则使得错误率最小证明:n n由于在由于在R1R1区内任一个区内任一个x x值都有值都有P(w2|x)P(
25、w2|x)P(w1|x)P(w1|x)，n n同样在同样在R2R2区内任一个区内任一个x x值都有值都有P(w1|x)P(w1|x)P(w2|x)P(w2|x)错误率在每个错误率在每个x x值处都取小者，值处都取小者，n n因而平均错误率因而平均错误率P(e)P(e)也必然达到最小也必然达到最小n n这就证明了平均错误率为最小这就证明了平均错误率为最小 第45页/共83页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策第46页/共83页C类别情况下最小错误率类别情况下最小错误率贝叶斯决策贝叶斯决策n n在C类别情况下最小错误率贝叶斯决策规则的后验概率形式：n n先验概率与类条件概率密度相联
26、系的形式 第47页/共83页C类别情况下最小错误率类别情况下最小错误率贝叶斯决策贝叶斯决策n n多类别决策过程中的错误率 n n把特征空间分割成把特征空间分割成R1R1，R2R2，RcRc个区域个区域 n n统计将所有其它类错误划为该区域对应的统计将所有其它类错误划为该区域对应的i i类的类的概率概率 n n计算是很繁琐计算是很繁琐 n n计算平均正确分类概率P(c)即 第48页/共83页2.2.2基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n基本思想n n使错误率最小并不一定是一个普遍适用的最佳使错误率最小并不一定是一个普遍适用的最佳选择。选择。n n癌细胞分类癌细胞分类n n两种错
27、误两种错误:n n癌细胞癌细胞正常细胞正常细胞n n正常细胞正常细胞癌细胞癌细胞n n两种错误的代价两种错误的代价(损失损失)不同不同第49页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n基本思想n n宁可扩大一些总的错误率，但宁可扩大一些总的错误率，但也要使总的损失减少。也要使总的损失减少。n n引进一个与损失有关联的，更引进一个与损失有关联的，更为广泛的概念为广泛的概念风险。风险。n n在作出决策时，要考虑所承担在作出决策时，要考虑所承担的风险。的风险。n n基于最小风险的贝叶斯决策规基于最小风险的贝叶斯决策规则正是为了体现这一点而产生则正是为了体现这一点而产生的。的。第
28、50页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n最小错误率贝叶斯决策规则：n n最小错误率目标函数:P(j|X)n n为了考虑不同决策的不同损失，构造如下目标函数(i)j:表示样本X实际属于j类，被判为状态i所造成的损失Rj(X):表示把样本X判为状态i所造成的整体损失第51页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n两类情况:有没有癌细胞 n n 1 1表示正常，表示正常，2 2表示异常表示异常 n nP(P(1 1|X)|X)与与P(P(2 2|X)|X)分别表示了两种可能性的大小分别表示了两种可能性的大小 n nX X是癌细胞是癌细胞(2 2)
29、，但被判作正常，但被判作正常(1 1)，则会有损，则会有损失，这种损失表示为失，这种损失表示为:2 2(1)(1)n nX X确实是正常确实是正常(1 1)，却被判定为异常，却被判定为异常(2 2)，则损，则损失表示成失表示成:1 1(2)(2)第52页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n两类情况:有没有癌细胞 n n另外为了使式子写的更方便，我们也可以定义另外为了使式子写的更方便，我们也可以定义 1 1(1)(1)和和 2 2(2)(2)n n是指正确判断也可有损失是指正确判断也可有损失 第53页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n两类
30、情况两类情况:有没有癌细胞有没有癌细胞 n nX X判作判作11引进的损失应该为引进的损失应该为n n将将X X判为判为22的风险就成为的风险就成为 n n作出哪一种决策就要看是作出哪一种决策就要看是R1(X)R1(X)小还是小还是R2(X)R2(X)小小 这就是基于最小风险的贝叶斯决策的基本出发点 第54页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n(1)自然状态与状态空间n n自然状态自然状态:识别对象的类别识别对象的类别n n状态空间状态空间:所有自然状态所组所有自然状态所组成的空间成的空间=1 1，2 2，c c n n(2)决策与决策空间n n决策决策:对分类问题
31、所作的判决对分类问题所作的判决n n决策空间决策空间:由所有决策组成的空由所有决策组成的空间称为间称为n n决策空间内决策总数决策空间内决策总数a a可以不等于可以不等于类别数类别数c cn nAA=1 1,2 2,，n n 第55页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n(3)损失函数(i|j)(或(i,j)n n这就是前面我们引用过的这就是前面我们引用过的 j j(i i)n n表示对自然状态表示对自然状态 j j ，作出决策，作出决策 j j时所造成的损失时所造成的损失n n(4)观测值X条件下的期望损失R(i|X)n n这就是前面引用的符号这就是前面引用的符号R
32、 Ri i，也，也称为条件风险。称为条件风险。第56页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n最小风险贝叶斯决策规则可写成：n n引入一个期望风险R 第57页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n最小风险贝叶斯决策步骤：n n(1)(1)计算出后验概率计算出后验概率n n已知已知P P(i i)和和P P(X X|i i)，i i=1,=1,，c c，获得观测到的特征，获得观测到的特征向量向量X Xn n根据贝叶斯公式计算根据贝叶斯公式计算 j=1,j=1,，x x 第58页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n最小风
33、险贝叶斯决策步骤：n n(2)(2)计算条件风险计算条件风险n n已知已知:后验概率和决策表后验概率和决策表n n计算出每个决策的条件风险计算出每个决策的条件风险n n(3)(3)找出使条件风险最小的决策找出使条件风险最小的决策 k k则k就是最小风险贝叶斯决策。第59页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n例2.2 在例2.1条件的基础上n n已知已知 1111=0,(=0,(1111表示表示(1 1|1 1)的简写的简写)，1212=6,=6,2121=1=1，2222=0=0n n按最小风险贝叶斯决策进行分类按最小风险贝叶斯决策进行分类第60页/共83页基于最小
34、风险的贝叶斯决策基于最小风险的贝叶斯决策n n例2.2n n解：已知条件为解：已知条件为P(1)P(1)0.9,P(12)0.9,P(12)0.10.1p(X|1)p(X|1)0.2,p(X|12)0.2,p(X|12)0.r0.r11110,120,126,216,211,221,220 0n n根据根据2.12.1的计算结果可知后验概的计算结果可知后验概率为率为P(1|X)P(1|X)0.8180.818 P(2|X)P(2|X)0.1820.182第61页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n例2.2n n再计算出条件风险再计算出条件风险 第62页/共83页基于
35、最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n例2.2n n作出决策作出决策n n由于由于R(1|X)R(1|X)R(2|X)R(2|X)n n即决策为即决策为22的条件风险小于决策的条件风险小于决策为为11的条件风险，的条件风险，n n因此应采取决策行动因此应采取决策行动22n n即判待识别的细胞即判待识别的细胞X X为为22类类异常细胞。异常细胞。第63页/共83页两种决策方法之间的关系两种决策方法之间的关系n n两种决策方法之间的关系n n设损失函数为设损失函数为 n n条件风险为条件风险为 错误概率 第64页/共83页基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策n n两种决策方
36、法之间的关系n n两类情况的形象表示两类情况的形象表示第65页/共83页第66页/共83页在限定一类错误率条件下使另一类错误率为最小在限定一类错误率条件下使另一类错误率为最小的两类别决策的两类别决策 n n聂曼-皮尔逊判决neyman-pearsonn n基本思想n n两种错误两种错误n n一种的错误概率固定，另一种尽量小一种的错误概率固定，另一种尽量小第67页/共83页第68页/共83页最小最大决策最小最大决策n n问题n n先验概率未知先验概率未知n n基本思想n n使得最大可能的风险做小化使得最大可能的风险做小化第69页/共83页最小最大决策最小最大决策第70页/共83页序贯分类序贯分类
37、n n迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。第71页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计 n n决策面与判别函数 n n分类决策实质上是在描述待识别对象的分类决策实质上是在描述待识别对象的d d维特征维特征所组成的特征空间内，将其划分为所组成的特征空间内，将其划分为c c个决策域，个决策域，n n待识别的特征向量落在哪个决策域，该样本就待识别的特征向量落在哪个决策域，该样本就被判为哪一类。被判为哪一类。n n因此决策域的边界面就是因此决策域的边界面就是决
38、策面决策面决策面决策面，n n在数学上用解析形式表示成在数学上用解析形式表示成决策面方程决策面方程决策面方程决策面方程。第72页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计 n n决策面与判别函数 n n用于表达决策规则的某些函数则称为用于表达决策规则的某些函数则称为判别函数判别函数判别函数判别函数。n n显然判别函数与决策面方程是密切相关的，并显然判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。且都是由相应决策规则所确定的。第73页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计n n多类别情况下的判别函数n n最小错误率作决策时最小
39、错误率作决策时 n n决策规则要定义一组判别函数决策规则要定义一组判别函数 g gi i(X X)，i i=1,2,=1,2,，c cn n而决策规则可表示成而决策规则可表示成如果如果 ，则将则将X X归于归于 i i类；类；第74页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计n n多类别情况下的决策面方程n ng gi i(X)=g(X)=gj j(X)(X)第75页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计n n多类别情况下的分类器第76页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计n n两类别问题中，最小错误率作决策时
40、n n决策规则的一种形式是决策规则的一种形式是 ，否则，否则 n n则相应的判别函数就是则相应的判别函数就是g gi i(X X)P P(i i|X X),),i i=1,2=1,2 n n而决策面方程则可写成而决策面方程则可写成g g1 1(X X)g g2 2(X X)第77页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计n n两类别问题中，最小错误率作决策时n n此时决策规则也可以写成用判别函数表示的形此时决策规则也可以写成用判别函数表示的形式式如果如果gi(X)gi(X)gj(X)i,j=1,2 gj(X)i,j=1,2 且且 ijij则则X Xii，否则，否则 第
41、78页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计n n两类别问题中决策面方程n ng(X)=0g(X)=0第79页/共83页判别函数、决策面与分类器设计判别函数、决策面与分类器设计n n两类别问题中的分类器第80页/共83页Bayes决策理论小结决策理论小结n nBayesBayes决策理论决策理论:对特征空间任一点对特征空间任一点x x只要能确只要能确定落在该点的样本定落在该点的样本x x属于哪一种类的可能性大，属于哪一种类的可能性大，就将这点划分到这类的决策域。就将这点划分到这类的决策域。n n问题问题:后验概率后验概率P(i|X)P(i|X)要通过先验概率和类要通
42、过先验概率和类概率密度函数计算。概率密度函数计算。n nBayesBayes决策是一种通用方法决策是一种通用方法n n只在原理上讲特征空间中符合什么条件才能作只在原理上讲特征空间中符合什么条件才能作为哪一类决策域，为哪一类决策域，n n而我们希望能把决策域用简便的方式，最好是而我们希望能把决策域用简便的方式，最好是函数形式划分出来，直接计算判别函数就方便函数形式划分出来，直接计算判别函数就方便了。了。第81页/共83页Bayes决策理论小结决策理论小结n n显然具体的决策域划分与样本的概率分布有关。显然具体的决策域划分与样本的概率分布有关。n n下面结合正态分布概率密度函数进行讨论，在讨论结束时我们会发现从中可以得到不少启示。第82页/共83页