《模式识别_Bayers决策.pdf》由会员分享，可在线阅读，更多相关《模式识别_Bayers决策.pdf（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1 1第二章第二章第二章第二章Bayes Bayes 决策理论决策理论决策理论决策理论2 2BayesBayes 决策的假设决策的假设决策的假设决策的假设?问题：根据高度信息对玉米与杂草问题：根据高度信息对玉米与杂草分类。分类。3 3BayesBayes 决策的假设决策的假设决策的假设决策的假设?各类别总体概率分布已知各类别总体概率分布已知；?分类数分类数已知；已知；4 4常用的决策常用的决策常用的决策常用的决策规则规则规则规则-1.1.最小错误率最小错误率最小错误率最小错误率杂草玉米=21=21)()|()()|()|(jjjiiiPxpPxpxP()()()ABPAPABP,=5 5常用的
2、决策常用的决策常用的决策常用的决策规则规则规则规则-1.1.最小错误率最小错误率最小错误率最小错误率()()ijjjiiijjixPxpPxpxxPxPxxPxPxxPxP=则如果则如果。归类于杂草则把反之，归类于玉米则把如果),()|(max)()|(2),|(max)|(1)|()|(),|()|(2,12,12211216 6()()+=212121211221,)()(ln)|(ln)|(ln)(ln)(4,)()()|()|()(3xPPxpxpxlxhxPPxpxpxl则若则若常用的决策常用的决策常用的决策常用的决策规则规则规则规则-1.1.最小错误率最小错误率最小错误率最小错误率
3、7 7=)|()|(),|()|()|(),|()|()()|(),()(212121xPxPxPxPxPxPxePxdxpxePxdxePeP当当xdPxpxdPxpxdxpxPxdxpxPePtttt)()|()()|()()|()()|()(112212+=+=常用的决策常用的决策常用的决策常用的决策规则规则规则规则-1.1.最小错误率最小错误率最小错误率最小错误率错误率分析错误率分析错误率分析错误率分析8 8)()()()()|()()|()()()|()()|(),(),()(11221122112221122121ePPePPxdxpPxdxpPPxPPxPxPxPeP+=+=+=
4、+=常用的决策常用的决策常用的决策常用的决策规则规则规则规则-1.1.最小错误率最小错误率最小错误率最小错误率错误率分析错误率分析错误率分析错误率分析9 9)()(12ePeP常用的决策常用的决策常用的决策常用的决策规则规则规则规则-1.1.最小错误率最小错误率最小错误率最小错误率错误率分析错误率分析错误率分析错误率分析?证明是最小错误率证明是最小错误率?两类两类(接收，拒绝接收，拒绝)错误：虚警，漏警错误：虚警，漏警10101111ROCROC曲线曲线曲线曲线?ROC:Receiver Operating CharacteristicROC:Receiver Operating Charac
5、teristic1212ROCROC曲线曲线曲线曲线?ROC:Receiver Operating CharacteristicROC:Receiver Operating Characteristic1313)|()|(21xPxP21x)()|(max)()|()|(max)|(,.,1,.1jjcjiijcjiPxpPxpxPxP=多类分类时多类分类时多类分类时多类分类时1414)()|()()|(.)|()|(.)()|(.)|()|()()|(.)|()|()(111121222321111312icicijjijccccccccPxPcPxPxPxPPxPxPxPPxPxPxPeP
6、=+=?项每行行常用的决策常用的决策常用的决策常用的决策规则规则规则规则-1.1.最小错误率最小错误率最小错误率最小错误率多类分类时的错误率分析多类分类时的错误率分析多类分类时的错误率分析多类分类时的错误率分析1515)(1)()()|()()|()(11cPePxdPxpPxPcPcjjjcjjjji=16162.2.最小风险贝叶斯决策最小风险贝叶斯决策最小风险贝叶斯决策最小风险贝叶斯决策?不同的决策所带来的损失可能不同；不同的决策所带来的损失可能不同；?举例：举例：?变量：变量：x x?C C个类别个类别?决策空间决策空间a,.,211717xdxpxxRRaixPExRjcjjijiij
7、i=)()|)(,.,2,1),|(),(),()|(:),(1损失函数1818)|()|()|(),()|(,.,2,1,1,0),()|(min)|(11,.,1xPxPxPxRcjijijixRxRicijjjcjjjiijiiaik=1919xdxpePxdxpePePeP=+=12)|()()|()()()(2211021021)|(=xdxp3.3.限定一类错误率条件下使另一类错误限定一类错误率条件下使另一类错误限定一类错误率条件下使另一类错误限定一类错误率条件下使另一类错误率最小的两类决策率最小的两类决策率最小的两类决策率最小的两类决策第二类的错误率不能大于一个值第二类的错误率不
8、能大于一个值第二类的错误率不能大于一个值第二类的错误率不能大于一个值2020()xdxpxpxdxpxdxpxdxpxdxp+=+=+=11112)|()|(1)|()|(1)|()|(12002102121210=t0=?令令，及，及就得就得021)|(=dxxp)|()|(21tptp=22222112,),|()|(2212先验概率未知先验概率未知25252112121111122221112222()|)()(|)()(|)()()(|)()(|)()(|)()(|)RRxx p x dxRx p x dxRx p x dxPp xPp xdxPp xPp xdx=+=+26261)(
9、)(21=+PPbPadxxpdxxpPdxxpR)()|()(|()()|()(12221211121221112221222121+=+=）（）27272828分类器的设计分类器的设计分类器的设计分类器的设计-多类分类多类分类多类分类多类分类?(1)(1)ijixijcjxPxP?(2)(2)=且,.,2,1)|()|(ijjiixijcjPxpPxp=且,.,2,1)()|()()|(2929?(3)(3)?(4)(4)iijjixijcjPPxpxpxl=且,.,2,1)()()|()|()(ijjiixijcjPxpPxp=+且,.,2,1)(ln)|(ln)(ln)|(ln3030
10、?(1)(1)判别函数判别函数?DiscriminantDiscriminant functionsfunctionscixgi.,21).(，=ijixijxgxg,)()(ijixijcjxPxP=且,.,2,1)|()|(3131?(2)(2)决策面方程决策面方程?Decision boundary,decision surfacesDecision boundary,decision surfaces?(3)(3)分类器设计分类器设计(classifier design)(classifier design)?两类情况两类情况(the two(the two-category case
11、)category case)212100)()()(=xgxgxg)()(xgxgji=323233332.3 2.3 正态分布时的统计决策正态分布时的统计决策正态分布时的统计决策正态分布时的统计决策?正态分布及性质正态分布及性质=221exp21)(xxpdxxpx)()(22+=dxxxpxE)(+=3434=)()(21exp)2(1)(1212xxxpTdTd,.,21=维协方差矩阵是dd 3535正态分布的性质正态分布的性质正态分布的性质正态分布的性质?(1)(1)?(2)(2)等密度点的轨迹为一个超椭球面等密度点的轨迹为一个超椭球面?(3)(3)不相关性不相关性=独立性独立性),
12、(N唯一决定分布，常数（=)(12xxT马氏距离距离平方的到:sMahalanobix jijixExExxE=,)()(),(jijixpxpxxp=36363737?(4)(4)边缘分布与条件分布是正态的边缘分布与条件分布是正态的?(5)(5)线性变换的正态性线性变换的正态性?(6)(6)线性组合的正态性线性组合的正态性Axy=),()(Nxp),()(TAAANypxAyT=),()(aaaNypTT3838正态情况下贝叶斯判别正态情况下贝叶斯判别正态情况下贝叶斯判别正态情况下贝叶斯判别?为什么研究正态分布下的贝叶斯判别？为什么研究正态分布下的贝叶斯判别？?1.1.合理合理?2.2.简便
13、简便3939正态情况下贝叶斯判别正态情况下贝叶斯判别正态情况下贝叶斯判别正态情况下贝叶斯判别),()(iiiNxp)()(21)(lnln212ln2)(ln)(ln)(1iiTiiiiiixxPdPxPxg+=+=)()(21exp)2(1)(1212xxxpTd40400ln21)()(ln)()()()(21:11=+jijijjTjiiTiPPxxxx即)()(xgxgji=4141Iddi222.0.0.=Ii211=di2=)(lnln212ln22)()()(22idiTiiPdxxxg+=?第一种情况：第一种情况：424221iciTxxx=)()(jiPP=?(1)(1)22
14、)()()(iTiixxxg=)()()(iTiixxxg=jjiijixxgxgxxgxg)()()()(直观解释4343444402)(ln)2(21)(iTiiiTiTiixPxxg+=+=ii21=)(ln2120iiTiiP+=4545)(max)(xgxgkki=0)()(=xgxgjijiTxx=,0)(0)()()(ln)(21220jijijijiPPx+=直观解释46464747=i)(ln)()(21)(1iiTiiPxxxg+=)()()(1iTiixxxg=?第二种情况：第二种情况：0)(iTiixxg+=ii1=)(ln2110iiTiiP+=如果先验概率相等，就是马氏距离如果先验概率相等，就是马氏距离48480)()(=xgxgji0)(0=xxT)(1ji=)()()()()(ln)(2110jijiTjijijiPPx+=49495050?第三种情况：各类的协方差第三种情况：各类的协方差 阵不相等。阵不相等。?请看图请看图51515252?关于分类器的错误率问题关于分类器的错误率问题?当分类器确定后，其错误率也就确定了。当分类器确定后，其错误率也就确定了。?三种方法：三种方法：按照公式计算按照公式计算计算错误率的上界计算错误率的上界实验估计实验估计