《贝叶斯决策理论课件(PPT 90页)lbl.pptx》由会员分享，可在线阅读，更多相关《贝叶斯决策理论课件(PPT 90页)lbl.pptx（91页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、贝叶斯决策理论贝叶斯决策理论Bayesian Decision Theory贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器，判别函数，决策面分类器，判别函数，决策面正态分布的判别函数正态分布的判别函数引言机器自动识别分类，能不能避免错分类，做到百机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减小因错分错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的类造成的危害损失，那么有没有可能对危害大的错误严格控制？错误严格控制？什么是先验概率、类概率密度函数和后
2、验概率？什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何它们的定义和相互关系如何?贝叶斯公式正是体现贝叶斯公式正是体现三者关系的式子。三者关系的式子。引言贝叶斯决策理论贝叶斯决策理论贝叶斯统计决策理论是处理模式分类问题的基本贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（理论之一，对模式分析和分类器（ClassifierClassifier）的）的设计起指导作用。设计起指导作用。贝叶斯决策的两个要求贝叶斯决策的两个要求各个类别的总体概率分布各个类别的总体概率分布 (先验概率和类条件先验概率和类条件概率密度概率密度)是已知的是已知的 要决策分类的类别数是
3、一定的要决策分类的类别数是一定的引言在在在在连续情况连续情况连续情况连续情况下，假设对要识别的物理对象有下，假设对要识别的物理对象有下，假设对要识别的物理对象有下，假设对要识别的物理对象有d d d d种特征种特征种特征种特征观察量观察量观察量观察量x x1 1 1 1,x x2 2 2 2,x xd d d d，这些特征的所有可能的取值范围构这些特征的所有可能的取值范围构这些特征的所有可能的取值范围构这些特征的所有可能的取值范围构成了成了成了成了d d d d维维维维特征空间特征空间。称向量称向量称向量称向量假设要研究的分类问题有假设要研究的分类问题有假设要研究的分类问题有假设要研究的分类问
4、题有c c c c个类别，个类别，个类别，个类别，类型空间类型空间表示表示表示表示为为为为：为为d维维特征向量特征向量。引言评价决策有多种标准，对于同一个问题，采用不评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下同的标准会得到不同意义下“最优最优”的决策。的决策。贝叶斯贝叶斯决策常用的准则：决策常用的准则：最小错误率最小错误率准则准则 最小风险最小风险准则准则 Neyman-PearsonNeyman-Pearson准则准则 最小最大决策准则最小最大决策准则贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器，判别函数，决策面分类器，判别函数，决策面正态分布
5、的判别函数正态分布的判别函数BayesianBayesian置信网置信网Bayes决策准则最小错误率最小错误率准则准则最小风险最小风险准则准则Neyman-PearsonNeyman-Pearson准则准则最小最大决策准则最小最大决策准则假设你昨晚目击了一起夜间出租车肇事逃逸事件，你记得看到的肇事出租车是蓝色的，而且你还知道下面2条信息，那么你会认为肇事出租车是什么颜色的？(1)西安所有的出租车都是绿色或蓝色的；(2)大量实验表明，在昏暗的灯光条件下，人眼对于蓝色和绿色的区分的可靠度是75%；假设随后你又了解到第3条信息：（3）西安的出租车10辆中有9辆是绿色的，此时你又会得出怎样的结论？So
6、me about Bayes(1)用B表示事件“肇事车是蓝色的”，用LB表示“肇事车看起来是蓝色的”，则对颜色区分准确程度的概率可以表示为 P(LB|B)=0.75 P(LB|B)=0.75 对当肇事车看起来是蓝色的情况下，确实是蓝色的概率为 P(B|LB)P(LB|B)P(B)0.75P(B)P(B|LB)P(LB|B)P(B)0.25(1-P(B)而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于是有 P(B|LB)0.750.1=0.075 P(B|LB)0.25(1-P(B)=0.250.9=0.225 P(B|LB)=0.075/0.072+0.225=0.2
7、5 P(B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。Some about Bayes(2)一所学校里面有 60%的男生，40%的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是女生的概率是多大吗？算出学校里面有多少穿长裤的，然后在这些人里面再算出有多少女生？即要求的就是P(Girl|Pants)。假设校园内总人数为U，计算的结果是 U*P(Girl)*P(Pants|Girl)/U*P(Boy)*P(Pants|
8、Boy)+U*P(Girl)*P(Pants|Girl)。容易发现这里校园内人的总数是无关的，可以消去。于是得到 P(Girl|Pants)=P(Girl)*P(Pants|Girl)/P(Boy)*P(Girl|Pants)=P(Girl)*P(Pants|Girl)/P(Boy)*P(Pants|Boy)+P(Girl)*P(Pants|Girl)P(Pants|Boy)+P(Girl)*P(Pants|Girl)注意，如果把上式收缩起来，分母其实就是 P(Pants)，分子其实就是 P(Pants,Girl)。而这个比例很自然地就读作：在穿长裤的人（P(Pants)）里面有多少（穿长裤）
9、的女孩（P(Pants,Girl)）。上式中的 Pants 和 Boy/Girl 可以指代一切东西，所以其一般形式就是：P(B|A)=P(A|B)*P(B)/P(A|B)*P(B)+P(A|B)*P(B)P(B|A)=P(A|B)*P(B)/P(A|B)*P(B)+P(A|B)*P(B)最小错误率准则黑色：第一类黑色：第一类黑色：第一类黑色：第一类粉色：第二类粉色：第二类粉色：第二类粉色：第二类绿色：哪一类？绿色：哪一类？绿色：哪一类？绿色：哪一类？统计决策理论就是统计决策理论就是统计决策理论就是统计决策理论就是根据每一类总体的根据每一类总体的根据每一类总体的根据每一类总体的概率分布决定未知概
10、率分布决定未知概率分布决定未知概率分布决定未知类别的样本属于哪类别的样本属于哪类别的样本属于哪类别的样本属于哪一类！一类！一类！一类！最小错误率准则先验概率：先验概率：类条件概率：类条件概率：后验概率：后验概率：贝叶斯公式贝叶斯公式未获得观测数据之前类别的分布未获得观测数据之前类别的分布未获得观测数据之前类别的分布未获得观测数据之前类别的分布观测数据在各类别种情况下的分布观测数据在各类别种情况下的分布观测数据在各类别种情况下的分布观测数据在各类别种情况下的分布X X属于哪一类的概率属于哪一类的概率属于哪一类的概率属于哪一类的概率其中：其中：最小错误率准则 例：例：医生要根据病人血液中白细胞的浓
11、度来判断病医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。人是否患血液病。人是否患血液病。人是否患血液病。两类识别问题：患病，未患病两类识别问题：患病，未患病两类识别问题：患病，未患病两类识别问题：患病，未患病根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值2000200020002000方差方
12、差方差方差1000100010001000的正的正的正的正态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值7000700070007000，方差方差方差方差3000300030003000的正态分布；的正态分布；的正态分布；的正态分布；（类条件概率）（类条件概率）（类条件概率）（类条件概率）一般人群中，患病的人数比例为一般人群中，患病的人数比例为一般人群中，患病的人数比例为一般人群中，患病的人数比例为0.5%0.5%0.5%0.5%；（先验概率）（先验概率）（先验概率）（先验概率）一
13、个人的白细胞浓度时一个人的白细胞浓度时一个人的白细胞浓度时一个人的白细胞浓度时3100310031003100，医生应该做出怎样的判，医生应该做出怎样的判，医生应该做出怎样的判，医生应该做出怎样的判断？断？断？断？（后验概率？）（后验概率？）（后验概率？）（后验概率？）最小错误率准则数学表示：数学表示：表示表示类别这一随机一随机变量量 1 1：表示患病表示患病 2 2：表示不患病表示不患病 X X：表示白表示白细胞胞浓度度这一随机一随机变量量 x：表示白表示白细胞胞浓度度值最小错误率准则医生根据已经掌握的知识知道类别的先验医生根据已经掌握的知识知道类别的先验分布：分布：先验概率分布：先验概率分
14、布：未获得观测数据（病人白未获得观测数据（病人白细胞浓度）之前类别的分布。细胞浓度）之前类别的分布。最小错误率准则观测数据白细胞浓度分别在两种情况下的类观测数据白细胞浓度分别在两种情况下的类条件概率分布：条件概率分布：vv已知先验分布和观测值的类条件概率分布，已知先验分布和观测值的类条件概率分布，就可以用贝叶斯理论求得就可以用贝叶斯理论求得x属于哪一类的后属于哪一类的后验概率：验概率：和和最小错误率准则最小错误率最小错误率准则准则以先验概率、类条以先验概率、类条件概率密度、特征件概率密度、特征值（向量）为输入值（向量）为输入以后验概率作为类以后验概率作为类别判断的依据别判断的依据贝叶斯公式保证
15、了贝叶斯公式保证了错误率最小错误率最小最小错误率准则最小错误率最小错误率的贝叶斯决策的贝叶斯决策规则为：规则为：如果如果 大于大于 ，则把，则把x x归于患病状态，反归于患病状态，反之则归于未患病状态。之则归于未患病状态。（最大后验概率决策）（最大后验概率决策）x1=x2?最小错误率准则最小错误率准则的平均错误率：最小错误率准则的平均错误率：x2=x3x2和和x3 都是都是 p(x,1)=p(x,2)的根的根，因此，因此是两类分界是两类分界最小错误率准则最小错误率准则的平均错误率：最小错误率准则的平均错误率：记平均错误率为记平均错误率为P(e)，令，令 t=x2=x3，则则 最小错误率准则平均
16、错误率是否最小？平均错误率是否最小？最小错误率准则似然比公式似然比公式则：则：等价于：等价于：似然比公式似然比公式最小错误率准则特例特例1 1：最小错误率准则特例特例2 2：最小错误率准则形式逻辑（经典确定性推理）形式逻辑（经典确定性推理）以鲈鱼和鲑鱼分类为例：以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度假言：如果鱼的长度 大于大于45cm45cm，则该鱼为，则该鱼为 鲈鱼鲈鱼 ，否则该鱼为鲑鱼，否则该鱼为鲑鱼前提：现在某条鱼前提：现在某条鱼 结论：该鱼为鲑鱼结论：该鱼为鲑鱼概率推理（不确定性推理）概率推理（不确定性推理）最小错误率准则例子：例子：给定给定 ，类条件概率密度如图。，类条件概率密度如
17、图。现有一条鱼现有一条鱼 x=38cmx=38cm，若采用最小错误率决策，该鱼应该为哪一类？若采用最小错误率决策，该鱼应该为哪一类？故判决：故判决：Bayes决策准则最小错误率最小错误率准则准则最小风险最小风险准则准则Neyman-PearsonNeyman-Pearson准则准则最小最大决策准则最小最大决策准则最小风险准则最小风险贝叶斯决策：最小风险贝叶斯决策：考虑各种错误造成损失不考虑各种错误造成损失不同而提出的一种决策规则。同而提出的一种决策规则。条件风险：条件风险：最小风险准则期望风险：期望风险：对于对于x x的不同观察值，采取决策的不同观察值，采取决策 i i时，其条件其条件风险大小
18、是不同的。所以究竟采取哪一种决大小是不同的。所以究竟采取哪一种决策将随策将随x x的取的取值而定。而定。这样，决策，决策 可以看成随机向可以看成随机向量量x x的函数，的函数，记为(x)(x)。可以定。可以定义期望期望风险R Rexpexp为：期望期望风险反映反映对整个空整个空间上所有上所有x x的取的取值采取相采取相应的的决策决策(x)(x)所所带来的来的平均平均风险。最小风险准则两分类问题的例子：两分类问题的例子：似然比公式似然比公式最小风险准则最小风险贝叶斯决策的步骤：最小风险贝叶斯决策的步骤：1 1）根据先验概率和类条件概率计算出后验概）根据先验概率和类条件概率计算出后验概率；率；2
19、2）利用后验概率和损失矩阵计算采取每种决）利用后验概率和损失矩阵计算采取每种决策的条件风险；策的条件风险；3 3）比较各个条件风险的值，条件风险最小的）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策决策即为最小风险贝叶斯决策最小风险准则最小风险准则对于贝叶斯最小风险决策，如果损失函数为对于贝叶斯最小风险决策，如果损失函数为“0-0-1 1损失损失”，即取如下的形式：，即取如下的形式：那么，条件风险为：那么，条件风险为：此时，贝叶斯最小风险决策与最小错误率决策等此时，贝叶斯最小风险决策与最小错误率决策等价。价。Bayes决策准则最小错误率最小错误率准则准则最小风险最小风险准则准则
20、Neyman-PearsonNeyman-Pearson准则准则最小最大决策准则最小最大决策准则Neyman-Pearson准则最小错误率最小错误率准则准则:后验概率最大化，理论上错误率最小后验概率最大化，理论上错误率最小最小风险最小风险准则：准则：风险函数最小化，理论上总风险最小风险函数最小化，理论上总风险最小在先验概率和损失未知的情况下如何决策在先验概率和损失未知的情况下如何决策？Neyman-Pearson准则问题：先验概率和损失未知问题：先验概率和损失未知通常情况下，无法确定损失。通常情况下，无法确定损失。先验概率未知，是一个确定的值先验概率未知，是一个确定的值某一种错误较另一种错误更
21、为重要。某一种错误较另一种错误更为重要。基本思想：基本思想：要求一类错误率控制在很小，在满足此条件的要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。前提下再使另一类错误率尽可能小。用用lagrangelagrange乘子法求条件极值乘子法求条件极值Neyman-Pearson准则对两分类问题，错误率可以写为：对两分类问题，错误率可以写为：由于由于P(1)和和P(2)对具体问题往往是确定的对具体问题往往是确定的（但是未知），一般称（但是未知），一般称P1(e)和和P2(e)为两类为两类错误率。错误率。P1(e)和和P2(e)的的值决定了决定了P(e)的的值。Neyman-
22、Pearson准则Neyman-Pearson准则为了求为了求L的极值点，将的极值点，将 L 分别对分别对 t 和和求偏求偏导导：v注意：这里分析注意：这里分析的是两类错误率，的是两类错误率，与先验概率无关！与先验概率无关！v决策准则决策准则？Neyman-Pearson准则最小错误率准则的等价形式最小错误率准则的等价形式vNeyman-Pearson准则准则 两者都以似然比为基础，在未知先验概率时使用两者都以似然比为基础，在未知先验概率时使用Neyman-Pearson准则。准则。Bayes决策准则最小错误率最小错误率准则准则最小风险最小风险准则准则Neyman-PearsonNeyman-
23、Pearson准则准则最小最大决策准则最小最大决策准则最小最大决策准则Neyman-Pearson准则准则假定先验概率是一个确定的假定先验概率是一个确定的值值，此时判定结果会受到先验概率的影响。，此时判定结果会受到先验概率的影响。实际中，类先验概率实际中，类先验概率 P P(i i)往往不能精确知道或往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决佳的。所以应考虑如何解决在在 P P(i i)不确知或变不确知或变动的情况下使期望风险变大的问题动的情况下使期望风险变大的问题。最小最大决策准则：最小最大决策准则：在最差的
24、条件下争取最好的在最差的条件下争取最好的结果，结果，使最大风险最小！使最大风险最小！最小最大决策准则分析期望风险分析期望风险 R R 与先验概率与先验概率 P(P(1 1)的关系：的关系：对于两类问题，设一种分类识别决策将特征对于两类问题，设一种分类识别决策将特征空间空间R划分为两个子空间划分为两个子空间 R1 和和 R2，记，记ij为将属于为将属于 i 类的模式类的模式判为判为j 类的损失函数，各种类的损失函数，各种判决判决的期的期望风险为：望风险为：最小最大决策准则将将)(1)(12-=PP和和带入上式：带入上式：最小最大决策准则期望风险期望风险可写成：可写成：v一旦一旦 R1 和和 R2
25、 确定，确定，a和和b为常数为常数v一旦一旦 R1 和和 R2 确定，确定，R 与与 P(1)成成线性关系性关系v选择使使 b=0 的的R1 和和 R2，期望风险与，期望风险与P(1)无关！无关！最小最大决策准则PA(1)1 p(1)ACDR*BR*B0DCR1,R2不变不变R1,R2改变改变PB(1)b=0此时最大此时最大风险最小风险最小,D=ab=0 时的时的p(1)最小最大决策准则求 b=0 b=0 时的时的 p(1)等价于在R随着p(1)的变化曲线上求：时的时的p(1)。v在在 b=0 时的时的 决策条件下，决策条件下，期望风险与期望风险与p(1)无关，无关，值为值为a，此时，此时，R
26、的最大值最小。这种决策准则称为的最大值最小。这种决策准则称为最小最大决策准则最小最大决策准则。最小最大决策准则由于：由于：当采用当采用0-10-1损失函数时，损失函数时，b=0b=0可推导出：可推导出：此时，最小最大损失判决所导出的最佳分界面应使此时，最小最大损失判决所导出的最佳分界面应使两类错误概率相等！两类错误概率相等！贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器，判别函数，决策面分类器，判别函数，决策面正态分布的判别函数正态分布的判别函数BayesianBayesian置信网置信网分类器，判别函数，决策面分类器最常用的表述方式为判别函数：分类器最常用的表述方式为判
27、别函数：基于判别函数的判决基于判别函数的判决每个类别对应一个判别函数。每个类别对应一个判别函数。如果：如果：则模式为则模式为分类器，判别函数，决策面判别函数判别函数Discriminant functions分类器，判别函数，决策面基于最小误差概率的贝叶斯分类器基于最小误差概率的贝叶斯分类器分类器，判别函数，决策面特殊的，对于两分类问题，也可以只用一特殊的，对于两分类问题，也可以只用一个判别函数个判别函数 令：令：判决规则判决规则例如：例如：如果：如果：则模式为则模式为否则为否则为分类器，判别函数，决策面判决区域判决区域:判决区域判决区域 Ri 是特征空间中的一个子空间，判决规是特征空间中的一
28、个子空间，判决规则将所有落入则将所有落入 Ri 的样本的样本x分类为类别分类为类别i。决策面（决策面（Decision SurfaceDecision Surface）：）：判决边界是特征空间中划分判决区域的（超）判决边界是特征空间中划分判决区域的（超）平面平面在判决边界上，通常有两类或多类的判别函数在判决边界上，通常有两类或多类的判别函数值相等值相等分类器，判别函数，决策面判别函数和决策面：判别函数和决策面：分类器，判别函数，决策面分类器分类器设计就设计就是设计是设计判别函判别函数，求数，求出判定出判定面方程面方程g(x)!贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器
29、，判别函数，决策面分类器，判别函数，决策面正态分布的判别函数正态分布的判别函数BayesianBayesian置信网置信网正态分布的统计决策为什么研究正态分布？为什么研究正态分布？物理上的合理性：较符合很多实际情况，观测物理上的合理性：较符合很多实际情况，观测值通常是很多种因素共同作用的结果，根据值通常是很多种因素共同作用的结果，根据中中心极限定理心极限定理，服从正态分布。，服从正态分布。数学上比较简单：参数个数少数学上比较简单：参数个数少单变量正态分布单变量正态分布多元正态分布多元正态分布正态分布的统计决策单变量正态分布密度函数（高斯分布）：单变量正态分布密度函数（高斯分布）：正态分布的统计
30、决策多元正态分布函数多元正态分布函数期望期望(均值向量均值向量)协方差矩阵协方差矩阵(对称非负定对称非负定)多元正态分布的性质参数个数：参数个数：d+d(d+1)/2d+d(d+1)/2 均值向量：均值向量：d d个参数个参数 协方差矩阵：对称的协方差矩阵：对称的d d维矩阵，维矩阵，d(d+1)/2d(d+1)/2个参数个参数等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面要使密度要使密度p(x)值不变，需指数项为常数，即：值不变，需指数项为常数，即：超椭球面超椭球面多元正态分布的性质马氏距离马氏距离(Mahanlanobis Distance)(Mahanlanobis Distanc
31、e)：与与 欧式距离：欧式距离：不同，不同，马马氏距离考氏距离考虑虑数据的数据的统计统计分布，在模式分布，在模式识别识别中有广泛的用中有广泛的用处处。多元正态分布的性质正态分布的随机变量，不相关等价于独立正态分布的随机变量，不相关等价于独立v边缘分布仍是正态分布边缘分布仍是正态分布多元正态分布的性质线性变换仍是正态分布线性变换仍是正态分布v线性组合仍是正态分布（线性变换的特例）线性组合仍是正态分布（线性变换的特例）一维正态一维正态随机变量随机变量多元正态分布的性质正态分布的判别函数贝叶斯判别函数可以写成对数形式：贝叶斯判别函数可以写成对数形式：v类条件概率密度函数为正态分布时：类条件概率密度函
32、数为正态分布时：正态分布的判别函数情况一：情况一：各类协方差阵相等，且各特征各类协方差阵相等，且各特征独立独立，方，方差相等差相等情况二：情况二：各类协方差阵相等各类协方差阵相等情况三：情况三：各类协方差阵不相等各类协方差阵不相等 任意的任意的情况一：情况一：将代入得到决策函数展开决策函数其中，二次项对所有的 i 是相等的因此，等价的判决函数为：其中：决策面可以写成：其中：过 与正交的超平面当，但是，如果当，向先验概率小的方向偏移。位于两中心的中点；相对于平方距离较小，那么判决边界的位置相对于确切的先验概率值并不敏感。在此情况下，最优判决的规则为：在此情况下，最优判决的规则为：为将某特征向量x
33、归类，通过测量每一x到c个均值向量中心的每一个欧氏距离，并将x归为离它最近的那一类。这样的分类器称为“最小距离分类器”。情况一：最小距离分类器情况一：最小距离分类器最小距离分类器判决边界是d-1维超平面，垂直于两类中心的连线情况一：最小距离分类器情况一：最小距离分类器上述结果表示在二维特征空间里，如下图所示：可以推广到多类的情况，注意这种分类方法没有不确定的区域。向先验概率两类判决面与垂直，的中点时其交点为为时较小类型的均值点偏移。各类的协方差矩阵相等，在几何上，相当于各类样本集中在以该类均值为中心的同样大小和形状的超椭球内。情况二：情况二：决策函数决策函数不变，与i无关：一个特例：当时，各样
34、本先验概率相等。其中：为x到均值点的“马氏距离”（Mahalanobis）的平方。对于样本x 只要计算出，把x归于最小的类别。进一步简化：一般地，决策函数展开决策函数对所有的 i 是相等的，则其中决策面可以写成：其中：过 与正交的超平面由于并非沿着方向，因此分界面并非与均值间的连线垂直正交。当各类先验概率不相等时，不在的中点上，而是偏向先验概率较小的均值点。v上述结果表示在二维特征空间里，如下图所示：当各类先验概率相等时，判决面与的交点时决策面向先验概率小的方向偏移情况三：情况三：任意的去掉与i无关的项：可以写为：其中二次项，一次项系数和常数项分别为：由于：对应的决策面为超二次曲面。第 i 类和第 j 类的决策面为：随着的不同，超二次曲面可以为：超球面、超椭球面、超抛物面、超双曲面，或超平面等。即：甚至在方差不相等的一维高斯分布情况下，其判决区域也可以不连通！情况三：情况三：各类协方差不同，决策面为为超二次曲面。各类协方差不同，决策面为为超二次曲面。v上述结果表示在二维特征空间里，如下图所示：正态分布的判别函数例：两类正态分布样本：求决策面方程令令求决策面方程为：和中点偏下演讲完毕，谢谢观看！