《模式识别(3-2).ppt》由会员分享，可在线阅读，更多相关《模式识别(3-2).ppt（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 模式识别模式识别 第三章概率总体的估计第三章概率总体的估计(2)回顾：回顾：n最大似然估计：估计使似然函数达到最大值的参数向量。n参数估计要求密度函数的形式已知，但这种假定有时并不成立，常见的一些函数形式很难拟合实际的概率密度，经典的密度函数都是单峰的，而在许多实际情况中却是多峰的，因此用非参数估计(它能处理任意的概率分布，而不必假设密度的参数形式已知）。3.3 3.3 非参数估计非参数估计非非参参数数估估计计:直接用已知类别样本去估计总体密度分布，方法有：用样本直接去估计类概率密度p(x|i)以此来设计分类器,如窗口估计.用学习样本直接估计后验概率p(i|x)作为分类准则来设计分类器,如k
2、近邻法.概率密度估计概率密度估计n一个随机变量X落在区域R的概率为PRP(x)P是样本x落入R内的概率Pk是k个样本落入R内的概率概率密度估计概率密度估计n数学期望:E(k)=k=NP对概率P的估计:。是P的一个比较好的估计.设P(x)在R内连续变化,当R逐渐减小的时候,小到使P(x)在其上几乎没有变化时，则其中是R包围的体积概率密度估计概率密度估计nn条件密度的估计：(V足够小)讨论:当V固定的时候N增加,k也增加,当时只反映了P(x)的空间平均估计而反映不出空间的变化概率密度估计概率密度估计N固定,体积变小当时,k=0时时所以起伏比较大,噪声比较大,需要对V进行改进.概率密度估计概率密度估
3、计n对体积V进行改进：为了估计X点的密度,我们构造一串包括X的区域序列R1,R2,.RN.对R1采用一个样本进行估计，对R2采用二个样本进行估计.。设VN是RN的体积，KN是N个样本落入RN的样本数则密度的第N次估计：VN是RN的体积KN是N个样本落入RN的样本数PN(x)是P(x)的第N次估计概率密度估计概率密度估计若若PN(x)收敛收敛于于P(x)应满足三个条件：应满足三个条件：，当N时，VN，N，VN0这时虽然样本数多，但由于VN，落入VN内的样本KN也减小，所以空间变化才反映出来，N，kN，N与KN同相变化，KN的变化远小于N的变化。因此尽管在R内落入了很多的样本，但同总数N比较,仍然
4、是很小的一部分。概率密度估计概率密度估计如何选择VN满足以上条件：使体积VN以N的某个函数减小，如(h为常数)使KN作为N的某个函数，例VN的选择使RN正好包含x的KN个近邻V1K1，V2K2，.VRKRKn近邻法窗口法ParzenParzen窗口估计窗口估计假设RN为一个d维的超立方体，hN为超立方体的长度超立方体体积为：，d=1，窗口为一线段d=2，窗口为一平面d=3，窗口为一立方体d3，窗口为一超立方体窗口的选择：方窗函数指数窗函数(u)(u)(u)hN正态窗函数ParzenParzen窗口估计窗口估计(u)是以原点x为中心的超立方体。在xi落入方窗时，则有在VN内为1不在VN内为0落入
5、VN的样本数为所有为1者之和 密度估计密度估计密度估计密度估计ParzenParzen窗口估计窗口估计讨论：每个样本对估计所起的作用依赖于它到x的距离，即|x-xi|hN/2时，xi在VN内为1，否则为0。称为的窗函数，取0，1两种值，但有时可以取0,0.1,0.2多种数值，例如随xi离x接近的程度，取值由0,0.1,0.2到1。ParzenParzen窗口估计窗口估计要求估计的PN(x)应满足：为满足这两个条件，要求窗函数满足：窗长度hN对PN(x)的影响若hN太大,PN(x)是P(x)的一个平坦,分辨率低的估计,有平均误差若hN太小,PN(x)是P(x)的一个不稳定的起伏大的估计,有噪声误
6、差为了使这些误差不严重，hN应很好选择ParzenParzen窗口估计窗口估计例1：对于一个二类（1，2）识别问题，随机抽取1类的6个样本X=(x1，x2，.x6)1=(x1，x2，.x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估计P(x|1)即PN(x)?0123456x6x5x3x1x2x4xParzenParzen窗口估计窗口估计解：选正态窗函数x是一维的ParseParse窗口估计窗口估计上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中心的正态曲线，而PN(x)则是这些曲线之和。ParseParse窗口估计窗口估计由图看出，
7、每个样本对估计的贡献与样本间的距离有关，样本越多，PN(x)越准确。ParseParse窗口估计窗口估计例2：设待估计的P(x)是个均值为0，方差为1的正态密度函数。若随机地抽取X样本中的1个、16个、256个作为学习样本xi,试用窗口法估计PN(x)。解：设窗口函数为正态的，1，0 hN:窗长度，N为样本数，h1为选定可调节的参数。v用窗法估计单一正态分布的实验N=N=256N=16N=1ParseParse窗口估计窗口估计讨论：由图看出,PN(x)随N,h1的变化情况当N1时，PN(x)是一个以第一个样本为中心的正态形状的小丘，与窗函数差不多。当N16及N=256时h10.25曲线起伏很大
8、，噪声大h11起伏减小h14曲线平坦，平均误差当N时，PN(x)收敛于一平滑的正态曲线，估计曲线较好。ParseParse窗口估计窗口估计例3。待估的密度函数为二项分布解：此为多峰情况的估计设窗函数为正态x-2.5-210.2502P(x)-2.5x-20 x2x为其它N=N=256N=16N=1v用窗法估计两个均匀分布的实验ParseParse窗口估计窗口估计当N=1、16、256、时的PN(x)估计如图所示当N1时，PN(x)实际是窗函数。当N16及N=256时h10.25曲线起伏大h11曲线起伏减小h14曲线平坦当N时，曲线较好。ParseParse窗口估计窗口估计结论：由上例知窗口法的
9、优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。要求样本足够多，才能有较好的估计。因此使计算量，存储量增大。K KNN近邻估计近邻估计在窗口法中存在一个问题是对hN的选择问题。若hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。若hN选太大，则PN(x)估计较平坦，反映不出总体分布的变化，而KN近邻法的思想是以x为中心建立空胞，使v，直到捕捉到KN个样本为止。称KN-近邻估计。v的改进，样本密度大，VN;样本密度小，VN;P(x)的估计为：K KNN近邻估计近邻估计 使使PN(x)收敛于收敛于P(x)的充分必要条件：的充分必要条件：
10、，N与KN同相变化，KN的变化远小于N的变化V1为N=1时的VN值K KNN近邻估计近邻估计KN近邻估计对KN和VN都作了限制KN近邻法作后验概率的估计近邻法作后验概率的估计由KN近邻估计知N个已知类别样本落入VN内为KN个样本的概率密度估计为：N个样本落入个样本落入VN内有内有KN个，个，KN个样本内有个样本内有Ki个样本属于个样本属于i类类则联合概率密度：K KNN近邻估计近邻估计根据Bayes公式可求出后验概率：类别为i的后验概率就是落在VN内属于i的样本ki与VN内总样本数KN的比值K KNN近邻估计近邻估计K近邻分类准则：对于待分样本x，找出它的k个近邻，检查它的类别，把x归于样本最多的那个类别。K近邻分类的错误率随K，Pk,最低的错误率为Bayes分类。P*PK最近邻分类准则：待分样本x，找一个离它最近的样本，把x归于最近的样本一类。错误率：M为类别数P(e)为Bayes估计的错误率最近邻分类法则的错误率P比K近邻错误率还大，但最大不会超过贝叶斯分类器错误率的二倍。PP(e)BayesK近邻最近邻3.4 3.4 本章小结本章小结n参数估计q最大似然估计qbayes学习n非参数估计qParseParse窗口估计窗口估计qK KNN近邻估计近邻估计