《模式识别非参数估计精选文档.ppt》由会员分享，可在线阅读，更多相关《模式识别非参数估计精选文档.ppt（49页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、模式识别非参数估计本讲稿第一页，共四十九页第五章第五章:非参数估计非参数估计本讲稿第二页，共四十九页非参数估计非参数估计原理在实际应用中，类概率密度函数形式已知的条件并不一定成立，特别是多峰的概率分布，用普通函数难以拟合，这就需要用非参数估计技术。非参数估计的原理是：不需获取类类概率密度的函数形式，而是直接利用学习样本估计特征空间任意点的类概率密度的值。即直接由学习样本来直接设计分类器。本讲稿第三页，共四十九页非参数估计非参数估计方法 直接由学习样本估计类概率密度P(X/i)，Parzen窗口法 直接由学习样本估计后验概率P(i/X)，Kn 近邻法非参数估计法Parzen窗口法Kn近邻法本讲稿
2、第四页，共四十九页非参数估计非参数估计思路鲑鲑 鱼鱼鲈鲈 鱼鱼本讲稿第五页，共四十九页非参数估计非参数估计思路用已知类别的学习样本在x处出现的频度来近似P(X/i)，即：其中：v为包含X点的区域 本讲稿第六页，共四十九页非参数估计非参数估计K为n个样本中落入体积v的样本数。故：表示单位体积内落入x点邻域的样本在总样本中的比例，可以此来近似样本在X点处的类概率密度值。本讲稿第七页，共四十九页非参数估计非参数估计本讲稿第八页，共四十九页非参数估计非参数估计问题一若v固定，则当n增大时，只能表示平均概率，而不是点概率密度 因此，为保证 为点概率密度，必须有本讲稿第九页，共四十九页非参数估计非参数估计
3、本讲稿第十页，共四十九页非参数估计非参数估计问题二若样本数n固定，则当 时，则会出现x邻域内不包含任何样本，得出 的错误估计本讲稿第十一页，共四十九页非参数估计非参数估计本讲稿第十二页，共四十九页非参数估计非参数估计解决方案考虑让v和k都随n的变化进行调整，即：本讲稿第十三页，共四十九页非参数估计非参数估计显然为保证 的合理性，应满足如下条 保证 时，收敛于点概率 密度 保证不出现0概率密度 保证 收敛本讲稿第十四页，共四十九页非参数估计非参数估计基本方法Parzen窗口法：主动选择vn与n的关系，kn被动确定，指n个样本中落入区域v的样本数kn近邻法：主动选择kn与n的关系，vn被动确定，指
4、包含kn个样本的x邻域本讲稿第十五页，共四十九页Parzen窗口法设样本特征空间为d维，Rn为d维超球体，vn 为其体积，hn为其直径本讲稿第十六页，共四十九页Parzen窗口法可以证明，满足前述三个条件的等效条件为：本讲稿第十七页，共四十九页Parzen窗口法因此，可选择 均能满足条件，其中h1为可调常数 主动选择vn与n的关系后，kn如何确定？本讲稿第十八页，共四十九页Parzen窗口法如前所述，kn即为n个样本中落入体积中的样本数 定义窗函数如下：其中，Xi(i=1,2,n)为学习样本,X为特征空间中的待估密度点本讲稿第十九页，共四十九页Parzen窗口法本讲稿第二十页，共四十九页Par
5、zen窗口法矩形窗矩形窗 本讲稿第二十一页，共四十九页Parzen窗口法则有 上式即是由学习样本直接估计特征空间X点处概率密度的方法，称为 Parzen窗口法 本讲稿第二十二页，共四十九页Parzen窗口法一种更为合理的窗函数为正态窗 本讲稿第二十三页，共四十九页Parzen窗口法正态窗正态窗 本讲稿第二十四页，共四十九页Parzen窗口法若采用正态窗，则本讲稿第二十五页，共四十九页Parzen窗口法例：已知某一维模式类的实际概率密度函数为：试用Parzen窗口法对n=1、n=16、n=256及 情况下的概率密度进行估计。本讲稿第二十六页，共四十九页Parzen窗口法解：采用正态窗函数 令 则
6、对一维空间其中 为可调常数本讲稿第二十七页，共四十九页Parzen窗口法本讲稿第二十八页，共四十九页Parzen窗口法可以看出：当时 ，可以收敛于任何复杂形式的当n=1时，即是窗函数的形式当n较小时，对 的大小较为敏感，过小则产生噪声性误差，过大则又产生平均性误差本讲稿第二十九页，共四十九页Parzen窗口法所需样本数较多，计算量大，不易求得 的解析表达式当特征空间的维数较大时，实用性差本讲稿第三十页，共四十九页Parzen窗口法如何用Parzen窗口法进行分类器设计？获取n个学习样本令 或令 本讲稿第三十一页，共四十九页Parzen窗口法当待识别样本到来时，分别计算每一类样本的 ，即计算对每
7、一类样本重复上述过程，得各类的类概率密度将样本归类到 最大的类别中去本讲稿第三十二页，共四十九页Kn近邻法Parzen窗口法的估计效果取决于样本总数n及 ，当n较小时，对 较为敏感，即：本讲稿第三十三页，共四十九页Kn近邻法其原因是由于 只与总样本数有关，即进行概率密度 估计时，任何x点处的 都是相同的一种合理的选择是对样本出现密度大的x处，可较小，而对样本密度较小的x处，则相对大一些，这就是近邻法。本讲稿第三十四页，共四十九页Kn近邻法本讲稿第三十五页，共四十九页Kn近邻法基本原理主动选择 与n的关系，被动确定，即使得体积 为样本密度的函数，而不是样本总数的函数。可选择 ，该条件可满足：本讲
8、稿第三十六页，共四十九页Kn近邻法 Kn近邻法，有效地解决了Parzen存在的问题，对平均误差和噪声性误差均有较好的改善 选择 后，如何计算？本讲稿第三十七页，共四十九页Kn近邻法 为与x点相邻的 个近邻样本中，与x距离最远的样本所构成的区域，即本讲稿第三十八页，共四十九页Kn近邻法本讲稿第三十九页，共四十九页Kn近邻法用Kn近邻法设计分类器的过程：获取n个学习样本令找到待识样本X处的Kn个近邻 计算Kn个邻近到X的距离，找到最远距离的样本计算邻域的直径 ，计算邻域的体积 本讲稿第四十页，共四十九页Kn近邻法则对每一类样本重复上述过程，得各类的类概率密度将样本X归类到 最大的类别中去本讲稿第四
9、十一页，共四十九页用Kn近邻法估计后验概率非参数估计法的基本思想是：上式即可以用来估计各类样本的类概率密度，也可以用来估计所有类别样本的概率密度分布。本讲稿第四十二页，共四十九页用Kn近邻法估计后验概率设共有C个待识类别，各个类别的学习样本数分别为n1,n2,nC 总的学习样本数为N=n1+n2+nC则 表示所有类别样本在特征空间X处的概率密度 其中 为落入体积 中的样本数 本讲稿第四十三页，共四十九页用Kn近邻法估计后验概率而联合概率密度 为N个落入 中的样本中属于第i类的样本数 本讲稿第四十四页，共四十九页用Kn近邻法估计后验概率又由于则后验概率 上式表明，待识样本在x点处属于第i类的后验
10、概率即是落入其近邻体积内第i类样本与落入总样本数之比 本讲稿第四十五页，共四十九页用Kn近邻法估计后验概率Kn近邻准则：设各类总的学习样本为N,令当待识样本x到来时，找出x的 个近邻，其中属于第i类的样本为 ，则：取 最大的一类为识别结果本讲稿第四十六页，共四十九页用Kn近邻法估计后验概率近邻法的特点简单，容易实现计算量和计算机存储容量较大多特征，高维空间效率低需要较多的学习样本快速邻近算法：分量邻域法和列表法本讲稿第四十七页，共四十九页用Kn近邻法估计后验概率例：本讲稿第四十八页，共四十九页用Kn近邻法估计后验概率最近邻准则：取 ，则Kn近邻准则变为：当待识别样本X到来时，找出其最近邻的样本，并将X判为最近邻样本类本讲稿第四十九页，共四十九页