《2022年模式识别期末复习总结.docx》由会员分享，可在线阅读，更多相关《2022年模式识别期末复习总结.docx（12页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精选学习资料 - - - - - - - - - 学习必备 欢迎下载1、贝叶斯分类器贝叶斯分类器的定义：在具有模式的完整统计学问的条件下,依据贝叶斯决策理论进行设计的一种最优分类器；贝叶斯分类器的分类原理： 通过某对象的先验概率, 利用贝叶斯公式运算出其后验概率,即该对象属于某一类的概率, 挑选具有最大后验概率的类作为该对象所属的类；贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情形下平均风险最小的分类器；贝叶斯的公式：什么情形下使用贝叶斯分类器：对先验概率和类概率密度有充分的先验学问,或者有足够多的样本, 可以较好的进行概率密度估计,假如这些条件不满意,就采纳最优方法设计出的
2、分类器往往不具有最优性质；2、K 近邻法kNN 算法的核心思想 : 假如一个样本在特点空间中的k 个最相邻的样本中的大多数属于某一个类别,就该样本也属于这个类别,并具有这个类别上样本的特性；假设有 N 个已知样本分属c 个类,考察新样本 x 在这些样本中的前K 个近邻,设其中有个属于类,就类的 判别函数 就是决策规章 : 如就 什么情形下使用 K 近邻法 : kNN 只是确定一种决策原就,在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别 ,并不需要利用已知数据事先训练出一个判别函数,这种方法不需要太多的先验学问；在样本数量不足时,KNN 法通常也可以得到不错的结果；
3、但是这种决策算法需要始终储备全部的已知样本,并将每一个新样本与全部已知样本进行比较和排序,其运算和储备的成本都很大；对于类域的交叉或重叠较多的待分样本集来说,kNN 方法较其他方法更为适合；3、PCA 和 LDA 的区分Principal Components Analysis PCA Linear Discriminant Analysis LDA：uses a signal representation criterion ：uses a signal classification criterion LDA ：线性判别分析,一种分类方法；它查找线性分类器正确的法线向量方向,将高维数据投影
4、到一维空间, 使两类样本在该方向上的投影满意类内尽可能密集,类相隔尽可能远,而同时每一类的样本又尽可能集合；类间尽可能分开； 即使投影后两PCA：主成分分析法,一种数据降维方法；它将高维的数据映射到低维的空间中表示,新特点是原有特点的线性组合； 降维之后能够最大化保持数据的内在信息,并期望在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性；PCA 和 LDA 的区分 : PCA 主要是从特点的协方差角度,去找到比较好的投影方式；期望投影后类间距更大,类内距更小；LDA 挑选分类性能最好的方向,名师归纳总结 - - - - - - -第 1 页,共 6 页精选
5、学习资料 - - - - - - - - - 学习必备 欢迎下载PCA 是无监督的方式,它没有分类标签,降维之后需要采纳K-Means 或自组织映射网络等无监督的算法进行分类； LDA 是有监督的,它先对训练数据进行降维,然后找出一个线性判别函数；PCA 投影的坐标系都是正交的；标系是正交的；LDA 依据类别的标注,关注分类才能,因此不保证投影到的坐4、开测试,闭测试开测试： 测试样本不包含训练样本 闭测试： 测试样本包含训练样本5、维数,训练样本对分类器性能的影响维数：从理论上讲, 在有无限的训练样本的情形下；不断的增加新的特点并不会影响最终的分类结果,最坏的情形也就是分类器忽视了新加的特点
6、,而只要新特点供应了有用的信息,那么分类器的精确度就会提高；在实际情形中,刚开头随着维数的增加,精确度也会越来越高,但当维数到达肯定值后,精确度会下降；这就是“ 维数灾难”：由于我们的样本不是无限多的,在高维的情形下,样本密度会越来越稀疏,很简洁就能找到一个超平面将训练样本分开,但当其映射到低维空间时, 得到的是一个复杂的非线性分类器； 假如将其用来辨别那些未曾显现在训练样本中的测试样本时,通常结果不太抱负； 这 其实就是我们在机器学习中学过的过拟合问题；另外,随着维数的增加,大部分分类器运算的时间复杂度会呈指数型提高；样本数量： 从理论上讲,样本越多,分类器的精确度也会越高；在实际情形中,由
7、于存在特点维数的限制,随着样本增多,精确度会逐步上升然后趋于稳固；又由于实际情形的样本中可能存在着噪声,假如后来增加的样本噪声太多,精确度反而可能下降；从效率上来说, 样本越多,时间复杂度会线性提高；6、监督学习在概率密度函数不知道的情形下怎么分类对于贝叶斯分类器来说,就是用学习样本估量 特点向量的 类条件概率密度函数；在已知类条件概率密度函数形式 的条件下, 用给定的独立和随机猎取的样本集,依据最大似然法或贝叶斯学习 估量出类条件概率密度函数的参数；例如,假定模式的特点向量听从正态分布,样本的平均特点向量和样本协方差矩阵就是正态分布的均值向量和协方差矩阵的最大似然估量；在类条件概率密度函数的
8、形式未知的情形下,密度函数进行估量；方法一：非参数估量；有各种非参数方法, 直接用学习样本对类条件概率不对概率密度函数的形式作出任何假设,而是直接用样本估量出整个函数；最大似然方法和贝叶斯方法都属于参数化的估量方法,要求待估量的概率密度函数形式已知,只是利用样原来估量函数中的某些参数；但是当样本的分布未知, 无法事先给出概率密度函数,或者很难用简洁的函数来描述概率密度函数时,就需要使用非参数估量的方法, 即不对概率密度函数的形式作出任何假设, 而是直接用样本估量出整个函数；非参数估量的方法可以看做是从全部可能的函数中进行一种挑选；常见的非参数估量方法有直方图法,下这三种方法）方法二：使用基于数
9、据的模式识别方法；K N 近邻估量法, Parzen窗法等；（可以略微说明无需进行概率密度估量, 而是直接依据要解决的问题和训练样本就求出判别函数的分类器,例如神经网络和 SVM ；甚至是使用直接确定分类原就, 连分类器都不需要的模式识别方法,例如近邻法；名师归纳总结 第 2 页,共 6 页- - - - - - -精选学习资料 - - - - - - - - - 学习必备 欢迎下载7、分类器性能衡量衡量方法一、利用所假设的参数模型来运算 例如代入未知参数的均值和协方差的估量来评估误差率的上界；这种方法存在的问题： 误差估量过分乐观； 参数模型的有效性无法验证； 训练样本独有的特性没 有被揭示
10、；衡量方法二、训练错误率（闭测试）用分类器对全部训练样本进行分类,其中分类错误的样本占总样本数的比例就是训练错误率；这种方法存在的问题： 在肯定程度上反映了机器推广才能；但是这种做法偏乐观, 存在信息泄露问题,因此这种训练错误率不能很好的反映分类器在将来样本上的表现；衡量方法三、测试错误率（开测试）将样本划分成训练集和测试集,其中,训练集样本不包含测试集样本互不相交；测试错误率： 使用常规训练集训练分类器完成后,用分类器对验证集训练样本进行分类,其中分类错误的样本占验证集的比例就是测试错误率；这种方法存在的问题： 在样本数不是许多时, 假如把一部分样本划分为测试集,就训练样本数目 就大大削减,
11、可能影响分类器性能；测试集本身也不大,所以测试错误率估量的方差本身也比较大；衡量方法 4：交叉验证一般的衡量分类器的性能常用的就是CV2 的交叉验证方法；在现有总样本不变的情形下, 随机选用一部分样本作为暂时的训练集,其余样本作为暂时测试集得到一个错误率估量； 然后随机选用另外一部分样本作为暂时训练集,其余样本作为暂时测试集, 再得到一个错误率估量 如此反复多次,最终各个错误率求平均,得到交叉验证错误率；8、高斯混合模型参数怎么确定？用 GMM 认为数据是从几个 GSM 中生成出来的,即EM 算法确定K 需要事先确定好,就像 K-means中的 K 一样； k 是权值因子； 其中的任意一个高斯
12、分布 Nx;uk, k叫作这个模型的一个 component；GMM 是一种聚类算法,每个component就是一个聚类中心；即在只有样本点,不知道样本分类（含有隐含变量）的情形下,运算出模型参数（ ,u 和 ）-这明显可以用EM 算法来求解；再用训练好的模型去差别样本所属的分类,方法是：step1 随机挑选 K 个 component中的一个（被选中的概率是 k）；step2把样本代入刚选好的 component,判定是否属于这个类别,假如不属于就回到 step1；EM 算法：在统计运算中,最大期望（EM）算法是在概率（ probabilistic）模型中查找参数最大似然估量或者最大后验估量
13、的算法,其中概率模型依靠于无法观测的隐匿变量（用在机器学习和运算机视觉的数据聚类（Data Clustering）领域；最大期望算法经过两个步骤交替进行运算：Latent Variable）；最大期望常常第一步是运算期望（ E）,利用对隐匿变量的现有估量值,运算其最大似然估量值；其次步是最大化（ M）,最大化在E 步上求得的最大似然值来运算参数的值；名师归纳总结 M 步上找到的参数估量值被用于下一个E 步运算中,这个过程不断交替进行；第 3 页,共 6 页总体来说, EM 的算法流程如下：- - - - - - -精选学习资料 - - - - - - - - - 学习必备 欢迎下载1.初始化分布参数 2.重复直到收敛：E 步骤：估量未知参数的期望值,给出当前的参数估量；M 步骤：重新估量分布参数,以使得数据的似然性最大,给出未知变量的期望估量；名师归纳总结 - - - - - - -第 4 页,共 6 页精选学习资料 - - - - - - - - - 名师归纳总结 学习必备欢迎下载第 5 页,共 6 页- - - - - - -精选学习资料 - - - - - - - - - 名师归纳总结 学习必备欢迎下载第 6 页,共 6 页- - - - - - -