《统计学习理论和支持向量机课件.ppt》由会员分享，可在线阅读，更多相关《统计学习理论和支持向量机课件.ppt（35页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、统计学习理论和支持向量机第1页，此课件共35页哦本章主要内容本章主要内容13.1 机器学习问题的表示机器学习问题的表示 13.3 统计学习理论的主要内容统计学习理论的主要内容 13.2 统计学习理论的发展历程统计学习理论的发展历程 13.4 最优分类面最优分类面 13.5 支持向量机的基本原理支持向量机的基本原理 (熟悉)(了解)(重点)(重点)(熟悉)第2页，此课件共35页哦13.1 机器学习问题的表示机器学习问题的表示 第3页，此课件共35页哦13.1.1 机器学习与模式识别的关系机器学习与模式识别的关系q 机器学习让机器拥有类似人类的学习能力；q 机器学习是人工智能的重要分支；q 模式识
2、别可以看作是机器学习的特例。q 如果在人工智能上有所突破，以至于机器能够学习，那么它将价值10个微软。B.Gates，2004第4页，此课件共35页哦13.1.2 机器学习的发展历史机器学习的发展历史p起源:上世纪50年代中叶 p 70年代中叶80年代中叶：探索各种学习方法;p50年代中叶60年代中叶：研究各种自适应系统；代表作:Samuel的下棋程序p60年代中叶70年代中叶：模拟人类的概念学习过程;代表作:Winston的结构学习系统 第5页，此课件共35页哦13.1.2 机器学习的发展历史（续）机器学习的发展历史（续）p90年代中叶当前：分类器集成、海量样本学习、增强学习、学习复杂随机模
3、型、核机器学习等;吸引了越来越多的学者进行机器学习研究;p1980年,在卡内基-梅隆大学（CMU）:召开了第一届机器学习国际研讨会,标志着机器学习研究在全世界兴起。p80年代中叶90年代中叶：主要研究人工神经网络;第6页，此课件共35页哦13.1.3 机器学习研究领域的细分机器学习研究领域的细分即人工神经网络（ANN）学习今天要讲的内容第7页，此课件共35页哦13.1.4 机器学习问题的表示机器学习问题的表示q已知：学习样本 及其相应的目标值使期望风险最小 q三类最基本的学习问题：分类：回归：密度估计：损失函数第8页，此课件共35页哦13.2 统计学习理论的发展历程统计学习理论的发展历程 第9
4、页，此课件共35页哦13.2.1 统计学习历程统计学习历程发展历程简介发展历程简介q 20世纪60年代由Vapnik等人开始研究。这一阶段的研究成果见教材第7章；q 这一阶段的成果理论艰涩，实践性差，没有引起关注；q 20世纪90年代开始形成一个较完善的理论体系。同时人工神经网络（ANN）的研究则遇到重要困难（过学习等），因此统计学习理论受到关注；q 1992年在统计学习理论的基础上发展出一种新的模式识别方法支持向量机；q 当前统计学习理论正成为机器学习和模式识别领域新的研究热点；第10页，此课件共35页哦13.3 统计学习理论的主要内容统计学习理论的主要内容 第11页，此课件共35页哦经验风
5、险：期望风险：13.3.1 期望风险与经验风险期望风险与经验风险（理想）（现实）（不易计算）（易计算）q 尽管在n趋于无穷大时能保证 趋近于 ，但n有限时上述结论不一定成立。第12页，此课件共35页哦13.3.1 期望风险与经验风险（续）期望风险与经验风险（续）例：例：直线拟合12345第13页，此课件共35页哦13.3.1 期望风险与经验风险（续）期望风险与经验风险（续）损失函数：损失函数：经验风险：经验风险：期望风险：期望风险：q 经验风险最小化（ERM）：通过使 最小求a和b。第14页，此课件共35页哦13.3.2 VCVC维的概念维的概念q VC维是衡量函数集分类能力的指标，也是到目前
6、为止对函数集学习性能的最好描述。打散打散（shattering）：一个含h个样本的样本集能够被一个函数集中的函数按照所有可能的2*h种形式分为两类（即函数集对样本集具有完全二分能力），则称函数集能够把样本数为h的样本集打散。函数集的函数集的VC维：维：函数集中的函数所能够打散的最大样本集的样本数目。q 2维直线构成的函数集 的VC维是3。第15页，此课件共35页哦13.3.2 VCVC维的概念（续）维的概念（续）对于两类分类问题，以下结论以 概率成立：简记为：置信范围q 上式表达了期望风险、经验风险与VC维三者间的关系；(h是VC维)第16页，此课件共35页哦13.3.3 结构风险最小化结构风
7、险最小化期望风险的上界：第17页，此课件共35页哦13.4 最优分类面最优分类面第18页，此课件共35页哦13.4.1 最优分类面的概念最优分类面的概念q 最优分类面最优分类面H：（1）H能完全分开样本集；（2）H使得H1、H2间的距离最大。其中H1、H2为过各类样本中离H最近的点且平行于H的直线。最优分类面非最优分类面第19页，此课件共35页哦X2MarginMarginWNote:13.4.2 最优分类面的求取最优分类面的求取样本：类别：分类面：（2）（3）（1）（0）第20页，此课件共35页哦13.4.2 最优分类面的求取（续）最优分类面的求取（续）将（3）式代入（2）式，可得（1）式的
8、对偶规划maxs.t.解上式可得最优的 代入（3）式可得权向量代入（0）式可得分类面（4）第21页，此课件共35页哦13.4.2 最优分类面的求取（续）最优分类面的求取（续）第22页，此课件共35页哦例：例：求两个样本间的最优分类面13.4.2 最优分类面的求取（续）最优分类面的求取（续）已知条件约束优化问题：约束优化问题：mins.t.分类面：分类面：mins.t.第23页，此课件共35页哦13.4.2 最优分类面的求取（续）最优分类面的求取（续）maxs.t.对偶规对偶规划划maxs.t.（1）（2）将（2）式代入（1）式，同时将已知条件代入max分类面：分类面：权权 值：值：第24页，此
9、课件共35页哦13.5 支持向量机的基本原理支持向量机的基本原理第25页，此课件共35页哦13.5.1 支持向量机的基本思路支持向量机的基本思路q 首先将样本从输入空间映射到高维空间中，然后在高维空间中求取最优分类面；第26页，此课件共35页哦13.5.2 支持向量机原理与拓扑结构支持向量机原理与拓扑结构min样本：类别：样本：类别：min第27页，此课件共35页哦13.5.2 支持向量机原理与拓扑结构（续）支持向量机原理与拓扑结构（续）核函数：第28页，此课件共35页哦13.5.2 支持向量机原理与拓扑结构（续）支持向量机原理与拓扑结构（续）第29页，此课件共35页哦13.5.3 支持向量机
10、与径向基函数网络的比较支持向量机与径向基函数网络的比较SVMRBF网络网络第30页，此课件共35页哦13.5.4 支持向量机当前的研究状况支持向量机当前的研究状况与其它学习模型的等价性与其它学习模型的等价性SVM快速算法快速算法多类多类SVM分类机分类机LSSVM与与LPSVMSVM与其它分类器的融合与其它分类器的融合 算法改进与性能分析算法改进与性能分析核函数设计及模型选择核函数设计及模型选择q“科研反哺教学”；第31页，此课件共35页哦算法改进与性能分析算法改进与性能分析13.5.4 支持向量机当前的研究状况（续）支持向量机当前的研究状况（续）例：例：剪辑支持向量机原始样本集原始样本集SV
11、M初分类初分类去除错分样本去除错分样本与重叠区样本与重叠区样本得到新样本集得到新样本集SVM再分类再分类第32页，此课件共35页哦13.5.4 支持向量机当前的研究状况（续）支持向量机当前的研究状况（续）与其它学习模型的等价性与其它学习模型的等价性例：例：与基于规划的神经网络的等价性著名的著名的M-P神经元模型神经元模型对线性可分样本集通常设增广向量可将样本集分开的某分类面必满足：基于规划的神经网络：基于规划的神经网络：其中第33页，此课件共35页哦13.5.4 支持向量机当前的研究状况（续）支持向量机当前的研究状况（续）核函数设计及模型选择核函数设计及模型选择RBFKMODKMODRBFEX
12、PORBF核：KMOD核：KMOD核的好处：核的好处：核函数K从某种意义上说是原始空间两个向量间相关性的度量。当非常大时，核使本该存在的向量间的相关性变为，而核考虑了这种相关性例：例：Kernel with Moderate Decreasing(KMOD)第34页，此课件共35页哦13.5.4 支持向量机当前的研究状况（续）支持向量机当前的研究状况（续）SVM快速算法快速算法第一类：分解算法第一类：分解算法(1)Chunking (Vapnik et al.)(2)Work Set (Osuna et al.)(3)(Joachims et al.)(4)SMO (Platt et al.)SMO:sequential minimal optimization第二类：其它算法第二类：其它算法 (1)RNN (Recurrent neural network);(2)FINPA (Fast iterative nearest point algorithms);(3)PSVM (Projection svm);(4)SOR (successive overrelaxation)第35页，此课件共35页哦