《AI-第6章 机器学习（3）-统计学习.pptx》由会员分享，可在线阅读，更多相关《AI-第6章 机器学习（3）-统计学习.pptx（30页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、人工智能导论6.1 概述6.2 决策树学习6.3 贝叶斯学习6.4 统计学习6.5 聚类6.6 特征选择与表示学习6.7 其他学习方法第六章第六章 机器学习机器学习6.4 6.4 统计学习统计学习u已知准确的样本分布函数u并且采样无穷多为 u小样本统计学习理论基于对学习错误（过学习，overfitting）和泛化能力之间关系的定量刻画，u不仅避免了对样本点分布的假设和数目要求，u还产生了一种新的统计推断原理结构风险最小化原理。46.4.1 6.4.1 统计学习理论统计学习理论（1）G表示产生器，用于产生输入向量x；（2）S表示被观测的系统或者称为训练器。训练器对每个输入x产生相应的输出y，并且
2、输入和输出遵从某个未知联合概率F(x,y)；（3）LM表示学习机。学习机能够实现一定的函数集f(x,a)，a，其中是学习参数集合，学习参数既可能是向量也可能是函数。不同的a值就决定了不同的学习函数。学习的问题就是从给定的函数集f(x,a)，a中选择出能最好地逼近训练器响应的函数。5期望风险 6常见损失函数常见损失函数经验风险 9小样本统计学习理论u在什么条件下，当样本数目趋于无穷时，经验风险Remp(a)最优值趋于期望风险R(a)最优值（能够推广），其收敛速度又如何。也就是在经验风险最小化原则下的学习一致性条件。u如何从经验风险估计出期望风险的上界，即关于统计学习方法推广性的界。u在对期望风险
3、界估计的基础上选择预测函数的原则，即小样本归纳推理原则。u实现上述原则的具体方法。例如支持向量机（Support vector machine，SVM）就是一个具体的方法。10VCVC维 u对一个指示函数集，如果存在h个样本能够被函数集中的函数按所有可能的2h种形式分开，则称函数集能够把h个样本打散。函数集的VC维就是它能打散的最大样本数目h。u若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大。u有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。11实数平面的VCVC维12u因为总能找出n+1个点，选择其中一个作为原点，剩余n个点的位置向量是线性独立的。但无法选择
4、n+2个这样的点，因为在Rn中没有n+2个向量是线性独立的。uVC维越大则学习机器越复杂，容量越大。u但是一般来说，函数集的VC维与其自由参数的个数不相同。u这给我们克服“维数灾难”创造了一个很好的机会：用一个包含很多参数，但却有较小VC维的函数集为基础构造学习机器会实现较好的推广性。13结构风险 u指示函数集中的所有函数（包括使经验风险最小的函数），经验风险Remp(a)和期望风险R(a)之间以至少1-的概率满足如下关系：14结构风险最小化原则 15u训练数据可以被无错误地划分u并且每一类数据与超平面距离最近的向量距超平面之间的距离最大u对于上式分类边距等于2/|w|u最优超平面就是使分类边
5、距最大的分类超平面166.4.2 6.4.2 支持向量机支持向量机最优分类面17u约束条件为不等式yi(w xi)b10，i=1,2,N 18u其中ai0为拉格朗日系数。L的极值点为鞍点，L求导可得w*和a*：19u其约束条件为 20根据Karush-Kuhn-Tucker(KKT)条件，这个优化问题的解必须满足：由于多数样本所对应的ai将为0，这些样本对于分类超平面根本没有作用。只有当ai不为0时才对分类超平面有用，这些不为0的ai所对应的样本就是支持向量。21u其中，x*+1表示属于第一类的某个（任意一个）支持向量，x*-1表示属于另一类的任意一个支持向量。22线性不可分数据yi(w xi
6、)b 1i，i=1,2,N u其中C被称为惩罚因子。通过改变惩罚因子可以在最大分类间隔和误分率之间进行折衷。23非线性数据 非线性问题，SVM通过非线性变换把非线性数据映射到另一个高维空间（特征空间）。即对于线性不可分的样本xRd，作非线性变换:RdH，使得(x)H在特征空间H中是线性可分的。24SVMSVM解决思路25支持向量机与核函数26u将样本空间的内积替换成了核函数，而运算实际上是在样本空间中进行的，并未在特征空间中计算高维向量内积。u满足Mercer条件的函数K(x,y)必定是核函数，也就是肯定存在着一个映射使得K(x,y)=(x)(y)。276.4.3 6.4.3 核函数核函数MercerMercer条件 u函数K(x,y)描述了某个空间中一个内积的充分必要条件是，对于任意给定的函数g(x)，当 时，有 28常用的核函数 29待续待续