《模式识别中的支持向量机方法.pdf》由会员分享，可在线阅读，更多相关《模式识别中的支持向量机方法.pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第 37 卷第 5 期2003 年 9 月浙江大学学报(工学版)Journal of Zhejiang University(Engineering Science)Vol.37 No.5Sep.2003收稿日期:2002-09-30.作者简介:杜树新(1967-),男,浙江东阳人,副研究员,从事模式识别与智能系统理论及应用、工业过程计算机控制等方面研究.E-mail:模式识别中的支持向量机方法杜树新,吴铁军(工业控制技术国家重点实验室,浙江大学 智能系统与决策研究所,浙江 杭州,310027)摘要:针对模式识别问题,描述了支持向量机的基本思想,着重讨论了M-SVM、最小二乘SVM、加权SVM
2、和直接SVM等新的支持向量机方法,用于降低训练时间和减少计算复杂性的海量样本数据训练算法分块法、分解法,提高泛化能力的模型选择方法,以及逐一鉴别法、一一区分法、M-ary 分类法、一次性求解等多类别分类方法.最后给出了污水生化处理过程运行状态监控的多类别分类实例.作为结构风险最小化准则的具体实现,支持向量机具有全局最优性和较好的泛化能力.关键词:支持向量机;模式识别;泛化能力中图分类号:TP181文献标识码:A文章编号:1008-973X(2003)05-0521-07Support vector machines for pattern recognitionDU Shu-xin,WU Ti
3、e-jun(National Key Laboratory of Industrial Control Technology,Institute of Intelligent Systems and Decision Making,Zhejiang University,Hangzhou310027,China)Abstract:An overview of the basic ideas underlying Support Vector Machine(SVM)for pattern recogni-tion was given.New methods such as M-SVM,LS-S
4、VM,weighted SVM and direct SVM,training algo-rithms including chunking method and decomposition method for the sake of fast computational speed andease of implementation,model selection approaches minimizing the generalization error,and multiclassclassification methods such as one-against-the-rest m
5、ethod,one-against-one method,M-ary classificationwere concentrated.Finally,an example of multiclass classification for monitoring operation status ofwastewater treatment processes was given.As a direct implementation of the structure risk minimization(SRM)inductive principle,SVM provides good perfor
6、mances such as global optimization and good gener-alization ability.Key words:support vector machines;pattern recognition;generalization ability.从观测数据中学习归纳出系统运动规律,并利用这些规律对未来数据或无法观测到的数据进行预测一直是智能系统研究的重点.传统学习方法中采用的经验风险最小化准则(empirical risk minimiza-tion,ERM)虽然可以使训练误差最小化,但并不能最小化学习过程的泛化误差.ERM 不成功的例子就是神经网络
7、的过学习问题.为此,Vapnik1,2提出了结构风险最小化准则(structural risk minimiza-tion,SRM),通俗地说就是通过对推广误差(风险)上界的最小化达到最大的泛化能力.Vapnik 提出的支持向量机(support vector machine,SVM)就是这种思想的具体实现.支持向量机的基本思想是在样本空间或特征空间,构造出最优超平面,使得超平面与不同类样本集之间的距离最大,从而达到最大的泛化能力.支持向量机结构简单,并且具有全局最优性和较好的泛化能力,自 20 世纪 90 年代中期提出以来得到了广泛的研究.支持向量机方法是求解模式识别和函数估计问题的有效工具
8、.本文针对模式识别的问题求解,描述了支持向量机方法的基本思想,并着重讨论了支持向量机新方法、降低训练时间和减少计算复杂性的训练算法、提高泛化能力的模型选择方法以及多类别分类方法等方面的研究内容.1支持向量机基本方法假定大小为 l 的训练样本集(xi,yi),i=1,2,l,由二类别组成,如果 xiRN属于第 1 类,则标记为正(yi=1),如果属于第 2 类,则标记为负(yi=-1).学习的目标是构造一判别函数,将测试数据尽可能正确地分类.针对训练样本集为线性、非线性两种情况分别讨论.1.1线性情况如果存在分类超平面wx+b=0,(1)使得wxi+b1,yi=1,wxi+b-1,yi=-1,i
9、=1,2,l,(2)则称训练集是线性可分的,其中 wx 表示向量 wRN与 xRN的内积.式(1)和式(2)中的 wRN,bR 都进行了规范化,使每类样本集中与分类超平面距离最近的数据点满足式(2)的等式要求.对于式(2),可写成如下形式:yi(wxi+b)1,i=1,2,l.(3)图 1最优分类超平面Fig.1Optimal separating hyperplanes由统计学习理论知,如果训练样本集没有被超平面错误分开,并且距超平面最近的样本数据与超平面之间的距离最大,则该超平面为最优超平面(如图 1 所示),由此得到的判别函数y(x)=sign(wx+b),(4)其泛化能力最优,其中 s
10、ign()为符号函数.最优超平面的求解需要最大 化 2/w,即最 小化12w2,这样可转换成如下的二次规划问题:minw.b12w2,s.t.yi(wxi+b)1,i=1,2,l.(5)训练样本集为线性不可分时,需引入非负松驰变量 Ni,i=1,2,l,分类超平面的最优化问题为minw,b,N12w2+Cli=1Ni,s.t.yi(w xi+b)1-Ni,Ni 0,i=1,2,l.(6)其中 C 为惩罚参数,C越大表示对错误分类的惩罚越大.采用拉格朗日乘子法求解这个具有线性约束的二次规划问题,即maxA,Bminw,b,NLP=12w2+Cli=1Ni-li=1Aiyi(w xi+b)-1+N
11、i-li=1BiNi,s.t.0 Ai,0 Bi.(7)其中 Ai,Bi为拉格朗日乘子,由此得到5LP5w=0 w=li=1Aiyixi,(8)5 LP5b=0 li=1Aiyi=0,(9)5LP5 Ni=0 C-Ai-Bi=0.(10)将式(8)(10)代入式(7),得到对偶最优化问题maxALD=li=1Ai-12li=1lj=1AiAjyiyjxixj,s.t.0AiC,li=1Aiyi=0.(11)最优化求解得到的 Ai可能是:Ai=0;0 Ai C;Ai=C.后两者所对应的 xi为支持向量(supportvector,SV).由式(8)知只有支持向量对 w 有贡献,也就对最优超平面、
12、判别函数有贡献,所对应的学习方法称之为支持向量机.在支持向量中,所对应的 xi称为边界支持向量(boundary supportvector,BSV),实际上是错分的训练样本点;所对应的 xi称为标准支持向量(normal support vector,NSV).根据 Karush-Kuhn-Tucher 条件1(简 称KKT 条件)知,在最优点,拉格朗日乘子与约束的积522浙江大学学报(工学版)第 37 卷为 0,即Aiyi(wxi+b)-1+Ni=0,BiNi=0.(12)对于标准支持向量(0 Ai0,则由式(12)得到 Ni=0,因此,对于任一标准支持向量xi,满足yi(wxi+b)=1
13、,(13)从而计算参数 b 为b=yi-w xi=yi-xjSVAjyjxj xi,xi NSV.(14)为了使计算可靠,对所有标准支持向量分别计算 b的值,然后求平均,即b=1NNSVxiNSV(yi-xjSVAjyjxj xi).(15)式中:NNSV为标准支持向量数.由式(13)知,支持向量机就是满足式(3)等式要求的样本数据,支持向量如图 1 所示.1.2非线性情况训练集为非线性时,通过一非线性函数()将训练集数据 x 映射到一个高维线性特征空间,在这个维数可能为无穷大的线性空间中构造最优分类超平面,并得到分类器的判别函数.因此,在非线性情况下,分类超平面为w(x)+b=0;(16)判
14、别函数为y(x)=sign w(x)+b;(17)最优分类超平面问题描述为minw,b,N12w2+Cli=1Ni,s.t.yi(w(xi)+b)1-Ni,Ni 0,i=1,2,l.(18)类似于 1.1,得到对偶最优化问题maxALD=li=1Ai-12li=1lj=1AiAjyiyj(xi)(xj)=li=1Ai-12li=1lj=1AiAjyiyjK(xi,xj),s.t.0 Ai C,li=1Aiyi=0.(19)式中:K(xi,xj)=(xi)0)Rstr(f)Remp(f)+hln(2l/h+1)-ln(l/4)l,(22)其中 h 为 VC 维,对于线性分类器,满足2hw2r2+
15、1.(23)其中 r 为包络训练数据的最小球半径.机器学习过程不仅要使经验风险最小,还要使 VC 维尽量小,对未来样本才会有较好的泛化能力,这是结构风险最小化准则的基本思想.式(5)中的约束条件约束了w、b,使得经验误差为 0,同时最小化w2使 VC维最小,因此式(5)的最优化体现了结构风险最小化准则,具有较好的泛化能力.2)支持向量机方法本质上是一个非负的二次型优化问题,在理论上可以得到全局最优的解析解,因此 SVM 不存在局部最优化问题.3)SVM 的重要特征之一是解的稀疏性,即多数最优值 Ai为 0,只有少量的 Ai不为 0,也就是说只需少量样本(支持向量)就可构成最优分类器,这样有用的
16、样本数据大大压缩.4)对于式(12)的 KKT 条件,也可以写为(非线性情况)yi(w(xi)+b)1,Ai=0,yi(w(xi)+b)=1,0 Ai C,yi(w(xi)+b)1,Ai=C.(24)由于 KKT 条件是充要条件,利用上式可判别 A是否为最优.523第 5 期杜树新,等:模式识别中的支持向量机方法2支持向量机方法的主要研究内容2.1支持向量机新方法研究2.1.1M-SVM在 SVM 中,通过参数 C实行对错误分类的惩罚,但如何选择 C 并没有直观的解释.在 Schoblkoph 等人3提出的 M-SVM 方法中,优化问题为minw,b,N12w2-M Q+1lli=1Ni,s.
17、t.yi(w 0.(25)类似于 1.2,得到对偶形式为maxALD=-12li=1lj=1AiAjyiyjK(xi,xj),s.t.0 Ai 1/l,li=1Aiyi=0,li=1Ai M.(26)由 KKT 条件知,在最优点满足li=1Ai=M.(27)对于边界支持向量,Ai=1/l,因此对于 NBSV个边界支持向量有(NBSV/l)li=1Ai=M;而对于支持向量,Ai1/l,因此对于 NSV个支持向量有li=1AiNSV/l,即NSV/lv,因此有NBSV/lM NSV/l.(28)由式(28)知,M-SVM 中参数 M 的物理意义非常明确,l、M 表示BSV 数量的上限和 SV 数量
18、的下限.2.1.2LS-SVM在 Suykens 等人4提出的最小二乘支持向量机(LS-SVM)中,优化指标采用了平方项,从而将不等式约束转变成等式约束.最优化问题为minw,b,N12w2+12rli=1N2i,s.t.yi(w(wi)+b)=1-Ni.(29)可得到线性方程组0yTyQ+r-1I(l+1)(l+1)bA=0e.(30)式中:eRl是元素为 1 的向量;IRll为单位阵;A=A1,A2,AlTRl;y=y1,y2,ylTRl;Q=qijl l;qij=yiyjK(xi,xj).在 LS-SVM,将二次规划问题转变成线性方程组的求解,简化了计算复杂性.但由于每个样本数据对分类器
19、都有贡献,LS-SVM 失去了稀疏性这一 SVM 的优点.2.1.3W-SVM在第 1 节描述的支持向量机中,引入惩罚参数 C 实行对错误分类的惩罚.在实际应用中,某些重要样本正确分类的要求高,而某些样本正确分类的要求低,因此,在优化问题描述中,对每个采样点数据采用不同的惩罚系数,以得到更准确的分类,这种支持向量机称之为加权支持向量机(Weighted SVM,W-SVM).另外,不同类别的样本数量差异比较大时,存在着分类结果偏向于多样本数类别的问题5,这类问题的解决方法本质上也是W-SVM.W-SVM 的最优化问题描述为minw,b,N12w2+Cli=1siNi,s.t.yi(w(xi)+
20、b)1-Ni.Ni 0,i=1,2,l.(31)其中 si为加权系数.对偶最优化问题为maxALD=li=1Ai-12li=1lj=1AiAjyiyjK(xi,xj),s.t.0 Ai Csi,li=1Aiyi=0.(32)W-SVM 需要合理选择 si,文献 6认为在样本集中第 1 个样本的重要性最低,si设定为小于 1 的值,最后一个样本的重要性最高,si设定为 1,采用线性插值方法得到其他样本点的加权系数.文献5 针对M-SVM 提出了 W-SVM 方法,si只有 2 个值 s+和s-,s+表示正类对应的加权系数,s-表示负类对应的加权系数,根据二类别中每类样本的数量来确定 s+和 s-
21、的值,即 s+s-=l-l+,其中 l+、l-分别表示正类、负类的样本数.由此得到的SVM 避免了常规M-SVM 在各类别数量不均衡时引起的分类结果会偏向于数量较多一类的问题.Suykens 等人7针对LS-SVM 提出了 W-SVM.2.1.4DirectSVM前面所讨论的支持向量机,都需要采用二次规划或线性方程组求解最优化问题,而 Roobaert8提出的直接支持向量机(DirectSVM)采用了启发式搜索方法在所有训练样本集中搜索支持向量,从而避免了二次规划最优求解.启发规则主要包括:距离最近的 2 个不同类别的数据点有可能是支持向量;最大偏离最优超平面的数据点,也就是错误分类最严重的数
22、据点有可能是支持向524浙江大学学报(工学版)第 37 卷量.根据这两条启发式规则搜索支持向量及最优超平面.该方法具有直观、求解速度快等优点.2.2海量样本数据的优化算法研究采用支持向量机方法求解最优分类问题,其本质上是一个二次规划问题.对于 l 个样本的数据集,这个二次规划包括了 l 个优化变量、2l 个线性不等式约束和 1 个等式约束,同时涉及 ll 维核函数矩阵的计算及矩阵与向量的相乘运算.样本数据较小时,可以通过解析法、数值优化算法求解,但对于海量样本数据(样本数在 105106以上),常规的数值优化算法及软件已无法实现二次规划问题的求解.运行时间和计算内存是海量样本数据求解SVM 的
23、主要瓶颈.针对海量样本数据如何减少二次规划求解过程的计算时间和内存一直是 SVM 的研究热点,目前主要有以下两种方法:2.2.1分块法由支持向量机方法得到的判别函数只与支持向量有关,与其他样本数据无关,也就是说,如果只取支持向量作为训练样本,得到的判别函数与所有样本作为训练样本得到的判别函数是一致的.分块法(chunking method)就是基于这种思想而提出的用于求解海量样本数据的优化算法,即将海量样本数据集分成若干个小规模的样本集,按顺序逐个对各样本子集进行训练学习.在对每个样本子集学习时,只需要根据上个样本子集得到的支持向量以及当前的样本子集进行新的最优化计算.后来提出的增量学习方法(
24、incremental learning)9本质上是分块法.分块法求解规模随着支持向量数量的增加而增加,因此在支持向量数目非常大时,优化计算仍难以实现.2.2.2分解法分解法(decomposition method)也是将大规模的二次规划问题转化成一系列小规模的二次规划求解.分解法是选择q 个 Ai作为优化变量(q为固定),而其他 Ai的值固定不变,因此分解法的子问题求解不像分块法那样求解规模会随着支持向量数量的增加而增加,而是固定不变的.分解的基本思想是将样本数据的序号集1,2,l分为工作集 B 和非工作集 N,工作集 B 的大小为 q,这样将大规模的二次规划问题转化成只有 q 个优化变量
25、、2q 个线性不等式约束、1 个等式约束的小规模二次规划问题.分解法的关键问题在每次迭代过程中如何选择工作集 B 以及算法的收敛性.Osuna 等人10根据KKT 条件背离程度选择工作集,而 Joachims11、Laskov12、Hsu 等人13采用可行方向法选择工作集,这些分解方法的收敛性已得到了证明14.Platt15提出的顺序优化算法(sequential mini-mal optimization,SMO)将工作集 B 大小 q限定为2,这样在进行小规模二次规划求解时用解析法直接计算,而不需要采用数值优化算法计算.Keerthi 等人16证明了 SMO 算法的收敛性.2.3支持向量机
26、中模型选择研究采用支持向量机求解模式识别问题需要选择一核函数.尽管只要满足 Merce 条件的函数在理论上都可选为核函数,但不同的核函数,其分类器的性能完全不同.因此,针对某一特定问题,选择什么样的核函数是至关重要的.另一方面,即使选择了某一类核函数,其相应的参数(如多项式的阶次、径向基函数的宽度)也有如何选择的问题.另外,支持向量机中二次规划参数如 C 参数、M 参数(M-SVM)、r 参数(LS-SVM)对分类器的泛化能力也有影响.核函数类别选择、核函数参数选择、二次规划参数选择统称为模型选择.尽管模型选择方面的研究成果不多,但作为支持向量机的重要研究内容已日益受到研究者的重视.Ayat
27、等人17认为核函数在 0 点附近应该有较快的下降,在无穷远点仍有适当的下降而不应为 0,由此构造了一个新的核函数 KMOD,实验表明KMOD 的推广能力高于径向基核函数.Amari 等人18通过增加不同模式间的边界距离来增加分类器的可分性,针对径向基函数,给出了动态修正径向基函数的算法.Chapelle 等人19针对不同模型参数得到的验证误差,拟合出一条关于模型参数与验证误差的曲线.根据拟合曲线的梯度修正模型参数.Baesens 等人20针对 LS-SVM 方法,采用粗细网格搜索算法优化模型参数.2.4支持向量机的多类别分类方法研究支持向量机方法是针对二类别的分类而提出的,如何将二类别分类方法
28、扩展到多类别分类是支持向量机研究的重要内容之一.假定多类别分类问题有 k 个类别 S=1,2,k,训练样本为(xi,yi),i=1,2,l,其中 yiS.主要有以下 4 种方法实现SVM 的多类别分类.2.4.1逐一鉴别方法逐一鉴别方法(one-a-gainst-the-rest method)21是构造 k 个 SVM 子分类器.在构造第 j 个 SVM 子分类器时,将属于第 j类别的样本数据标记为正类,不属于 j 类别的样本数据标记为负类.测试时,对测试数据分别计算各个子分类器的判别函数值,并选取判别函数值最大所对应的类别为测试数据的类别.525第 5 期杜树新,等:模式识别中的支持向量机
29、方法2.4.2一一区分法一一区分法(one-against-onemethod)21分别选取 2 个不同类别构成一个 SVM子分类器,这样共有 k(k-1)/2 个 SVM 子分类器.在构造类别 i 和类别 j 的 SVM 子分类器时,样本数据集选取属于类别 i、类别 j 的样本数据作为训练样本数据,并将属于类别 i 的数据标记为正,将属于类别 j 的数据标记为负.测试时,将测试数据对 k(k-1)/2 个 SVM 子分类器分别进行测试,并累计各类别的得分,选择得分最高者所对应的类别为测试数据的类别.一一区分法存在不可区分区域.2.4.3M-ary 分类方法在 Sebald 等人22提出的M-
30、ary 分类方法中,充分运用了 SVM 的二类别分类特点,将多类别分类的各个类别重新组合,构成logk2个 SVM 子分类器.以 4 个类别1,2,3,4为例,构造log42=2 个 SVM 子分类器.对于第 1 个SVM 子分类器,类别 2、4所对应的样本数据全标记为正,类别 1、3 所对应的样本数据全标记为负.对于第 2 个 SVM 子分类器,类别 2、3 所对应的样本数据标记为正,类别 1、4 所对应的样本数据标记为负.由第 1 节的方法分别求得这 2 个 SVM 子分类器.测试时,根据这 2 个子分类器的结果可得到测试样本的类别.例如针对某一测试数据 x,第 1、2SVM 子分类器结果
31、分别为+1、-1,则由第 1 个子分类器可知,x 属于类别 2 或类别4,由第2 个子分类器可知,x 属于类别1 或类别4,因此 x 属于类别4.M-ary 分类方法很巧妙地将多类别分类问题转变为数量较少的二类别 SVM 分类器,使训练计算量、测试计算量大大减少,是一种很好的多类别分类方法.2.4.4一次性求解方法上面描述的多类别分类方法都是通过一系列二类别子分类器的求解得到,一些 SVM 研究者提出一次性求解多类别分类问题的方法2,其基本思想类似于逐一鉴别法需要构造k 个二类别 SVM 分类器,但不同的是一次性求解方法是由 1 个优化问题同时求解k 个 SVM 分类器.3实例:污水处理过程状
32、态监控污水处理过程是一个包含许多复杂处理工艺的生化过程,涉及到众多的机械设备、电气设备、自动化仪表等,同时由于进水流量、成分及浓度剧烈波动,污水处理过程处于非稳定状态,因此如何监控污水处理过程,即如何通过各处理阶段的可测信息自动监控处理过程的运行状态,是污水处理厂运行与管理的关键.对污水处理过程运行状态的监控本质上是多类别分类问题.这一节,以污水处理过程运行状态的监控作为支持向量机应用的一个例子简单地加以描述.实验数据来自 UCI 机器学习数据库(http:/www.ics.uci.edu/mlearn/MLRrepos-itory.htm),这些数据都是在某一污水处理厂实测得到的.表 16
33、个类别的样本组成Tab.1Sample of each class for 6-class classification类别123456样本数33211665734整个数据集有 527 个样本,每个样本维数为 38(即 38 个测量变量),共有 6 个类别,表 1 给出了每个类别的样本数,表中类别 1 为正常状态、类别 2 为性能超过平均值的正常状态、类别 3 为低进水流量的正常状态、类别 4 为二沉池故障、类别 5 为暴雨引起的非正常状态、类别 6 为固体浓度过载引起的非正常状态.全部样本分成两部分,60%用于训练,40%用于测试.采用支持向量机分类时,核函数选为径向基函数,K(xi,x)=
34、exp(-x-xi2/R2),采用一一区分法实行多类别分类,表 2 给出了采用不同支持向量机方法得到的分类精度,为加以区别,标准支持向量机方法记为 C-SVM.表 2不同SVM方法的精度比较Tab.2Comparison of accuracy with different SVM样本C-SVM/%M-SVM/%W-SVM/%测试数据7577.6376.32训练数据99.1210094.73总体数据89.4791.0587.374结语本文针对模式识别问题描述了支持向量机的基本方法及当前支持向量机研究中的主要内容,侧重讨论了支持向量机的新方法、降低训练时间和减少计算复杂性的训练算法、提高泛化能力
35、的模型选择方法及用于多类别的 SVM 分类方法.作为新理论和新技术,支持向量机还有很多尚未解决或尚未充分解决的问题,尤其在应用方面的研究.参考文献(References):1 VAPNIK V N.The nature of statistical learning M.Berlin:Springer,1995.2 VAPNIK V N.Statistical learning theory M.NewYork:John Wiley&Sons,1998.3 SCHobLKOPH B,SMOLA A J,BARTLETT P L.Newsupport vector algorithmsJ.Neu
36、ral Computation,526浙江大学学报(工学版)第 37 卷2000,12(5):1207-1245.4 SUYKENS J A K,VANDEWALE J.Least squaressupport vector machine classifiers J.Neural Process-ing Letters,1999,9(3):293-300.5 CHEW H-G,BOGNER R E,LIM C-C,Dual v-supportvector machine with error rate and training size beasingA.Proceedings of 200
37、1 IEEE Int Conf on Acoustics,Speech,and Signal ProcessingC.Salt Lake City,USA:IEEE,2001.1269-1272.6 LIN C-F,WANG S-D.Fuzzy support vector machinesJ.IEEE Trans on Neural Networks,2002,13(2):464-471.7 SUYKENS J A K,BRANBANTER J D,LUKAS L,etal.Weighted least squares support vector machines:robustness a
38、nd spare approximationJ.Neurocomput-ing,2002,48(1):85-105.8 ROOBAERT D.DirectSVM:A fast and simple supportvector machine perception A.Proceedings of IEEESignal Processing Society WorkshopC.Sydney,Aus-tralia:IEEE,2000.356-365.9 DOMENICONI C.GUNOPULOS D.Incremental sup-port vector machine construction
39、 A.Proceedings ofIEEE Int Conf on Data MiningC.San Jose,USA:IEEE,2001.589-592.10 OSUNA E,FREUND R,GIROSI F.An improvedtraining algorithm for support vector machine A.Proceedings of1997IEEE Workshop on Neural Net-works for Signal Processing C.Amelea Island,FL:IEEE,1997.276-285.11JOACHIMS T.Making lar
40、ge-scale SVM learningpracticalA.SCHobLKOPH B,Advances in KernelMethod-Support VectorLearning C.Cambridge,MA:MIT Press,1999.169-184.12LASKOV P.Feasible direction decomposition algo-rithms for training support vector machinesJ.Ma-chine Learning,2002,46(1):315-349.13 HSU C-W,LIN C-J.A simple decomposit
41、ion methodfor support vector machinesJ.Machine Learning,2002,46(1):291-314.14LIN C-J.On the convergence of the decompositionmethod for support vector machines J.IEEE Transon Neural Networks,2001,12(6):1288-1298.15PLATT J C.Fast training of support vector machinesusingsequentialminimaloptimizationA.S
42、CHobLKOPH B,et al eds.Advances in KernelMethod-Support Vector Learning C.Cambridge,MA:MIT Press,1999.185-208.16 KEERTHI S S,GILBERT E G.Convergence of ageneralized SMO algorithm for SVM classifier designJ.Machine Learning,2002,46(1):351-360.17AYAT N E,CHERIET M,REMAKI L,et al.KMOD-a new support vect
43、or machine kernel withmoderate decreasing for pattern recognition,applica-tion to digit image recognitionA.Proceedings of6thInt Conf on Document Analysis and RecognitionC.Seattle,USA:IEEE,2001.1215-1211.18AMARI S-I,WU S.An information-geometricalmethod for improving the performance of support vec-to
44、r machine classifierA.Proceedings of9thInt confon Artificial neural networks C.Edinburgh,UK:IEEE,1999.85-90.19CHAPELLE O,VAPNIK V,BACSQUEST O,et al.Choosing multiple parameters for support vector ma-chines J.Machine Learning,2002,46(1):131-159.20BAESENS B,VIAENE S,GESTEL T V,et al.Anempirical assess
45、ment for kernel type performance forleast squares support vector machine classifiers A.Proceedings of4thInt Conf on Knowledge-based Intel-ligent Engineering Systems and Allied TechnologiesC.Brighton,UK:IEEE,2000.313-316.21 HSU C-W,LIN C-J.A comparison of methods formulticlass support vector machinesJ.IEEE Transon Neural Networks,2002,13(2):415-425.22 SEBALD D J,BUCHLEW J A.Support vector ma-chines and the multiple hypothesis test problem J.IEEE Trans on Signal Processing,2001,49(11):2865-2872.527第 5 期杜树新,等:模式识别中的支持向量机方法