《支持向量机新模型及其参数特性研究.pdf》由会员分享，可在线阅读，更多相关《支持向量机新模型及其参数特性研究.pdf（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第2 7 卷第4 期计算机仿真2 0 1 0 年4 月文章编号：1 0 0 6 9 3 4 8(2 0 1 0)0 4 0 1 8 8 0 4支持向量机新模型及其参数特性研究谢长菊(佛山市高明区广播电视大学，广东佛山5 2 8 5 0 0)摘要：支持向量机C S V M 及1，一S V M 是目前两种最为成熟的模型，但是从形式到算法、从参数特性到参数含义，它们都相互不同，这给人们的选择带来不便。为了将这两种S V M 模型统一起来，提出一种新的模型c V S V M，并依据统计学习理论，研究它的解的特性。给出了新模型解的完备性条件，找出它的解及其相应的算法，并指出了c 既是边界支持向量个数的上
2、界。又是支持向量总数的下界。参数设置说明，新模型完全可以实现旧模型的所有功能，而新的算法更加方便诸如文本自动分类等领域的使用。关键词：模式识别；统计学习理论；支持向量机中圈分类号：T P l 8 1文献标识码：AR e s e a r c ho naN e wS V Ma n dI t SP a r a m e t e r sX I EC h a n g i u(G a oM i n gR a d i o T e l e v i s i o nU n i v e r s i t y，F e s h a nG u a n g d o n g5 2 8 5 0 0，C h i n a)A B S
3、T R A C T：I nt h ed e v e l o p m e n to fS u p p o r tV e c t o rM a c h i n e s(S V M s)，d i f f e r e n ta d v a n t a g e sh a v eb e e np u ti nC S V Ma n d1 J S V M，w h i c ha r et w oo ft h em o s tr e f i n e dm o d e l s B u tt h ef o r m so ft h e i rf o r m u l a t i o n s，a sw e l la st
4、h e i ra l g o r i t h m sa n dp a r a m e t e r s a r ed i f f e r e n t T h i sm a k e st h e mh a r dt ob ec h o s e n I no r d e rt ou n i f yt h e s et w ok i n d so fS V Mf o r m u l a t i o n s，t h i sp a p e rp r o p o s e san e wk i n do fS V M，a n d，s t u d i e si t ss o l u t i o nc h a r
5、 a c t e r i s t i cb a s e do nt h es t a t i s t i c a ll e a r n i n gt h e o r y T h ec o m p l e t e n e s so fC v S V M Ss o l u t i o ni sp r o v e d a n dt h es o l u t i o na n dt h ea l g o r i t h mo fc V S V Ma 阳f o u n d e dO U t T h i sp a p e rp o i n t so u tt h a t Ci sb o t ha l lu
6、 p p e rb o u n do ft h en u m b e ro fb o u n d e ds u p p o r tv e c t o r sa n dal o w e rb o u n do ft h en u m b e ro fs u p p o r tv e c t o r s P a r a m e t e rs e t t i n g ss h o wt h a tC u S V Mc a nr e a l i z ea l lt h ef e a t u r e so ft h eo l df o r m u l a t i o n s A n dt h en e
7、wa l g o r i t h mi sm o r ec o n v e n i e n tf o rU s e l 葛i nm a n yp a t t e r nr e c o g n i t i o na r e a s s u c h 鹊a u t o m a t i ct e x tc l a s s i f i e a t i o n K E Y W O R D S：P a t t e mr e c o g n i t i o n；S t a t i s t i c a ll e a r n i n gt h e o r y；S u p p o r tv e c t o rm a
8、 c h i n e s(S V M)l引言统计学习理论从七十年代末诞生，到九十年代之前都处在初级研究和理论准备阶段，近十年才逐渐得到莺视，并产生了支持向量机(S V M)。S V M 是将统计学习理论付诸实现的有效的机器学习方法。目前，S V M 算法在模式识别、入侵检测瞪、回归估计、概率密度函数估计等方面都有应用。例如，在模式识别方面，对于文本的自动分类H 1、手写数字识别、语音识别、人脸图像识别等问题，S V M 算法在精度上已经超过传统的学习算法或与之不相上下。支持向量机尽管诞生的历史不长，但是已经取得的成果却不少。在模型研究方面，产生了标准支持向量机c 一收稿日期：2 0 0 9 1
9、 2 2 0 修回日期：2 0 1 0 一0 1 1 81 8 8 一S V M【l，2J，以及变形的t，一S V M【3 系列等。针对不同的需要，以及对S V M 研究的不断深入，新的模型及算法还在不断产生。作为传统的两种模型，C S V M 中参数没有确切的意义而且选取困难，而1，一S V M 算法复杂，不利于解决大规模识别问题。本文试图找到一种更好的新模型，这种新模型不但拥有自己丰富的行为特征，而且能够将两种传统模型统一到一个新的体系里面，使得将来在理论研究和算法实现上都能把它们统一起来进行考虑。2 两种著名的S V M 模型2 1C S V M 模型C S V M 就是标准支持向量机，
10、其建模思想对整个支持向量机的发展起到基石的作用。对于训练样本毛彤，i=1，Z，用，；=1，一l 作为其正负类别的标示，采用万方数据模型：。i n j l n。扣7+c 基。f t 6 矿山“刍磊8 t y l(珊7 币()+b)1 一直(1)蠡0，i=l，Z对支持向量机进行训练。f。叫做松驰变量，它出现在约束条件中，体现了一种妥协。当训练样本不是严格线性可分的时候，适当的分类错误是允许的。但是这种错误必须适当地给予惩罚。这种严密的模型思想反映到目标函数上，就是c。其中C 为惩罚参数，它是一个大于0 的常数，是算法中唯一可以调节的参数。C 的大小反映了对错误分类惩罚的严厉程度。2 2v S V
11、M 模型 一S V M 3 使用一个新的参数，来控制支持向量的数目和误差。其初始问题为：四粤。扣珊一擎+窆磊0 器尹珊一擎+丁刍毛s t，i(7 咖(毛)+6 p 一(2)f。0i=1，Zp 0比较起来，它与C S V M 区别较大。这里不含参数c，但是却有另外一个参数，而这个参数 的含义更加明显。对于Z 个训练样本，若记被错误分类的样本数为屁，则l，R l。若支持向量的个数为S，则v S l。另外(2)式还多出来了一个变量p，这个变量的几何意义可以容易地理解：当f=0 时，从约束条件知道，两类样本点以T 户的间隔被分开。I|埘|3 一类新的S 模型及其求解这里，提出一种更加一般化的支持向量机
12、：1l删2 扣一叩+CZ 基职2 矿嘞一叩+刍磊s t，(埘7 咖()4-6)p 一(3)p 0，0，f=l，f把模型(3)叫做G U S V M，它比C S V M 和t 一S V N 更加一般化，但既有其特殊性，又有其独特的优越性。3 1C，一$V M 包含C S、礓I 和v 一$V M所谓更加一般化，是指从形式上看，模型(3)是C S V M、t，一s V M 的综合体。当=0、p=1 时它是C S V M；当C=1 l 时，它是t，一S V N。3 2C v S v M 求解从形式上考虑，c S V l V I 和t，一S V M 属于岛一S V M。但是从其解析特性方面考虑，考察一般
13、化的C、1，时其行为特征则要丰富得多。需要考虑的问题是，初始问题(3)究竟有什么样的解的具体表现形式，其自身特定的算法究竟如何，它的参数具有什么样的特性?求解(3)，是通过其对偶问题r a i n 知7 伽s t，7 a=0，(4)0 a C e fe。a；毒口来实现的。设(埘，6，p，f)是原始问题(3)关于(加，6)的最优解，则(3)的对偶问题(4)必有最优解a 使得幻=a i，；(5)一、定理l：设a 是对偶问题(4)的任意一个最优解，若s+=iI 口i(0，C)，扎=1 咖，s 一=ila iE(0，C)，扎=一l 咖则原始问题(3)关于b 的最优解是唯一的，而且可以表示为：6=一吖；
14、j I(4-毛)其中，r s+，s E S 一。证明：若a 是对偶问题(4)的最优解，则满足K K T 条件：等一骞毗北i)：0，(6)等一骞毗=0(7)等=C 飞一晟=0，(8)面O L=一t，+骞仅t 一6=0，(9)展=0，(1 0)a；(Y A w 7 币(毛)+6)一p+)=0，(1 1)劫=0，(1 2)a i 0 弗0,8 0，i=l，Z(1 3)由假设，q，0，a，0，y，=l，y。=一l，再根据(1 1)得：(7 咖(舅，)+6)一p+靠=0，一(埘7 咖(茗，)+6)一p+=0，又由于a，C，口，0，令W=0，=O，岛=0，=印，b=p，则它们满足原始问题(3)的约束条件，
15、也就是说(3)可行。而(3)的目标函数等于一p+0 印=一0 和。当P 趋向于正无穷大时，目标函数值无下界，从而没有最优解。原因出在什么地方呢?考察对偶问题发现，此时(4)根本就没有可行解。约束条件：a 1+a 2 一n 3=0a I+嘞10 a l 毗，a 3 0 3不可能得到满足。从而算法5 2 2 无法正常执行。那么，在什么样情况下，能够保证(4)有可行解?下面的定理是一般化的规律。定理2：对偶问题(4)有可行解的充分必要条件是：t，t，一(1 4)其中l，一=2 C m i n(f+，f)(1 5)而z、z 一分别为正类和负类样本的数目。证明：如果(3)有可行解a，据(4)y r a=
16、0，0 n C e，e 7 a u(1 6)fl可得t，e 7 a=哦=2=2 从而t，t，一。1 2 1：y l。+I：，i5 一I另一方面，如果t，t，一，分两种情况考虑：1)”0。此时z 和z 一都大于0，令：f 旁，当Y；=1，=r+【手，当Y i=一1-1 9 0-则a 满足(4)的约束条件，即它是(4)的町行解。2)t，=0。则d=0 就是可行解。舟从上述定理可以看出，是u 的上界，决定了t，可以取值的范围。它与c 成正比。在训练集中，正类与负类数目越是不均衡，t，一越小。当Z+一一时，t，一=c。对于C v S V M 来说，1 0 具有奖励的含义，而c 则是对错误分类的惩罚。两
17、者结合，实现最优化分割平面的寻找。普遍意义上，S V M 能够提供分类错误以及支持向量个数的界，那么，对于C v S V M 来说，其具体的界究竟如何?定理3：设R 是边界支持向量的个数，而s 是支持向量的总数，则u c 既是R 的上界，又是s 的下界。即：R cS。证明：对于C v S V M 原始问题(1)，其对应的拉格朗日函数是：1JjL=扣7 t 7 一叩+c 直一(a；(，；埘7 咖(气)+6)一p+磊)+卢i 亭。)一劫其中，a；O 猡；0、6 O 都是拉格朗日乘子。它在(1)的最优解处的偏导数必然为O，即兰=伽一a l Y；咖(茗)=0(1 7)a 彬鲁”、丝O b 一骞“。儿=
18、0(1 8)鬲O L=C 一哦一晟=0(1 9)i O L=一t，+口；一6=0(2 0)石一刍-62，设a 为对偶问题(4)的最优解，则a 必然满足如下的K K T 条件(对偶变量与不等式约束的乘积为0)：a i(，。埘7 咖(毪)+b)一P+f i)=0(2 1)鼠磊=0(2 2)劫=0(2 3)对于已经训练好的S V M，其间隔宽度不应该为O，即P 0。此时，由(2 3)知道，占=O。代入(2 0)可得l(2 4)=l所谓边界支持向量，就是使毒 0 的向量。根据K K T 条件(2 2)，当靠 o 时，区=0，代入(1 9)式得啦=C。所以t，=a i R C(2 5)R 詈(2 6)另
19、外，作为支持向量，相应的啦 0，再结合约束条件啦C，得：u2；a；S C，S 詈(2 7)注意到，这里R 是边界支持向量的个数，从而也是被错误训练的样本个数。万方数据5 结论支持向量机c U S V M，融合了两种传统的S V M，同时又具有其自身的特性和求解算法。在算法实现执行过程中，不当的参数选择，必然会导致算法执行的异常。当t，。=2 C m i n(Z+，Z)时，C U S V M 的对偶问题(4)没有可行解，从而原始问题(3)无最优解。除了这种情况，只要使用适当的参数选择，即可训练出优秀的支持向量机。此时，c 既是边界支持向量的个数的上界，同时又是支持向量的总数的下界。二十世纪九十年
20、代以来，统计学习理论逐步成为一个有力的理论分析和算法实现的工具，广泛应用于模式识别和回归估计方面。本文的工作，是对统计学习理论的丰富和补充。参考文献：I VV a p n i k T h en a t u r eo fs t a t i s t i c a ll e a r n i n gt h e o z y M S p r i n g e r一V e r l a g，N e wY o r k 1 9 9 8 2 E d g a rO s a r m，R o b e r tF r e u n d，F e d e r i c oG i r o s i T r a i n i n gs u p
21、p o r tv e c t o rm a c h i n e s：a na p p l i c a t i o nt of a c ed e t e c t i o n c I n：I E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e mR e c o g n i t i o n，P u e r t oB i c o，U S A。1 9 9 7 1 3 0 一1 3 6 3 BS c h o l k o p f，e ta l，N e ws u p p o r tv e c t o ra l g o r i
22、t h m s J N e u r a lC o m p u t a t i o n，2 0 0 0，1 2(5)：1 2 0 7 1 2 4 5 4 巩知乐，张德贤，胡明明一种改进的支持向量机的文本分类算法 J 计算机仿真，2 0 0 9，2 6(7)：1 6 4 1 6 8 5 朱芳芳，李志华，王士同改进的W S V M 入侵检测方法 J 计算机仿真，2 0 0 8，2 5(1 1)：1 5 2 0 作者简介谢长菊(1 9 6 5 一)，男(仫佬族)，广西河池市人。硬E 研究生，讲师，主要研究领域为模式识别与人工智能。(上接第1 8 7 页)分类精度，图4C P S O S V M P S
23、 O S V M。G A-S V M，B P N N 分类精度比较5 结论本文在粒子群优化算法中引入混沌思想，提出了基于混沌粒子群优化算法的S V M 分类器参数优化方法，利用混沌变量这种特点在解空间内进行优化搜索，提高种群的多样性和粒子搜索的遍历性，克服了P S O 的局部极值的缺陷，提高了算法的收敛速度和精度，从而更好优化S V M 分类器参数。并以网络入侵检测为对象研究混沌粒子群优化S V M 分类器的分类性能。实验结果表明，基于混沌粒子群优化的S V M分类器比遗传算法优化的S V M 分类器、粒子群优化的S V M分类器以及B P 神经网络有着更高的分类精度。参考文献：1 周丽萍，温
24、娟娟，徐红炉基于神经网络的交通事故仿真预测方法 J 计算机仿真，2 0 0 9，2 6(5)：2 9 9 3 0 2 2 L o nD e r C h y u a n，L i uC h i a n g L u n g，L i nC h i h L i n M e s s a g ee s t i m a t i o nf o ru n i v e r s a ls t e g a n a l y s i su s i I l gm u l t i c l a s s i f i c a t i o ns u p-p o r tv e c t o rm a c h i n e J C o m p
25、 u t e rS t a n d a r d s I n t e r f a c e s，2 0 0 9，3 l(2)：4 2 0 4 2 7 3 H u a n gC h e n g L u n g，W a n gC h i e h J e n AG A b a s e df e a t u r es e l e c t i o na n dp a r a n m t e mo p t i m i z a t i o n f o rs u p p o r tv e c t o rm a c h i n e s J E x p e r tS y s t,日mw i t hA p p l i
26、c a t i o n s，2 0 0 6，3 1(2)：2 3 1 2 4 0 4 A n d e r s o nA l v a r e n g ad eM o u r aM e n e s e s，M a r c e l oD o m e l l a sM a c h a-d o，R o b e r t oS c h i r r a P a r t i c l eS w a r mO p t i m i z a t i o na p p l i e dt ot h en u c l e a rr e l o a dp r o b l e mo faP r e s s u r i z e d
27、W a t e rR e a c t o r J P r o-g r e s si nN u c l e a rE n e l g y，2 0 0 9，5 1(2)：3 1 9 3 2 6 5 SS u r e s h，PBS u j i t，AKB a o P a r t i c l ew&r l no p t i m i z a t i o na p-p r o a c hf o rm u l t i o b j e c t i v ec o m p o s i t eb o x b e a md e s i g n J C o m p o s i t eS t r u c t u r e
28、 s，2 0 0 7。8 1(4)：5 9 8 6 0 5 6 伍铁斌，成运，周桃云，岳舟基于混沌遗传算法的P I D 参数优化 J 计算机仿真，2 0 0 9，2 6(5)：2 0 2 2 0 5 7 柴晨阳，孙星明，吴志斌，智云生基于神经网络集成的入侵检测研究 J 计算机应用，2 0 0 7，2 7(6)：1 3 6 3 1 3 6 7 作者简介】李冬萍(1 9 7 1 1 2 一)，女(彝族)，云南昆明人，硕上，讲师，主要研究方向：数据挖掘。一1 9 l 一万方数据支持向量机新模型及其参数特性研究支持向量机新模型及其参数特性研究作者：谢长菊，XIE Chang-ju作者单位：佛山市高明区
29、广播电视大学,广东,佛山,528500刊名：计算机仿真英文刊名：COMPUTER SIMULATION年，卷(期)：2010,27(4)参考文献(5条)参考文献(5条)1.朱芳芳;李志华;王士同 改进的WSVM入侵检测方法期刊论文-计算机仿真 2008(11)2.巩知乐;张德贤;胡明明 一种改进的支持向量机的文本分类算法期刊论文-计算机仿真 2009(07)3.B Scholkopf New support vector algorithms外文期刊 2000(05)4.Edgar Oanna;Robert Freund;Federico Girosi Training support vector machines:an application to facedetection 19975.V Vapnik The nature of statistical learning theory 1998 本文链接：http:/