《支持向量机在模式识别中的应用.pdf》由会员分享，可在线阅读，更多相关《支持向量机在模式识别中的应用.pdf（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、电讯技术 2006年第4期基金项目论文FOUNDATI ON SUPPORTED PROJECT文章编号:1001-893X(2006)04-0009-04支持向量机在模式识别中的应用3沈明华,肖 立,王飞行(国防科技大学 电子科学与工程学院,长沙410073)摘 要:针对传统神经网络存在网络结构难于确定、过学习以及局部极小等问题,研究了基于支持向量机(SVM)的模式识别问题。通过对棋盘这种典型非线性二值问题的分类研究,分析了支持向量机的分类与泛化能力,支持向量机在分类和泛化能力方面远远优于传统神经网络。最后将支持向量机用于对两类飞机目标的分类识别,通过多组蒙特卡罗试验,获得了较好的识别结果。
2、支持向量机在目标识别中有巨大潜力和广阔前景。关键词:模式识别;支持向量机;径向基函数;泛化能力;目标识别中图分类号:TN957.5 文献标识码:AApplication of Support VectorMachi ne(SV M)i n Pattern RecognitionSHEN M ing-hua,XIAO Li,WANG Fei-xing(School of Electronic Science and Engineering,NationalUniversityofDefence Technology,Changsha 410073,China)Abstract:Aiming at
3、 the problems such as difficult deter mination of net structure,over fitting and localminimization of traditional neural networks,the support vectormachine(SVM)applied to pattern recogni2tion is studied.By investigating the chessboard classification,which is typical of nonlinear two-valueproblem,the
4、 generalization ability of SVM is analyzed.SVM ismore powerful than traditional neural net2work in the aspect of classification and generalization.Finally two kinds of airplanes are recognized basedon SVM,with manyMonte-Carlo experiments good classification results are achieved.SVM has huge po2tenti
5、als and good prospect in the area of target recognition.Key words:pattern recognition;support vectormachine(SVM);range profiles;generalization ability;tar2get recognition1 引 言近年来,神经网络在模式识别、图像处理、函数逼近等方面得到广泛研究和应用,但是传统神经网络在实际应用中存在网络结构难于确定、过学习或欠学习以及局部极小等问题。20世纪90年代中期,Vapnik提出的支持向量机(SVM)以其结构简单、具有全局最优性和较好
6、的泛化能力等优点成为机器学习领域最有影响的成果之一1。支持向量机克服了传统神经网络的以上不足,在模式识别、图像处理、回归分析等方面得到了广泛应用。这一理论基础坚实、数学推导严密,在解决小样本、非线性以及高维模式识别问题中显示了无法比拟的优越性。针对模式识别问题,本文研究了支持向量机的分类性能和泛化能力,通过大量实验验证了支持向量机在模式识别中良好的分类和泛化能力。93收稿日期:2005-12-14;修回日期:2006-04-04基金项目:国家自然科学基金资助项目(60572138)电讯技术 2006年第4期基金项目论文FOUNDATI ON SUPPORTED PROJECT2 支持向量机基本
7、理论机器学习是人工智能重要的应用领域,现有机器学习方法的重要理论基础是统计学,传统统计学是研究样本数目趋于无穷大时的渐进理论,但在实际问题中,样本数目常常有限,甚至是小样本,因此基于大数定律的传统统计方法难以较好发挥作用,导致一些理论上优秀的学习方法在实际应用中不能达到理想效果。Vapnik等人提出的统计学习理论(SLT)是一种专门研究小样本的理论,避免了人工神经网络等方法的网络结构难于确定、过学习和欠学习以及局部极小等问题,被认为是目前针对小样本的分类、回归等问题的最佳理论2。SVM是通过样本在原空间或映射到高维特征空间中构造最优分类超平面,将给定的属于两个不同类别的样本分开,构造超平面的依
8、据是两类样本与超平面的距离最大化3,4。在线性可分的情况下,设样本集中所有向量xi(i=1,2,n)均满足yi(wxi)+b)1,由于支持向量之间的距离是2/w,求最大距离等价于求 w、w2或者 w2/2最小,构造最优超平面的问题转化为:(1)(w)=w2/2最小;(2)yi(wxi)+b)1是其约束条件。为求解上式,引入Lagrange函数:L(w,b,)=12w2-ni=1i yi(wxi)+b-1(1)其中,i0是Lagrange系数,这个优化问题的解是由Lagrange泛函鞍点给出,为此将Lagrange函数分别对w和b求偏微分并令它们等于0,可得到问题的约束条件和对偶形式:ni=1y
9、ii=0,i0,i=1,2,n(2)Q()=ni=1i-12ni,j=1ijyiyj(xixj)(3)这是一个受不等式约束的凸二次优化问题,存在唯一解,其中w=nj=1yiixi。根据KKT补充条件,这个优化问题的解必须满足:i yi(wx)+b-1=0(4)因此在所有 i中,只有一部分(通常很少一部分)不为零,这些样本被称为支持向量,对应于满足yi(wx)+b=1的点,也就是距最优分类超平面最近的点,对应图1中的x1、x2、x3。图1 最优划分超平面示意图 训练集的最优分类判别函数可以表示为f(x)=signmi=1yii(xxi)-b(5)当样本线性不可分的情况下,通过引入非负松弛变量i,
10、公式(1)、(2)中的条件转化为(w)=w2/2+Cli=1iyi(wxi)+b)1-i(6)相应的对偶优化中的约束条件(式(2)变为C i0,其它关系不变化。这里C表示惩罚因子,可以调整泛化能力与错分误差,用来实现分类间隔与错分误差之间的折衷。b=yi-wxiiSV,i=1,m,m代表支持向量个数。关于分类阈值b的求法一种方法为b=12(wx3(1)+(wx3(-1)(7)其中x3(1)表示属于第一个类别的任意一个支持向量,x3(-1)表示属于第二个类别的任意一个支持向量。另外一种求法比上面方法更加可靠,但计算量略有增加:b=1mmi=1yi-mj=1jyj(xjxi)(8)通常训练数据集中
11、的数据是线性不可分的,为了解决这个问题,可以将原始样本数据通过非线性映射,把样本空间映射到一个高维乃至于无穷维的特征空间(Hilbert空间)。根据泛函的有关理论,只要一个核函数满足Mercer条件,它就对应某一变换空间的内积。当我们把样本空间通过非线性映射映入特征空间时,如果只用到映射后像的点积,则可以用相对应的核函数来代替,而不需要知道映射的显式表达式。这是从线性支持向量机到非线性支持01电讯技术 2006年第4期基金项目论文FOUNDATI ON SUPPORTED PROJECT向量机的关键一步,核函数技术从某种程度上避免了大量的复杂运算和“维数灾难”问题。因此,在最优分类面中采用适当
12、的核函数K(x,xi)就可以实现某一非线性变换后的线性分类,而不增加计算复杂度。非线性映射后相应的Q()和f(x)转化为Q()=ni=1i-12ni,j=1ijyiyjK(xi,xj)(9)f(x)=signmi=1yiiK(x,xi)+b(10)上式就是实际所使用的支持向量机。支持向量机采用不同的核函数K(x,xi)将形成不同的算法,目前研究最多的核函数主要有3类3:(1)多项式核函数:K(x,xi)=(xxi)+1q,所得到的是q阶多项式分类器;(2)径向基核函数:K(x,xi)=exp(-|x-xi|2/2),所得的分类器与传统的径向基神经网络分类器的最大区别在于这里每个基函数中心对应一
13、个支持向量,它们与输出权值都是由算法自动确定;(3)sigmoid核函数:K(x,xi)=tanh(v(xxi)+c),这时支持向量机实现的是包含一个隐含层的多层感知器,隐含层的节点个数由算法自动确定,而且不存在困扰神经网络的局部极小点问题。3 支持向量机分类与泛化能力分析为分析支持向量机的泛化能力,下面以棋盘数据分类这一问题为研究对象。棋盘数据分类是一个两类样本划分问题,具有典型的非线性分类特征。这个问题采用传统的BP网络很难解决,使用径向基神经网络虽然可以实现一定程度的分类但是训练后的网络对新样本的泛化能力不强,因此可以用来检验支持向量机的学习能力。下面给出支持向量机对该问题的分类情况,如
14、图2所示。同时通过改变输入样本值,调整样本值变化范围来测试其泛化能力。图2 支持向量机对棋盘样本的分类情况 三幅图中,“”表示棋盘中一类样本,“+”表示另外一类样本,分布情况如图2所示,首先采用普通的BP神经网络与径向基神经网络都不能对上述问题较好分类。采用支持向量机,使用径向基核函数,核函数中=1,支持向量机的代价C=1。图2(a)除了反映样本的空间分布情况,同时也体现了训练好的支持向量机可以对棋盘数据完美分类,正确率100%。图2(b),图2(c)分别表示对训练好的支持向量机,通过随机改变输入棋盘数据的位置获得的泛化推广情况,图2(b)对应随机变化量为-0.50.5棋盘单元格情况下的分类情
15、况,从图中可以看出“”和“+”样本大部分落在自身的区域中,有极少一部分错误落在对方区域中,反复试验正确识别率平均在91%以上。图2(c)对应随机变化量为-1+1棋盘单元格情况下的分类情况,从图中可以看出相比图2(b)情况,错误率有所增加,但是分类能力仍然很高,多次试验这种情况的识别率平均在81%以上,都远远优于神经网络。在信号处理系统中,我们引入的这种随机变化量相比标准输入样本可以看成随机噪声,可以看出即使有较大的随机扰动,支持向量机仍然能维持较高的分类精度。一旦支持向量机完成训练,对未知样本的泛化能力相比BP、径向基神经网络更强。4 飞机目标分类试验基于支持向量机良好的分类泛化能力,我们将支
16、持向量机应用于飞机目标的分类识别5,6。对两类军用飞机目标F-18和F-16(如图3所示)进行了分类和识别,数据为固定俯仰角下的全方位一维距离像,距离像经过了规一化等预处理后直接用于分类识别。数据是基于下列三维目标模型通过国外著名电磁仿真软件RadarBase计算获得,此软件和目前流行的Xpatch软件在数据仿真方面具有同等优越的性能,因为计算中考虑了多次反射等现象,计11电讯技术 2006年第4期基金项目论文FOUNDATI ON SUPPORTED PROJECT算出来的数据具有较高的保真度。图3 待识别的两类飞机 图4给出了两种飞机目标某一姿态角下的一维距离像,信噪比为25 dB,从图中
17、可以看出,距离像反映了目标散射中心的径向分布情况,在信噪比较高情况下,散射中心的径向分布情况比较清晰直观。图4 信噪比为25 dB时两类飞机的一维距离像表1 不同信噪比下基于SVM两类目标识别情况信噪比飞机类别测试样本正确识别识别率20 dBF-18F-1636036035736099.17%100.00%15 dBF-18F-1636036032731990.83%88.61%10 dBF-18F-1636036021723660.28%65.83%5 dBF-18F-1636036018220350.56%56.39%采用支持向量机对上述两类目标进行分类识别,核函数采用径向基函数,=0.5
18、,支持向量机的代价C=10。通过引入普通的加性高斯白噪声,我们研究了不同信噪比下基于两类目标一维距离像的识别情况,通过多组蒙特卡罗试验,得到表1所示的识别结果。从表1中可以看出,直接基于一维距离像开展分类识别,在信噪比较高时,支持向量机能够正确分类识别两类飞机目标,且错误判决率很低;信噪比下降到15 dB时,仍然维持较高识别率,但是随着信噪比的进一步降低,识别率下降迅速,主要原因是噪声破坏了两类目标的一维距离像,目标的散射中心径向分布特征淹没在噪声之中;信噪比较低情况下,基于一维距离像的支持向量机方法不再适用,应该对距离像进行变换处理,提取其他具有旋转、平移、抗噪性能较好的特征,这也是今后的研
19、究方向。5 结 论支持向量机在解决小样本、非线性及高维模式识别问题中表现出不可比拟的优势。本文提出了一种基于支持向量机的飞机目标识别方法,在研究了支持向量机基本分类理论的前提下,通过对棋盘这种典型非线性二值问题的分类研究,分析了支持向量机的分类与泛化能力,支持向量机相比神经网络有更好的泛化推广能力。最后基于两类飞机目标的一维距离像进行了分类识别,通过多组蒙特卡罗试验,得到了较好的识别结果,说明了支持向量机在目标识别领域有巨大潜力和广阔的应用前景。参考文献:1Vladi mir N Vapnik.统计学习理论的本质M.张学工,译.北京:清华大学出版社,2000.2 王国胜,钟义信.支持向量机若干
20、新进展J.电子学报,2001,29(10):1397-1400.3 张学工.关于统计学习理论与支持向量机J.自动化学报,2000,26(1):32-41.4 杜树新,吴铁军.模式识别中的支持向量机方法J.浙江大学学报(工学版),2003,37(5):521-527.5Mike Bryant,et al.SVM classifier applied to MSTARpublic data setC.SPIE Conference on SAR imageryV I(Vol3721).1999:355-360.6 杨俊,谢寿生.基于模糊支持向量机的飞机动作识别J.航空学报,2005,26(6):738-742.作者简介:沈明华(1976-),男(满族),吉林四平人,博士研究生,研究方向为高分辨雷达信号处理、自动目标识别,(电子信箱)radar_s 。21