《基于自组合核的增量分类方法-冯林.pdf》由会员分享，可在线阅读，更多相关《基于自组合核的增量分类方法-冯林.pdf（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第38卷第8期 系统工程与电子技术 V0138 No82016年8月 Systems Engineering and Electronics August 2016文章编号：1001506X(2016)08195811 网址：wwwsyselecom基于自组合核的增量分类方法冯 林12，张 晶12，吴振宇2(1大连理工大学电子信息与电气工程学部计算机科学与技术学院，辽宁大连116024；2大连理工大学创新创业学院，辽宁大连116024)摘要：在线极端学习机(online sequential extreme learning machine，OSELM)模型在解决动态数据实时分类问题时，无需批
2、量计算，仅保留前一时刻训练模型，根据当前时刻样本调整原有模型即可。然而，该增量方法在离线训练阶段随机指定隐层神经元使模型鲁棒性差，且求解过程难以拓展于核方法，降低了分类效果。针对上述问题，提出一种基于自组合核的在线极端学习机(self-compounding kernel online sequential extreme learning machine，SCKOSELM)模型。首先，提出一种新的自组合核(self-compounding kernel，SCK)方法，构建样本不同核空间的非线性特征组合，该方法可被应用于其他监督核方法中。其次，以稀疏贝叶斯为理论基础将训练数据的先验分布作为模型
3、权值引入，并利用超参调整权值后验分布，从而达到对当前时间点参数稀疏的目的。最后，将稀疏得到的参数并入下一时刻运算。对动态数据的实时分类实验表明，该方法是一种有效的增量学习算法。相比于OSELM，该方法在解决动态数据实时分类问题时获得更稳定、准确的分类效果。关键词：动态数据；在线极端学习机；自组合核；稀疏贝叶斯中图分类号：TP 319 文献标志码：A DOI：103969jissn1001506X20160836Incremental classification based on self-compounding kernelFENG Linl”，ZHANG Jin91，WU Zhenyu2(
4、1School of Computer Science and Technology，Faculty of Electronic Information andElectrical Engineering，Dalian University of Technology，Dalian 1 1 6024，China；2School ofInnovation Experiment，Dalian University of Technology，Dalian 1 1 6024，China)Abstract：Online sequential kernel extreme learning machin
5、e(OSELM)is an increment classification algorithm，and it only keeps training model at last time，then adj usts the original model from the current samplesHowever，it does not batch calculation when solving the problem of realtime dynamic data classificationThismethod by minimizing the empirical risk le
6、ads to the over-fitting，and randomly assigns hidden layer neurons inoffline training，which makes the model have poor robustMoreover，the solving process is difficult to be extended to the kernel method，which reduces the classification accuracyPointing to abovementioned problems，a new online classific
7、ation method，self-compounding kernels OSELM(SCKOSELM)，is proposed based on thekernel methodFirstly，inputted samples are mapped to multikernel spaces to obtain different features，and thenonlinear combination of features are calculatedProposed self-compounding kernels method is used to otherssupervise
8、d kernel methodsSecondly，the prior distribution of training samples as model weights are introducedto maintain the model generalization，and by using the super weight to make the posterior distribution of weightsto zero，thus sparse parameter is achievedFinally，the parameter of sparse are incorporated
9、 into the next moment common operationsNumerical experiments indicate that the proposed method is effectiveIn comparisonwith OSELM，the proposed method has better performance in the sense of stability and classification accuracy，and is suitable for realtime dynamic data classificationKeywords：dynamic
10、 data；online sequential extreme learning machine；self-compounding kernel；sparse Bayesian收稿日期：201510一26；修回日期：20160316；网络优先出版日期：20160706。网络优先出版地址：http：wwwcnkinetkcmsdetail112422TN201607061030004html基金项目：国家自然科学基金(61173163，61370200)资助课题万方数据第8期 冯林等：基于白组合核的增量分类方法 19590 引 言在互联网时代，各个领域每一时刻均产生大量数据，如网络流量数据、金融
11、交易数据、医学诊断数据、移动终端数据等。如何实时、准确地获得数据并更新已有知识，成为研究热点。模式分类是数据挖掘领域的重要分支，广泛应用于图像识别、故障排查、医疗检测等领域。上述应用中数据由时序动态更新，后续到来的数据对已有知识更新、补充。传统的模式分类模型需要对所有时刻累积的数据进行学习，该方法将耗费大量的时间与空间资源，并难以拓展于动态数据实时分类问题。因此，如何实时高效处理这些按时间序列动态到来的数据，同时保持训练速度与数据更新速度的平衡，成为亟待解决的问题。早在1962年，文献1就提出增量学习方法，该方法在保持对已有模型可追溯的基础上，直接对新数据进行学习，进而得到新的训练模型。研究者
12、们将增量算法的研究重点放在算法的稳定性与可追溯性两个方面，本文的研究主要与第二点相关。从算法稳定性方面，每批次到来的动态数据难以预测，其性态是不稳定的，称为非稳定环境(non-stationary environment，NSE)1-2。因此，可能出现数据分布改变甚至产生“概念漂移现象”。文献34对上述NSE现象进行了定义并对其漂移程度进行了评价。早期的研究均从如何发现该现象的产生以及如何保证算法的稳定性出发，这些方法普遍存在较高的时空复杂度。文献E53较早提出时间窗识别概念漂移的方法，该方法将导致对之前时刻数据的遗忘，使学习效果降低。文献6通过自适应调节时间窗宽度保证对产生漂移的类别进行学习
13、。文献79分别利用控制图、JIT分类器与信息论等方法解决该问题。集成分类算法在文献10中被用于解决动态数据增量分类问题。文献11提出Learning+算法，该方法为一种增量学习算法，可与各种监督学习分类器相组合，其主要思想是：对一批新到来的样本学习得到多个弱分类器后将其加权组合得到分类结果。该方法天生具有解决概念漂移的能力，通过弱分类器对已有数据类别空间记忆，后续一些学者对该方法进行了改进口2。”。以上方法针对动态数据增量学习过程中产生的非渐进概念漂移检测有较好效果，当动态数据中出现渐进概念漂移时n“，上述方法为保证较小的空间复杂度，丢失了原有数据信息，增量学习能力被减弱。在模型的可追溯性方面
14、，文献1516提出样本选择方法，通过保留之前的部分样本，当新数据到来时，结合保留的样本重新训练得到新的分类器。该方法由于保留了前序时间点的有用信息，有效提高了分类效果。单隐层前馈神经网络(single hidden layer neural network，SLNF)可通过学习连续函数达到任意精度的拟合效果，从而被应用于解决模式分类问题与增量学习方法。文献17提出自适应增量神经网络(self-organizing incremental neural network，SOINN)，利用原样本与新样本近邻关系移除多余的样本，并利用两层神经网络训练得到分类器实现增量分类。该方法采用类内插入机制处理
15、新来的样本，由于实现过程中用到过多参数，使得算法难以控制且非常复杂。为增强算法的稳定性，文献18对上述方法进行改进。SLNF虽然有诸多优点，但在求解过程中采用迭代方式，使得求解速度缓慢，且解容易陷入局部极小值。文献E19提出极端学习机模型(extreme learning machine，ELM)，将求解过程转化为简单的线性系统，可以任意指定输入层参数，且无需迭代调整。该方法不仅简化了求解过程，且不会陷入局部极小解，自提出以来被广泛应用于模式分类2”2与时间序列预测22。2朝等领域。为了推广算法的应用，文献24一zs对ELM模型进行改进。在对动态数据适应性方面，文献26在ELM基础上推导了增量
16、学习模型。当新数据按照时间先后分批到来时，该方法无需对所有累积数据重新训练，仅训练新到来数据，调整分类模型即可。该方法是一种速度很快的增量学习算法，其改进算法在图像分类、预测等应用领域取得了很好效果27。2“。在离线训练阶段采用ELM方法，通过最小化经验风险调整隐层结点。为避免过拟合，文献29引入结构风险，利用正则化参数平衡经验风险。文献303受LS-SVM算法启发，在ELM上进行推导得到LS-IELM算法，但该方法在不同应用背景下，仍存在隐层参数难以确定的问题，且随机指定的输入隐层参数无法保证算法的稳定性。文献30提出KB-IELM算法，在原有LS-IELM中引入核方法，避免了上述隐层参数选
17、择等问题。文献3132提出0S-ELMK方法和KOSELM方法。然而，上述方法中均存在两个问题：复杂的推导与大量的矩阵运算，使得算法效率偏低；算法需根据数据分布对核函数选择预判，当无法预先得知数据分布时，难以对核函数进行合适的选择从而降低分类效果。针对上述问题，本文提出一种自组合核在线极端学习机模型(self-compounding kernels online sequential kernelextreme learning machine，SCKOSELM)。首先，在每批动态数据到来的训练阶段将样本映射到不同核空间，并将其特征进行非线性融合得到核矩阵。之后，利用稀疏贝叶斯方法对其后验概率
18、进行估计从而代替拟合数据的方法训练得到隐层输出权值，并对当前时刻参数进行稀疏以便于后续的增量学习。本文在3类数据集上验证了SCK-OSELM算法的有效性，存在以下优点：(1)该方法避免了人为选择隐层参数，增强了算法的万方数据1960 系统工程与电子技术 第38卷鲁棒性。通过对当前时间点计算将参数进行稀疏，不仅保留了已有的判别信息，且降低了下一时刻的计算复杂度，实现了增量学习。(2)提出自组合核方法，实现了不同高维空间特征融合，同时避免了需根据样本分布选择核函数的问题。该方法可被拓展应用于其他监督的组合核方法中。1 OSELM算法及本文算法思路11 OSELM算法回顾ELM模型为SLNF的改进算
19、法，避免了其求解速度慢，容易陷入局部极小值的问题，可描述如下：N个不同样本(z；，t，)x一工1，工TRD。N式中，t。一fn，t。7Rm，当应用于解决多分类问题时，网络输出m(m2)。网络中隐层结点数为N个，激活函数g()为Sigmod神经元，或径向基函数神经元等。雨晟g(，+bj)一Il式中，j一1，N；a。一nn，口。，a。7为连接第i个隐层结点与输入结点的输入权值向量；卢。一肛。，屈。，&7为连接第i个隐层结点和输出节点的输出权值向量；b，为第i个隐层结点的偏置值。令隐层节点为N，写成矩阵形式为耶一T。文献19指出，输人权值口i和隐层的偏置值b可随机生成，网络的解可通过线性系统耶一T的
20、最小二乘解得到。邱一11解的形式可写为声一H+T，其中H+为H的广义逆矩阵。同时有H+一(H7H)_1日7，即可得到声一(日1H)-1H1T。由VC维理论可知，分类模型在训练时需要兼顾经验风险与结构风险。根据优化观点，ELM模型需同时最小化训练误差考，与输出权值卢。一 NrainL。一百1帅忪+c2j l=1Stg(x，)卢一fT一占，i一1，N (1)式中，考。一。，考。1为训练误差向量。根据KKT理论，由拉格朗日乘子法有N N Nmin LELM一t研，g(x。)g(一)一rlt=l J=1 i；lSt0rfC，i一1，N (2)式中，r为拉格朗日乘子。此处g(xi)g(墨)，可转化为K(
21、x，弓)一g(x，)g(葺)。式(2)可写为N N Nmin L。一t即，K(x；，)一ti一1-=1 i=1St0tC，i一1，N (3)式中，K(x，z，)为ELM的核函数，可为径向基函数等任意核函数。上述模型针对静态数据，采用批量分类方法。文献Ez6)提出了增量分类模型OSELM，其为ELM模型的在线求解方法，能快速处理在线分类问题。对N(N1)个新样本学习得到模型后与原有模型进行矩阵计算即可得到新的输出权值瓜+。w。当N个新样本到达时，隐层输出矩阵为广HN 1HNT州一I H。I (4式中，H一gk， gT+。因此，有输出向量瓦。=“+， tw+。w1。由式(4)可以得到p+N一(Hk
22、NHN+N)_1HT+T+N (5)从而，可得到卢M。一(王fTH。+HTH。)1(H哥r。+H盈T。) (6)令Go一(日tH。)，由OSELM的增量式学习算法可以得到簖1一簖1+HjN日。N (7)结合式(6)和式(7)，可得到输出权值的增量表达式为卢N十NGl(HNTN+HTNTN)一卢w+G-Hjw(T1Aw日。N卢N) (8)由上述求解过程可知，新数据动态到来时，式(7)和式(8)仅需在原有模型基础上进行调整，即可实现增量学习。12 osELM增量学习问题与本文思路OSELM仅在当前时间点对已得到的分类器进行调整，无需对全部累积数据重新训练即可获得适应于新数据的分类器。该方法虽然在保
23、证计算精度的前提下，提高了计算速度，但由式(5)可知矩阵需通过随机指定参数的方法获得，这种操作将产生较差的鲁棒性。同时，由式(3)可知核ELM难以直接拓展于式(7)和式(8)成为基于核方法的增量极端学习机，或需通过复杂矩阵计算将OSELM拓展成核方法。如文献E3032指出，该方法不仅计算复杂，且存在难以针对输入数据分布特点选择合适核函数的问题。稀疏贝叶斯分类方法利用先验概率使部分参数值趋于0，这些参数对判别模型的影响较小，从而达到参数稀疏的目的。上述特性恰好可被用于增量模型中。本文受其启发，提出一种基于核的增量学习算法。通过保留当前时刻约减后参数，降低下一时刻计算复杂度。同时，为避免原始核映射
24、方法对核函数选择人为干预问题，提出一种新的组合核方法SCK，该方法同时可被用于其他监督的核方法中。SCKOSELM可简述如下：首先，将输入样本映射到不同核空间，利用SCK方法获得高维特征的非线性融合；其次，利用稀疏贝叶斯方法对高维特征训练并保留在分类中贡献大的参数；最后，将之前得到的稀疏参数并入下一时刻与新样本共同训练。算法原理如图1所示。图中红色结点为经过稀疏后得到的参数结点，同时加入到下一次的运算。该操作保持了之前训练模型可追溯性，降低了算法下一时刻计算复杂度。万方数据第8期 冯林等：基于自组合核的增量分类方法 1961。图1 SCKOSELM算法基本原理Fig1 Basic princi
25、ple of SCKOSELM2 SCK算法输入样本由隐层核函数映射，得到核矩阵n一y(工，)，y(工2)，y(工N)7，其ooyc(x。)一El，K(x。，J1)，K(x。，工。)7，据前所述，测试样本的输出模型为ff(xdJ)一IJ,K(x，x。)一矿K(x懂) (9)式中，IJ为模型权值向量。样本在特征空间中为D维，样本类别标签为厶1，C。可用核方法将原始特征空间转化为新的高维特征并嵌入到特征空间中，其核为KRN。核方法实现了数据空间、特征空间与类别空间之间的非线性变换。为了获更全面的高维特征，将不同核映射的特征进行组合，使得组合后的核具有较单一核更好的特性，可得到更新后的组合核定义如下
26、：CK(x，x。)一孕F(Xc，xc,) (10)式中，孕为权值，用于控制不同核函数的权值。对准的求解可根据监督算法，通过获得样本训练误差范数得到优化方程： C IIargrain祁7声(J)一T 01 II f=1 三st孕一1，孕0 (11)利用求解线性约束优化方法即可对式(11)求解，为使获得训练误差最小值，可得到下述解的情况叼一E0，0，1，0，o。该形式意味着，尽管方程为不同核的组合形式，但运算中仅有一个核将被选择。此时，方法将退化为单核方法，其不是所希望的形式。为避免上述解的形式出现，C本文将孕一矿，同时P1。在约束条件下，矿的最小值为琅=1c，所有核函数均对最终的分类产生一定贡献
27、，得到新的优化方程：目 Cargrain枷7(为)一tj1 J1 I J=1Cst孕2 1，孕0 (12)式中，pl。该监督学习中，判别模型获得了多个不同核对学习过程产生的不同贡献。根据式(12)，方程需求解一个非线性、非凸优化问题。根据优化理论，无法直接找到该问题的全局最优解，本文根据文献E33J中的交替优化形式，采用迭代求解方法，获得方程局部最优解。该方法通过交替更新tj与玑值优化求解。首先，ti值被固定更新弘值，利用拉格朗Et乘子法，得到C CL(叼，A)=栉7j6(而)一岛一A(孕一1)JzI f=l J=l f一1式中，A为拉格朗日乘子，通过求偏导，并使其变量值为o，可得到f石aL一
28、聊，骞肚弓，一A一。【簧一喜孕叫-o式中，i一1，m。经推导后可得到琅的值为(1矿声(t)川舢琅一1量-一(13)(1矿(而)舢求得当前琅后，固定该值，交替迭代求解t，值。同时，由式(13)可知，P值可影响班。当户一o。时孕值将彼此相近，P值的选取应获得所有互补的核空间。3增量分类利用第2节中的组合核方法，由式(12)可得到组合核矩三阵k，(聋，工)=杜(r，)。在二分类问题中，样本Xi的先验概率分布p(t I薯)为Bernoulli分布，有方程Np(t I卢)一IIg，(矿庐(工，)；p)-Eag，(矿6(x。)；p)1-t (14)式中，g()为Sigmod激活函数，g，(工；卢)一1+e
29、-f(x，)，且f(x；芦)=印。为避免模型训练过拟合，在稀疏贝叶斯学习中p的求解不直接利用最大似然估计求解，此处引入卢的高斯先验分布对其约束：N夕(卢I口)一IIN(且I o，酊1)一i一1万方数据1962 系统工程与电子技术 第38卷垂去唧(一竽) (15)式中，口为超参数，该参数最终决定了参数的稀疏性。由自相关性判定理论可知，先验概率会使神经元中影响较小的神经元对应的卢值趋于0值。对于任意工对应的t均独立，得到以口为条件的边际似然函数：户(f I口)一I户(f p)p(卢I口)d卢在训练过程中通过最大化该似然函数求解口。为了简化求解过程，将式(14)和式(15)代入，有如下拉普拉斯近似：
30、Inp(t p)p(卢l口)一InIIf-(1一，1)1。t+lnII凳=exp(一警笋)一。In，l+(1一ti)In(1一)一告矿邯+const(16)式中，A=diga(a)，行5t=(in哦一121n 2c)。本文利用牛顿法迭代求解，得到其负梯度方向VE与Hessian阵西为VEV声lnp(t p)户(卢I口)一(f：一)墨一邯一K1。(卜一，)一卸垂=V卢V卢lnp(t卢)户(卢I口)一一(K：。麒：。+A)式中，B为NN的对角矩阵，元素晟一五(1一五)1t agdf=g(1一g)。利用牛顿法可以求解卢为风。=眦一矿1 V E一(j；0BK。+A)。KewrB；(17)式中，fKn。
31、卢+B1(t-，)。可得到参数卢的均值向量声与协方差矩阵三为Jp一三K：ewB (18)l三一(碌，戤：。+A)。1从而，可得到p(tl卢)户(卢1口)。CN(声，三)。将对数边际似然估计可表示为L(口)一In p(f I口)=丁1Nln(27【)+ln B+K。AK：。I+(；)7(B+K，。AK：。)_1；一妻N1n(2 7c)+in C I+(；)1(c)一1； (19)式中，cB+Kn。删：。；口可由对上L(口)求偏导数并令其为0得到。鸶导一磊1一軎邑一号群一o a口。 2口， 2。“ 2 P。 。ai一与乒 (20)Pi首先，对岛与初始化任意值。之后，利用式(17)与式(18)求解得
32、到更新后的声与三值，由上式可看到，口值可被声与三更新。该操作不断迭代去最大化似然函数直到达到收敛，本文使用平凡收敛条件(指定最大收敛次数)。测试时，对新样本工。进行分类，仅需要计算户(t。1x。，卢)即可。分类方法通过似然函数调整输出权值，使得部分权值为0，从而达到当前时刻参数稀疏的目的。SCKOSELM算法的具体步骤如下，其中包含离线训练部分与在线训练部分：(1)离线训练部分步骤1随机初始化琅为1c堆与口。为任意值，指定组合核函数(多个核函数，指定核函数参数)与最大迭代次数；步骤2计算输入离线样本的不同核矩阵与组合核矩阵；步骤3利用式(17)和式(18)求解更新后的昼与三；步骤4利用式(9)
33、计算t，与声值，计算更新后的琅；步骤5 重复步骤3步骤4当到达最大迭代次数，此时，部分参数权值为零值。同时，获得约减的参数集和权值声。(2)在线训练部分步骤6随机指定新到来样本的晟+。与a。，指定礓，将声并入新到来的样本集；步骤7计算输入在线样本的多个核矩阵与组合核矩阵；步骤8利用式(17)和式(18)更新厣与占值，似然函数达到最大；步骤9计算t，并计算更新后的仉；步骤10重复步骤8步骤9达到最大迭代次数，获得稀疏后的参数集声；步骤ll如果在线数据到来结束则利用最终约减后的参数集训练得到分类模型，反之则转到步骤6继续训练。4实验结果与分析41实验设置实验运行在293 GHz CPU，8 GB
34、RAM的PC上，计算平台为Matlab213a。为更加全面地评价本文提出算法的效果，选择3类数据集进行验证：12个UCI数据集、3组MNIst手写体数据集与一组手工数据集。进行组合核方法时，本文选择4个有代表性的核方法：线性核k(xi，x，)一(x，工，)+C，高斯核k(工，工，)=exp(11墨一葺I2仃)，do，拉普拉斯核忌(蕾，弓)=exp(一|I鼍一弓|c石)，痧o，多项式核k(x，工，)一(x。，x，+1)。，d一1，2，。42数据集描述UCI数据集被广泛用于验证分类算法效果的实验中，本文选择6个二分类、6个多分类数据集。数据集的具体描述见表1。本文设置增量算法的滑窗大小为训练样本数
35、量的10。MNIst数据集为手写体图像数据集，其维度较高。在该数据集上进行了实验对比，验证了算法在高维度数据集上的效果。其包含10类60 000个样本，每个样本为2828的灰度图像，图2为测试集示意图。为测试算法的稳定性本文随机选择3组样本进行实验，3组实验数据的具体描述被总结在表2中。万方数据第8期 冯林等：基于自组合核的增量分类方法 1963表I UCI数据集描述Table 1 Description of UCI dataset图2 MNIst数据测试集实例Fig2 Testing samples of MNIst dataset表2 MNlst数据集3组实验数据描述Table 2 De
36、scription of 3 group MNlst dataset增量学习中除了数据量的增加，同时面临不同类别样本分布非平衡的问题。本文利用手工数据集，对算法对类别敏感性进行了测试。该数据集包含5个类别，共1 000个样本，维度为2。该数据集的散点如图3所示，数据集的数据分布为单位面积均匀分布，但不同类别样本分布不同。实验中随机选择训练集样本为667，测试集样本为334。图3手工数据集散点图Fig3 Scatter diagram of artificial dataset43参数选择 本文所用核函数参数采用遍历的方式获得，Linear，Gaussian，Laplacian的参数选择为27，
37、(y一2，一1，0，1，2)，polynomial的参数选择为y(y1，2，3)。分别选择UCI数据集中的二分类数据集Heart与多分类数据集Iris对以上参数遍历选择。此时，固定P=2，且迭代次数为500。由图4可知，当为(2，2，20，3)，(2，22，20，3)等参数时，两个数据集的分类准确率均较高，本文在后续试验中选择核函数参数为(2，2，20，3)。旃露凳929088868482(a)数据集Heart上的核参数选择a)Parameters setting of kernel function in Heart datasetI00癸095霉搏090085j一一L 一I，L一I一一L一
38、一一J一一一一L一一一1一一一J一一一一L一一一J一一一一L一一一0 50 lfJ【J 50 200 250 300 j50 400(b)数据集Iris上的核参数选择(b)Parameters setting otkernel fimction in Iris datasct图4核函数参数选择Fig4 Parameters setting of kernel functionSCKOSELM利用牛顿法求解似然方程。为保证算法收敛，本文采用平凡收敛条件，需对迭代次数进行设置。算法中P值的选择对分类效果有较大影响，此处选择户一2，户一5，后续本文将对不同声(P2，3，4，5，6，7，8，9，10)
39、值进行遍历并讨论分类效果。图5(a)和图5(b)所示分别为二分类UCI数据集Heart与多分类UCI数据集Iiris的分类效果，随着迭代次数的增加，曲线在迭代次数为200时趋于稳定。为确保算法收敛同时尽量减少算法运行时间，后续实验中设置迭代次数为200。对比算法中的参数设置如下，OSELM与LS-IELM中，隐层神经元为Sigmod：(G(a，b，z)一1(1+exp(一(ax+6)，参数a在一1，1随机选取，b在o，1随机选取。参数a与b选取对算法分类效果有一定影响，本文实验均采用10次运算后取均值的方式。由文献26可知，OSELM中隐层神经元的选择对算法效果有严重影响，个数过多模型训练将产
40、生过拟合，过少则模型训练不足。该参数的普遍选择方式是交叉验证或指定范围内遍历，本文中采用后一种方式，在1，5，10，50，80，100，200，300，400，500，800，1 ooo范围内遍历隐层结点。图6(a)为UCI二分类数据集中Heart和Cxl在不同隐层结点下的分类效果统计，图6(b)为UCI多分类数据集Iirs和PageBlocks在不同隐层结点下的分类效果统计(数据集详细描述见表1)。如图可见，随着隐层结点个数的上升，识别率随之提高，到200时趋于稳定，超过400后模型处于过拟合状态，分类准确率有所下降。由此，本文设置OSELM与LS-IELM中隐层结点个数为200。万方数据1
41、964 系统工程与电子技术 第38卷_i_锝器磐O80075070摹蒋065争60055O50045迭代次数(a)二分类UCI数据集Heart一一JL一一J一一一L一一j一一一L一一JL一一J一一一：xS：冀；女：畿蠡：蠡：嚣蠢j：毫搬：蠢：畦：榉：哗对?i一?i一?i一?-一4一 一一一一一一*一一一一L一一J一一*一一一一x，x,、I。一一1一一一r一一1一一一r一一1一一一r一一1一一一r一一1一一一0 50 100 150 200 250 300 350 400 450 500迭代次数(b)多分类UCI数据集lirs(a)Binary-classification Heart data
42、set from UCI (b)Multiclassification lirs dataset from UCI+：P=2；：旷5。图5算法迭代次数设置Fig5 Number of iterations。一i-：一?一?一jif一下j百j一一一一舢一一一一。一一+一一+Li-一一i-一ll_一一一J一一J毋一下刊打。II一一t一一r一叶t1一一1一一一一LLL一IJ一一J一一r一一r一一r一-广_1一一1一一隐层结点个数Cxl；，= ：Heart。100908逞o7纂06磐05040-3。一_厂_一一1一一1一一T一一r。一r一一广一1一一1一一1一一。 、I I一一i一中=：=；=一?二-
43、?t-、且、中一tll。一-i-一、一一1一一1一一T一一r一一r一一l一一-i-一一一1一一I-一扣一一-i一一一一+一一一一P一一卜一-i一一一一-D一一一一I一J一一J一一J一一一一L一一L一一I一一J一一j一一J一一一一广一1一一1一一1一一t一一r一-广_广_1一一1一一1一一V0 5 50 100 300 500 l 000隐层结点个数一日：lirs： ：PageBlocks。(a)二分类ucI数据集隐层参数选择 (b)多分类ucl数据集隐层参数选择(a)Selecting hidden nodes in binaryclassification dataset (b)Select
44、ing hidden nodes in multiclassification dataset图6 OSELM隐层参数选择Fig6 Hidden nodes setting in both OSELM44实验结果441 UCI数据集表3给出在不同P值下所有UCI数据集的分类识别率。从表中可知不同数据集对应不同的P值获得的分类效果不同，例如，Segment数据集对应P一3时获得较高的分类效果，而Glass数据集中P一8，9时获得较高的分类效果。由本文第31节分析可知，p越大所有的组合核函数权值越为平均，算法对所有特征空间平均融合。在该组实验中多数数据集在P为2时效果较好，后续实验中本文选择户一2
45、时的不同数据集实验效果对比。表3不同p值时UCI数据集分类效果对比Table 3 Comparison of classification accuracy from different ps in UCI datasetP Banana Liver Heart AU Sonar Cxl Wine Car Iris Glass Segment Balance2 O89 081 0911 076 086 086 099 091 l 084 089 090086091O93086085089086074076078077076078072O93091092088092091088098094l09
46、609709709308708708608908509109109009109109009208908509708809608808808808810 086 075 0822 068 080 081 095 083 096 086 079 087为测试算法的增量学习能力与稳定性，图7给出了不同算法在UCI二分类数据集上的分类效果对比。从图中可看到随着数据量的增加，所有算法的分类准确率均有所上升，在大部分数据集上本文算法获得了较好的分类效果，在Banana与Au数据集上SKG0sELM算法在初期样本量较少的情况下效果较差，但随着样本量的增加分类效果有所上升。从识别率曲线可见，对比算法，特别是(
47、)SELM算法曲线的波动较大，说明该算法对动态增量数据识别过程不稳定。0OOOO00碍器磐8798886999999900OOO0O418565188888880O0O0O0321552O8888888OO0O0OO48244297677776O0O00O09l77707586666388888880OO0OOO万方数据第8期 冯林等：基于自组合核的增量分类方法 1965替馁磐碍嚣搏样本数(a)Banana数据集(a)Banana dataset静馁垫诗嚣磐样本数(b)Liver数据集(b)Liver dataset静馁楚静器垫样本数(c)Au数据集(c)Au dataset样本数 样本数 样本数(d)Sonar数据集 (e)Heart数据集 (f)Cx 1数据集(d)Sonar dataset (e)Heart dataset (f)Cx】datasete一：OSELM；