《2022年支持向量回归机 .pdf》由会员分享，可在线阅读，更多相关《2022年支持向量回归机 .pdf（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、3.3 支持向量回归机SVM 本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression ，SVR）是支持向量在函数回归领域的应用。SVR 与 SVM 分类有以下不同： SVM 回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得 “最开”，而是使所有样本点离超平面的“总偏差 ”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。3.3.1 SVR 基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数拟合，为输入量，为输出量，即bxxf)(niyxii,.,2, 1),(niRxRyi需要确定和。b图 3-3a
2、SVR 结构图图 3-3b不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。表 3-1 常用的损失函数和相应的密度函数损失函数名称损失函数表达式()ic %噪声密度()ip-不敏感i1exp()2(1)i拉普拉斯i1exp()2i高斯212i21exp()22i名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共
3、10 页 - - - - - - - - - 鲁棒损失21() ,if;2,otherwise;2iii2exp(),2exp(),2iiiifotherwise多项式1pipexp()2 (1/)pipp分段多项式11,1,piipiifppotherwisep1exp(),1exp(),piipiifppotherwisep标准支持向量机采用-不灵敏度函数，即假设所有训练数据在精度下用线性函数拟合如图（ 3-3a）所示，（3.11）*()()1,2,.,0iiiiiiiiyf xf xyin式中，是松弛因子，当划分有误差时，都大于 0，误差不存在取*,ii*i0。这时，该问题转化为求优化目
4、标函数最小化问题：（3.12）niiiCR1*)(21),(式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数表示对超出误差的样本的惩罚程度。 求解式（ 3.11）和式0C（3.12）可看出，这是一个 凸二次优化 问题，所以引入Lagrange函数：（3.13）*11*111()()2()()nniiiiiiiinniiiiiiiiiiLCyf xyf x式中，为 Lagrange乘数，。求函数对，0*ii0*ini,.,2, 1L，的最小化，对，的最大化， 代入 Lagrange函数得到bi*ii*ii*i对偶形式，最大化函数：名师资料总结 - - -精品资料
5、欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 10 页 - - - - - - - - - （3.14）*1,1*111( ,)()()()2()()niijjijijnniiiiiiiWxxy其约束条件为：（3.15）*1*()00,niiiiiC求解式（ 3.14）、（ 3.15）式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有：*()0()000iiiiiiiiiiiiyf xyf x（3.16）得出，表明，不能同时为零，还可以得出：0*iii*i（3.17）*()0()
6、0iiiiCC从式（ 3.17）可得出，当，或时，可能大于，与CiCi*iiyxf)(其对应的称为边界支持向量（ Boundary Support Vector，BSV），对应图 3-3aix中虚线带以外的点；当时，即，与其), 0(*Ciiiyxf)(0i0*i对应的称为标准支持向量 （Normal Support Vector，NSV），对应图 3-3a中ix落在管道上的数据点；当，时，与其对应的为非支持向量，对0i0iix应图 3-3a中管道内的点， 它们对没有贡献 。因此越大，支持向量数越少。w对于标准支持向量，如果，此时，由式（ 3.16）可以求0(0)iiC0i出参数：b1()()
7、jlijjjijijjjixSVbyxxyxx同样，对于满足的标准支持向量，有0(0)iiC()jijjjixSVbyxx怎么得到的一个点不能同时两个等式都满足C 怎么来的名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 10 页 - - - - - - - - - 一般对所有标准支持向量分别计算的值，然后求平均值，即b（3.18）*0*01()(,)()(,)ijjiijjjiCxSVNSVijjjixSVCbyK x xNyK x x因此根据样本点求得的线性拟合函数为)
8、,(iiyx（3.19）bxxbxxfniiii1*)()(非线性 SVR 的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间（ Hilbert 空间）中 ，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。首先将输入量x通过映射HRn:映射到高维特征空间H中用函数式变为：*1,1*111( ,)()() ()()2()()niijjijijnniiiiiiiWxxy（3.20）式（3.20）中涉及到高维特征空间点积运算)()(jixx，而且函数是未知的，高维的。 支持向量机理论只考虑高维特征空间的点积运算)()(),(jijixxxxK，而不直接使用函数。
9、称),(jixxK为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有：多项式核：;( ,)(,) ,0pk x xx xdpN d高斯核：;22( ,)exp()2xxk x xRBF 核：;2( ,)exp()2xxk x xB 样条核：;21( ,)()Nk x xBxxFourier 核：;1sin()()2( ,)1sin()2Nxxk x xxx与之前有的解释不一样与 3.14 对应支持向量机的核心要点说明为什么，其次讲一下为什么引入核函数名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - -
10、 - 名师精心整理 - - - - - - - 第 4 页，共 10 页 - - - - - - - - - 因此式（ 3.20）变成*1,1*111( ,)()()()2()()niijjiijnniiiiiiiWK x xy（3.21）可求的非线性拟合函数的表示式为：*1( )( )()( ,)niiiif xxbK x xb（3.22）3.3.2 结构改进的支持向量回归机上节所述的 SVR 基本模型其优化目标为：（3.23）2*, ,1*1min()2.()()00,1,2,.,liiw biiiiiiiiiwCstywxbwxbyilSVR 结构改进算法一般在优化目标中增加函数项，变量
11、或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。Suykens提出了最小二乘支持向量机（LS-SVM ）105，与标准 SVM 相比其优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转化成了线性方程组的求解，其优化目标为：（3.24）2, ,11122.()1,2,libiiiiMinstyxbilLLS-SVM 与标准 SVM 相比减少了一个调整参数，减少了l个优化变量，从而简化了计算复杂性。然而LS-SVM 没有保留解的稀疏性 。改进的最小二乘支持向量机有：递推最小二乘支持向量机106、加权最小二乘支持向量机107、多在变换过后的空间中的表示式前
12、半部分怎么解释，分类的时候好解释，回归的时候呢名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 10 页 - - - - - - - - - 分辨率 LS-SVM108及正则化最小二乘方法109等。Sch?lkoph等提出的-SVM 方法110，引入反映超出管道之外样本数据点（即边界支持向量数量）和支持向量数的新参数，从而简化 SVM 的参数调节。其优化目标为：（3.25）2*2, ,1*11()2.()()001,2,lTiibiiiiiiiiiminClstyxbxby
13、ilL表示边界支持向量机的上限和支持向量机的下限。与标准支持向量机相比优l化求解过程不需要设定值。标准 SVM 方法中，引入惩罚系数实行对超出-带数据点的惩罚。在实C际问题中，某些重要样本数据点要求小的训练误差，有些样本数据点对误差的要求不是很高。因此，在优化问题描述时，对每个样本点应采用不同的惩罚系数，或对于每个样本数据点应采用不同的-不敏感函数，使回归建模更加准C确，这一类结构变化的支持向量机通常称为加权支持向量机（WSVM）111，加权支持向量机可以通过对惩罚系数加权实现，也可以通过对加权实现。通C过对参数 C 加权实现时，其优化目标为：（3.26a）(*)2*,1*( )1()2.()
14、()0,1,2,liiibiiiiiiiiminCsstxbyyxbilL通过对加权实现时，其优化目标为：（3.26b）2*, , ,1*1min()2.()()0,01,2,liiw biiiiiiiiiiiwCstywxbwxbyilK名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 10 页 - - - - - - - - - Friess等提出了一种针对分类问题的SVM 变形算法 -BSVM 算法112。与标准 SVM 相比， BSVM 的优化目标多一项，而约束条件
15、少一项等式约束，变为边界约束条件下的二次规划问题，适合迭代求解。同时可以应用矩阵分解技术，每次只需更新 Lagrange乘子的一个分量，从而不需要将所有样本载入内存，提高了收敛速度。 BSVM 算法应用于回归分析，其优化目标为：2*1*11()22.()()001,2,lTiiiiiiiiiiiMinbCstyxbxbyilL（3.27）标准 SVM 回归算法都是把问题转化为求解凸二次规划。Kecman和Hadzic113提出用范数替代范数，从而通过改造用线性规划（LP）代替凸1L2L二次规划，以便于利用非常成熟的线性规划技术求解回归支持向量机。由最优化理论，据此考虑把原始目标函数的模用模*1
16、()liiiix2l21l替换。则模可以改写为：，用代(*)*1()liii1l(*)*1()liii(*)替原目标函数中的；将代入原约束条件；增加约束，2*,0,1,2,iiilL可得：（3.28）(*)(*)*,11*1*1( )( )1()().()()()(),0,1,2,lliiiibiiliiijiiiliiiijiiiiCminllstxxbyyxxbilL针对实际问题的特殊性，有时可以选择其他形式的更适宜的惩罚函数。惩罚带为任意形式的支持向量回归机114，通过定义推广的-不敏感损失函数：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - -
17、 - - - - - 名师精心整理 - - - - - - - 第 7 页，共 10 页 - - - - - - - - - *( )( ),( )( );( , ,( )0,( )( )( );( )( ),( )( );yf xxyf xxc x y f xxyf xxyf xxyf xx其中，采用推广的-不敏感损失函数构造-SVR 问题，将*( ),( ) :xxR原始最优化问题转化为：（3.29）(*)(*)*,1111*( )( )11()().()(),0,1,2,lllliiiiiibiiiiiiiiiiiiiiiiminCllstxbyxyxbxilL惩罚带为任意形式的支持向量
18、回归机包含了针对惩罚函数改进SVR 结构的所有模型。此外，还有模糊支持向量回归机（FSVR）59、拉格朗日支持向量机（LSVR）115等。3.3.3 SVM 参数优化方法研究支持向量机的性能取决于超参数C、核函数类型及 核参数 。核函数类型的选择与所应用的领域有关，核函数特性的不同决定建立的模型也具有不同的特性， 对于静态软测量建模，一般采用rbf 核函数， 因为其跟踪性能较好且没有记忆性，符合静态建模的特点。核参数反映了训练数据的范围或分布，它对模型的预测效果影响较大；调整因子 C 是模型复杂度和推广能力的折中，它决定了对损失大于的样本的惩罚程度，当C时，模型优化目标退化为经验风险最小化，
19、C 过小，使经验风险所占比重太少，模型结构复杂度下降，但训练误差可能超出接受范围；不灵敏函数是 SVR 的重要特征，它决定了支持向量的数目，保证了解的稀疏性，是模型推广性能的象征，但是太平滑的估计又会降低模型的精度 。目前没有一个理论的方法来设计SVR 的参数，现有的软件都是基于建模者的经验在建模之前设定。常用的设定SVR 参数的方法主要有以下几种：1）交叉检验法交叉检验法是用的最多的一种参数选择方法，其基本思想是将样本集分为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共
20、 10 页 - - - - - - - - - 训练集、检验集和测试集，选择若干组模型参数，用训练集推导模型系数，选择其中使检验集误差测度最好的参数用于测试集。根据样本集的长度，可以设定交叉检验的次数。2）经验选择法经验选择就是根据建模者的经验在建模之前选择参数。Vladimir 等提出了一种根据训练集数据特性选择模型参数的方法116，其中max(3,3)yyCyy式中分别表示训练数据集中的均值和标准偏差；,yyyln3nn为噪声的标准偏差，为样本数。上述经验公式是基于噪声水平已知的假设，n并没有理论上的证明。3）网格优化选择法网格优化算法是一种大范围点集搜索方法。搜索范围的确定仍需建模者设定
21、。该方法简单易行，但是训练时间较长，一般用来确定参数范围，再用其他方法进行渐近搜索。4）统计学习理论的 VC 维学习方法117、118采用统计学习理论的方法导出模型推广错误的界，并用VC 维来表示，用统计学习理论选择的核和调整因子C 可以使 VC 维的上界最小，从而可以确定模型的参数。但这种方法需要在非线性空间计算超球半径。5）Bayesian学习方法James Tin-Yau Kwok 基于权值空间的观点给出了SVM 的贝叶斯解释119。说明了 SVM 可以解释为 MacKay 证据体系的第一层推理，还说明了证据体系下的第二层、第三层推理也可以应用到SVM：第一个层次的推导考虑w的概率分布（在一个潜在的无限维空间），确定正则项和损失函数的可能性；第二层推理是调整因子 C 的推导；第三个层次的推理是获得核参数。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 10 页 - - - - - - - - - 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 10 页 - - - - - - - - -