《基于LS-SVM求解非线性常微分方程组的近似解.doc》由会员分享，可在线阅读，更多相关《基于LS-SVM求解非线性常微分方程组的近似解.doc（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2018 年 第 37 卷 第 1 期 传感器与微系统 ( Transducer and Microsystem Technologies) 129 DOI: 10 13873 /J 1000 9787( 2018) 01 0129 04 基 于 : LS-SVM ( 求 解 非 线 性 常 微 分 方 程 组 的 近 似 解 赵 毅，张国山 天津大学 电气与自动化工程学院 天津， 300072) ( LS-SVM ) * 摘 要 提出了一种基于最小二乘支持向量机 的改 进方法求解 非线性常 微分方 程组初值 问题 的近似解。利用径向基核函数 ( BF) 可导 的特 点对 LS-SVM 模 型
2、进行 改进，将 含核 函数导 数形 式的 LS- SVM 模型 转化为优化问题进行求解。方法可在原始对偶集中获得近 似解的最佳 表示，所得近似解 连续可 微，且精度较高。给出数值算例，通过与真实解的对比验证了所 提方法的准确性和有效性。 关键词 : 最小二乘支持向量机 ; 非线性常微分方程 ; 近似解 ; 核函数 中图分类号 : TP 391 文献标识码 : A 文章编号 : 1000 9787( 2018) 01 0129 04 Approximate solution of nonlinear ordinary differential equations based on LS-SVM
3、ZHAO Yi， ZHANG Guo-shan ( School of Electrical Engineering Automation， Tianjin University， Tianjin 300072， China) Abstract: An improved approach based on least squares support vector machine( LS-SVM) is proposed for solving nonlinear ordinary differential equations initial value LS-SVM model is impr
4、oved by using the differentiable radial basis function( BF) kernel function and transform the model with derivative form of kernel into an optimization problem to solve The proposed approach can obtain the optimal representation of the solution in the primal-dual setting and provides a continuous-di
5、fferential form approximate solution with high precision In addition， numerical experiments are presented and compared with exact solutions to confirm the validity and accuracy of the proposed approach Keywords: least squares support vector machine ( LS-SVM ) ; nonlinear ordinary differential equati
6、on; approximate solution; kernel function 0 引 言 法的常微分方程求解方法，实现简单，快速收敛。 非线性微分方程一直 以来都 是备受 关注的 研究 对象， 此外，运 用最 小二 乘 支持 向量 机 ( least square support 近代物理和科学工程计算中的一些关键问题归根结底 均依 vector machine， LS-SVM) 方法求解微分方程也 得到了重 视。 赖于某些特定的非线 性微分 方程的 求解。因此，对 非线 性 Mehrkanoon S 等人在 文献 6 8中 提出了 运用 LS-SVM 求 微分方程解法的研究具有重要的理
7、论和应用价值。 解线性常微分方程以及 广义系 统的近似 解的问 题，并 取得 文献 1介绍了利用神经网 络算法求 解微分 方程的 方 了比较好的效果。文献 9改进 LS-SVM 模型，得到了一类 法，将近似解的形 式用神经网 络模型代替，通过调整权值 函 部分未知仿 射 非 线 性 系 统 在 有 限 区 间 上 的 近 似 解。文 献 10在文献 9的 LS-SVM 模型 中加 入 滚动 时间 窗，同 时消除偏置项，提出了 在线 无偏 LS-SVM 模 型求 解一 类部 分未知仿射非线性系统的实时近似解，由于系统部 分未知， 微分方程数值解的计算过程，优点在于仅依赖于域和边界， 需要利用方程
8、的真实解对模型进行训练。 不需要大量的数据即可获得 方程的解。文 献 3， 4利用 模 本文以 LS-SVM 模型 处理 函数 回归 估计 问题 为参 考， 糊神经网络模型可以 逼近任 意非线性 连续函 数的能 力，通 对 LS-SVM 模型进行改进，利用径 向基核函 数可导的特 点， 通过含核函数导数形式的 LS-SVM 模型 求解非线 性常微分 求解精度 的 近 似 解。 文 献 5提 出 了 一 种 基 于 遗 传 算 方程组的初 值问题，不仅适 用于求解一 阶非线性 常微分方 收稿日期 : 2016 11 21 * 基金项目 : 国家自然科学基金资助项目 ( 61473202) * ，
9、 ， 。 2 ( radial basis function networks， BFN) ， 130 传 感 器 与 微 系 统 第 37 卷 程，同时 可将高阶微分方 程转化为 一阶方 程进行 求解。 在 保证精度的前提下，利用本 文所提 方法可 以得到非 线性 常 微分方程组封闭形式 ( 连续可微 ) 的近似解。 1 LS-SVM 作为机器学 习的 研究 热点，已 在模 式识 别 ，回 归 预测 等领域取得成功 运用。在 回归问题中，对于给定 的 训练 样 本集 ( xi ， yi ) ， i = 1， ， N， xi 为 样 本输 入， yi 为输出。 LS-SVM 利用非线性映 射函
10、数 ( x) 将样 本 映射到高维特征空间，从而 将原样 本空间 中的非线 性函 数 估计问题转 化 为高 维特 征 空间 中线 性 函数 估计 问 题 。 回归函数一般用 y( x) = w ( x) + b 表示。 基于结构风险最小化原 则 ，得到 LS-SVM 约束优 化 模型如下 2 2 i = 1 i i i 式中 w 为权向 量 ; ( ) : 为非 线性 特征 映 射函数 ; h 为特 征空间 的维 数 可 以是 有限 维或 无限 维的， ; 为惩罚因子 ，用于 控制训练 误差和模型 复杂度之 间 的平衡 避免出现过 拟合或欠拟合的情况 使所求得的目 标， ， i 为了求解上述优
11、化问题，可引入 Lagrange 函数，将 约束 优化问题转化为 无约束 优化 问题，最终 通过 求解 式 ( 2 ) 获 得参数的最优值 N 式中 1N = 1， 1， ， 1 ; = 1， 2 ， ， N ; y = y1 ， y2， ， yN ; ，其第 ij 个 元素 可表 示 为 ij = K( xi ， xj) = ( xi) ( xj) ， K( xi， xj) 为满足 Mercer 定 理 的核函数。最终，回归函数的表达形式为 y( x) = iK( xi ， x) + b ( 3) i = 1 2 非线性微分方 程组的求解 考虑式 ( 4) 非线性常微分方程组 ( 4) d
12、t 1 2 in f in 1 in 2 本文的目标是求解此类非线性微分方程在已知区 间上 满足一定初始条件的近似解。 当利用 LS-SVM 模 型 处理 非 线性 微 分 方程 求 解 问 题 i 直接应用。为解决此问题，将非 线性微 分方程 所包含 的信 息加入到学 习 过 程 中 并 对 核 函 数 的 导 数 进 行 定 义。由 Mercer 定理可知 ，特征映射 函数的 导数可 以用 核函数 的形 式表示 ( 假如核函数充分可 微 ) ，例如，如下关系式成立 假设非线性方程组式 ( 4) 近似解的具体形式 为 x( t) = w1 ( t) + b1 ， y( t) = w2 ( t
13、) + b2，其中， w1 ， w2 和 b1 ， b2 为 模 型需要确定的未知参数。 为获得 最优参数 值，本文采 用文 in f in t1 t2 tN = tf ，将此点集作为 模型的训练 样本。通过 LS-SVM 模型与非线性微分方 程近似 解及初 始条件相 结合 所构成的优化模型来获得方程在配置点 ti i = 1 处的解。因 此，式 ( 4) 的近似解可通过式 ( 5) LS-SVM 优化模型得到 2 l =1 2 l =1 i =2 2 l= 1 i= 2 1 i 1 i i i 1 w2 ( ti) = f2( ti， x( ti) ， y( ti) ) + e2 w1 (
14、ti) + b1 = x( ti) + 1 2 i 2 i 2 x( t1) = p1 y( t1) = p2 ( 5) 1 2 1 2 1 2 i i i i 差变量。式 ( 5) 所描述的是非线性等 式约束 下的二 次最小 化问题，根据 LS-SVM 的求解 思想，可 通过构造 Lagrange 函 数进行求解 L( w1， w2， e1 ， e2 ， 1 ， 2 ， 1 ， 2 ， 1， 2 ， 1 ， 2 ， b1 ，b2 ) = i= 2 i = 2 2 i= 2 2 i = 2 i = 2 N 11， 12 13 m 14 T 14 N 1 minJ( w， b) = w w +
15、e e T st y = w ( x ) + b + e ( 1) h m h + ; b ， e 。 + I / 1 = ( 2) T N T N T N N N T 15 N d x =f ( t， x， y) dt d y =f ( t， x， y) f ， f ; t t ， t ( 4) x( t ) = p ， y( t ) = p 。 ， y ， ， LS-SVM 第 1 期 整理可得式 ( 7) 非线性方程组 0 0 0 赵 毅，等 : 基于 LS-SVM 求解非线性常微分 方程组的近似解 131 ( 7) 式中 S ij = T ij = 1 K( ti ， tj) ，H 0
16、 ij = K( ti， tj) ， i， j = 2， ， N; N i i i + 1 W i = 1 K( ti ， t1) ，U i = K( ti， t1 ) ， i = 2， ， N; ti i= 1 为训练点。验证集上均方误差的最小值所 对应的参 fl x = 数对即为最优参数 ( ， ) 。 此外，与LS-SVM 回归过程不同 的是本文 未设目标 值， l( t， x，y) y l | | t = t2， x = x2， y = y2 t = t ， x = x ， y = y l( t， x，y) l | | t = tN， x= xN， y = yN t = t ， x=
17、x ， y = y 因此，求 解 过 程 不 会 产 生 噪 声，不 必 考 虑 噪 声 对 结 果 的 影响。 4 数值仿真 为了 更 好地 评 价所 用 方 法的 性 能，采 用均 方 根 误差 ( mean square error， MSE) 表示所求得数值解的精确度 y 2 2 2 N 2 T y2 N N T N N 1 N 2 l = 1， 2; i = i ， ， i ， i = i ， ， i ， i = 1， 2; T N 1 T N 1 MSE = N i = 1 x( ti) x( ti) ( 10) 1 = 1， ， 1 I N 1 ; 0 = 0， ， 0 ; O
18、N 1 ; D( ) 以单摆 为例，说明如 何应用 本文所 提方法 求解非 线性 式中 为 。 阶单位阵 为 阶 零矩阵 为 微分方程组的近似解。考虑到单 摆的非线 性振 动，幅 角应 2 2 将矩阵对角化 非线性方程组 ( 7) 可 通过 牛顿 法进 行求 解，最 终所 得 微分方程组的近似解为 满足方程 x = sinx，其中 d t d t = gn / l。设 x T 1 = x，x 2 1 ( 11) 1 K( t1， t) + b 1 ( 8) 设初始值 x 0 = 1 047 2， 0 ，时间 区间 t 0， 10，摆 N i N i 长为 l = 1 0，取 g n = 9 8
19、06 65。选 取不 同大 小的 样本 分别 = i =2 2 1 K( ti， t) + i= 2 2 K( ti ， t) + 对 LS-SVM 模型进行训练求解。将所获 得的近似解 与通过 ode45 求解器求 得 的 真 实解 进 行 对 比，结 果 如图 1 所 示。 2 K( t1， t) + b 2 3 参数整定 由于高斯 BF 具 有良 好 泛 化能 力 且适 用 范围 广，因 ， BF ， x1( t) 与近似解 x1 ( t) ， x2 ( t) 与近似 解 x2 ( t) 之 间的误 差如 图 2 所 示，不同训练样本下模型的求解精度如表 1。 从图中 可以看出，非线性
20、微分方程 组近似解的 变化与 此 选取 K( x， y) 作为仿真实验的核函数 。 即 ( 9) 真实解的变化基本保持一致，两者之间存在较小的 误差，因 此，利用LS-SVM 方法 求解 非线性 微分 方程 组所 得近 似解 式 中 为核函数的带宽 S + I / O T T O H+ I/ T T T W 0 U 0 W 0 T T T 0 0 1 T T T D( ) D( ) I 1 2 D( ) D( ) O O W 0 0 0 O O f 1 T 0 W 0 0 O O 2 f O U 0 1 0 I O 0 2 0 0 1 0 1 0 0 0 T T T p 1 1 T T T 0
21、 1 0 0 0 0 0 b 0 0 2 O 0 0 0 0 O O 0 x 0 y f = f ( t， x， y) f ( t， x， y) N N x( t) = i =2 i =2 dx =x dx y( t) 2 x y = exp( ) LS-SVM 模型的性能在很 大程度 上依赖于 待优 化参 数 具有较高的精度。 通过增大训练样本点的个数，模型的均方差不 断减小， 的选择，惩 罚因子 以及核函数带 宽 取 值将直 接影响 到 模型最终的求解结果。 为了获 得最优的 参数值，首 先给 定 因此，适当地增大训练样本，可以提高求解的精度。但超出 一定范围后，再增大训练样本，模型的求解
22、精度不会再发生 132 x 1.5 1.0 0.5 0 -0.5 -1.0 -1.5 0 1 2 3 4 5 t 6 7 8 传 近似解 9 感 器 10 与 微 系 统 2 3 第 37 卷 initial value problems of Emden-Fowler type using Chebyshev Neural Network method J Neurocomputing， 2015， 149: 975 982 Mai-Duy N， Tran-Cong T Numerical solution of differential equa- tions using multiqua
23、dric radial basis function networks J Neu- ral Networks， 2001， 14( 2 ) : 185 199 Leephakp reeda T Novel determination of differential-equation x 4 2 0 -2 -4 0 1 2 (a)%x1(t)与 x1(t)比较 3 4 5 6 7 t 2 2 8 近似解 9 10 4 5 solutions: Universal approximation method J Journal of Compu- tational and Applied Math
24、ematics， 2002， 146( 2 ) : 443 457 Yazdi H S， Pourreza Unsupervised adaptive neural-fuzzy infe- rence system for solving differential equations J Applied Soft Computing， 2010， 10( 1 ) : 267 275 Tsoulos I G， Lagaris I E Solving differential equations with gene- tic programming J Genetic Programming an
25、d Evolvable 4 ( 图 1 5 3 1 N =100 时真实解与近似解比较 误差 6 Machines， 2006， 7( 1) : 33 54 Mehrkanoon S ， Falck T， Suykens J A K Approximate solutions to ordinary differential equations using least squares support vector machines J IEEE Transactions on Neural Networks and Lear- ( -1 -3 -5 0 1 2 3 4 5 t 6 7 8 9
26、10 7 ning Systems， 2012 ， 23( 9) : 1356 1367 Mehrkanoon S ， Suykens J A K LS-SVM approximate solution to linear time varying descriptor systems J Automatica， 2012， 3 ( 1.5 1.0 0.5 0 -0.5 -1.0 误差 (a)%x1(t)与 x1(t)的误差 8 48( 10) : 2502 2511 Mehrkanoon S ， Suykens J A K LS-SVM based solution for delay di
27、fferential equations C Proc of the International Conference on Mathematical Modelling in Physical Sciences， 2012: 1 4 -1.5 0 1 2 3 4 5 t 6 7 8 9 10 9 Zhang G， Wang S ， Wang Y， et al LS-SVM Approximate solution for affine nonlinear systems with partially unknown functions J Journal of Industrial and
28、Management Optimization， 2014， 图 2 (b)%x2(t)与 x2(t)的误差 N =100 时真实解与近似解误差 10 10( 2) : 621 636 张国山 王岩浩 基于数据的一类部 分未知仿 射非线 性系统， 显著变 化，反而会增加求解的时间。 表 1 不同训练样本下求解精度 ( MSE) 11 近似解 J ， 自动化学报 ， ， 2015， 41( 10 ) : 1745 1753 SVM ECG ( t) ( t) 陈 曦 陈冠雄 沈海斌 基于 的 传感器 信号身份 样本大小 N 60 1 2 822536 10 3 2 1 282918 10 4 4
29、 识别方法 J 传感器与微系统， 2014， 33( 10 ) : 40 42 12 伍吉瑶，王 璐，程正南，等 基于 LLE 和 SVM 的手部动作识 80 100 120 9 228214 10 5 8 332159 10 6 6 226768 10 8 ， 9 062428 10 7 656423 10 5 450186 10 5 7 别方法 J 传感器与微系统， 2016， 35( 8 ) : 4 7 13 李文江，陈 阳 基于改进 ABC 与 LS-SVM 算法 的电力负荷 预测的研究 J 传感器与微系统， 2013， 32( 5 ) : 57 59 通 过数值仿真 可以看出 。 本
30、文所 提方法也 适用于高 阶 ， 14 Vapnik V Principles of risk minimization for learning theory C 非线性微分方程的求 解 通过 引入中间 变量 ， LS-SVM 将高 阶微 分 。 Advances in Neural Information Processing Systems， 1992: 方程转化为一阶微分方程 5 结 论 利用 方法求解 831 838 15 Vapnik V N The nature of statistical learning theory M Berlin: 于 讨论了非线性微分方 程组的 求解
31、问 题，提 出了 一种 基 LS-SVM 的具有优 化和学 习能 力的 求解 方法，在 求解 高 ， ， Springer Science Business Media， 2013 16 Kincaid D ， Cheney E W Numerical analysis: Mathematics of scientific computing M American Mathematical Soc， 2002 阶微分方程时 可将 其转化为一阶方程进行求解 扩大了 方 法的适用范围。本文仅针对含有 2 个未知函数的非线性 微 作者简介 : ( 1991 ) ， ， ， ， 分方程求解进行了研究，未 来可将 该方法 扩展到 混沌系 统 赵 毅 。 男 硕士研究生 主要研究方 向为数据驱动 或者非线性微分方程的在线求解过程中 。 机器学习 ( 1961 ) ， ， ， ， ) ( 真实解 ) ( 真实解 0 / ) x - t10 / ) ( x - t 2 参考文献 : 张国山 男 教授 博士生导师 主要从 事非线性系统 。 1 MallS， Chakraverty S Numerical solution of nonlinear singular 控制理论与智能控制的研究工作