用最优化方法解决BP神经网络训练问题(共6页).doc

上传人:飞****2 文档编号:14564597 上传时间:2022-05-05 格式:DOC 页数:6 大小:20.50KB
返回 下载 相关 举报
用最优化方法解决BP神经网络训练问题(共6页).doc_第1页
第1页 / 共6页
用最优化方法解决BP神经网络训练问题(共6页).doc_第2页
第2页 / 共6页
点击查看更多>>
资源描述

《用最优化方法解决BP神经网络训练问题(共6页).doc》由会员分享,可在线阅读,更多相关《用最优化方法解决BP神经网络训练问题(共6页).doc(6页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、精选优质文档-倾情为你奉上用最优化方法解决神经网络训练问题作者:李翔苏成来源:电脑知识与技术学术交流2008年第12期摘要:BP神经网络可以有效地对非线性系统进行逼近,但是传统的最速下降搜索方法存在收敛速度慢的问题。本文提出把BP神经网络转化为最优化问题,用一种共轭梯度算法代替最速下降法进行搜索迭代,极大地提高了收敛速度。关键词:神经网络; 最优化;一种共轭梯度算法中图分类号:TP183文献标识码:A 文章编号:1009-3044(2008)12-20000-00Training BP Neural Network using optimization methodsLI Xiang ,SU

2、Cheng(College of computer science,China University of Mining and Technology, Xuzhou ,China)Abstract:BP neural network can efficiently approximate any nonlinear system, but there is a problem of inefficient learning speed with the conventional steepest descent algorithm. In this paper, we try to conv

3、ert neural network to an optimization model, and apply conjugate gradient algorithm to it to bring a faster learning speed. Keywords:Neural network ;Optimization ; Conjugate gradient algorithm1 BP神经网络模型BP(前馈式)神经网络结构简单,可操作性强,能模拟任意的非线性输入输出系统,是目前应用广泛的神经网络模型。BP网络由输入层i、隐含层j、输出层k及各层之间的节点连接权组成,神经元拓扑如图1:网络的

4、学习过程由信息正向传播和误差反向传播构成:正向传播过程:输入信息从输入层经隐含层逐层处理,传向输出层。若输出层的实际输出与期望的输出不符,则转入误差的反向传播。典型的BP神经网络模型如图2所示:设网络中各个参数如下:xi为输入信号,yi为实际输出信号,Yi为期望输出信号wi为对应于各个输入信号的连接权值,为阈值,为给定的误差。(1)输入层:输入值一般为样本各分量输入值,输出值一般等于输入值xi 。(2)隐含层:对于节点j,其输入值hj为其前一层各节点输出值xi的加权和,它的输出值为:(lixiang03.tif)(3)输出层:输出层类似于隐含层(lixiang04.tif)神经元结点的作用函数

5、一般选用Sigmoid函数,即:(lixiang05.tif)误差函数一般选用(lixiang06.tif)神经网络的训练过程就是按最小误差准则来不断调整网络结点的权值,直至误差可以看到,BP神经网络实际可转化为求解一个最优化问题,它的目标函数是(lixiang07.tif)。2 最速下降法2.1 基本搜索方法针对神经网络的最优化问题,传统的搜索方法选用最速下降法,即通过多次迭代,对网络权值进行修正,使误差目标函数沿负梯度方向下降,迭代的公式如下:(lixiang08.tif)这种方法在刚开始几步有较好的收敛效果,但当迭代深入后容易陷入振荡,出现锯齿现象,导致结果精度不够,训练过程较长。2.2

6、 纯梯度方法的改进针对最速下降法收敛速度慢的问题,很多研究者提出了一些改进方法,主要有以下几种:(1)确定学习率在基本网络算法中,wi=wi(t+1)-wi(t)引用了固定的学习率=1,为了更好的控制网络的收敛性和学习速度,可以根据需要选择自适应的变学习率,一般取0(lixiang10.tif)学习步长是网络学习的一个重要参数,在一定程度上也决定了网络的收敛速度。学习步长过小会导致权重值更新量过小,因而使收敛非常缓慢;学习步长过大又会导致在极值点附近振荡的可能性加大,乃至反复振荡而难以收敛。具体数值应根据对误差函数的影响来决定。(2)加入动量项这种措施又称为惯性校正法,其权值调整公式可用下式表

7、示:(lixiang11.tif)为动量系数,这种方法在调整权值时,不仅考虑了本次迭代,而且兼顾上次的调整结果,能够在加速收敛的同时一定程度地抑制振荡。(3)改进误差函数在基本网络算法中,引用的误差函数是(lixiang12.tif)。可以看到,这是一个误差的绝对量,不能有效地表征样本的相对误差程度。对于某个节点会出现误差的绝对量很大但是比例却很小的情况。为了避免上述问题,引入相对误差函数:首先,对(lixiang13.tif)变形,(lixiang14.tif),把不含有实际输出的Y提出,得到相对误差函数(lixiang15.tif)。相对误差函数Jp使用误差量的相对比例来表征样本误差 ,具

8、有更好的效果。类似的针对最速下降法的改进方法还有很多,但是它们无法从根本上解决纯梯度方法的局部振荡性,收敛速度慢的问题仍然有待解决。为了解决收敛速度慢的问题,本文采用共轭梯度法代替沿负梯度方向的最速下降法,它比最速下降法在收敛速度上有很大的改进。3 共轭梯度法3.1 共轭梯度法原理Jp共轭梯度法是求解无约束优化问题 (lixiang16.tif)的一类非常有效的方法,它的迭代格式为(lixiang17.tif)其中,(lixiang29.tif),dk为搜索方向,而k0是通过某种线搜索获得的步长。纯量k的选取应满足共轭性,k的不同取法构成了不同的共轭梯度法。常用的有FR相关法(lixiang1

9、8.tif)和PRP相关法(lixiang19.tif)。为保证算法的强收敛性,本文选取一种新的共轭梯度法,它的k公式如下:(lixiang20.tif)选取这种共轭梯度法的理由在于它在Wolfe搜索(lixiang21.tif)下具有全局收敛性质并且计算效果好于PRP等算法1。3.2 搜索算法描述首先采用最速下降法先达到一个初步精度W(0)。实验表明,最速下降法“开局”的收敛速度是较好的。第二阶段采用共轭梯度法,步骤如下:(1)把最速下降法得到的初步精度作为初始权值W(0),并选定误差最终精度值。(2)置迭代次数k=0;(3)计算目标函数(lixiang22.tif)和(lixiang23.

10、tif);(4)若k=0,令(lixiang24.tif) ;否则,(lixiang25.tif);其中(lixiang26.tif);(5)一维搜索求取步长k,使其满足Wolfe搜索条件(lixiang27.tif)可以得到下一个迭代点为wk+1=wk+kdk;(6)计算J=f(wk+1);若J3.3 算法实例本文利用以上算法对一个函数y=x12+x22+x32实现逼近,以x=0.1为步长取得多组训练样本数据对x1,x2,x3,f(x1,x2,x3)。构建三层前馈式神经网络,其中输入层为(x1,x2,x3),隐层结点取4个,它的权值为向量w,初始值取wi=0.5,i=1,2.4,期望输出为Y

11、=f(x1,x2,x3),取定神经元的作用函数为Sigmoid函数(lixiang05.tif)阈值为,为给定的误差,取=10-4,则共轭搜索的目标函数为:(lixiang12.tif), 原神经网络问题可转化为求最优化问题min(J),使用上述搜索算法得目标函数J的收敛数据如表1:4 结论实验表明共轭梯度法具有较好的收敛特性,并且不会产生振荡,可以有效地解决传统BP网络的收敛速度问题。并且本文选用的 因子在wolfe搜索下可以保证全局收敛性,比一般的 因子有更好的效果。参考文献:1 戴彧虹非线性共轭梯度法研究D中国科学院计算数学与科学工程研究所,博士学位论文,1997.2 Dai YH,YU

12、AN YA Nonlinear conjugate gradient with a strong global convergence propertyJ.SIAM Journal of optimization,2000(10):177-1823 黄兆龙.用启发算法和神经网络法解决二维不规则零件排样问题J.微计算机信息,2004(10):51-534 杜华英,赵跃龙.人工神经网络典型模型的比较研究J.计算机技术与发展,2006(05):97-99.5 陆琼瑜,童学锋.BP算法改进的研究J计算机工程与设计,2007(03):648-650.收稿日期:2008-03-27作者简介:李翔(1981-) 男,江苏徐州人,中国矿业大学硕士研究生,主要从事神经网络,数据挖掘的研究;苏成,男,中国矿业大学副教授,硕士生导师,主要从事访问控制,网络安全的研究。注:“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”专心-专注-专业

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 教育专区 > 教案示例

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知淘文阁网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号© 2020-2023 www.taowenge.com 淘文阁