2022年训练RBF神经网络 .pdf

《2022年训练RBF神经网络 .pdf》由会员分享，可在线阅读，更多相关《2022年训练RBF神经网络 .pdf（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、具有混合粒子群优化的RBF神经网络的训练1具有混合粒子群优化的RBF神经网络的训练海沧高1，伯勤冯2，云侯3，和李珠41学院电子与信息工程，西安交通大学，西安710049 ，中国2软件工程学院，西安交通大学，西安710049 ，中国摘要. 粒子群优化（ PSO ）的已被用于训练神经网络。但是，粒子崩溃如此迅速，以致它可能会存在一种潜在危险，这种危险具有停滞的特征，这将不可能达成全局最优。本文采用了一种模拟退火算法与混沌搜索技术 (HPSO) 相结合的混合PSO算法来解决这一问题。该HPSO 用于训练径向基函数 (RBF)神经网络。基准函数优化和数据分类问题（虹膜，玻璃，酒和新甲状腺）实验结果表

2、明提出的算法的有效性和高效率。1. 介绍粒子群优化 (PSO)的是由肯尼迪 1 提出的一个新的进化计算技术，该算法受鸟类社会行为的引起。类似遗传算法 (GA), 粒子群优化算法是一个人口优化工具 2 。但与遗传算法又不同。它没有像交叉和变异的进化操作。与遗传算法相比，PSO 具有一定吸引人的优势。它具有内存，所以良好的解决办法的认识是通过所有粒子被保留的。它有建设性合作关系的粒子，在粒子群中它们共享之间的信息。PSO 算法已成功适用于许多领域：功能优化，人工神经网络训练，模糊系统控制等领域 3 。但是，粒子崩溃如此迅速，因此出口有潜在危险的停滞的特点，这将不可能达成全球最佳。本文采纳了一种改进

3、的粒子群优化算法（ HPSO ）来解决这一问题。2. RBF神经网络径向基函数 (RBF ）网络，被 Broomhead 4 引入到神经网络中。由于它更好的逼近能力，简单的网络结构和更快的学习算法， RBF网络已广泛应用于许多领域。RBF神经网络有的三层与反馈 5 有关的体系结构。 包括一组源节点的输入层把网络与环境连接起来。隐藏层包含具有径向激活功能的H隐藏神经元（径向基单位） 。高斯函数往往被选定为激活功能。第i 次隐藏神经元的输出iZ，是一种径向基函数，它由下列公式定义了一个球形感受野：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - -

4、- - - 名师精心整理 - - - - - - - 第 1 页，共 8 页 - - - - - - - - - 具有混合粒子群优化的RBF神经网络的训练2其中iC 和i分别是中心和第 i 次隐藏单元的宽度。隐藏层里的每个神经元有一个实质性的有限球形激活区域，由欧氏距离确定输入向量， X 和中心，iC ，iZ 功能的标准化与比例因子尺度因子i有关。输出层，一系列总合单位，提供网络响应。3. 混合 PSO 算法训练 RBF神经网络PSO 算法具有很强能力来找到了最乐观的结果。但它具有局部最优的缺点。模拟退火算法拥有强大的能力找到全局最优的结果，它可避免局部最优的问题。 在某些领域中， 混沌运动可

5、以通过所有状态不必再根据其本身的规则。因此，结合混沌和模拟退火算法模拟退火算法的 PSO算法，这种算法互相学习对方的长处和抵消自己的薄弱环节，混合粒子群优化策略（ HPSO ）是被建议的。3.1 粒子群优化在一个 n 维搜索空间中， 基本 PSO 算法模型包括一群移动的粒子群。每个粒子由位置向量X表示位置和速度矢量V表示速度。颗粒试图找到要解决问题的方法。他们发现，全局最好的解决办法，只需调整每一个人对自己的最佳位置和每个时间步长里最佳的颗粒群的轨迹。在 一 个n维 搜 索 空 间 中 第i个 粒 子 的 位 置 和 速 度 可 以 分 别 用来 表 示 。和iniiiiniiixxxXv,v

6、,vV,2121，佳位置每个粒子都有自己的最idP目 前 它对应个人取得的最好的目标价值。表示，全局的最好粒子用gdP代表了目前被发现的最好的粒子。在每个迭代步， 速度被更新和粒子被迁移到一个新的位置。从之前的速度到新的速度的速度更新计算如下：这里 G1和 G2是加速系数常量， 称为惯性因子， rand() 是均匀分布的随机数，范围在 0,1 。新的位置是由之前的位置的总合和新的速度所决定的，它可以计算出按下列公式：由于简单的概念， 容易执行和快速收敛， 如今的 PSO 算法取得了很大的关注和广泛的应用。但是，简单算法的性能很大程度上取决于它的参数，它往往遇到被陷入局部优化的问题。研究人员通过

7、实证 6 和理论 7 分析了它，这表明，粒子振荡在不同的正弦波和收敛名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 8 页 - - - - - - - - - 具有混合粒子群优化的RBF神经网络的训练3很迅速，有时过早，特别是对小惯性因子 或加速系数1G 和2G 的 PSO 算法。3.2 混沌优化在某些领域混沌运动可以通过所有状态不必再三的根据规则本身。它有三个重要的动态特性：敏感度依赖于初始条， 内在随机性和遍历性， 混乱与演变有很深的关系。在混沌理论中，生物进化被视为

8、反馈随机性，随机性不是由外部干扰所造成的而是由内在因素 8 造成的 。对生物种群演变的描述Logistic方程 9 被提出了的。这是最常见和最简单的混沌函数：其中， L 是控制参数，范围在0 和 4.0 之间。当 L=4.0, 该系统被证明是在混沌状态。鉴于任意初始值，这个初始值范围在(0,1 ） ，但不等于 0.25,0.5和 0.75, 混沌轨迹最终在(0,1 ）寻求不重复的任何一点。如果不断的优化连续对象问题的目标函数：那么混沌优化战略的过程可以概括如下：第 1 步：算法初始化。.,),0(),0(),0(, 1, 1,33,ikiikiiiikibbaaffxxxxkk让这里， k是混

9、乱参数的迭代的符号。K 是精确搜索符号。3ix 是目前发现最好的混沌变量。3f 是目前的最佳解决方案，这个方案初始化为较大的数。第 2 步：把混沌变量kix 绘制到优化变量区，得到kimx ：第 3 步：根据混沌优化策略搜索。,),(33kiikixxmxff如果.)(3fmxfki否则，继续。第 4 步：让骤中保持不变。直到和重复步骤在某些 步32),1(4, 13fxxxkkkikiki第 5 步：减少混沌变量的搜索规模：其中，调整系数3),5 .0, 0(imxC是目前最好的办法。步骤 6 ：恢复优化变量3ix名师资料总结 - - -精品资料欢迎下载 - - - - - - - - -

10、- - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 8 页 - - - - - - - - - 具有混合粒子群优化的RBF神经网络的训练4采用新的混沌变量kiikiAxxAy3)1(重复步骤 2 至 5，其中 A是一个小数目。让骤中保持不变。直到在某些 步, 13,fkk第 7 步：在几次重复步骤5 和 6 后，完成计算过程。 最后的3imx 是最好的优化变量， 和3f是最好的解决办法。3.3 模拟退火SA是基于邻域搜索的概念。柯克帕特里克 10 提出的一种 SA的形式， SA可能被用来解决复杂的优化问题。 该算法通过选择那些给定的候选解决办法附近的候

11、选的办法来工作。SA尝试在一个局部最优中通过不时的接收一个步骤去避免诱陷，而这个步骤会使价值目标函数恶化。在分配方案的帮助下。SA 可以在初始温度和冷却时间安排上提供一个合理的控制权，使其在解决方案的质量上发挥有效的探索和良好的信心。），（其中温度数冷却时间被用于调节在退火功能建设中，指10,1kktt是减少率。人们往往认为是一个良好的冷却方式， 因为在计算快速时间和达到低能量的状态的能力之间，它提供了一个比较好的折衷。3.4 训练 HPSO 的运算法则训练 RBF神经网络的 HPSO 算法可以归纳如下：第 1 步：初始化结构，激活函数和HPSO 的目标函数。第 2 步：初始化 HPSO 的算

12、法参数（即随机地初始化速度iX 和位置iV 。初始化温度0T和冷却参数。用具有最佳位置的粒子指标初始化idP，等于gdP ， ） 。设置粒子的速度和位置的界限。第 3 步：评估和存储初始位置和每一个粒子的适切性。评估和存储全局最佳位置和群的适切性。第 4 步：根据方程（ 2）和（ 3）更新粒子的速度iV 和位置iX 。更新个人最佳位置和每一个粒子的适切性。第 5 步：实现混沌寻求最佳粒子。根据方程（7）和（8）减少了搜索空间。更新全局最佳位置和每一个粒子的适切性。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 -

13、- - - - - - 第 4 页，共 8 页 - - - - - - - - - 具有混合粒子群优化的RBF神经网络的训练5第 6 步：执行退火操作，降低温度1)更新(tk1和设置kktk。第 7 步：如果停止标准不满意，请转到步骤4 。否则，输出最佳解决方案为止。4. 实验在这一节 HPSO 适用于基准函数优化和数据分类问题（虹膜，玻璃，酒和新甲状腺）实验。基准函数最优化实验被详细地证明了被提到的运算法则的有效性。4.1 基准函数优化算法 （HPSO ， 简单 PSO 的算法 11 和 SA ） 在 DeJong基准函数优化上进行了比较。 该 DeJong函数如下：其中，).2.1( ,0

14、48. 2048.2ixi函数是连续的和多式联运；.0) 1 , 1(, 1*fx和从图 1 我们可以看到在寻找全局最优的结果中HPSO 执行 PSO 和 SA。它可以有效地避免局部最优的问题。4.2 基准数据集实验四个数据集，这些数据集是所有的分类问题，并来自UCI 数据集机构 12 ，它们被选中进行实验。 每个数据集的属性， 阶级和实例的都可以在表1 中找到。在每个数据集里每种方法运行 10 次，并且平均价值被选为实验结果。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，

15、共 8 页 - - - - - - - - - 具有混合粒子群优化的RBF神经网络的训练6三个训练算法 （ HPSO ， PSO算法，和 newrb ）进行了比较 11 ，对于算法 RBF神经网络，newrb 函数的程序作为标准训练算法被包含在Matlab 神经网络工具箱里。参数的PSO 和HPSO 的参数规定如下：分量在 0.8 和 0.2 之间线性地渐减，加速系数5.221GG。 HPSO的温度是 1000。试验结果已列在表2 ，这是在不同的数据集里三种方法的错误率。从表 2 可以看出，训练设置和测试设置的准确率超出那些简单的PSO和 newrb 的准确率。因此，在本文中提到HPSO 算法

16、对于 RBF神经网络是更为有效。5. 结论本文提出了一种具有模拟退火和混沌搜索技术的混合算法PSO来训练 RBF神经网络。HPSO 算法结合了 PSO, SA, 和 Chaos强大的能力。他们可以户互相学习对方的长处和抵消自己的薄弱点。基准函数优化和数据集分类问题（虹膜，玻璃，酒和新甲状腺）的实验结果表明了提出的算法的有效性和高效率。鸣谢作者要感谢那些匿名评论家， 因为他们认真阅读本文件和他们的有益的意见。这项工作在通过 no.2003AA1Z2610下得到了国家高技术发展计划（863）的支持参考资料名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - -

17、- - - - - 名师精心整理 - - - - - - - 第 6 页，共 8 页 - - - - - - - - - 具有混合粒子群优化的RBF神经网络的训练71. Kennedy, J., Eberhart, R.C.: Particle Swarm Optimization. In: Proceedings of IEEE International Conference on Neural Networks, Perth, Australia (1995) 19421948 2. Eberhart, R.C., Shi, Y.: Comparison between Genetic

18、Algorithm and Particle Swarm Optimization. In. Proceedings of 7th Annual Conference on Evolutionary Computation (1998) 611 616 3. Kennedy, J., Eberhart, R.C., Shi, Y.: Swarm Intelligence. Morgan Kaufmann Publishers, Inc., San Francisco, CA (2001) 4. Broomhead, D, Lowe, D.: Multivariable Functional I

19、nterpolation and Adaptive Networks. Complex Systems 2 (1998) 321355 5. Catelani, M., Fort, A.: Fault Diagnosis of Electronic Analog Circuits Using a Radial Basis Function Network Classifier. Measurement 28(2000)147158 6. Kennedy, J.: Bare Bones Particle Swarms. In: Proceedings of IEEE Swarm Intellig

20、ence Symposium, (2003)80 87 7. Cristian, T.I.: The Particle Swarm Optimization Algorithm: Convergence Analysis and Parameter Selection. Information Processing Letters 85(6) (2003)317325 8. Zhang, T., Wang, H.W., Wang Z.C.: Mutative Scale Chaos Optimization Algorithm and Its Application. Control and

21、Decision 14(3) (1999)285288 9. Moon Francis C. Chaotic and Fractal Dynamics, an Introduction for Applied Scientists and Engineers. New York: John Wiley & Sons, (1992) 10. Kirkpatrick, S., Gelat, J.C.D., Vecchi, M.P.: Optimization by Simulated Annealing. Science 4596(220) (1983)671680 11. Liu, Y., Qi

22、ng, Z., Shi, Z.W.: Training Radial Basis Function Network with Particle swarms, ISNN04, Springer-Verlag Berlin Heidelberg (2004)317322 12. Blake, C., Keogh, E., Merz, C.J.: UCI Repository of Machine Learning Databases, 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 8 页 - - - - - - - - - 具有混合粒子群优化的RBF神经网络的训练8www.ic.uci.edu/mlearn/MLRepository.htm (2003) 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 8 页 - - - - - - - - -