《2022年遗传算法进化设计BP神经网络气象预报建模研究 .pdf》由会员分享，可在线阅读，更多相关《2022年遗传算法进化设计BP神经网络气象预报建模研究 .pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第 22 卷 第 4 期热带气象学报Vol.22,No.42006 年 08 月JOURNAL OF TROPICAL METEOROLOGYAug.,2006 文章编号：1004-4965（2006）04-0411-06 遗传算法进化设计BP 神经网络气象预报建模研究吴建生1，金 龙2，汪灵枝1（1.柳州师范高等专科学校数学与计算机系，广西柳州 545004；2.广西气象减灾研究所，广西南宁 530022）摘 要:利用遗传算法进化设计神经网络的结构和连接权，并针对遗传算法局部调节能力比较弱的问题，采用从进化后的神经网络中用训练样本再次寻优的方法，建立神经网络气象预报模型，该方法克服了神经网络
2、极易陷入局部解和遗传算法局部调节能力比较弱的问题，以广西的月降水量进行实例分析，计算结果表明该方法预报精度高、而且稳定。关 键 词：神经网络；遗传算法；预报建模中图分类号：TP183 文献标识码：A 收稿日期:2005-06-06；修订日期：2005-08-16基金项目：广西科技厅基金项目（0339025）资助作者简介:吴建生（1974-），男，陕西咸阳人，硕士，讲师，从事神经网络应用研究。Email： 1 引言20世纪 90 年代以来，国内外在大气学科中开展了很多有关神经网络预报建模和气候分析等应用研究13。然而随着神经网络方法在大气科学领域研究的不断深入，研究人员发现神经网络方法在实际业务
3、天气预报应用中存在一个重要的问题，即在利用神经网络方法进行气象预报建模时，神经网络的初始权值、网络结构以及网络的学习参数、动量因子难以确定，往往是通过反复训练来确定网络的结构和各种参数，这样会导致在应用中出现过拟合问题，在一定程度上影响网络的泛化能力，极大地限制了神经网络在实际天气业务中的应用4,5。该问题的研究不仅关系到在大气学科中能否进一步深入开展有关人工神经网络方法的业务预报应用，并且也是目前人工神经网络应用理论研究中尚未得到很好解决的关键技术问题。遗传算法是从自然进化的思想和理论发展而来的一种全局性概率搜索算法，是进化计算的一种。近年来，遗传算法进化神经网络是一个十分活跃的研究领域61
4、0，本文利用遗传算法的全局搜索能力同时进化设计三层 BP（误差反向传播算法，Back Propagation）神经网络的结构和连接权，并针对遗传算法局部调节能力比较弱的问题11，采用从进化后的神经网络中利用训练样本再次寻优的方法，建立进化神经网络气象预报模型。实例计算结果表明，这种方法避免了一般神经网络依靠经验确定网络结构和网络初始连接权的困难，在建模样本和预报因子相同的条件下，其预报精度明显优于逐步回归模型，而且预报结果稳定，具有一定的普遍适应性，同时该方法有效结合神经网络的局部调节能力强和遗传算法全局优化能力，有效地提高了预报能力。2 遗传算法遗传算法是模拟达尔文的遗传选择和自然淘汰的生物
5、进化过程的计算模型，它是一种基于自然选择和遗传变异等生物机制的全局性概率搜索法。它的主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖梯度信息，也不需要求解函数可微，只需要该函数在约束条件下可解。它尤适用于处理传统方法难以解决的复杂和非线性问题，可广泛用于组合优化、机器学习、自适应控制、规划设计和人工生命等领域，是 21 世纪人工智能的关键技术之一，遗传算法的基本操作见文献 12。3 BP神经网络方法人工神经网络是模拟人类生理的神经机制的计算名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 6 页 -412 热 带 气 象 学 报22 卷模型，近 20 年来神经网络技术已
6、经渗透到各个领域，在智能控制、模式识别、计算机视觉、非线性优化等方面取得了巨大的成功和进展，已经成为人工智能研究和应用的重要领域之一。神经网络有许多优良的性能，如：非线性映射能力、自组织性和自适应性能力、记忆联想能力等。神经网络的模型很多，目前应用最广泛的具有成效的是BP神经网络模型13,14。BP 算法的学习过程是将输入信息沿网络正向传播，误差信号反向传播来修改网络连接权组成。具体地讲，它是利用均方误差和梯度下降法来实现网络连接权的修正，对网络连接权修正的目标是网络误差平方和最小。从输入层输入信号经隐层处理，并传向输出层，每一层神经元状态只是影响下一层神经元状态，如果在输出层得不到期望输出，
7、则将误差信号沿原来连接通路反向传播，进而修正网络原来的连接权，使得网络误差信号最小。对于输入节点为m个，输出节点为 n 个，隐节点为p个的三层 BP神经网络输入与输出之间的关系如下11?()()pmkjkijjtjiytvfx wr=?+（1）其中1()1xf xe-=+。4 遗传算法进化设计神经网络预报模型神经网络连接权的整体分布包含着神经网络系统的全部知识，传统的权值获取方法都是随机给定一组初始的权值，然后是采用某个确定的变化规则，在训练中逐步调整，最终得到一个较好的权值分布。但是由于 BP 算法是基于梯度下降方法，不同的初始连接权可能会导致完全不同的结果。一旦取值不当，就会引起网络振荡或
8、不收敛，即使收敛也会导致训练时间增长，再加之实际问题往往是极其复杂的多维曲面，存在多个局部极值点，使得 BP 算法极易陷入局部极值点15。这些都导致BP 神经网络训练时间过长而最终得不到适当的权值分布；另外在神经网络应用中，还没有一套成熟的理论方法来确定网络的隐节点，隐节点的确定基本上依赖经验，主要采用递增或递减的试探方法来确定的网络隐节点16，极大地限制了神经网络在实际预报中的应用。本文将用遗传算法进化设计三层BP 神经网络的网络结构和连接权，由于遗传算法的搜索不依赖梯度信息，也不需要求解函数可微，只需要求解函数在约束条件下可解，并且遗传算法具有全局搜索的特性，用遗传算法进化优化神经网络的网
9、络结构和连接权，可以较好地克服BP 神经网络的问题并且有利于提高神经网络的泛化性能。遗传算法进化BP 神经网络的基本思想是：改变BP 算法依赖梯度信息的指导来调整网络连接权的方法，而是利用遗传算法全局性搜索的特点，寻找最为合适的网络结构和网络连接权。由于三层神经网络由输入层、输出层和隐层组成，而输入层、输出层节点的个数由建模样本决定，故而在进化BP网络结构时，主要是寻找最优隐节点的个数。遗传-神经网络的优化问题数学描述如下171211111?min(,)()().,NnkkktmppnpnE w vrytytNs twRvRRrR=?=-?（2）其中?()ky t 是期望输出，()kyt 是实
10、际输出，w 是输入层到隐层的连接权矩阵，v是隐层到输出层的连接权矩阵，是隐层阈值向量，r 是输出层阈值向量。利用遗传算法求解式（2）的二次非线性优化问题，定义遗传算法的适应度函数为1(,)1min(,)F w vrE w vr=+（3）在进化过程中把总样本N 分成 3 部分，训练样本1、训练样本2和检测样本31112(,),1,2,mnkkxyxRyRkNNN=LL（4）21122(,),1,2,mnkkxyxRyRkNNNNN=+LL（5）322(,),1,2,mnkkxyxRyRkNNN=+LL（6）具体的实现步骤如下：（1）利用样本训练1，训练三层 BP 网络使其满足式（2），把连接权中
11、的最大值和最小值分别记为maxu和minu，以该区间min1max2,uu-+（其中1,2为调节参数）作为连接权的基本解空间。（2）对基本解空间进行编码，其中编码生成的码串由控制码和连接权码两部分组成。控制码主要是控制隐节点的个数，它是由0、1组成的串，其中 0 表名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 6 页 -4 期吴建生等：遗传算法进化设计BP 神经网络气象预报建模研究 413 示无连接，1 表示有连接，串长1l可由输入节点个数的0.51.5 倍来确定。而连接权码主要是控制网络的连接权，采用浮点数编码，串长211lmlmlnn=+（其中 m为输入节点的个数，n为输出
12、节点个数）。编码按一定的顺序级联成一个长串，每个串对应一组网络结构和连接权。（3）初始群体由L个个体构成，每个个体由两部分组成，第一部分是串长为1l的 0-1 串；第二部分是区间min1max2,uu-+上的2l个均匀分布随机数。（4）计算群体中每个个体的适应度，由控制码得到网络的隐节点个数，由连接权码得到网络的连接权，输入训练样本1，按照式（3）计算每个个体的适应度。（5）保留群体中适应度最高的个体，它不参与交叉和变异运算，而直接将其复制到下一代。对群体中的其它个体，采用轮盘赌选择法进行选择。（6）对于控制码的交叉和变异采用基本遗传算法中的方法，在变异运算时，当某个神经元被变异运算删除时，相
13、应的有关连接权编码被置为0，而当变异运算增加某个神经元时，则随机初始化有关连接权编码。由于连接权采用浮点数编码，需要设计新的交叉算子和变异算子。以cp的概率对选择后的个体进行交叉。设在第i个体和第1i+个体之间进行交叉，交叉算子如下11111(1)(1)tttiiiiitttiiiiiXcXcXXcXcX+?=?+-?=-?+?（7）式中1,ttiiXX+是一对交叉前的个体，111,ttiiXX+是交叉后的个体，ic 是区间0,1的均匀分布的随机数。以mp 的概率对交叉后的个体进行变异，设对第i个体进行变异，变异算子如下1ttiiiXXc+=+（8）式中tiX 是变异前的个体，1tiX+是变异
14、后的个体，ic 是区间min1max2,ttiiuXuX-+上的均匀分布随机数。这样可以保证变异后的个体仍在搜索区间内。（7）生成新一代群体，反复进行（4）（6）的步骤，每进行一次，群体就进化一代，直到适应度满足要求或者达到总的进化代数。（8）最后一代的群体L 个个体全部解码，得到相应的 L 组神经网络的网络结构和连接权，输入训练样本2，求解满足下式的网络结构和连接权。212221211?min(,)()().,NnkkkNtmppnpnEw vrytytNNs twRvRRrR=?=-?-?（9）（9）得到一组网络的隐节点和连接权，再把检验样本3代入下式，检验所得网络的泛化能力。233121
15、?()()NnkkkN tEytytNN=-（10）以上方法可以归纳为：先通过训练样本1，遗传进化得到一组网络结构和连接权，再进一步用训练样本2从进化后的结果中再次寻优，这样考虑了最近的样本对后序预报量的影响比较重要这个事实，同时也可以克服遗传算法搜索到最优解附近时，无法确定最优解位置的缺陷。5 应用实例及其结果分析对广西的全区 19572003年历年 4月平均降水量建立进化 BP神经网络预报模型，训练样本1为 37 个（19571993 年）、训练样本2为 5 个（19941998年）、检测样本3为 19992003 年 5 个独立样本。预报因子主要是通过对预报量与前期北半球月平均500 h
16、Pa高度场、太平洋海温场进行相关普查计算，取相关系数高的格点作为预报因子，共提取35 个建模因子，再利用逐步回归从中筛选变量，得到8 个因子的回归方程414222324283034?664.691.572.421.030.601.292.772.190.69yxxxxxxxx=+-+-+-（11）在遗传算法进化BP 神经网络模型时，先采用三层 BP 神经网络估计网络连接权的基本解空间，设定网络的输入层节点个数为8 个，隐节点个数为8 个，输出层节点个数为1 个。输入训练样本，按照步骤（1）求得min1.82u=-，max1.93u=，则连接权重的解空间初步设为 2,2-，隐节点个数搜索范围为4
17、12，遗传算法进化过程中初始种群100L=，进化代数 K=1 000，交叉概率0.85cp=，变异概率0.006mp=。按照步骤（2）（9）建立进化 BP神经网络模型，预报模型对检测样本3的预报结果见表 1。从表 1可以看出，逐步回归模型对5 个独立样本预报的平均绝对误差和平均相对误差分别为62.29 mm 和 39.11；而遗传算法进化的 BP网络模型方法对 5个独立样本预报的平均绝对误差和平均相对误差分别为23.24 mm和14.65。名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 6 页 -414 热 带 气 象 学 报22 卷在建模样本相同，预报因子相同的条件下，遗传算法
18、进化 BP 神经网络模型的整体预报能力明显优于逐步回归模型。同时从表1 还可看出，遗传算法进化BP神经网络模型对 1999、2000、2001年的预报误差远远小于逐步回归模型，这 3年的提高最明显，而在 2002、2003 年的预报中逐步回归模型略优于遗传算法进化BP神经网络模型，这正说明了遗传算法进化BP 神经网络模型预报能力与实际相符，它能较精确地预报与其邻近样本的情况，如果中间相隔时间跨度太长其预报能力会有所下降，逐步回归无法预报与其邻近样本的情况，而又可以较精确预报与其在时间跨度上较长样本的情况，这与实际不相符合。由于上述预报分析时一次对最后5年作预报计算，为了与实际预报工作相一致，我
19、们进一步以这8 因子作为建模因子，分别采用遗传算法进化BP 神经网络模型和逐步回归方法进行逐年预报，即用 19571998年42个样本作训练样本建模，预报 1999 年；再用 19571999年 43 个样本作训练样本建模，预报2000 年；依此类推，直到用19572002年 46 个样本作训练样本建模，对 2003 年进行预报。在此预报建模过程中，遗传操作的参数取值与前面相同，模型对独立样本的预报结果见表 2。从表 2 可以看出，在建模样本相同，预报因子相同的条件下，对 5 年独立样本作逐步预报时，基于遗传算法的BP 网络模型每一年的预报误差都小于逐步回归模型。进一步分析可以看出，进行逐年预
20、报时，随着建模样本的增多，遗传算法进化 BP 网络模型预报精度有所提高。而逐步回归模型，逐年预报5个独立样本（表2）比一次预报 5 个独立样本（表1）的平均误差反而增大，从中可以看出逐步回归方法在增加已知信息时预报能力反而有所下降。为进一步考察基于遗传算法进化BP 网络模型的预报能力，我们再对35个初选因子，通过提高F值，减少进入回归方程的预报因子个数，讨论当因子改变后，该预报建模方法的预报能力是否仍然好于同等条件的回归方法。共选出4 个因子，回归方程为4142830?192.011.443.232.652.32yxxxx=-+-+-（12）遗传算法进化BP 网络预报模型网络参数和以上相同，预
21、报结果见表3。从表 3 可以看出，在采用4个因子建模时，逐步回归模型一次对5 个独立样本预报的平均绝对误差和平均相对误差分别为59.22 mm和 39.73，在建模样本，预报因子相同的条件下，遗传算法进化 BP网络模型的对 5个独立样本预报平均绝对误差和平均相对误差分别为28.54 mm和18.53 它的预报能力依然优于逐步回归模型。作者同样也对4个因子进行逐年预报计算，所得结果见表4。表 1 8个预报因子的两种预报模型对19992003 年的独立样本一次预报结果年逐步回归预报模型遗传算法进化BP 神经网络模型份实况/mm 预报绝对误差相对误差/%预报绝对误差相对误差/%1999 197.80
22、 105.38 92.24 46.72 144.80 53.00 26.80 2000 166.80 99.30 67.50 40.47 141.78 25.02 15.00 2001 143.90 11.67 132.23 91.89 140.85 3.05 2.12 2002 115.80 133.02 17.22 14.87 138.93 23.13 19.98 2003 128.70 126.63 2.07 1.61 140.72 12.02 9.34 平均值62.29 39.11 23.24 14.65 表 2 8个预报因子的两种预报模型对19992003 年的独立样本逐年预报结果年
23、份逐步回归预报模型遗传算法进化BP 神经网络模型建模预报实况/mm 预报绝对误差相对误差/%预报绝对误差相对误差/%19571998 1999 197.80 105.38 92.42 46.72 144.80 53.00 26.80 19571999 2000 166.80 109.83 56.97 34.16 153.92 12.88 7.72 19572000 2001 143.90 36.30 107.60 74.77 132.11 11.79 8.19 19572001 2002 115.80 163.12 47.32 40.86 137.02 21.22 18.33 19572002
24、 2003 128.70 145.59 16.89 13.13 120.50 8.20 6.37 平均值64.24 41.93 21.42 13.48 名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 6 页 -4 期吴建生等：遗传算法进化设计BP 神经网络气象预报建模研究415 表 3 4个预报因子的两种预报模型对19992003 年的独立样本一次预报结果年逐步回归预报模型遗传算法进化BP 神经网络模型份实况/mm 预报绝对误差相对误差/%预报绝对误差相对误差/%1999 197.80 91.83 105.97 53.58 140.15 57.65 29.14 2000 166.
25、80 147.25 19.55 11.72 144.72 22.08 13.24 2001 143.90 71.17 72.73 50.55 126.73 17.17 11.93 2002 115.80 194.13 78.33 67.64 146.62 31.82 27.48 2003 128.70 148.21 19.51 15.16 142.65 13.95 10.84 平均值59.22 39.73 28.54 18.53 表 4 4个预报因子的两种预报模型对19992003 年的独立样本逐年预报结果年份逐步回归预报模型遗传算法进化BP 神经网络模型建模预报实况/mm 预报绝对误差相对误
26、差/%预报绝对误差相对误差/%19571998 1999 197.80 91.83 105.97 53.58 140.15 57.65 29.14 19571999 2000 166.80 155.44 11.36 6.80 181.74 14.94 8.96 19572000 2001 143.90 74.53 69.37 48.21 153.76 9.86 6.85 19572001 2002 115.80 196.39 80.59 69.60 147.49 31.69 27.37 19572002 2003 128.70 150.06 21.36 16.60 138.22 9.52 7.
27、40 平均值57.73 38.96 24.73 15.94 从预报结果对比分析看出，分别在两组不同因子的条件下，无论是一次预报5 个独立样本还是逐年预报 5 个独立样本，遗传算法进化 BP网络模型均比逐步回归预报模型的预报精度都有明显提高，而且预报结果稳定。另外这两组不同预报因子的遗传算法进化BP网络模型，在进行独立样本的逐年预报时，都显示出随着训练样本的增加，预报效果比一次预报5 个独立样本的精度高，体现出遗传算法的BP网络模型随着学习样本增加，“学习”能力增强的特点。相反，逐步回归方法一次作5 个独立样本预报的平均相对误差还小于逐年预报的平均误差，没有随着建模样本增加而呈现“见多识广”的学
28、习能力。同时我们也对广西的桂北、桂中、桂南的历年4月份降雨量利用上述方法建模，结果同样表明，遗传算法进化的 BP 神经网络模型预报结果稳定，预报精度高，而且预报效果明显优于逐步回归模型。6 结语本文利用遗传算法进化设计BP 神经网络结构和连接权进行气象预报建模研究，其结果相对传统逐步回归方法预报精度高、稳定性好，具有一定的普遍适应性，这为今后进行神经网络方法预报建模提供了新的思路和方法。本文在研究过程中得到如下结论：（1）该方法克服了由于神经网络初始连接权的随机性和网络结构确定过程中所带来的网络振荡，以及网络极易陷入局部解问题并且有效提高神经网络的泛化能力，这种方法避免了一般神经网络依靠经验确
29、定网络结构的困难。（2）该方法在进行独立样本的逐年预报时，遗传算法进化的BP 网络模型的预报能力都随着训练样本的增加，预报的精度也有所提高。体现出随着学习样本增加，它的“学习”能力增强的特点。（3）本文在建立于遗传算法进化的BP 网络模型，特别提出了从进化过的网络结构和连接权中，利用训练样本再次寻优的方法，充分发挥了遗传算法和神经网络的长处，综合了神经网络泛化映射能力和遗传算法全局收敛能力，并且克服遗传算法的局部调节能力比较弱的问题，该方法进一步提高预报能力。（4）本文在利用遗传算法进化BP 网络的结构和连接权的过程中，如对于输入节点为8 个，隐节点的取值范围为4 12，输出节点为1 个，满足
30、式（2）的遗传优化过程中，约束条件的变量数目将在41 113之间，其遗传优化变量空间巨大，如何有效选择交叉概率、变异概率加快遗传算法的收敛速度将是我们进一步考虑的问题。名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 6 页 -416 热 带 气 象 学 报22 卷参 考 文 献：1 DEAN,ANDREW R,FIEDLER Brian H.Forecasting warm-season burn-off low clouds at the San Francisco international airport using linear regression and a neur
31、al networkJ.Appl Meteor,2002,41(6):629-639.2 胡江林,涂松柏,冯光柳.基于人工神经网络的暴雨预报方法探索J.热带气象学报,2003,19(4):422-428.3 王艳娇,张鹰,邓自望,等.RBF 神经网络的汛期旱涝预报方法研究J.热带气象学报,2005,21(1):100-106.4 JIN Long,JU Weimin,MIAO Qilong.Study on Ann-based multi-step prediction model of short-term climatic variationJ.Advances Atmosphere Sc
32、iences,2000,17(1):157-164.5 金龙,况雪源,黄海洪,等.人工神经网络预报模型过拟和研究J.气象学报,2004,62(1):62-69.6 李祚泳,彭荔红.基于遗传算法的暴雨强度公式参数的优化J.高原气象,2003,22(6):637-639.7 饶文碧,徐锐,尚钢.基于遗传算法的结构损伤识别J.武汉理工大学学报,2003,25(7):75-77.8 李发斌,崔鹏,周万村，等.用遗传神经网络分析泥石流活动性J.中国地质灾害与防治学报,2003,14(3):16-18.9 GALLANT P J,AITKEN J M.Genetic algorithm design of
33、 complexity-controlled time-series predictorsC/Proceedings of the IEEE X Workshop on Neural Networks for Signal Processing.Toulouse:IEEE NNSP Technical Committee,2003（）：456-462.10 TIAN L，NOORE A.Evolutionary neural network modeling for software cumulative failure time predictionJ.Reliability Enginee
34、ring and System Safety,2005,87:45-51.11 DE Jong K A.Genetic algorithms:a 25 years perspectiveJ.Computation Intelligent Systems,1993（8）:539-567.12 王小平,曹立明.遗传算法-理论,应用与软件实现 M.西安：西安交通大学出版社,2002:13-19.13 SIMON Haykin.神经网络原理 M.叶世伟，史忠植译.北京：机械工业出版社，2004：112-121.14 HAGAN Martin T,DEMUTH Howard B,BEALE Mark H
35、.神经网络设计 M.戴葵译.北京：机械工业出版社，2002:49-56.15 董聪.前向网络全局最优化问题研究J.中国科学基金,1997(1):23-29.16 陈国良，王熙法.遗传算法及其应用 M.北京:人民邮电出版社,1996:40-41.17 HOPFIELD J J.Neural networks and physical systems with emergent collective computation abilitiesC.Washington:Proceedings of the National Academy of Science,1982,98():2554-2558
36、.THE BACK-PROPAGATION NEURAL NETWORK METEOROLOGICAL FORECAST MODEL RESEARCH EVOLVED AND DESIGNED BY GENETIC ALGORITHMS WU Jiang-sheng1，JIG Long2，WANG Ling-zhi1（1.Department of Mathematics and Computer,Liuzhou Teacher College,Liuzhou 545004,China；2.Guangxi Research Institute of Meteorological Disaste
37、rs Mitigation,Nanning 530022,China）Abstract:Evolving neural network architectures and connection weights by using genetic algorithms,aiming at the problem of weak local regulation ability with genetic algorithms,and adopting secondary optimum from evolved neural network results by trained samples,th
38、is method has established a neural network meteorological forecast model.It can overcome the defects of neural network,namely,falling into local solution network and the problem of weak local regulation ability with genetic algorithms.An applied example is built with monthly mean rainfall across the whole area of Guangxi and calculation results indicate that the method has high and stable forecast accuracy.Key words:neural network;genetic algorithms;forecast model名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 6 页 -