《小波神经网络剖析ppt课件.ppt》由会员分享，可在线阅读，更多相关《小波神经网络剖析ppt课件.ppt（20页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智能中国网提供学习支持智能中国网提供学习支持3.3 小波神经网络 3.3.1 概述p小波神经网络（小波神经网络（Wavelet Neural Network, WNNWavelet Neural Network, WNN）是小波分析理论与神经网络理论相结合的产物是小波分析理论与神经网络理论相结合的产物 pPatiPati和和KrishnaprasadKrishnaprasad提出了离散仿射小波网络提出了离散仿射小波网络模型，其基本思想是将离散小波变换引入神经网模型，其基本思想是将离散小波变换引入神经网络模型，通过对络模型，通过对SigmoidSigmoid函数的平移伸缩构成中函数的平移伸缩构成
2、中的仿射框架，进而构造小波神经网络。的仿射框架，进而构造小波神经网络。pZhang QinghuZhang Qinghu等等19921992年正式提出小波神经网络年正式提出小波神经网络的概念，其思想是用小波元代替神经元，即用已的概念，其思想是用小波元代替神经元，即用已定位的小波函数代替定位的小波函数代替Sigmoid Sigmoid 函数作为激活函函数作为激活函数，通过仿射变换建立起小波变换与网络系数之数，通过仿射变换建立起小波变换与网络系数之间的连接。间的连接。3.3.1 概述p小波神经网络的优点小波神经网络的优点小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息神经网
3、络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快。 3.3.1 概述p小波神经网络类型小波神经网络类型松散型小波分析对神经网络的输入进行初步处理，使得输入神经网小波分析对神经网络的输入进行初步处理，使得输入神经网络的信息更易于神经网络进行处理络的信息更易于神经网络进行处理 融合型小波和神经网络直接融合，即小波元代替神经元,输入层到隐含层的权值及隐含层阈值分别由小波函数的尺度和平移参数所代替 （1
4、1）连续参数的小波神经网络）连续参数的小波神经网络 （2 2）由框架作为基函数的小波神经网络）由框架作为基函数的小波神经网络 （3 3）正交基小波网络）正交基小波网络 3.3.1 概述p小波神经网络存在着以下一些不足之处小波神经网络存在着以下一些不足之处1）在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。2）隐含层结点数难以确定。3）小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。4）未能根据实际情况来自适应选取合适的小波基函数。 3.3.2 小波神经网络参数调整算法p待确定参
5、数待确定参数连接权值尺度系统平移系数p小波神经网络参数调整算法小波神经网络参数调整算法 标准BP算法BP算法的改正算法3.3.2 小波神经网络参数调整算法p设小波神经网络为设小波神经网络为3 3层网络，包括输入层、隐层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层含层和输出层，输出层采用线性输出，输入层有有 个神经元，隐含层有个神经元，隐含层有 个神经元，输出层有个神经元，输出层有 个神经元。个神经元。(1,2,)M mM(1,2,)K kK(1,2,)N nN3.3.2 小波神经网络参数调整算法p隐含层选取的神经元激励函数为隐含层选取的神经元激励函数为MorletMorlet小
6、波小波p训练时，在权值和阈值的修正算法中加入动量训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习路径，项，利用前一步得到的修正值来平滑学习路径，避免陷入局部极小值，加速学习速度。为了避免避免陷入局部极小值，加速学习速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对网络的输出也并的振荡，采用成批训练方法。对网络的输出也并不是简单的加权求和，而是先对网络隐含层小波不是简单的加权求和，而是先对网络隐含层小波结点的输出加权求和，再经结点的输出加权求和，再经SigmoidSigmoid函数变换后，函数
7、变换后，得到最终的网络输出，有利于处理分类问题，同得到最终的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性时减少训练过程中发散的可能性 2h()cos(1.75)exp( 0.5() )xbxbxbaaa3.3.2 小波神经网络参数调整算法p给定给定 组输入输出样本，学习组输入输出样本，学习率为率为 ，动量因子为，动量因子为 p目标误差函数目标误差函数 式中 为输出层第n个结点的期望输出； 为网络实际输出 p算法的目标算法的目标不断调整网络的各项参数，使得误差函数达到最小值 (1,2,)P pP(0) (01)N1111()2PPpppnnppnEEdyPpndpny3.3.2
8、小波神经网络参数调整算法p隐含层输出隐含层输出 为输入层的输入为输入层的输入 为隐含层的输出 为输入层结点 为与隐含层结点 为之间的权值； 为Morlet小波函数。p 1h(),pMpppkkkkkmmmkIbOIw xapmxpkOkmwmkh()3.3.2 小波神经网络参数调整算法p输出层输出为输出层输出为 为输出层的输入 为隐含层结点 与输出层结点 之间的权值(),Nppppnnnnkkyh IIw OpnInkwn k3.3.2 小波神经网络参数调整算法p隐含层与输出层之间的权值调整式隐含层与输出层之间的权值调整式 、 分别表示调整前与调整后的隐含层结分别表示调整前与调整后的隐含层结点
9、点 与输出层结点与输出层结点 之间的连接权值； 为动量项。 1pnewoldoldnknknknkmwww ()(1)pppppnnknnnnnkEdyyywoldnkwnewnkwknoldnkw1pnewoldoldkmkmkmkmmwww 3.3.2 小波神经网络参数调整算法p输入层结点与隐含层结点之间的权值调整式输入层结点与隐含层结点之间的权值调整式 、 分别为调整前与调整后的输入层结点 与隐含层结点 之间的权值 为动量项 1pnewoldoldkmkmkmkmmwww 1()ppNpnkkmnknkmpnkmkEOwxwIoldkmwnewkmwmkoldkmw3.3.2 小波神经网
10、络参数调整算法p伸缩因子调整式伸缩因子调整式 、 为调整前与调整后的伸缩因子；为调整前与调整后的伸缩因子； 为伸缩因子动量项。1kpnewoldoldkkakmaaa 1()kppNnkanknknkkEOwaaoldkanewkaoldka3.3.2 小波神经网络参数调整算法p平移因子调整式平移因子调整式p 、 为调整前与调整后的平移因子；为调整前与调整后的平移因子；p 为平移因子动量项。为平移因子动量项。 1kpnewoldoldkkbkmbbb 1()kppNnkbnknknkkEOwbboldkbnewkb。oldkb3.3.2 小波神经网络参数调整算法p学习算法的具体实现步骤学习算法
11、的具体实现步骤1）网络参数的初始化将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量因子赋予初始值，并置输入样本计数器因子赋予初始值，并置输入样本计数器 。2）输入学习样本及相应的期望输出。3）计算隐含层及输出层的输出。4）计算误差和梯度向量。5）输入下一个样本，即 。6）判断算法是否结束。当 时，即代价函数 小于预先设定的某个精度值 ，停止网络的学习，否则将计数器重置为1，并转步骤2）循环。 1pp1p E(0) E3.3.3 小波神经网络的MATLAB函数p静态非线性回归小波神经网络的创建静态非线性回归小波神经网络的创建 指令格
12、式THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels)参数说明输出参数输出参数 THETA THETA 小波回归模型的估计参数。小波回归模型的估计参数。输入参数输入参数uy y 是一个列向量，是一个列向量，x x 对于单输入为一个列向量；对于多输入，对于单输入为一个列向量；对于多输入，x=x1 x2 . xmx=x1 x2 . xm ，每个，每个xixi都是一个列向量。都是一个列向量。 unbwavelonnbwavelon：构建小波网络的小波数量：构建小波网络的小波数量umax_epochmax_epoc
13、h：最大训练次数；：最大训练次数；initmodeinitmode为初始化模式为初始化模式u如果如果initmodeinitmode=THETA =THETA 则为一个包含小波神经网络参数的矩阵，则为一个包含小波神经网络参数的矩阵，这些参数用来初始化网络。这些参数用来初始化网络。min_nbwmin_nbw：最小输入模式数。：最小输入模式数。ulevelslevels：初始化过程中的级别数；：初始化过程中的级别数；min_nbwmin_nbw和和levelslevels为可选项。为可选项。 3.3.3 小波神经网络的MATLAB函数p小波神经网络的仿真小波神经网络的仿真pwavenetwavenet( )( )，可以很方便地得到网络的，可以很方便地得到网络的仿真结果。仿真结果。指令格式：g = wavenet(x, THETA)p小波神经网络的小波神经网络的MATLABMATLAB具体实现在具体实现在4.5.44.5.4节中详细介绍。节中详细介绍。 小结小结p概述概述p小波神经网络的类型小波神经网络的类型p小波神经网络参数调整算法小波神经网络参数调整算法p小波神经网络的小波神经网络的MATLABMATLAB函数函数p小波神经网络的特点小波神经网络的特点谢谢！谢谢！