《神经网络第三章精品文稿.ppt》由会员分享，可在线阅读，更多相关《神经网络第三章精品文稿.ppt（172页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、神经网络第三章第1页，本讲稿共172页3.1 3.1 辨识模型辨识模型辨识模型只是被测系统在一定环境下的近似描述，选择只能在以下情况中确定：是选择静态模型，还是选择动态模型？是选择参数模型，还是选择非参数模型？必须考虑：1)模型的用途；(2)被测对象的精确度与复杂程度；(3)系统的控制方式，是自适应控制还是实时控制；(4)使用神经网络，可以选择三层网络通过仿真比对完成，当前神经网络理论尚未明确指出需要几个隐层节点数才能模拟出系统。第2页，本讲稿共172页一、使用参数模型辨识的方法 从输入输出数据中提取被测系统S的数学模型M，使下式成立：YmYo=M(u)S(u)式中Ym、Yo分别是系统输入u作
2、用下模型和系统的输出。为预设的辨识精度。设e=YmYo，则辨识准则二、使用非参数模型辨识的方法 无需事先确定模型的具体结构，只需要知道运行过程为线性。这一类模型有阶跃响应、脉冲响应、频率特性第3页，本讲稿共172页三、人工神经网络用于系统辨识 用神经网络构成辨识模型，辨识方法就是用神经网络辨识模型逼近被测系统。用作辨识模型的神经网络通常有多层感知器、BP网络、Hopfield网络等。四、辨识系统的输入和输出辨识系统的输入和输出被测系统与辨识模型使用相同的输入信号。输入信号满足条件1、辨识时间内的输入信号必须持续激励，充分激励系统的所有模态，输入信号的频谱必须足够覆盖系统的频谱；2、输入信号要求
3、最优化。辨识系统常用的输入信号有伪随机序列或白噪声。辨识系统的输出是系统的误差。在确定系统误差时，选择误差准则，用来衡量辨识模型接近被测系统的程度。第4页，本讲稿共172页四、误差准则函数的泛函表示 f()用得较多的是平方函数：fe(k)=e2(k)e(k)是误差函数，定义区间为0，M，是辨识模型的输出与被测系统的输出之差。如果e(k)=0，则说明被测系统与辨识模型等价。第5页，本讲稿共172页 3.2 3.2 系统辨识过程中神经网络的作用系统辨识过程中神经网络的作用3.2.1 3.2.1 神经网络辨识原理神经网络辨识原理一、一、系统辨识 实质上是一个优化问题，优化准则依靠辨识目的、辨识算法的
4、复杂程度进行选择。二、辨识方法基于算法的辨识方法，适用于线性系统；基于神经网络的辨识方法，适用于非线性系统。1.1.基于算法的辨识方法基于算法的辨识方法要求建立一个模型，该模型依赖于某个参数，把辨识转化成了对模型参数的估计。1)最小二乘法利用最小二乘法原理，通过极小化广义误差的二次方和函数来确定模型的参数。例如一个线性系统模型，在经过一系列的数学变换后转换成最小二乘格式：z(k)=hT(k)+e(k)第6页，本讲稿共172页hT(k)是系统的广义输入，内含原系统输入u(k)和原系统输出y(k)；e(k)是系统的广义噪声。2)梯度校正法沿着误差准则函数关于模型参数的负梯度方向，逐步修改模型的参数
5、估计值，直到误差准则函数达到最小。3)极大似然法极大似然法通过极大化似然函数来确定模型参数。最小二乘法辨识系统第7页，本讲稿共172页2.2.基于神经网络的辨识方法基于神经网络的辨识方法人工神经网络辨识那些非线性系统，不需预先知道被测系统的模型。辨识并不在意神经网络以什么形式去逼近实际系统，只关心神经网络的输出与被辨识系统的输出相差多少，误差e(k)能否为0。从辨识的角度出发，只要e(k)小于某一个事先认可的值，对被辨识系统的辨识任务告一段落。第8页，本讲稿共172页3、神经网络的辨识方法的特点：(1)辨识器由神经网络构成，被辨识对象允许是本质上不能线性化的非线性系统；(2)辨识过程非算法式，
6、由神经网络的训练来实施。辨识结果是网络外部特性拟合系统的输入输出特性，网络内部特性归纳隐藏在输入输出数据中；(3)辨识之前无须对被辨识系统建模，神经网络辨识器的权值反映了被辨识对象的可调参数；(4)辨识过程是否收敛以及收敛速度仅取决于神经网络的结构及其算法，与被辨识系统及其维数无关，有别于与模型参数的维数密切相关的传统算法；(5)神经网络可用于在线控制；(6)神经网络连接权的权值在辨识中对应于模型参数，只要调节这些参数，就能使网络输出逼近系统输出。第9页，本讲稿共172页3.2.2 3.2.2 多层前向网络的辨识能力多层前向网络的辨识能力1.1.三层前向网络的逼近能力三层前向网络的逼近能力仅含
7、一个隐层的三层前向网络可以逼近某个函数。设输入层有n个节点，能接纳n个输入xi(i=1，2，3，n)，隐层有q个节点vj(j=1，2，3，q)，输出层仅有一个节点。网络的输入矢量为X，输入层到隐层第j个神经元的连接权值矢量用Wj表示，网络的输出为单输出，用y表示。()是隐层节点的作用函数。第10页，本讲稿共172页给定函数空间S、映射p，若函数f，g，hS，且满足：(1)p(f，g)0，且仅当f=g时取等号，具有正定性；(2)p(f，g)=p(g，f)，具有对称性；(3)三角不等式p(f，g)p(f，h)+p(h，g)成立。(s，p)为赋范空间，映射p称为距离函数或范数。如果URn是n维单位立
8、方体，C(U)是定义在U上的所有连续函数f(X)的集合，定义范数p=sup|f(X)|定理定理1 1 若神经元特性(t)是连续函数，且第11页，本讲稿共172页函数f(x)不仅限于连续函数，f(x)是一个非连续函数时定理仍然成立，只要求f(x)在1，1上有定义，且满足平方可积条件。利用傅里叶积分将f(x)展开成傅里叶级数若干个连续函数之和，对每一连续函数，定理1均成立。设f(x)连续，且在连续点处，有限次级数和的三角级数形式为第12页，本讲稿共172页问题推广到n维(n1)，定义矢量的绝对值为其各分量的最大绝对值，在单位空间中定义下列积分:其中将函数f(x)的集合记为L2(U)。定义范数则下列
9、定理成立:定理定理2 2 若神经元特性(t)是阈值特性，那么()在L2(U)中是p稠密的，即对于fL2(U)及0，g(X)，使得三层前向网络能以任意精度逼近任意连续函数、任意非连续函数及其各阶导数(如果存在导数)。这一性质能用于动态系统辨识，要求神经网络具备逼近各阶导数的能力。第13页，本讲稿共172页2.2.多层前向网络的基本结构多层前向网络的基本结构1）静态网络的典型例子就是BP网络，该网络的三个特征是多层次结构、S型神经元及反向传播算法(BackPropogation)。静态网络已在模式识别、系统识别、图像处理等方面受到较大的关注。2）动态多层前向网络回归网络是一种动态网络，它的结构特点
10、存在反馈。第14页，本讲稿共172页或用一段时间内的均方误差值 T选用适宜的一个正整数，并要求输入模式为动态信号。设网络的全部可调参数(例如连接权值和阈值)的集合用表示，网络的当前参数为，J为当前时刻指标函数的梯度，由BP算法知当前参数增量与梯度成正比：=J比值是学习速率或步长。第15页，本讲稿共172页(1)图(a)，有式中，用W(z)表示一个动态系统，只需要用BP算法静态计算，就能得到当前时刻的。设网络期望输出为W(z)是一个特定的脉冲传递标量函数。选取多层网N的结构为四层：输入层1个节点，第一隐层20个节点，第二隐层10个节点，输出层1个节点。用多层网N逼近:第16页，本讲稿共172页逼
11、近过程中W(z)可能有三种情况出现：第一种，取W(z)是纯滞后q步的线性系统，传递函数W(z)=zq，计算并时延q步得 当前值。如取q=5,训练指标用J1，=0.1时训练50 000步可得较好效果。训练指标用J2，=0.2时训练50 000步得相同结果。第二种，取W(z)是有限脉冲响应模型(FIRM)，传递函数W(z)=aiz1，计算线性组合以前各时刻的值后可得 。如设W(z)=0.1z1+1.0z2+0.5z3第17页，本讲稿共172页训练指标用J2，每三步调整一次参数(T=3)，=0.01时训练50 000次后N与f基本相同。第三种，取W(z)是稳定的有限传递函数，且能用参数模型描述，如描
12、述模型用ARMA模型。取训练指标用J1，=0.005时训练10万次，发现y与yq仍有差别。训练指标改用J2，=0.005时训练10万次，取T=5，最终效果较好。(2)对图(b)，多层前向网络的映射有两个，现分别确定。第18页，本讲稿共172页对于N1网络映射，用静态BP算法计算 ，其中是N1的参数。对于N2网络映射，使用静态BP算法计算 和 ，求得或写成其中，f代表了非线性的关系，有此函数关系的非线性系统均可以用神经网络来逼近。尽管如此，也不能简单地认为：N1能训练成f，N2能训练成g(u)。第19页，本讲稿共172页用例说明，设N1是结构为120101的单输入单输出系统，取训练用的输入信号是
13、分布在2，2之间的随机信号。训练好以后，实际输出y与期望输出yq之间无多大的差别。第20页，本讲稿共172页(3)图(c)，设和是当前点上取值的Jacobian矩阵矢量，它们能够在每一时刻求得，成为以下线性差分方程的系数矩阵矢量式中，是n维矢量，系统传递函数W(z)仅对其后的产生延时作用。如果离散系统通过零阶保持器采样，W(z)至少有一步时延效应，使得W(z)总只包括当前时刻前的各值。按照差分方程能递推出各时刻的值。第21页，本讲稿共172页(4)图(d)，N1的可用与图(c)相同的线性差分方程计算出来，N2则有仿真结果表明这种动态BP算法能使网络较好地跟踪期望输出。动态反向传播算法比静态反向
14、传播算法复杂得多，导致这种算法存在诸多缺点，其中突出的有两个缺点：一个是必须假设系统可以分成线性系统和非线性系统；另一个是需要已知线性系统的传递函数。第22页，本讲稿共172页3.2.3 辨识系统中的非线性模型辨识系统中的非线性模型神经网络作系统辨识，主要用于非线性辨识和自适应。非线性系统在能控性、能观性、负反馈调节、状态观测器设计等方面，还没有成熟的做法，难度是非线性系统的辨识模型和控制模型不易选取。为此，用神经网络辨识非线性系统，必须作一些假设限制：(1)被控对象具有能控能观性；(2)对所有可能的输入控制量u，被控对象的输出y存在并有界；(3)在辨识模型中的神经网络允许一个或几个，选用的结
15、构同于被控对象；第23页，本讲稿共172页(4)辨识模型的基本结构为包含神经网络的串并联结构。以上第(1)、(2)条限制是为了保证整个系统的稳定性及可辨性；第(3)条限制是为了方便选择模型，简化数学处理过程；第(4)条限制源于串并联结构有以下优点：由于被控对象的输出y存在并有界，那么串并联模型中所有用作辨识的信号均有界，使辨识模型易于稳定；串并联模型无反馈网络，使从后向前的静态反向传播算法成为可能；当辨识误差足够小时，不使用串并联结构，只使用并联结构也能有好的效果。第24页，本讲稿共172页在上述四种假设限制下，能够写出常用的一些非线性典型模型，现举例如下：第一种，这种模型的输出输入关系为n=
16、2，m=0时的并联结构和串并联结构如图4-6所示。第二种，第三种，第25页，本讲稿共172页并联及串并联模型(a)n=2，m=0时的并联模型；(b)n=2，m=0时的串并联模型第四种，y(k+1)=f(y(k)，y(k1)，y(kn)，u(k)，u(k1)，u(km)第26页，本讲稿共172页 3.3 非线性动态系统辨识非线性动态系统辨识3.3.1 非线性动态系统的神经网络辨识非线性动态系统的神经网络辨识设非线性离散动态系统的状态方程为X(k+1)=X(k)，U(k)Y(k)=X(k)，U(k)式中，X，Y，U分别是系统的状态矩阵、输出矩阵和输入矩阵，并设X(k)Rn，Y(k)Rp，U(k)R
17、m第27页，本讲稿共172页设状态方程描述的系统满足以下三个条件：第一条，定义U的取值范围组成的集合为Rm，则U。若X(0)Rm，则对有限个M，系统是稳定的，表现为：X(M)+Y(M)。第二条，函数和当Rn+mRn时连续且满足Lipschitz条件，系统解唯一。由于神经网络用作非线性离散系统辨识模型时属静态网络，用作非线性离散系统的动态模型时还需要满足下一个条件。第28页，本讲稿共172页第三条，设任意连续函数f：CRp，其中C为闭集，CRp，均存在网络参数W，使网络输出F(X，W)满足其中，是一个大于0的小正数。满足以上三个条件的神经网络非线性动态系统结构图如图4-7所示，用作系统辨识时有如
18、下定理。定理定理 考虑到满足第三条的系统状态方程为第29页，本讲稿共172页对于X(0)=X0Rm，U Rm，为闭集，对于每一0，必存在网络参数W，使得 U，都有满足上述第一条、第二条条件的系统充分接近输出，存在：maxy(k)Y(k)证明过程从略。此定理说明用BP网络组成非线性动态系统时，按上图结构，能构成非线性离散动态系统的精确模型，且有唯一稳定解。第30页，本讲稿共172页图 神经网络非线性动态系统结构图第31页，本讲稿共172页3.3.2 单输入单输出非线性动态系统的单输入单输出非线性动态系统的BP网络辨识网络辨识选用BP网络辨识，网络的结构可选三层前向网络。其中输入层用u(k)作输入
19、，神经元个数为n1，则n1 n+m+1隐层的神经元个数假设为n2个，可取n2n1隐层神经元个数n2在420个范围内选取，通过仿真比较，选取性能好的那个值。输出层神经元个数设为n3，大小等于被辨识系统的输出个数。第32页，本讲稿共172页现考虑一个单输入单输出非线性动态系统，设系统的输入及阶次分别为u(k)和m，输出及阶次分别为y(k)和p，系统方程为Y(k+1)=f(y(k)，y(k1)，u(k)，u(km+1)单输入单输出的n1n31。BP网络的输入矢量可写成x(k)=x1(k)，x2(k)，xn1(k)T因m、p未知，可进行的几种组合，比较性能后选最优的一组。第33页，本讲稿共172页设输
20、入层用“I”表示，隐层用“H”表示，输入层到隐层的连接权矩阵为wji，对应输入输出关系为Ij(k)=Hneti(k)阈值对应的状态为x0=1。设输出层用“O”表示，从隐层到输出层的连接权矩阵为Pi,相应输入输出关系为第34页，本讲稿共172页阈值对应的状态为I0=1。选用的性能指标为：学习规则采用广义规则，为加快收敛，规则带惯性项，格式如下：Pi(k)=Pi(k+1)Pi(k)=a1e(k)Ii(k)+a2Pi(k1)wji(k)=a1e(k)Hneti(k)Pi(k)xi(k)+a2wji(k1)e(k)=y(k)yq(k)Hneti(k)=neti(k)(1neti(k)第35页，本讲稿共
21、172页式中，i=1，2，n2；j=1，2，n1，以下同。基于BP网络的系统辨识分6步实施，各步如下。(1)初始化连接权为小的随机值。设Random()为1，+1内均匀分布的随机函数，初始值wji(0)=aRandom()0.1，0.1Pi(0)=aRandom()0.1，0.1(2)选择输入信号u(k)，候选的有阶跃、斜坡、正弦波、伪随机二进制序列(PRBS)等信号，只选一种加入系统。(3)仿真计算y(k)。(4)形成输入矢量X(k)，计算e(k)。第36页，本讲稿共172页(5)计算Pi(k)、wji(k)。(6)将u(k)、y(k)移位转入第二步继续。如果是离线辨识，结束循环的判断条件为
22、(预先选定为小的正数)|e(k)|=|y(k)yq(k)|例例1 水轮发电机组模型BP网络辨识。本例选自参考文献3。水轮发电机组在线辨识系统结构如图4-8所示。从结构图中看到，水轮发电机组模型的输入信号除正常PC调节器调节信号外，还叠加有一个二位式伪随机M序列信号PRES，由STD工控机参数在线辨识产生。第37页，本讲稿共172页第38页，本讲稿共172页辨识系统运行状态如下：水轮发电机组在三种典型工况下运行，分别是空载、带地区小负荷、并入大电网。机组工作于空载运行时，转换开关S接入“电气手动”时，水轮发电机组呈现开环调节系统运行。机组工作于带地区小负荷运行时，转换开关S接入“PC调节器”输出
23、，整个系统是一个受命于给定值的负反馈调节系统，由于负载较轻，参数在线辨识装置的输入基本上与“空载运行”相同。机组工作于“并入大电网”时，S仍拨在“PC调节器”输出位置上，负反馈调节继续有效，但辨识装置的输入却不同于“带地区小负荷运行”，由于机组的频率同于外电网的频率，辨识装置的输入为水轮机导叶开度和机组所带的外部有功负荷。对于混流式机组，在小波动工况下，转速v(s)对导叶开度k(s)的传递函数表示成第39页，本讲稿共172页式中，T、T0分别是机组及引水道的惯性时间常数，e0、e、a、b均是水轮机组的特性参数。水轮发电机组启动后，先空载运行，随后切换到电气手动运行，频率基准50 Hz，此时实际
24、空载开度约20%。输入信号选用5级PRBS，单位游历t=4 s，采样周期为0.4 s，幅值取导水机构接力器全行程的2%，记录1000次，用时6 min 40 s，记录下三个完整的PRBS周期。数据处理时去掉稳态分量，得到机组频率的相对变化曲线，如图3-9(a)所示。第40页，本讲稿共172页使用三层BP神经网络辨识，网络结构选用321，学习率=0.65，初始连接权在0，1间随机取值，用基本BP算法得到的BP输出如图b)所示，图(c)给出了实际输出与BP网络输出之间的差别，从差别极微可以看到，BP网络能较理想辨识出水轮发电机组非线性动态模型。第41页，本讲稿共172页 3-9 水轮发电机组的BP
25、动态辨识曲线(a)实际机组频率输出变化；(b)BP网络辨识结果；(c)实际测出结果与BP辨识之差第42页，本讲稿共172页例例2 煤气加热炉的BP动态辨识。煤气加热炉是典型的单输入单输出系统，输入u(t)是煤气流量，输出y(t)是排除烟道中CO2的浓度。输入输出的数据能够测得。模型的动态结构可以写成 Y(k)=f(y(k1),y(k2),y(k3),u(k3),u(k7)+cq1(k)式中，取模型的阶次n=3，m=5，时滞d=2。c、q、是系统结构参数。用来辨识的前向网络选用三层，输入层、隐层、输出层的神经元个数分别为n1=8、n2=7、n3=1。第43页，本讲稿共172页在进行训练前测得有2
26、89对u(i)，y(i)数据对，可选择其中200对训练隐层(如果隐层选取10个神经元，则可选用170对数据进行训练)。在训练前，所有数据对应进行正规化处理。训练使用带修正项的BP算法，性能指标选择均方误差函数：两种不同模型训练后的辨识结果比较如表4-1所示。第44页，本讲稿共172页第45页，本讲稿共172页系统经过学习后，可将测量所得289对数据中的余下数据对与BP网络的输出进行比对，就可以测得使用BP网络的辨识准确程度。图4-10给出了BP网络辨识结果及预报曲线，从图中观察到，预报时间较长，但预报的准确程度较为满意。网络学习过程中均方误差(MSPE)变化曲线如图4-11所示。变化趋势显示出
27、BP网络能够用于辨识，但与隐层神经元个数、输入输出阶次等有密切的关系。第46页，本讲稿共172页图 BP网络辨识结果及预报(a)辨识结果；(b)预报第47页，本讲稿共172页图 BP网络学习过程中的均方误差变化第48页，本讲稿共172页例例3 多输入多输出动态系统的BP网络动态辨识。现以两输入两输出系统为例介绍，设系统为一线性系统，传递矩阵为其中，A(z1)=1+0.883z1+0.471z2+0.083z3B11(z1)=3z13.5z21.5zzB12(z1)=z10.167z20.167z3B21(z1)=4z22z3z4B22(z1)=z10.167z20.083z30.167z4第4
28、9页，本讲稿共172页系统输入输出分别为这时网络输入量设为14，分别是n1=3，n2=3，m1=4，m2=4。y1(k)和y2(k)用两个神经网络学习：y1网络结构为9101，y2网络结构为10121，辨识信号为010间的均匀分布随机数，学习算法使用带惯性项的BP算法：第50页，本讲稿共172页式中，、是相关系数，取=0.9，由输出层或隐层选定，=0.3；yq是网络的输出值，作用函数为取40个样本，两个网络分别学习8500次和8800次后的辨识结果如表4-2所示，表内数据已经经过转换转到区间(0，1)内取值。第51页，本讲稿共172页第52页，本讲稿共172页设u1=u2=0.5作为系统常值输
29、入，系统的5组输出及测试网络后所得输出，列在表4-3中。最大相对误差(0.6610.543)/0.6612.7%，表示神经网络辨识的精度相当高。第53页，本讲稿共172页第54页，本讲稿共172页3.4 多层前向网络辨识中的快速算法多层前向网络辨识中的快速算法在多层神经网络极值训练中，BP算法存在收敛较慢及局部极小点问题。为此提出了多种修改算法，力图克服收敛较慢或避免陷入局部极小点。这些修正算法有增加惯性项、改变学习率或学习步长、引入高阶导数项等等。本节讨论使用递推最小二乘法(RLS)学习训练神经网络的连接权系数，这种方法有较快的收敛速度。第55页，本讲稿共172页1.神经元模型神经元模型考虑
30、有M层的多层前向网络，输入层为1层，输出层为M层，其中的每个神经元均可表示成式中，n是第n层神经元个数，wij是第i个神经元到第j个神经元的连接权，f()是单调单值连接的S型函数，且第56页，本讲稿共172页每个神经元的输入输出关系可以分解成线性输入或非线性输出两部分，从线性输入到非线性输出之间存在一一对应的映射和逆映射关系。其中逆映射可将输出信息转换到输入端，使用线性参数估计技术对神经网络的连续权进行训练，便于使用递推最小二乘法。第57页，本讲稿共172页2.RLS训练算法训练算法设输出层神经元的期望输入r(k)和期望输出d(k)之间有一定的关系：d(k)=fr(k)对d(k)的逆变换可写成
31、r(k)=f1d(k)式中，f1()是f()的反函数。定义性能指标：第58页，本讲稿共172页式中，称为遗忘因子。神经元的输入输出重新写出如下：性能指标改写成考虑到 第59页，本讲稿共172页令可得W的LS估计为W(k)=T(k)(k)1T(k)R(k)相应的RLS估计为 WL(k)=WL1(k)+ML1(k)rL(k)XTL1(k)WL1(k1)式中，第60页，本讲稿共172页递推时取初值：PL1(0)=(103106)I对于中间层每个神经元，定义其期望输入与期望输出满足d(k)=fr(k)定义反传误差为it(k)=dit(k)xit(k)=fnetit(k)rit(k)netit(k)相应
32、神经元期望输入为Rit(k)=f1dit(k)第61页，本讲稿共172页定义式中，(k)为非负遗忘因子。在t=L1时，对第i个神经元，由于令反传误差L(k)=rL(k)nL(k)及L1(k)=L(k)wiLf netiL(k)有第62页，本讲稿共172页求解此式，可得神经元i的连接权系数RLS估计：WL1(k)=WL1(k1)+WL1由此类推直至t=1，可得RLS估计如下：Wit(k)=Wit(k1)+Mt1(k)rit(k)netit(k)由此可计算各神经元的输出。现举一个仿真实例，设非线性系统为式中，u(k)=sin(2/250)。u(k)和y(k)是该系统的输入与输出，而该系统的结构未知
33、。第63页，本讲稿共172页现在使用4层前向网络描述该非线性系统，4层的节点分别为520101，输入层的输入矢量 X0T(k)=y(k1),y(k2),y(k3),u(k1),u(k2)取初始值Pi(0)103I，t=0.99，使用RLS估计，经过400步学习后均方误差收敛且小于0.075，学习时间小于31 s。图3-12和图3-13分别是RLS估计均方误差和BP算法均方误差,当比较两条曲线时,能够明显发现,RLS估计只要较少的学习步骤，例如400步便产生收敛，误差就能限制在一个事先确定的较小范围。而BP算法要想达到相同的目的，约需4000步费时4 min 13 s(仿真结果)，收敛才能达到0
34、.1。如果要想达到RLS估计的收敛值0.075，则还需要更长的时间。第64页，本讲稿共172页图3-12 RLS算法估计均方误差第65页，本讲稿共172页图3-13 BP算法估计均方误差第66页，本讲稿共172页用BP算法估计神经网络的连接权时，所用的算法为wij(k)=wij(k1)ait(k)xji(k)式中，it是反传误差，a是学习步长。输出层的反传误差为L(k)=fn(k)d(k)x(k)中间层的反传误差为it(k)=fn(k)jt(k)wji(k1)步长为 a(k)=amax+(aminamax)e第67页，本讲稿共172页 3.5 非线性模型的预报误差神经网络辨识非线性模型的预报误
35、差神经网络辨识除RLS外，还有诸多提高收敛速度的算法，预报误差算法就是其中的一种。3.5.1 非动态模型建模非动态模型建模预报误差算法简称RPE算法，它具有预报精度高、收敛速度快等特点，同样该算法也能用于非动态模型的神经网络建模。考虑图4-14的三层前向网络，设三层结构n1n21，输入层有n1个神经元，隐层有n2个神经元，输出层仅一个节点。第68页，本讲稿共172页图3-14 三层前向网络第69页，本讲稿共172页网络输入为xi，i=1，2，n1。网络的输出为y。zj和qj是隐层中第j个神经元的输出值和阈值，j=1，2，n2。Wkij表示第k1层中第i个神经元，对第k层中的第j个神经元的连接权
36、。隐含层中节点的作用函数取成S型函数：网络的输入输出关系为y(t)=WXX=g(WijXi+Qi)第70页，本讲稿共172页该网络能辨识的非线性系统具有如下的输出输入关系：y(t)=fy(t1)，y(tm)，x(t1)，x(tn)+d(t)其中，y(t)和x(t)是非线性系统的输出和输入；m与n分别是输出与输入的最大滞后；d(t)是影响该系统的非线性随机因素，如随机噪音；f()是非线性函数。在三层前向网络中，设Q=Q1，Q2，QnT是神经网络中待求的神经元阈值，n1+n2是待定的神经元个数。e(t)是实际输出与神经网络输出之差，又称为偏差。训练算法让Q1Qn在一定的条件准则下得到确定值。第71
37、页，本讲稿共172页RPE算法是一种将预报误差极小化来估计参数的方法。算法中同样需要准则函数。这里不妨设准则函数为式中，N是数据长度，e(t)是预报误差。有了准则函数，RPE算法便可沿着J的高斯牛顿(Gauss-Newton)方向搜索，不断修正未知参数矢量，直至使J趋近于最小。第72页，本讲稿共172页3.5.2 递推预报误差算法递推预报误差算法递推预报误差算法的原则是先选定参数矢量的修正算式，再求对Q的一阶及二阶微分。设修正算式为Q(t)=Q(t1)+S(t)Q(t1)式中，(Q)就是高斯牛顿搜索方向，可定义成(Q)=H(Q)1 J(Q)其中，J(Q)是J(Q)关于Q的梯度，H(Q)是J(Q
38、)的Hessian矩阵。J(Q)和H(Q)表示成它们分别是J(Q)对Q的一阶和二阶微分。第73页，本讲稿共172页1.递推预报流程递推预报流程递推预报误差算法如下式：e(t)=y(t)yq(t)式中，(t)是遗忘因子，对收敛速度有影响。改变的方法是迭代开始时取(t)1；t时取(t)1。或设置的初值，例如取(0)=0.950.99，而后有(t)=(0)(t1)+(1(0)第74页，本讲稿共172页若将RPE用于三层前向神经网络，隐层取一层，相应的为n1矩阵，矩阵中各元素为由此设计的RPE流程如下：(1)用较小随机值初始化连接权值和阈值，得：W(0)=a Random()Q(0)=b Random
39、()第75页，本讲稿共172页(2)选P(0)为对角矩阵。(3)按照网络输入分别计算隐层节点x1k及输出节点yq的值。(4)形成阵并求预报误差e(t)、P(t)阵及参数序列Q(t)。(5)重复以上(2)(4)，直至收敛。从以上的分析可以看到，RPE算法实际上是一种求高阶导数的学习算法。在计算H(Q)的逆矩阵上使用递推最小二乘法，与基本BP算法(仅利用一阶导数)相比，高阶导数的计算加快了收敛速度。第76页，本讲稿共172页2.RPE算法的具体应用算法的具体应用例例1 带电流内环和转速外环的PWM直流脉宽调速系统，具有如图4-15所示的系统结构。转速环处于外环，能有效克服环内出现的干扰以及外特性引
40、起的速度变化。但电机转速却会因电机运行工况、电源电压的波动或畸变、机械负荷的突然变化而发生改变，因此双环调速系统本身是一个非线性时变系统。另外，还有许多非线性因素也广为存在系统中，如：时磁滞、齿轮间隙、库仑摩擦、调节器限幅、脉冲调制放大器和运算放大器饱和产生的非线性等。第77页，本讲稿共172页图43-15 转速电流双闭环PWM调速系统第78页，本讲稿共172页在转速环基础上增加位置环，将构成位置伺服系统，该系统有一系列典型的非线性特征，这是PWM调制所产生的。为了动态辨识转速环，便于使用RPE算法，选用321的神经网络结构。同时选择输入信号为2 V0.2 V，其中2 V是系统转速环给定值，对
41、应需要恒定运转的速度，0.2 V是迭加的幅值，用于考虑一定的波动允许范围。输入信号可用矢量表示成X(t)=u(t1)，u(t2)，y(t1)T输出信号为测速发电机的输出电压。在用RPE算法训练900次后，神经网络预报输出及残余序列实测曲线如图3-16所示。实测阶跃响应拟合曲线如图3-17所示。第79页，本讲稿共172页图3-16 神经网络预报输出及残余序列实测曲线第80页，本讲稿共172页图3-17 实测阶跃拟合曲线第81页，本讲稿共172页对比拟合曲线可以看到，神经网络辨识PWM系统动态模型的效果令人满意。通常为了评价模型的拟合精度，常引入误差指数E，定义成式中，e(t)是偏差值，为系统实际
42、输出与神经网络输出之差。改变隐层节点数目后，不同的E值如表4-4所示。输入矢量及输入节点不同时的E值如表4-5所示。第82页，本讲稿共172页第83页，本讲稿共172页由此可见，选择如此结构的神经网络模型较为合理，输入节点数及输入矢量的合理搭配在很大程度上能影响拟合精度。通常情况下合理选择隐层节点数量，适当增加输入节点数量及延迟y(t)，对提高辨识精度较为有利。例例2 设SISO非线性模型为选用辨识的神经网络结构为211，输入信号为六级伪随机二进制序列PRBS，用u(t)表示，设输入矢量为X(t)=u(t1)，y(t1)T第84页，本讲稿共172页参数矢量(t)和分别为(t)=1，2，3，4T
43、=1，2，3，4T递推1000次后得参数矢量(t)=0.4999，0.3999，0.09985，0.6000T，表示结果十分理想。如果改用BP算法，因学习率等一系列参数难于折中表示，得不到满意结果。第85页，本讲稿共172页4.6 非线性系统逆模型的神经网络辨识非线性系统逆模型的神经网络辨识无论是线性系统还是非线性系统，都存在一个可逆性问题。在正常情况下，对系统进行分析的主要任务就是：系统在一个控制信号的作用下，将会产生什么样的输出，产生什么样的运动轨迹。例如一个系统可用以下方程表示出来：y=f(u，x，T)第86页，本讲稿共172页其中，y是输出，u 是输入，x是状态变量，T是系统的控制作用
44、。当输入一定、系统状态不变时，系统输出y应直接与控制作用T有关，式中的f(u，x，T)事实上是系统在外力作用下的非线性函数。正常的系统分析过程是已知控制信号T(t)，确定其运动轨迹u(t)和x(t)。已知系统的运动轨迹u(t)和x(t)，寻找控制信号T(t)，被称为系统分析的逆过程。系统分析过程与逆过程如图3-18所示。第87页，本讲稿共172页图3-18 系统分析过程及逆过程(a)系统分析过程；(b)系统分析逆过程第88页，本讲稿共172页3.6.1 系统分析逆过程的存在性系统分析逆过程的存在性在一个控制系统中，如果已经知道了运动轨迹u(t)、x(t)，要想求出它的控制信号T(t)，首先必然
45、要问：这个控制信号是否存在?系统是否可逆?在求解系统运行的正向过程和逆向过程中，神经网络具有的独特的作用与功能，尤其是对于非线性系统。神经网络的学习方式有监督学习和非监督学习两种。监督学习中存在导师信号，导师信号的功能恰好是演示期望的运动轨迹，而不是起控制作用的，不是直接教会网络实施运动神经的控制。由此可见，在清晰明了的导师信号前，系统的运动轨迹也清晰可见，寻找相应的控制指令更加方便与直观。事实上，神经网络在获取了所期望的运动轨迹后，将产生相应的各种运动神经指令，传送给网络的各层以实现这个期望值，并由相应的感觉系统完成测量。第89页，本讲稿共172页在比较实际轨迹与期望运动轨迹的基础上，神经网
46、络产生一个它们之间的差值。如果将这个差值作为导师信号完成对相应神经网络的训练，那就能从神经网络的输出中产生“控制信号”，从而实现系统分析的逆过程。一个系统是否可逆，是否能用神经网络建立逆模型实现辨识，与系统自身的性质密切相关，与系统是否线性无关。线性系统的可逆性问题比非线性系统的可逆性问题要简单得多。线性系统的可逆性问题实际上是一个能控性问题，凡具有能控性的系统，可逆性必存在，系统必然可逆。例如对单变量线性系统，可逆性十分清晰；对多变量线性系统，利用能控性判据也能得出可逆存在。第90页，本讲稿共172页非线性系统的可逆性问题则要复杂得多，目前尚无一个普遍适用的方法对应所有的非线性系统，既然无通
47、用解法，只能遇到一个，辨识一个(非线性系统)。现考察离散单输入单输出非线性系统，设该系统的输入和输出分别是u(k)R，y(k)R又设mi，系统的传输关系为y(k+1)=fy(k)，y(kn)，u(k)，u(km)式中，f()是输出、输入之间的函数关系。系统可逆性有如下定义：如果存在R(n+m+1)的子集A，且y(k)，y(kn)，u(k1)，u(km)TA第91页，本讲稿共172页当任意一个u(k)=u(k)时，必有fy(k)，y(kn)，u(k1)，u(km)fy(k)，y(kn)，u(k1)，u(km)则称系统在点y(k)，y(kn)，u(k1)，u(km)处是可逆的，否则称系统在该点处是
48、奇异(即不可逆)的。对于奇异系统，有fy，u=fy，u第92页，本讲稿共172页上述对系统可逆性的定义仅仅定义了系统在某些点上是可逆或奇异的。系统的奇异是一种极端情况，非线性系统在某一点上可逆并不等于说该系统就是一个可逆系统，这是因为系统在某些点上是可逆的，但在另一些点上却是奇异的。介于可逆系统与奇异系统之间的系统是存在的，一个系统能够在某些点表现出存在两个不同的输入u(t)u(t)，但能引起相同的输出，例如带滞环特性的阀门就有这种特征。系统可逆性的充分条件由下述定理给出。第93页，本讲稿共172页定理定理 如果对于u(k)，fy(k)，y(kn)，u(k)，u(k1)，u(km)严格单调，那
49、么系统在点y(k)，y(kn)，u(k1)，u(km)T处可逆。只有在所有点处可逆都成立，系统才是可逆系统。定理的证明较为简单，由于系统严格单调，则f(y，u)f(y，u)表明系统在该点处单调。多值非线性系统不一定都是可逆系统。是否可逆就看它是否符合定理的三个条件。例如磁滞回线是否为可逆系统，可作如下分析：第94页，本讲稿共172页表面上看，磁滞的一个输入对应两个输出，每个输出可找到相应的两个控制信号，似乎磁滞回线不可逆。但是磁滞控制有一个特征，就是有向性，升磁和消磁经过的路径不同，如果是磁化过程，一个输入仅对应一个输出；反之，退磁过程是一个输入仅对应一个输出。必然能逆向辨识，由此可见磁滞回线
50、是可逆系统，只是正向过程和逆向过程所走的路径不同罢了。又如系统y=(u1)u(u+1)就是一个不可逆系统，它不符合定理提出的三个条件，如y=0时，有1，0，1三个解。第95页，本讲稿共172页3.6.2 非线性系统的逆模型非线性系统的逆模型非线性系统的逆模型研究包括逆系统建模及逆模型辨识两部分内容。逆系统建模的主要任务是对非线性系统的逆运行过程建立一个数学模型；逆模型辨识是对非线性系统的逆运行进行辨认识别，看其与哪一种已知模型更接近。神经网络辨识是逆模型建立和辨识的核心内容。本节所述逆模型的建立方法突出了神经网络的功能与作用。非线性系统的逆模型建立方法有如下几种：直接逆系统建模、正逆系统建模及