前馈神经网络精.ppt

《前馈神经网络精.ppt》由会员分享，可在线阅读，更多相关《前馈神经网络精.ppt（94页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、前馈神经网络前馈神经网络1第1页，本讲稿共94页前馈神经网络是神经网络中的一种典型的分层前馈神经网络是神经网络中的一种典型的分层结构，信息从输入层进入网络后逐层向前传递结构，信息从输入层进入网络后逐层向前传递至输出层。根据前馈网络中神经元转移函数、至输出层。根据前馈网络中神经元转移函数、隐层数以及权值调整规则的不同，可以形成具隐层数以及权值调整规则的不同，可以形成具有各种功能特点的神经网络。有各种功能特点的神经网络。2第2页，本讲稿共94页3.1 感知器感知器3.2 自适应线性单元自适应线性单元3.3 BP网络网络3.4 BP网络变通结构网络变通结构3.5BP网络学习算法的改进网络学习算法的改

2、进3.6BP网络设计基础网络设计基础3.7 BP网络应用与设计实例网络应用与设计实例3.8 小结小结3第3页，本讲稿共94页n1958年，美国心理学家年，美国心理学家Frank Rosenblatt提出一种提出一种具有具有单层计算算单元的神元的神经网网络，即感知器。感知器是，即感知器。感知器是模模拟人的人的视觉接受接受环境信息，并由神境信息，并由神经冲冲动进行信息行信息传递。感知器研究中首次提出了自。感知器研究中首次提出了自组织、自学、自学习的思的思想，而且想，而且对说解决的解决的问题存在着收存在着收敛算法，并能从数算法，并能从数学上学上严格格证明，因而明，因而对神神经网网络的研究起了非常重要

3、的研究起了非常重要的推的推动作用。作用。单层感知器的感知器的结构和功能都很构和功能都很简单，以至于在解决，以至于在解决实际问题是很少采用，但由于它在神是很少采用，但由于它在神经网网络研究中具有重要研究中具有重要意意义，是研究其他网，是研究其他网络的基的基础，而且，而且较易学易学习和理解，和理解，适合于作适合于作为神神经网网络的起点。的起点。3.1 感知器感知器4第4页，本讲稿共94页3.1.1 感知器模型感知器模型j=1,2,m 5第5页，本讲稿共94页净输入：净输入：输出：输出：3.1.1感知器模型感知器模型6第6页，本讲稿共94页(1)(1)设输入向量设输入向量X=(x1,x2)T输出：输

4、出：则由方程则由方程 wijx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。确定了二维平面上的一条分界线。ojx1-1x23.1.2感知器的功能感知器的功能7第7页，本讲稿共94页感知器的功能（二维）感知器的功能（二维）8第8页，本讲稿共94页wij x1+w2j x2 Tj=0wij x1=Tj -w2j x2x1=(Tj-w2j x2)/wij =-(w2j/wij)x2+Tj/wij =a x2+c 9第9页，本讲稿共94页设输入向量设输入向量X=(x1,x2,x3)T输出：输出：则由方程则由方程 wijx1+w2jx2+w3j Tj=0 确定了三维空间上的一个分界平面。确定了

5、三维空间上的一个分界平面。x2ojx1x3-110第10页，本讲稿共94页wij x1+w2j x2+w3j x3 Tj=0 x1=a x2+b x3+c 是什么？是什么？11第11页，本讲稿共94页设输入向量设输入向量X=(x1,x2,xn)T则由方程则由方程 wijx1+w2jx2+wnj Tj=0确定了确定了n n维空间上的一个分界平面。维空间上的一个分界平面。输出：输出：wijx1+w2jx2+wnj Tj=012第12页，本讲稿共94页 一个最简单的单计算节点感知器具有分类功能。一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量其分类原理是将分类知识

6、存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。将输入模式分为两类。3.1.2感知器的功能感知器的功能13第13页，本讲稿共94页例例 用感知器实现逻辑用感知器实现逻辑“与与”功能功能x1x2y000010100111逻辑逻辑“与与”真值真值表表14第14页，本讲稿共94页例一例一 用感知器实现逻辑用感知器实现逻辑“与与”功能功能感知器结构感知器结构w1x1+w2x2-T=0 0.5x1+0.5x2-0.75=015第15页，本讲稿共94页例例 用感知器实现逻辑用感知器实现逻辑“或或”功能功能x1x2y000011

7、101111逻辑逻辑“或或”真值表真值表16第16页，本讲稿共94页用感知器实现逻辑用感知器实现逻辑“或或”功能功能感知器结构感知器结构 w1x1+w2x2-T=0 x1+x2-0.5=017第17页，本讲稿共94页问题：能否用感知器实现问题：能否用感知器实现“异或异或”功能？功能？“异或异或”的真值表的真值表x1x2y00001110111018第18页，本讲稿共94页n关键问题就是求关键问题就是求19第19页，本讲稿共94页3.1.3感知器的学习感知器的学习nPerceptron(感知器感知器)学习规则学习规则式中，当实际输出与期望值相同时，权值不需要调整。感知器学习规式中，当实际输出与期

8、望值相同时，权值不需要调整。感知器学习规则代表一种有导师学习。则代表一种有导师学习。20第20页，本讲稿共94页感知器学习规则的训练步骤：感知器学习规则的训练步骤：(1)(1)对各权值对各权值w0j(0),w1j(0),wnj(0)，j=1,2,m （m为计算层的节点数）赋予较小的非零随机数；为计算层的节点数）赋予较小的非零随机数；(2)(2)输入样本对输入样本对Xp,dp，其中其中Xp=(-1,x1p,x2p,x xn np p)，dp为期望的输出向量（教师信号），上标为期望的输出向量（教师信号），上标p代表代表 样本对的模式序号，设样本集中的样本总数为样本对的模式序号，设样本集中的样本总数

9、为P，则则p=1,2,P P；3.1.3感知器的学习感知器的学习21第21页，本讲稿共94页(3)计算各节点的实际输出计算各节点的实际输出ojp(t)=sgnWjT(t)Xp,j=1,2,.,m；(4)调整各节点对应的权值，调整各节点对应的权值，Wj(t+1)=Wj(t)+djp-ojp(t)Xp,j=1,2,m,其中为学习率，用于控制调整速度，太大其中为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢，会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取一般取01；(5)返回到步骤返回到步骤(2)输入下一对样本，周而复始直到对所有输入下一对样本，周而复始直到对

10、所有 样本，感知器的实际输出与期望输出相等。样本，感知器的实际输出与期望输出相等。3.1.3感知器的学习22第22页，本讲稿共94页感知器学习规则的训练步骤：感知器学习规则的训练步骤：（1 1）权值初始化）权值初始化（2 2）输入样本对）输入样本对（3 3）计算输出）计算输出（4 4）根据感知器学习规则调整权值）根据感知器学习规则调整权值（5 5）返回到步骤）返回到步骤(2)输入下一对样本，周而复输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期始直到对所有样本，感知器的实际输出与期望输出相等。望输出相等。23第23页，本讲稿共94页例例 单计算算节点感知器，点感知器，3 3个个输入

11、。入。给定定3 3对训练样本本对如下：如下：X1=(-1，1，-2，0)T d1=1X2=(-1，0，1.5，-0.5)T d2=1X3=(-1，-1，1，0.5)T d3=1 设初始权向量设初始权向量W(0)=(0.5,1,-1,0)T，=0.1。注意，输入向量注意，输入向量中第一个分量中第一个分量x0恒等于恒等于-1，权向量中第一个分量为阈值，试根据以，权向量中第一个分量为阈值，试根据以上学习规则训练该感知器。上学习规则训练该感知器。3.1.3感知器的学习24第24页，本讲稿共94页解：第一步解：第一步 输入输入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=

12、2.5 o1(0)=sgn(2.5)=1 W(1)=W(0)+d1-o1(0)X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T3.1.3感知器的学习25第25页，本讲稿共94页第二步第二步 输入输入X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)=W(1)+d2-o2(1)X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于由于d2=o2(

13、1)，所以，所以W(2)=W(1)。3.1.3感知器的学习26第26页，本讲稿共94页第三步第三步 输入输入X X3 3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1)=-1W(3)=W(2)+d3-o3(2)X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，继续训练直到返回到第一步，继续训练直到dp-op=0，p=1,2,3。3.1.3感知器的学习27第27页，本讲稿共94页3.1.4单层感知器的局限性单

14、层感知器的局限性n问题：能否用感知器解决如下问题？问题：能否用感知器解决如下问题？28第28页，本讲稿共94页3.1.4单层感知器的局限性单层感知器的局限性n无法解决无法解决“异或异或”问题问题n只能解决线性可分问题只能解决线性可分问题“异或异或”的真值表的真值表x1x2y00001110111029第29页，本讲稿共94页双层感知器双层感知器“异或异或”问题分问题分类类例四例四 用两计算层感知器解决用两计算层感知器解决“异或异或”问题。问题。“异或异或”的真值的真值表表x1 x2y1 y2 o 0 01 1 00 11 011 00 111 11 1 03.1.5多层感知器多层感知器30第3

15、0页，本讲稿共94页给出具有一个具有单隐层的感知器，其中隐层的两个节点相当于两个独立给出具有一个具有单隐层的感知器，其中隐层的两个节点相当于两个独立的符号单元（但计算节点感知器）。这两个符号单元可分别在由的符号单元（但计算节点感知器）。这两个符号单元可分别在由x1x1、x2x2构构成的平面上确定两条分界直线成的平面上确定两条分界直线S1S1和和S2S2，从而构成一个开放式凸域。显然通过，从而构成一个开放式凸域。显然通过适当调整两条直线的位置，可使两类线性不可分样本分别位于该开放式凸域内部适当调整两条直线的位置，可使两类线性不可分样本分别位于该开放式凸域内部和外部。此时对于隐节点和外部。此时对于

16、隐节点1 1来说，直线来说，直线S1S1下面的样本使其输出下面的样本使其输出y1=1y1=1，而直线，而直线上面的样本使其输出为上面的样本使其输出为y2=1y2=1，而直线下面的样本使其输出为，而直线下面的样本使其输出为y2=0y2=0。当输入样本为当输入样本为o o类时，其位置位于开放式凸域外部，即或者同时同时处在两直线类时，其位置位于开放式凸域外部，即或者同时同时处在两直线S1S1、S2S2上方，使上方，使y1=0y1=0，y2=1y2=1；或者同时处在两直线；或者同时处在两直线S1S1、S2S2下方，使下方，使y1=1y1=1，y2=0y2=0。输出层节点一隐层两节点的输出输出层节点一隐

17、层两节点的输出y1y1、y2y2作为输入，其结构也相当于作为输入，其结构也相当于一个符号单元。如果经过训练，使其具有逻辑一个符号单元。如果经过训练，使其具有逻辑“与非与非”功能，则疑惑功能，则疑惑问题即可得到解决。根据问题即可得到解决。根据“与非与非”逻辑，当隐节点输出为逻辑，当隐节点输出为y1=1y1=1，y2=1y2=1时，该节点输出为时，该节点输出为o=0o=0，当隐节点输出为，当隐节点输出为y1=1y1=1，y2=0y2=0时，或时，或y1=0y1=0，y2=1y2=1时，时，该节点输出该节点输出o=1o=1。可以看出单隐层感知器确实可以解决异或问题，因此。可以看出单隐层感知器确实可以

18、解决异或问题，因此具有解决线性不可分问题的能力。具有解决线性不可分问题的能力。31第31页，本讲稿共94页多层感知器的提出多层感知器的提出单计算层感知器的局限性单计算层感知器的局限性 只能解决线性可分问题，而大量的分类问题是线性只能解决线性可分问题，而大量的分类问题是线性不可分的。不可分的。解决的有效办法解决的有效办法 在输入层与输出层之间引入隐层作为输入模式的在输入层与输出层之间引入隐层作为输入模式的“内部表示内部表示”，将单计算层感知器变成，将单计算层感知器变成多（计算）层多（计算）层感知器感知器。采用采用非线性连续函数作为转移函数非线性连续函数作为转移函数，使区域边界线，使区域边界线的基

19、本线素由直线变成曲线，从而使整个边界线变的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。成连续光滑的曲线。32第32页，本讲稿共94页3.1.5多层感知器33第33页，本讲稿共94页Wj(t)=dj-oj(t)X3.1.5多层感知器具有不同隐层数的感知器的分类能力对比具有不同隐层数的感知器的分类能力对比 返回返回 34第34页，本讲稿共94页3.2自适应线性单元自适应线性单元1962年美国斯坦福大学教授年美国斯坦福大学教授Widrow提出一种自提出一种自适适应可可调的神的神经网网络，其基本构成，其基本构成单元称元称为自适自适应线性性单元。元。这种自适种自适应可可调的神的神经网网络

20、主要适用于主要适用于信号信号处理中的自适理中的自适应滤波、波、预测和模式和模式识别。返回返回 35第35页，本讲稿共94页3.3 BP网络网络 误差反向传播神经网络，简称误差反向传播神经网络，简称BP(Back Propagation)网络，是一种单向传播的多层前向网络。在模式识别、图网络，是一种单向传播的多层前向网络。在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。适应控制等领域有着较为广泛的应用。BP网络的示意图网络的示意图36第36页，本讲稿共94页误差反向传播算法简称误差反向传播算法简称

21、BP算法，其基本思想是最小二算法，其基本思想是最小二乘法。它采用梯度搜索技术，以期使网络的实际输乘法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。出值与期望输出值的误差均方值为最小。BP算法的学习过程由正向传播和反向传播组成。在正算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传

22、播，将误差信号沿原来的连接通路返回，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使误差信号最小。通过修改各层神经元的权值，使误差信号最小。37第37页，本讲稿共94页基于基于BPBP算法的多层前馈网络模型算法的多层前馈网络模型误差反传（误差反传（BP）算法）算法38第38页，本讲稿共94页n模型的数学表达模型的数学表达输入向量：输入向量：X=(x1,x2,xi,xn)T隐层输出向量：隐层输出向量：Y=(y1,y2,yj,ym)T输出层输出向量：输出层输出向量：O=(o1,o2,ok,ol)T期望输出向量：期望输出向量：d=(d1,d2,dk,dl)T输入层到隐层之

23、间的权值矩阵：输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)各个变量之间如何建立联系，来描述整个网络？各个变量之间如何建立联系，来描述整个网络？39第39页，本讲稿共94页对于输出层：对于输出层：k=1,2,l (3.1)k=1,2,l (3.2)对于隐层：对于隐层：j=1,2,m (3.3)j=1,2,m (3.4)BP学习算法40第40页，本讲稿共94页双极性双极性Sigmoid函数：函数：单极性极性Sigmoid函数：函数：(3.5)BP学习算法41第41页，本讲稿共94页输出出误差差E E

24、定定义：(3.6)将以上误差定义式展开至隐层：将以上误差定义式展开至隐层：(3.7)BP学习算法学习算法42第42页，本讲稿共94页进一步展开至输入层：进一步展开至输入层：(3.8)BP学习算法学习算法43第43页，本讲稿共94页j=0,1,2,m;k=1,2,l (3.9a)i=0,1,2,n;j=1,2,m (3.9b)式中负号表示梯度下降，常数式中负号表示梯度下降，常数(0,1)(0,1)表示比例系数。表示比例系数。在全部推导过程中，对输出层有在全部推导过程中，对输出层有j=0,1,2,m;k=1,2,l 对隐层有对隐层有 i=0,1,2,n;j=1,2,mBP学习算法学习算法44第44

25、页，本讲稿共94页对于于输出出层，式，式(3.9a)可写可写为(3.10a)对隐层，式，式(3.9b)可写可写为(3.10b)对输出层和隐层各定义一个误差信号，令对输出层和隐层各定义一个误差信号，令(3.11a)(3.11b)BP学习算法学习算法45第45页，本讲稿共94页综合合应用用式式(3.2)和和(3.11a)，可可将将式式 (3.10a)的的权值调整整式式改改写写为综合应用式综合应用式(3.4)(3.4)和和(3.11b)(3.11b)，可将式，可将式 (3.10b)(3.10b)的权值调整式的权值调整式改写为改写为(3.12a)（3.12b)可以看出，只要计算出式可以看出，只要计算出

26、式(3.12)(3.12)中的误差信号中的误差信号 o o和和 y y，权值，权值调整量的计算推导即可完成。下面继续推导如何求误差信号调整量的计算推导即可完成。下面继续推导如何求误差信号 o o和和 y y 。46第46页，本讲稿共94页对于于输出出层，o o可展开可展开为对于隐层，对于隐层，y y可展开为可展开为下面求式下面求式(3.13)(3.13)中网络误差对各层输出的偏导。中网络误差对各层输出的偏导。(3.13a)（3.13b)47第47页，本讲稿共94页对于于输出出层，利用式，利用式(3.6)：对于隐层，利用式对于隐层，利用式(3.7)(3.7)：（3.14a)可得可得：（3.14b

27、)可得：可得：48第48页，本讲稿共94页将以上将以上结果代入式果代入式(3.13)，并，并应用式用式(3.15)（3.15a)得到：得到：（3.15b)至此两个误差信号的推导已完成。至此两个误差信号的推导已完成。49第49页，本讲稿共94页将式将式(3.15)代回到式代回到式(3.12)，得到三，得到三层前前馈网的网的BP学学习算法算法权值调整整计算公式算公式为：(3.16a)(3.16b)50第50页，本讲稿共94页51第51页，本讲稿共94页BP学习算法流程：1)初始化 置所有权值为最小的随机数；2)提供训练集 给定输入向量和期望的目标输出向量；3)计算实际输出 计算隐含层、输出层各神经

28、元输出；4)计算目标值与实际输出的偏差；5)计算局部梯度；6)调整各层权重；7)返回2)重复计算，直到误差满足要求为止。52第52页，本讲稿共94页53第53页，本讲稿共94页 在使用BP算法时，应注意的几个问题是：n学习开始时，各隐层连接权系数的初值应以设置较小的随机数较为适宜。n采用S型激发函数时，由于输出层各神经元的输出只能趋于1或0，不能达到1或0。在设置各训练样本时，期望的输出分量不能设置为1或0，以设置为0.9或0.1较为适宜。n在学习开始阶段，选较大的值可以加快学习速率。学习接近优化区时，学习速率必须相当小，否则权值将产生振荡而不收敛。54第54页，本讲稿共94页网络包含一个隐层

29、，设输入网络包含一个隐层，设输入层与隐层的权值层与隐层的权值wjk，隐层与，隐层与输出层的权值输出层的权值wij初始值初始值x1x2y000011101110BP网络权值学习举例样本：输入和期望输出样本：输入和期望输出激发函数激发函数学习速率学习速率55第55页，本讲稿共94页迭代迭代1次后的次后的BP网络网络x1x2y实际输出误差0000.50.50110.51010.51100.556第56页，本讲稿共94页迭代迭代8000次后的次后的BP网络网络x1x2y实际输出误差0000.1190.1660010.7271010.7341100.41557第57页，本讲稿共94页迭代迭代11050次

30、后的次后的BP网络网络x1x2y实际输出误差0000.050.0080110.9411010.9411100.078 返回返回 58第58页，本讲稿共94页n标准连接标准连接(Standard Connection)每个单元都与下一层的单元相连。一般三层网络能每个单元都与下一层的单元相连。一般三层网络能够解决大多数问题。如果需要选用一个以上的中间层，够解决大多数问题。如果需要选用一个以上的中间层，学习时间需要大大增加。学习时间需要大大增加。3.4 BP网络变通结构网络变通结构59第59页，本讲稿共94页n跳跃连接（跳跃连接（Jump Connections）nRecurrent网络网络 返回返

31、回 60第60页，本讲稿共94页多层前馈网的主要能力多层前馈网的主要能力(1)(1)非线性映射能力非线性映射能力 多层前馈网能学习和存贮大量输入多层前馈网能学习和存贮大量输入-输出模式映射输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供只要能提供足够多的样本模式对供BPBP网络进行学习训练，网络进行学习训练，它便能完成由它便能完成由n n维输入空间到维输入空间到m m维输出空间的非线性映射。维输出空间的非线性映射。61第61页，本讲稿共94页多层前馈网的主要能力多层前馈网的主要能力(2)(2)泛化能力泛化

32、能力 当向网络输入训练时未曾见过的非样本数据时，网络也当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。为多层前馈网的泛化能力。(3)(3)容错能力容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。出规律影响很小。62第62页，本讲稿共94页误差曲面与差曲面与BP算法的局限性算法的局限性误差函数的可调整参数的个误差函数的可调整参数的个数数n nw w等于各层权值数加上阈值等于各层权值数加上阈值数，即：数

33、，即：误差误差E E是是n nw w+1+1维空间中一个形状维空间中一个形状极为复杂的曲面，该曲面上的极为复杂的曲面，该曲面上的每个点的每个点的“高度高度”对应于一个对应于一个误差值，每个点的坐标向量对误差值，每个点的坐标向量对应着应着n nw w个权值，因此称这样的个权值，因此称这样的空间为误差的权空间。空间为误差的权空间。63第63页，本讲稿共94页误差曲面的分布误差曲面的分布BP算法的局限性算法的局限性n曲面的分布特点曲面的分布特点-算法的局限性算法的局限性n(1)存在平坦区域存在平坦区域-误差下降缓慢，影响收敛速度误差下降缓慢，影响收敛速度n(2)存在多个极小点存在多个极小点-易陷入局

34、部最小点易陷入局部最小点 64第64页，本讲稿共94页曲面分布特点曲面分布特点1：存在平坦区域：存在平坦区域n平坦误差的梯度变化小 接近于零65第65页，本讲稿共94页曲面分布特点曲面分布特点2：存在多个极小点：存在多个极小点 n误差梯度为零误差梯度为零n多数极小点都是局部极小，即使是全局极小往多数极小点都是局部极小，即使是全局极小往往也不是唯一的。往也不是唯一的。单权值单权值双权值双权值66第66页，本讲稿共94页曲面分布特点曲面分布特点2：存在多个极小点：存在多个极小点nBP算法算法以误差梯度下降为权值调整原则以误差梯度下降为权值调整原则n误差曲面的这一特点误差曲面的这一特点使之无法辨别极

35、小点的性质使之无法辨别极小点的性质n导致的结果：导致的结果：因而训练经常陷入某个局部极小点而不能自拔，因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。从而使训练无法收敛于给定误差。67第67页，本讲稿共94页nBP算法存在的问题算法存在的问题nBP网络收敛太慢影响了该网络在许多方面的实际应用。为此，许多人对BP网络的学习算法进行了广泛的研究，提出了许多改进的算法。学习时间过长泛化能力较低容易陷入局部最小而中断学习过程中间层单元个数、网络的大小如何确定 （实际应用多采用三层网络）68第68页，本讲稿共94页标准标准BP算法的改进算法的改进n误差曲面的形状固有的误差曲面的形

36、状固有的n算法的作用是什么？算法的作用是什么？调整权值，找到最优点调整权值，找到最优点n那么如何更好地调整权值？那么如何更好地调整权值？利用算法使得权值在更新的过程中，利用算法使得权值在更新的过程中，走走合适的路径，比如跳出平坦区来提合适的路径，比如跳出平坦区来提高收敛速度，跳出局部最小点等等高收敛速度，跳出局部最小点等等n如何操作？如何操作？需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使得权值的调整更为合理。得权值的调整更为合理。69第69页，本讲稿共94页n引入动量项引入动量项标准标准BP算法实质上是一种简单

37、的最速下降静态寻优算法，算法实质上是一种简单的最速下降静态寻优算法，在修正在修正w(t)时时，只按，只按t时时刻的刻的负负梯度方式梯度方式进进行修正，而没有考行修正，而没有考虑虑以前以前积积累的累的经验经验，即以前，即以前时时刻的梯度方向，从而常使学刻的梯度方向，从而常使学习过习过程程发发生振生振荡荡，收，收敛缓敛缓慢。慢。为为此提出如下改此提出如下改进进算法：算法：增加增加动量量项即从前一次即从前一次权值调整量中提取出一部分迭代到本整量中提取出一部分迭代到本次次权值调整量中。整量中。该方法所加入的方法所加入的动量量项实质上相当于阻尼上相当于阻尼项，它减小了学，它减小了学习过程的振程的振荡趋势

38、，改善了收，改善了收敛性，性，这是目是目前前应用比用比较广泛的种改广泛的种改进算法。算法。70第70页，本讲稿共94页n变变尺度法尺度法 标标准准BP学学习习算法采用一算法采用一阶阶梯度法，因而收梯度法，因而收敛较敛较慢。若采用二慢。若采用二阶阶梯度法，梯度法，则则改善收改善收敛敛性。性。该该算法算法为为 其中 虽然二阶梯度法具有比较好的收敛性，但需要计算E对w的二阶导数，计算量很大。一般不直接采用二阶梯度法，而采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛快的优点，而又无需直接计算二阶梯度。71第71页，本讲稿共94页下面具体下面具体给出出变尺度法的算法：尺度法的算法：72第72页，本讲

39、稿共94页n变步长法变步长法 一阶梯度法寻优收敛较慢的一个重要原因是一阶梯度法寻优收敛较慢的一个重要原因是(学学习习率率)不好不好选择选择。选选的太小，收的太小，收敛敛太慢，若太慢，若选选的的太大，太大，则则有可能修正有可能修正过头过头，导导致振致振荡荡甚至甚至发发散。散。下面下面给给出的出的变变步步长长法即是法即是针对这针对这个个问题问题而提出的。而提出的。这里这里w表示某个连接权系数。表示某个连接权系数。73第73页，本讲稿共94页 上面的算法上面的算法说说明，当明，当连续连续两次迭代其梯度方法相两次迭代其梯度方法相同同时时，表明下降太慢，表明下降太慢，这时这时可使步可使步长长加倍；当加倍

40、；当连连续续两次迭代其梯度方向相反两次迭代其梯度方向相反时时，表明下降，表明下降过头过头，这时这时可使步可使步长长减半。当需要引入减半。当需要引入动动量量项时项时，上述，上述算法的第二算法的第二项项可修改可修改为为 在使用该算法时，由于步长在迭代过程中自适应调整，因此对于不同的连接权系数实际采用了不同的学习率，也就是说误差代价函数E在超曲面上在不同地方按照各自比较合理的步长向极小点逼近。返回返回 74第74页，本讲稿共94页n一一、训练样本集的准备、训练样本集的准备1.输入输出量的选择输入输出量的选择2.输入量的提取与表示输入量的提取与表示3.输出量的表示输出量的表示n二、输入输出数据的归一化

41、二、输入输出数据的归一化n三、网络训练与测试三、网络训练与测试3.6 BP网络设计基础75第75页，本讲稿共94页1.输出量的选择输出量的选择n 输出量输出量:代表系统要实现的功能目标代表系统要实现的功能目标n系统的性能指标系统的性能指标n分类问题的类别归属分类问题的类别归属n非线性函数的函数值非线性函数的函数值一、训练样本集的准备76第76页，本讲稿共94页2.2.输入量的选择输入量的选择n输入量选择的两条基本原则输入量选择的两条基本原则必须选择那些对输出影响大且能够检测或必须选择那些对输出影响大且能够检测或提取的变量提取的变量各输入变量之间互不相关或相关性很小各输入变量之间互不相关或相关性

42、很小77第77页，本讲稿共94页输入输出量的性质输入输出量的性质n从输入、输出量的性质来看，可分为两类：一类是数从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。值变量，一类是语言变量。数值变量的值是数值确定的连续量或离散量。数值变量的值是数值确定的连续量或离散量。语言变量是用自然语言表示的概念，其语言变量是用自然语言表示的概念，其“语言语言值值”是用自然语言表示的事物的各种属性。是用自然语言表示的事物的各种属性。n当选用语言变量作为网络的输入或输出变量时，当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。需将其语言值转换为离散的数值量。78第78页

43、，本讲稿共94页输入量的提取与表示输入量的提取与表示XC=(111100111)T XI=(111100111)T XT=(111100111)T(1)(1)文字符号输入文字符号输入79第79页，本讲稿共94页（2）曲线输入）曲线输入p=1,2,P80第80页，本讲稿共94页(3)函数自变量输入函数自变量输入一般有几个输入量就设几个分量，一般有几个输入量就设几个分量，1个输入分个输入分量对应量对应1个输入层节点。个输入层节点。(4)图象输入图象输入在这类应用中，一般先根据识别的具体目的从在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些图象中提取一些有用的特征参数

44、，再根据这些参数对输入的贡献进行筛选，这种特征提取属参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。于图象处理的范畴。81第81页，本讲稿共94页3.输出量的表示输出量的表示(1)“(1)“n n中取中取1 1”表示法表示法“n n中取中取1 1”是令输出向量的分量数等于类别数，输入样本是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取被判为哪一类，对应的输出分量取1 1，其余，其余 n-1 n-1 个分量全取个分量全取0 0。例如，用。例如，用00010001、00100010、01000100和和10001000可分别表示优、良、中、可分别表示优、良、中、差差

45、4 4个类别。个类别。(2)“(2)“n-1n-1”表示法表示法 如果用如果用n-1n-1个全为个全为0 0的输出向量表示某个类别，则可以节省一个输的输出向量表示某个类别，则可以节省一个输出节点。例如，用出节点。例如，用000000、001001、010010和和100100也可表示优、良、中、也可表示优、良、中、差差4 4个类别。个类别。(3)(3)数值表示法数值表示法 对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开值的选择要注意保持由小到大的渐进关系，并要根据实际

46、意义拉开距离。距离。82第82页，本讲稿共94页二、输入输出数据的归一化二、输入输出数据的归一化归一化也称为或标准化，是指通过变换处理将网络归一化也称为或标准化，是指通过变换处理将网络的输入、输出数据限制在的输入、输出数据限制在00，11或或-1-1，11区间内。区间内。进行归一化的主要原因：进行归一化的主要原因：归一化的方法：归一化的方法：83第83页，本讲稿共94页进行归一化的主要原因：进行归一化的主要原因：n网络的各个输入数据常常具有不同的网络的各个输入数据常常具有不同的物理意义和不同的量纲物理意义和不同的量纲，归，归一化给各输入分量以同等重要的地位；一化给各输入分量以同等重要的地位；n

47、BPBP网的神经元均采用网的神经元均采用SigmoidSigmoid转移函数，变换后可防止因净输入转移函数，变换后可防止因净输入的绝对值过大而使神经元输出的绝对值过大而使神经元输出饱和饱和，继而使权值调整进入误差，继而使权值调整进入误差曲面的平坦区；曲面的平坦区；nSigmoidSigmoid转移函数的输出在转移函数的输出在0-10-1或或-1-1-1-1之间。之间。教师信号教师信号如不进行如不进行归一化处理，势必使数值大的输出分量归一化处理，势必使数值大的输出分量绝对误差绝对误差大，数值小大，数值小的输出分量绝对误差小。的输出分量绝对误差小。84第84页，本讲稿共94页归一化的方法：归一化的

48、方法：将将输入入输出数据出数据变换为0，1区区间的的值常用以下常用以下变换式式其中，其中，x xI I代表代表输入或入或输出数据，出数据，x xmin代表数据代表数据变化的化的最小最小值，x xman代表数据的最大代表数据的最大值。将将输入入输出数据出数据变换为-1，1区区间的的值常用以下常用以下变换式式其中，其中，x xmid代表数据代表数据变化范化范围的中的中间值。85第85页，本讲稿共94页三、网络训练与测试三、网络训练与测试网络的性能好坏主要看其是否具有很好的泛化能力，对泛网络的性能好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以化能力的测试不

49、能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。外的测试数据来进行检验。86第86页，本讲稿共94页在隐节点数一定的情况下，为获得好的泛化能力，存在着一在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。个最佳训练次数。87第87页，本讲稿共94页3.7 BP网络应用与设计实例网络应用与设计实例nBP算法应用于催化剂配方建模算法应用于催化剂配方建模 本例采用本例采用BP神经网络对脂肪醇催化剂配方的式神经网络对脂肪醇催化剂配方的式样数据进行学习，训练后的网络作为数学模型映射样数据进行学习，训练后的网络作为数学模型映射配方与优化指标之间的复杂非线性关系。获得了较配方与优

50、化指标之间的复杂非线性关系。获得了较高的精度。高的精度。n网络结构设计与训练网络结构设计与训练寻找学习样本寻找学习样本确定网络结构确定网络结构n影响因素的个数为输入个数影响因素的个数为输入个数n优化指标的个数为输出个数优化指标的个数为输出个数88第88页，本讲稿共94页n脂肪酸甲脂转化率脂肪酸甲脂转化率TRn脂肪醇产率脂肪醇产率YOH n脂肪醇选择性脂肪醇选择性SOH 神经网络学习神经网络学习得到结果得到结果89第89页，本讲稿共94页BP网络应用于汽车变速的最佳档位判定网络应用于汽车变速的最佳档位判定 汽车在不同状态参数下运行时，获得最佳动力性与汽车在不同状态参数下运行时，获得最佳动力性与经