《智能控制第三章神经网络控制幻灯片.ppt》由会员分享，可在线阅读，更多相关《智能控制第三章神经网络控制幻灯片.ppt（54页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智能控制第三章神经网络控制第1页，共54页，编辑于2022年，星期六1第三章第三章 神经网络控制神经网络控制3-13-1 神经网络概念神经网络概念一一.生物神经元模型生物神经元模型3.1.13.1.1 神经元模型神经元模型 脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等组成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突起点传到轴突末梢。1.1.生物神经元组成生物神经元组成 轴突末梢与另一个神经元的树突或胞体构成一种突触的机构。通过突触实现神经元之间的信息传递。第2页，共54页，编辑于2022年，星期六2第三章第三章
2、神经网络控制神经网络控制 神经元具有两种常规神经元具有两种常规工作状态工作状态：兴奋与抑制，当传入的神经冲动使：兴奋与抑制，当传入的神经冲动使细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动并由轴突细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动并由轴突输出；当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，输出；当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没有神经冲动输出。没有神经冲动输出。2.2.生物神经元生物神经元工作状态工作状态第3页，共54页，编辑于2022年，星期六3二二.人工神经元模型人工神经元模型 人工神经网络是利用物理器件来模拟生物神经网
3、络的某些结构和功能。1.人工神经元的人工神经元的输入输出变换关系为输入输出变换关系为:其中:称为阈值称为连接权系数称为输出变换函数。第三章第三章 神经网络控制神经网络控制第4页，共54页，编辑于2022年，星期六42.2.常用的输入输出变换函数常用的输入输出变换函数第三章第三章 神经网络控制神经网络控制 神经元模型的输出函数，它是一个非动态的非线性函神经元模型的输出函数，它是一个非动态的非线性函数，用以模拟神经细胞的兴奋、抑制以及阈值等非线性特数，用以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。性。这些非线性函数具有这些非线性函数具有两个显著的特征，一是它两个显著的特征，一是它的突变性，二是
4、它的饱和的突变性，二是它的饱和性，这正是为了模拟神经性，这正是为了模拟神经细胞兴奋过程中所产生的细胞兴奋过程中所产生的神经冲动以及疲劳等特性神经冲动以及疲劳等特性。第5页，共54页，编辑于2022年，星期六5第三章第三章 神经网络控制神经网络控制3.1.1.3.1.1.人工神经元网络人工神经元网络 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其它的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。1.对于每个结点有一个状态变量 一一.人工神经元网络的组成原理人工神经元网络的组成原理 2.结点 i 到
5、结点j有一个连接权系数 3.对于每个结点有一个阈值 4.对于每个结点定义一个变换函数严格说来，神经网络是一个具有如下性质的有向图。严格说来，神经网络是一个具有如下性质的有向图。其中：第6页，共54页，编辑于2022年，星期六6第三章第三章 神经网络控制神经网络控制二二.典型的神经网络结构：典型的神经网络结构：根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：层状结构和网络结构。层状结构的神经网络是由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内的神经元不能联接。1.前向网络（前馈网络）下面介绍几种常见的网络结构:2.反馈网络 第7页，共54页，编辑于2
6、022年，星期六7 即网状结构，在这种神即网状结构，在这种神经网络结构中，任何两个神经网络结构中，任何两个神经元之间都可能双向联接。经元之间都可能双向联接。4.4.混合型网络混合型网络 这种神经网络结构，是这种神经网络结构，是在前向网络的基础上，在同在前向网络的基础上，在同层、部分神经元之间也可双层、部分神经元之间也可双向联接。向联接。第三章第三章 神经网络控制神经网络控制3.3.相互结合型网络相互结合型网络第8页，共54页，编辑于2022年，星期六83-2 3-2 监督学习及前馈神经网络监督学习及前馈神经网络第三章第三章 神经网络控制神经网络控制 具有分层的结构。最前面一层是输入层，中间具有
7、分层的结构。最前面一层是输入层，中间是隐层，最后一层是输出层。其信息从输入层依次是隐层，最后一层是输出层。其信息从输入层依次向上传递，直至输出层。这样的结构称为前馈网络。向上传递，直至输出层。这样的结构称为前馈网络。3.2.1.3.2.1.感知器网络感知器网络 感知器感知器(perceptron)(perceptron)是最简单的前馈网络，是最简单的前馈网络，也是早期仿生学的研究成果，主要功能是用于对不同也是早期仿生学的研究成果，主要功能是用于对不同的输入模式进行分类。的输入模式进行分类。第9页，共54页，编辑于2022年，星期六9第三章第三章 神经网络控制神经网络控制一一.单层感知器网络单层
8、感知器网络 是是输输入特征向量，入特征向量，图中图中 是是 到到 的的连连接接权权，(j=j=1,1,2,2,m m)是输出量是输出量 。也就是按照不同特征的分类结果。也就是按照不同特征的分类结果。是具有单层神经元、采用线性阈值函数的前馈网络。通是具有单层神经元、采用线性阈值函数的前馈网络。通过对权值的训练，可使感知器对一组线性可分的输入模式过对权值的训练，可使感知器对一组线性可分的输入模式（矢量）进行有效的分类。（矢量）进行有效的分类。1.1.单层感知器的基本结构单层感知器的基本结构第10页，共54页，编辑于2022年，星期六10第三章第三章 神经网络控制神经网络控制2.2.单层感知器的输入
9、输出变换关系单层感知器的输入输出变换关系 由于按不同特征的分类是互相独立的，因而可以由于按不同特征的分类是互相独立的，因而可以取出其中的一个神经元来讨论。取出其中的一个神经元来讨论。其输入到输出的变换关系为：其输入到输出的变换关系为：若有若有P P个个输输入入样样本本 该该感知器的感知器的输输出将出将输输入模式分成了两入模式分成了两类类。它。它们们分属于分属于n n 维维空空间间的两个不同的部分。的两个不同的部分。(p p=1,2,=1,2,P P)。第11页，共54页，编辑于2022年，星期六11*以二维空间为例以二维空间为例 第三章第三章 神经网络控制神经网络控制分界分界线线的方程的方程为
10、为:*值得注意的是：值得注意的是：只有那些线性可分模式类才能用感知器来加以区分。只有那些线性可分模式类才能用感知器来加以区分。线性不可分问题：线性不可分问题：典型的例子是异或关系。典型的例子是异或关系。第12页，共54页，编辑于2022年，星期六12对于输入矢量对于输入矢量x x，输出矢量，输出矢量y y，目标矢量，目标矢量d d，根据以下，根据以下输出矢量可能出现的情况进行调整：输出矢量可能出现的情况进行调整：第三章第三章 神经网络控制神经网络控制3.3.感知器网络的学习规则感知器网络的学习规则 第13页，共54页，编辑于2022年，星期六13采用有教师的学习方法进行训练：采用有教师的学习方
11、法进行训练：1)1)确定输入矢量确定输入矢量x x，目标矢量，目标矢量d d，各矢量的维数、神经元数和样，各矢量的维数、神经元数和样本数目：本数目：n n，m m，P P；2)2)参数初始化：参数初始化：a)a)输入输入 x x n n p p，d d m m p p；b)b)设置设置(-1,1)(-1,1)随机非零权矢量随机非零权矢量 w w m m n n ；c)c)给出最大循环次数给出最大循环次数max_epochmax_epoch；3)3)计算神经网络的实际输出：计算神经网络的实际输出：第三章第三章 神经网络控制神经网络控制3.3.感知器网络的学习算法感知器网络的学习算法 第14页，共
12、54页，编辑于2022年，星期六14 4)检查输出检查输出y与目标与目标d是否相同，若是，或已达到最大是否相同，若是，或已达到最大循环次数，训练结束，否则继续；循环次数，训练结束，否则继续；6)6)转到转到3)3)。权矢量的修正量与输入模式权矢量的修正量与输入模式x xk k成正比。若成正比。若 的取值太大，算法可的取值太大，算法可能出现振荡。能出现振荡。取值太小，收敛速度会很慢。取值太小，收敛速度会很慢。单层感知器的局限性：单层感知器的局限性：只能解决简单的分类问题，也就是只有在只能解决简单的分类问题，也就是只有在输入矢量是线性可分时，单层感知器才对输入模式进行有效的分输入矢量是线性可分时，
13、单层感知器才对输入模式进行有效的分类有效。类有效。线性不可分线性不可分问题只能用多层感知器来解决。问题只能用多层感知器来解决。第三章第三章 神经网络控制神经网络控制第15页，共54页，编辑于2022年，星期六15二二.多层感知器网络多层感知器网络 第三章第三章 神经网络控制神经网络控制1.1.多层感知器的基本结构多层感知器的基本结构如下如下图图多多层层感知器网感知器网络络：其中：其中：第第0 0 层为输入层，层为输入层，有有 个神经元，个神经元，中间层为隐层。中间层为隐层。第第Q Q 层为输出层，层为输出层，有有 个神经元，个神经元，这时每一层相当于一个单层感知器网络。这时每一层相当于一个单层
14、感知器网络。第16页，共54页，编辑于2022年，星期六162.2.多层感知器的输入输出变换关系多层感知器的输入输出变换关系第三章第三章 神经网络控制神经网络控制 对对于第于第q q 层层，它形成一个，它形成一个 维的超维的超平面，它对于该层的输入模式进行线性平面，它对于该层的输入模式进行线性分类。分类。由于多由于多层层的的组组合，最合，最终终可可实现对输实现对输入模式的入模式的较较复复杂杂的分的分类类。第17页，共54页，编辑于2022年，星期六172.2.用多层感知器解决线性不可分问题用多层感知器解决线性不可分问题第三章第三章 神经网络控制神经网络控制以解决异或关系为例用多层感知器分类过程
15、分析：用多层感知器分类过程分析：而对应于 、和 的输出为-1 1，(1)(1)利用上述学利用上述学习习算法，算法，设计连设计连接接权权系数系数 和和 ，以使得其分界，以使得其分界线为下图中的线为下图中的 。此此时时 的直的直线线方程方程为为：此时对应于 的输出为 1 1，第18页，共54页，编辑于2022年，星期六18第三章第三章 神经网络控制神经网络控制 (a)(a)(b)(b)(2)(2)设计连设计连接接权权系数系数 和和 ，以使得其分界，以使得其分界线为线为，且使得相，且使得相应应于于 和和输输出出为为，相，相应应于于 的的输输出出为为1 1。图（图（a a）中的）中的 、的的第19页，
16、共54页，编辑于2022年，星期六19第三章第三章 神经网络控制神经网络控制(b)(b)(3)(3)在在 和和 平面中（平面中（见图见图 b b），），这时这时只有三个点只有三个点 和和，括弧中，括弧中标标出了所出了所对应对应的第一的第一层层的的 输入模式。输入模式。是第二是第二层层（即神（即神经经元元 ）和和，以使得其分界，以使得其分界线为线为的输入模式。的输入模式。现在只要设计连接权系数现在只要设计连接权系数 和和图（图（b b）中的）中的即可将即可将与与区分开来，也即将区分开来，也即将区分开来，从而正确地区分开来，从而正确地与与实现了异或关系。实现了异或关系。由此可见，适当地设计多层感知
17、由此可见，适当地设计多层感知器网络可以实现任意形状的划分。器网络可以实现任意形状的划分。第20页，共54页，编辑于2022年，星期六203.2.2.BP3.2.2.BP网络网络第三章第三章 神经网络控制神经网络控制反向传播反向传播(Back-Propagation)(Back-Propagation)网络，简称网络，简称BPBP网络，是采用广网络，是采用广义义d d学习规则，对非线性可微分函数进行权值训练的多层（三层或学习规则，对非线性可微分函数进行权值训练的多层（三层或三层以上）前馈网络。三层以上）前馈网络。前、后层之间各神经前、后层之间各神经元实现全联接；元实现全联接；每层各神经元之间无联
18、每层各神经元之间无联接。接。x1x2xnwij输入层输出层隐含层jik+-wki信息流误差反向传播(学习算法)MqL BP BP网络主要用于函数逼网络主要用于函数逼近、模式识别、分类、数据近、模式识别、分类、数据压缩压缩。一一.BP.BP网络的基本结构及原理网络的基本结构及原理第21页，共54页，编辑于2022年，星期六21 属于属于d d算法。基本思想是最小二乘算法：对于算法。基本思想是最小二乘算法：对于P P个输入学个输入学习样本习样本 x x1 1,x x2 2,x xP P，已知对应的输出样本为，已知对应的输出样本为 d d1 1,d d2 2,d dP P。学习的目的是用网络的实际输
19、出学习的目的是用网络的实际输出 y y1 1,y y2 2,y yP P 与目标矢量与目标矢量 d d1 1,d d2 2,d dP P 之间的误差来修正其权值，使网络输出层的之间的误差来修正其权值，使网络输出层的误差平方和达到最小。误差平方和达到最小。设输入层设输入层 j j 有有M M个节点，节点的输出等于其输入。隐含层个节点，节点的输出等于其输入。隐含层 i i 有有q q个节点，激活函数为个节点，激活函数为f f1 1，w wijij是是j j层和层和i i层节点之间的联接层节点之间的联接权值。输出层权值。输出层k k有有L L个节点，激活函数为个节点，激活函数为f f2 2，w wk
20、iki是是i i层和层和k k层节层节点之间的联接权值。隐含层和输出层节点的输入是前一层点之间的联接权值。隐含层和输出层节点的输入是前一层节点的输出的加权和。节点的输出的加权和。二二.BP.BP网络的基本学习规则网络的基本学习规则 学习过程由正向递推计算实现函数映射和反向传播计算训学习过程由正向递推计算实现函数映射和反向传播计算训练权值两步来完成。练权值两步来完成。第三章第三章 神经网络控制神经网络控制第22页，共54页，编辑于2022年，星期六22第三章第三章 神经网络控制神经网络控制三三.BPBP网络的输入输出变换关系网络的输入输出变换关系 在在BPBP网络结构中，神经元网络结构中，神经元
21、 的变换函数通常采用的变换函数通常采用S S型函型函数，因此输出量是数，因此输出量是0 0到到1 1之间的连续量，它可实现从输入到之间的连续量，它可实现从输入到输出的任意的非线性映射。输出的任意的非线性映射。具有偏置和调节的具有偏置和调节的Sigmoid激发函数激发函数S S型激活函数连续可微。型激活函数连续可微。其划分的区域由非线性的超平面其划分的区域由非线性的超平面组成，是柔和、光滑的任意界面，因组成，是柔和、光滑的任意界面，因而划分精确、合理、容错性好。而划分精确、合理、容错性好。算法上可严格利用梯度法进行推算，权值修正的解析式明确。算法上可严格利用梯度法进行推算，权值修正的解析式明确。
22、1.BP1.BP网络中神经元的激活函数网络中神经元的激活函数第23页，共54页，编辑于2022年，星期六23第三章第三章 神经网络控制神经网络控制2.BP2.BP网络的前馈计算网络的前馈计算（BPBP网络输入到输出的映射计算）网络输入到输出的映射计算）前馈计算就是根据神经元所确定前馈计算就是根据神经元所确定的输入输出变换函数，由输入层向输出的输入输出变换函数，由输入层向输出层执行递推计算。一旦权值满足训练要层执行递推计算。一旦权值满足训练要求，前馈计算结果，能使求，前馈计算结果，能使BPBP网络实现期望网络实现期望的输入输出变换关系。的输入输出变换关系。BPBP网络的前馈递推算式：网络的前馈递
23、推算式：第24页，共54页，编辑于2022年，星期六24四四.BPBP网络权值的训练及学习功能的实现网络权值的训练及学习功能的实现第三章第三章 神经网络控制神经网络控制1.1.关于训练样本的进一步说明关于训练样本的进一步说明:按照学习理论的观点，按照学习理论的观点，BPBP网络属于监督学习网络。网络属于监督学习网络。也就是也就是说，说，BPBP网络是通过在教师信号（样本）的监督下对连接权值进行适网络是通过在教师信号（样本）的监督下对连接权值进行适当的训练从而实现学习功能的。当的训练从而实现学习功能的。（1 1）训练样本训练样本 -理想输入输出对的集合，样本来自客观对理想输入输出对的集合，样本来
24、自客观对 象，象，信息集中包含着系统内在的输入输出特性。信息集中包含着系统内在的输入输出特性。（2 2）样本特性样本特性 -理想的样本应具有理想的样本应具有真实性真实性和和完整性完整性。（3 3）泛化功能泛化功能 -经过训练的经过训练的BPBP网络对于非样被本集中的输入也能给出网络对于非样被本集中的输入也能给出满足映射要求的输出，即泛化功能（满足映射要求的输出，即泛化功能（generalization)generalization)从函数拟合的观点，这表明从函数拟合的观点，这表明BPBP网络具有插值计算的能力。网络具有插值计算的能力。设有实际应用中的设有实际应用中的 P P 组样本其中第组样本
25、其中第 p p 组样本对形式如下：组样本对形式如下：输入样本：输入样本：输出样本：输出样本：第25页，共54页，编辑于2022年，星期六25第三章第三章 神经网络控制神经网络控制2.2.定义误差函数定义误差函数 连接权值的训练过程，就是连接权值的训练过程，就是BPBP网络拟合未知函数得优化计网络拟合未知函数得优化计算过程。为了保证拟合精度，取如下算式作为拟合误差函数：算过程。为了保证拟合精度，取如下算式作为拟合误差函数：总误差函数：总误差函数：一次样本误差函数：一次样本误差函数：其中：其中：是期望输出值与网络是期望输出值与网络实际输出之间的差值。实际输出之间的差值。第26页，共54页，编辑于2
26、022年，星期六26第三章第三章 神经网络控制神经网络控制3.3.权值的训练及反向传播计算过程权值的训练及反向传播计算过程x1x2xnwij输入层输出层隐含层jik+-wki信息流误差反向传播(学习算法)MqL 调整连接权值，以便使误差函数调整连接权值，以便使误差函数E E最小，优化计算通常是最小，优化计算通常是采用一阶梯度发来实现的。这种方法的关键是计算优化目标函数采用一阶梯度发来实现的。这种方法的关键是计算优化目标函数（即误差函数）（即误差函数）E E对寻优参数（即连接权值）的一阶倒数。即：对寻优参数（即连接权值）的一阶倒数。即：调整连接权值按照调整连接权值按照反向传播的原则，从输反向传播
27、的原则，从输出层开始向前逐一推算。出层开始向前逐一推算。第27页，共54页，编辑于2022年，星期六27第三章第三章 神经网络控制神经网络控制（1 1）首先计算第）首先计算第 Q Q 层（即输出层）层（即输出层）其中：其中：()()第28页，共54页，编辑于2022年，星期六28第三章第三章 神经网络控制神经网络控制（2 2）再计算第）再计算第 Q-1 Q-1 层（即次输出层）层（即次输出层）其中：其中：()第29页，共54页，编辑于2022年，星期六29第三章第三章 神经网络控制神经网络控制（3 3）第）第 q q 层的反向递推计算层的反向递推计算根据（根据（）,（）两式可获得反向递推算式：
28、）两式可获得反向递推算式：这里的这里的 q q 层是指由层是指由Q-1Q-1向前递推的任意网络层次（其向前递推的任意网络层次（其中：中：q q=Q-2=Q-2，Q-3 Q-3，,1),1)首首先先计计算算第30页，共54页，编辑于2022年，星期六30在每一层的反向递推计算在每一层的反向递推计算第三章第三章 神经网络控制神经网络控制需要说明的是：需要说明的是：中都出现导数项中都出现导数项。该项的计算，与所取的激活函数直接相关。比如，取变换函数该项的计算，与所取的激活函数直接相关。比如，取变换函数为为S S型函数，那么其导数项可计算如下：型函数，那么其导数项可计算如下：由于：由于：所以：所以：第
29、31页，共54页，编辑于2022年，星期六31最后可归纳出最后可归纳出BPBP网络的学习算法如下：网络的学习算法如下：第32页，共54页，编辑于2022年，星期六32五五.神经网络的局限性及其改进神经网络的局限性及其改进第三章第三章 神经网络控制神经网络控制 BP BP网络的学习算法属于全局逼近的方法，因而它具有较好的网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力泛化能力，但也由此使但也由此使BPBP网络得应用具有很大的局限性。网络得应用具有很大的局限性。主要缺点是：主要缺点是：收敛速度慢收敛速度慢 局部极值局部极值 难以确定隐层和隐结点的个数难以确定隐层和隐结点的个数 以上问题，
30、直接影响了以上问题，直接影响了BPBP网络在多种领域中的实际应网络在多种领域中的实际应用。现有的研究成果已经提供了许多改进算法。用。现有的研究成果已经提供了许多改进算法。比较典型的方法有：引用动量项法、变尺度法、变步长法。近比较典型的方法有：引用动量项法、变尺度法、变步长法。近年来，又有人提出：误差函数的改进法、双极性年来，又有人提出：误差函数的改进法、双极性S S型激活函数法，型激活函数法，等等改进措施。等等改进措施。第33页，共54页，编辑于2022年，星期六33第三章第三章 神经网络控制神经网络控制1、引入动量项引入动量项 为为k时刻的负梯度。时刻的负梯度。为学习率，为学习率，0 。为动
31、量项因子，为动量项因子，。该方法所加入的动量项实质上相当于阻尼项，它减该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，这是目前应小了学习过程的振荡趋势，改善了收敛性，这是目前应用比较广泛的一种改进算法。用比较广泛的一种改进算法。根据经验数据动量项因子取根据经验数据动量项因子取0.950.95比较适合比较适合第34页，共54页，编辑于2022年，星期六34 2.变尺度法变尺度法 标准的标准的BP学习算法所采用的是一阶梯度法，因而收敛较慢。学习算法所采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大改善收敛性。二阶梯度法的算法若采用二阶梯度法，则可以大
32、大改善收敛性。二阶梯度法的算法为为 其中其中第三章第三章 神经网络控制神经网络控制第35页，共54页，编辑于2022年，星期六35 虽然二阶梯度法具有比较好的收敛性虽然二阶梯度法具有比较好的收敛性,但是它需要计算但是它需要计算E对对w的二阶导数，这个计算量是很大的。所以一般不直接采用二阶的二阶导数，这个计算量是很大的。所以一般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛较快的优点，而又无需直接计算二阶梯度。下面具梯度法收敛较快的优点，而又无需直接计算二阶梯度。下面具体给出变尺度法的算法。体给出变尺度法的算法
33、。第三章第三章 神经网络控制神经网络控制第36页，共54页，编辑于2022年，星期六363.变步长法变步长法 当连续两次迭代其梯度方向相同时，表明下降太慢，这时可当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。当需要引入动量项时，上述算法的第头，这时可使步长减半。当需要引入动量项时，上述算法的第二项可修改为二项可修改为 第三章第三章 神经网络控制神经网络控制第37页，共54页，编辑于2022年，星期六37第38页，共54页，编辑于2022年，星期六38第39页，
34、共54页，编辑于2022年，星期六395 5、双极性、双极性S S型激活函数法型激活函数法4 4、误差函数的改进、误差函数的改进 一般对数一般对数S S型激活函数的输出动态范围为型激活函数的输出动态范围为(0,1)(0,1)，引起权值调节，引起权值调节量的减少或不调节，加长了训练时间。量的减少或不调节，加长了训练时间。解决方法：将输入范围变为解决方法：将输入范围变为1/21/2，同时使，同时使S S型函数的输出范围也变型函数的输出范围也变为为 1/21/2。第三章第三章 神经网络控制神经网络控制第40页，共54页，编辑于2022年，星期六40第三章第三章 神经网络控制神经网络控制第41页，共5
35、4页，编辑于2022年，星期六41(1)(1)产生数据样本集产生数据样本集 (2)(2)确定网络的类型和结构确定网络的类型和结构 (3)(3)训练和测试训练和测试 3.2.3 3.2.3 神经网络的训练神经网络的训练第42页，共54页，编辑于2022年，星期六42(1)(1)产生数据样本集产生数据样本集 这里包括原始数据的收集、数据分析、变量选择以及数据这里包括原始数据的收集、数据分析、变量选择以及数据的预处理。的预处理。首先要在大量的原始测量数据中确定出最主要的输入模式。首先要在大量的原始测量数据中确定出最主要的输入模式。这就需要对原始数据进行统计分析，检验它们之间的相关性。这就需要对原始数
36、据进行统计分析，检验它们之间的相关性。找出其中最主要的量作为输入。找出其中最主要的量作为输入。第43页，共54页，编辑于2022年，星期六43 在确定了最重要的输入量后，需进行尺度变换和预处理。尺在确定了最重要的输入量后，需进行尺度变换和预处理。尺度变换常常将它们变换到度变换常常将它们变换到-1,1或或0,1 的范围。在进行尺度的范围。在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。剔除。对于一个复杂问题应该选择多少数据，这也是一个很关对于一个复杂问题应该选择多少数据，这也是一个很关键的问题。系统的输入输出关系就包含在
37、这些数据样本键的问题。系统的输入输出关系就包含在这些数据样本中。所以一般说来，取的数据越多，学习和训练的结果中。所以一般说来，取的数据越多，学习和训练的结果便越能正确反映输入输出关系。便越能正确反映输入输出关系。第44页，共54页，编辑于2022年，星期六44 但是选太多的数据将增加收集、分析数据以及网络训练但是选太多的数据将增加收集、分析数据以及网络训练的所付的代价。选太少的数据则可能得不到正确的结果。的所付的代价。选太少的数据则可能得不到正确的结果。事实上数据的多少取决于许多因素，如网络的大小、网络事实上数据的多少取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络大
38、小最关键。测试的需要以及输入输出的分布等。其中网络大小最关键。通常较大的网络需要较多的训练数据。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的一个经验规则是：训练模式应是连接权总数的5至至10倍。倍。第45页，共54页，编辑于2022年，星期六45 在神经网络训练完成后，需要有另外的测试数据来对网在神经网络训练完成后，需要有另外的测试数据来对网络加以检验，测试数据应是独立的数据集合。最简单的方法络加以检验，测试数据应是独立的数据集合。最简单的方法是：将收集到的可用数据随机地分成两部分，譬如说其中三是：将收集到的可用数据随机地分成两部分，譬如说其中三分之二用于网络的训
39、练，另外三分之一用于将来的测试，随分之二用于网络的训练，另外三分之一用于将来的测试，随机选取的目的是为了尽量减小这两部分数据的相关性。机选取的目的是为了尽量减小这两部分数据的相关性。影响数据大小的另一个因数是输入模式和输出结果的分布，对数影响数据大小的另一个因数是输入模式和输出结果的分布，对数据预先加以分类可以减少所需的数据量。相反，数据稀薄不匀甚至互据预先加以分类可以减少所需的数据量。相反，数据稀薄不匀甚至互相覆盖则势必要增加数据量。相覆盖则势必要增加数据量。第46页，共54页，编辑于2022年，星期六46(2)(2)确定网络的类型和结构确定网络的类型和结构 在训练神经网络之前，首先要确定所
40、选用的网络类型。在训练神经网络之前，首先要确定所选用的网络类型。若主要用于模式分类，尤其是线性可分的情况，则可采用若主要用于模式分类，尤其是线性可分的情况，则可采用较为简单的感知器网络，若主要用于函数估计，则可应用较为简单的感知器网络，若主要用于函数估计，则可应用BP网络。实际上，神经网络的类型很多，需根据问题的性质网络。实际上，神经网络的类型很多，需根据问题的性质和任务的要求来合适地选择网络类型。一般是从已有的网络类和任务的要求来合适地选择网络类型。一般是从已有的网络类型中选用一种比较简单而又能满足要求的网络。型中选用一种比较简单而又能满足要求的网络。第47页，共54页，编辑于2022年，星
41、期六47 在网络的类型确定后，剩下的问题是选择网络的在网络的类型确定后，剩下的问题是选择网络的结构和参数。以结构和参数。以BP网络为例，需选择网络的层数、每层的网络为例，需选择网络的层数、每层的节点数、初始权值、阈值、学习算法、节点变换函数及参数、节点数、初始权值、阈值、学习算法、节点变换函数及参数、学习率及动量项因子等参数。这里有些项的选择有一些指导学习率及动量项因子等参数。这里有些项的选择有一些指导原则，但更多的是靠经验和试凑。原则，但更多的是靠经验和试凑。第48页，共54页，编辑于2022年，星期六48 具体选择有如下两种方法：具体选择有如下两种方法：a.a.先先设设置置较较少少节点节点
42、，对对网网络进络进行行训练训练，并，并测试测试网网络络的逼近的逼近误误差，然后逐差，然后逐渐渐增加增加节点节点数，直到数，直到测试测试的的误误差不再有明差不再有明显显减小减小为为止。止。对于具体问题若确定了输入和输出变量后，网络输入层和输出对于具体问题若确定了输入和输出变量后，网络输入层和输出层的节点个数也便随之确定了。对于隐层的层数可首先考虑只选择层的节点个数也便随之确定了。对于隐层的层数可首先考虑只选择一个隐层。剩下的问题是如何选择隐层的节点数。其选择原则是：一个隐层。剩下的问题是如何选择隐层的节点数。其选择原则是：在能正确反映输入输出关系的基础上，尽量选取较少的隐层节点数，在能正确反映输
43、入输出关系的基础上，尽量选取较少的隐层节点数，而使网络尽量简单。而使网络尽量简单。第49页，共54页，编辑于2022年，星期六49 b.b.先设置较多的节点，在对网络进行训练时，采用如下的先设置较多的节点，在对网络进行训练时，采用如下的误差代价函数误差代价函数 引入第二项的作用相当于引入一个引入第二项的作用相当于引入一个“遗忘遗忘”项，其项，其目的是为了使训练后的连接权系数尽量小，可求得这时目的是为了使训练后的连接权系数尽量小，可求得这时 对对 的梯度为的梯度为第50页，共54页，编辑于2022年，星期六50 利用利用该该梯度可以求得相梯度可以求得相应应的学的学习习算法。利用算法。利用该该学学
44、习习算法，算法，在在训练过训练过程中只有那些确程中只有那些确实实必要的必要的连连接接权权才予以保留，而才予以保留，而那些不很必要的那些不很必要的连连接将逐接将逐渐渐衰减衰减为为零。最后可去掉那些影零。最后可去掉那些影响不大的响不大的连连接接权权和相和相应应的的节点节点，从而得到一个适当，从而得到一个适当规规模的网模的网络结络结构。构。若采用上述任一方法选择得到的隐层节点数太多。这时若采用上述任一方法选择得到的隐层节点数太多。这时可考虑采用二个隐层。为了达到相同的映射关系，采用二可考虑采用二个隐层。为了达到相同的映射关系，采用二个隐层的节点总数常常可比只用一个隐层时少个隐层的节点总数常常可比只用
45、一个隐层时少。第51页，共54页，编辑于2022年，星期六51 (3)(3)训练和测试训练和测试 在训练过程中对训练样本数据需要反复地使用。对所有样在训练过程中对训练样本数据需要反复地使用。对所有样本数据正向运行一次并反传修改连接权一次称为一次训练本数据正向运行一次并反传修改连接权一次称为一次训练(或一次学习或一次学习)，这样的训练需要反复地进行下去直至获得，这样的训练需要反复地进行下去直至获得合适的映射结果。通常训练一个网络需要成百上千次。合适的映射结果。通常训练一个网络需要成百上千次。应该注意，并非训练的次数越多越好。应该注意，并非训练的次数越多越好。第52页，共54页，编辑于2022年，
46、星期六52 训练网络的目的在于找出蕴含在样本数据中的输入和输训练网络的目的在于找出蕴含在样本数据中的输入和输出之间的本质联系，从而对于未经训练的输入也能给出合出之间的本质联系，从而对于未经训练的输入也能给出合适的输出，即具备泛化功能。适的输出，即具备泛化功能。由于所收集的数据都是包含噪声的，训练的次数过多，网络将由于所收集的数据都是包含噪声的，训练的次数过多，网络将包含噪声的数据都记录了下来，但是对于新的输入数据却不能给出包含噪声的数据都记录了下来，但是对于新的输入数据却不能给出合适的输出，也即并不具备很好的泛化功能。合适的输出，也即并不具备很好的泛化功能。网络的性能主要用网络的性能主要用它的
47、泛化能力来衡量它的泛化能力来衡量，它并不是用对训练数据的拟合程度来，它并不是用对训练数据的拟合程度来衡量，而是要用一组独立的数据来加以测试和检验。衡量，而是要用一组独立的数据来加以测试和检验。第53页，共54页，编辑于2022年，星期六53 从从如下如下误误差曲差曲线线可以看出，可以看出，在用在用测试测试数据数据检验时检验时，均方，均方误误差开始逐差开始逐渐渐减小，当减小，当训练训练次数次数再增加再增加时时，测试检验误测试检验误差反而差反而增加。增加。误误差曲差曲线线上极小点所上极小点所对对应应的即的即为为恰当的恰当的训练训练次数，若次数，若再再训练训练即即为为“过过度度训练训练”了。了。第54页，共54页，编辑于2022年，星期六54