《人工神经网络理论设计及应用教学课件汇总整本书电子教案全套教学教程完整版电子教案(最新).ppt》由会员分享，可在线阅读，更多相关《人工神经网络理论设计及应用教学课件汇总整本书电子教案全套教学教程完整版电子教案(最新).ppt（158页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、人工神经网络第一章第一章:绪论绪论21 1 绪绪 论论31.1 概述概述 人脑的结构、机制人脑的结构、机制和功能中凝聚着无比的和功能中凝聚着无比的奥秘和智慧。奥秘和智慧。地地球球是是宇宇宙宙的的骄骄子子，人人类类是是地地球球的的宠宠儿儿，大大脑脑是是人人的的主主宰宰。现在是探索脑的奥秘，现在是探索脑的奥秘，从中获得智慧，在其启发从中获得智慧，在其启发下构造为人类文明服务的下构造为人类文明服务的高级智能系统的时候了！高级智能系统的时候了！4(一一)记忆与联想能力记忆与联想能力(二二)学习与认知能力学习与认知能力(三三)信息加工能力信息加工能力(四四)信息综合能力信息综合能力(五五)信息处理速度信
2、息处理速度一、人脑与计算机信息处理能力的比较一、人脑与计算机信息处理能力的比较5二、人脑与计算机信息处理机制的比较二、人脑与计算机信息处理机制的比较p(一一)系统结构系统结构p(二二)信号形式信号形式p(三三)信息存储信息存储p(四四)信息处理机制信息处理机制6三、什么是人工神经网络三、什么是人工神经网络p 生物神经网络生物神经网络 人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。p人工神经网络人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Art
3、ificial Neural Network，缩写 ANN）。7人工神经网络定义人工神经网络定义p神经网络是由多个非常简单的处理单元彼此按神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理是靠其状态对外部输入信息的动态响应来处理信息的。信息的。p人工神经网络是一个由许多简单的并行工作的人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。构、连接强度以及各单元的处理方式。p人工神经网络是
4、一种旨在模仿人脑结构及其功人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。能的信息处理系统。81.21.2神经网络的基本特征神经网络的基本特征结构特征：结构特征：并行式处理并行式处理分布式存储分布式存储容错性容错性能力特征：能力特征：自学习自学习自组织自组织自适应性自适应性91.3 1.3 神经网络的基本功能神经网络的基本功能联联想想记记忆忆功功能能101.3 1.3 神经网络的基本功能神经网络的基本功能非线性映射功能非线性映射功能111.3 1.3 神经网络的基本功能神经网络的基本功能分类与识别功能分类与识别功能121.3 1.3 神经网络的基本功能神经网络的基本功能优化计算功能优
5、化计算功能13知识处理功能知识处理功能1.3 1.3 神经网络的基本功能神经网络的基本功能14第一章小结第一章小结p(1)(1)什么是人工神经网络什么是人工神经网络p(2)(2)人工神经网络的基本特征人工神经网络的基本特征p(3)(3)人工神经网络的基本功能人工神经网络的基本功能第二章第二章 神经网络基础知识神经网络基础知识p生物神经元p人工神经元模型p人工神经网络模型神经生理学和神经解剖学的研究结果神经生理学和神经解剖学的研究结果表明，神经元表明，神经元(Neuron)(Neuron)是脑组织的基本单是脑组织的基本单元，是人脑信息处理系统的最小单元。元，是人脑信息处理系统的最小单元。p生物神
6、经元生物神经元p生物神经网络生物神经网络2.12.1人工神经网络的生物学基础人工神经网络的生物学基础2.1.12.1.1生物神经元生物神经元 生物神经元在结构上由生物神经元在结构上由:细胞体细胞体(Cell body)、树突树突(Dendrite)、轴突轴突(Axon)、突触突触(Synapse)四部分组成。用来完成四部分组成。用来完成神经元间信息的接收、神经元间信息的接收、传递和处理。传递和处理。人人工工神神经经网网络络的的生生物物学学基基础础人人工工神神经经网网络络的的生生物物学学基基础础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理一、信息的产生一、信息的产生
7、神神经经元元间间信信息息的的产产生生、传传递递和和处处理理是是一种电化学活动。一种电化学活动。神经元状态：神经元状态：静息静息兴奋兴奋抑制抑制 膜电位：膜电位：极极 化化去极化去极化超极化超极化人人工工神神经经网网络络的的生生物物学学基基础础人人工工神神经经网网络络的的生生物物学学基基础础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理二二信信息息的的传传递递与与接接收收人人工工神神经经网网络络的的生生物物学学基基础础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理三、信息的整合三、信息的整合空间整合：空间整合：同一时刻产生的刺激所引起的同一时刻
8、产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。膜电位变化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间抵达神经元的时间先后不一样。先后不一样。总的突触后膜电位为一段时总的突触后膜电位为一段时间内的累积。间内的累积。人人工工神神经经网网络络的的生生物物学学基基础础2.1.3 2.1.3 生物神经网络生物神经网络 由多个生物神经元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息
9、处理功能的简单叠加。处理功能的简单叠加。神经元之间的突触连接方式和连接强度不神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。人人工工神神经经网网络络的的生生物物学学基基础础2.22.2神经元的人工模型神经元的人工模型 神经元及其突触是神经网络的基本神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先器件。因此，模拟生物神经网络应首先模拟生物神经元模拟生物神经元 人工神经元人工神经元(节节点点)从三个方面进行模拟从三个方面进行模拟:p节点本身的信息处
10、理能力节点本身的信息处理能力p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)决定人工神决定人工神经网络整体经网络整体性能的三大性能的三大要素要素p节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)神神经经元元的的人人工工模模型型2.2.12.2.1神经元的建模神经元的建模(1)(1)每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2)(2)神经元
11、输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6)(6)神经元本身神经元本身是非时变的是非时变的，即其突触时延和突触强度，即其突触时延和突触强度 均为常数。均为常数。(3)(3)神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞,主要取决于突触延搁；主要取决于突触延搁；(5)(5)忽略忽略时间整合作用和不应期；时间整合作用和不应期；模型的六点假设：模型的六点假设：神神经经元元的的人人工工模模型型假设假设1 1：多输入单输出：多输入单输出p图(a)表明，正如生物神经元有
12、许多激励输入一表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许祥，人工神经元也应该有许多的的输入信号，图中信号，图中每个输入的大小用确定数值每个输入的大小用确定数值x xi i表示，它们同时输入表示，它们同时输入神经元神经元j j，神经元的单输出神经元的单输出用用o oj j表示。表示。神神经经元元的的人人工工模模型型假设假设2 2：输入类型：兴奋性和抑制性：输入类型：兴奋性和抑制性p生物神经元具有不同的突触性质和突触强度，其对输生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外
13、一些输入更为重要。所起的作用比另外一些输入更为重要。图图(b)(b)中对神经中对神经元的每一个输入都有一个加权系数元的每一个输入都有一个加权系数w wijij，称为权重值，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制其正负模拟了生物神经元中突触的兴奋和抑制，其，其大小则代表了突触的不同连接强度。则代表了突触的不同连接强度。神神经经元元的的人人工工模模型型假设假设3 3：空间整合特性和阈值特性：空间整合特性和阈值特性p作为作为ANNANN的基本处理单元，必须对全部输入信号进行整的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图合，以确定各类输入的作用总效果，图(c
14、)(c)表示组合输表示组合输人信号的人信号的“总和值总和值”，相应于生物神经元的膜电位。，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时入总和超过阈值时,神经元才被激活而发放脉冲神经元才被激活而发放脉冲,否否则神经元不会产生输出信号。则神经元不会产生输出信号。神神经经元元的的人人工工模模型型神经元的输出神经元的输出p图图(d)(d)人人工工神神经经元元的的输输出出也也同同生生物物神神经经元元一一样样仅仅有有一一个个，如如用用o oj j表表示示神神经经元元输输出出，则则输输出出与与输输入入之之间间的的对对应
15、应关关系系可可用用图图(d)(d)中中的的某某种种非非线线性性函函数数来来表表示示，这这种种函函数一般都是非线性的。数一般都是非线性的。神神经经元元的的人人工工模模型型神经元模型示意图神经元模型示意图神神经经元元的的人人工工模模型型2.2.2神经元的数学模型神经元的数学模型ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。(2.1)(2.2)神神经经元元的的人人工工模模型型(2.3)netnetj j=W Wj jT TX X W Wj
16、 j=(=(w1 w2 wn)T T X=X=(x1 x2 xn)T T 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0(2.4)2.2.22.2.2神经元的数学模型神经元的数学模型神神经经元元的的人人工工模模型型(2.5)oj=f(netj)=f(W Wj jT TX X)(2.6)2.2.22.2.2神经元的数学模型神经元的数学模型神神经经元元的的人人工工模模型型2.2.32.2.3神经元的转移函数神经元的转移函数 神经元各种不同数学模型的主要区神经元各种不同数学模型的主要区别在于采用了不同的别在于采用了不同的转移函数转移函数，从而使，从而使神经元具有不同的信息处理特性。神经神经
17、元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络元的信息处理特性是决定人工神经网络整体性能的整体性能的三大要素之一三大要素之一，反映了神经，反映了神经元输出与其激活状态之间的关系，最常元输出与其激活状态之间的关系，最常用的转移函数有用的转移函数有4 4种形式。种形式。神神经经元元的的人人工工模模型型(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(2.7)0 x02.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型(2)非线性转移函数非线性转移函数2.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型(3)分段
18、线性转移函数分段线性转移函数 0 x0f(x)=cx 0 0 xxc (2.9)1 xc x 2.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型(4)概率型转移函数概率型转移函数温度参数温度参数2.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型p节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)人人工工神神经经网网络络模模型型2.32.3人工神经网络模型人工神经网络模型p分类：分类：按网络连接的
19、拓扑结构分类层次型结构层次型结构互连型网络结构互连型网络结构按网络内部的信息流向分类前馈型网络前馈型网络反馈型网络反馈型网络人人工工神神经经网网络络模模型型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 ：p层层次次型型结结构构：将将神神经经元元按按功功能能分分成成若若干干层层，如如输输入入层层、中中间间层层（隐隐层层）和和输输出出层层，各各层层顺序顺序相连。相连。p互互连连型型网网络络结结构构：网网络络中中任任意意两两个个节节点点之之间都可能存在连接间都可能存在连接路径路径.人人工工神神经经网网络络模模型型2.3.1网络拓扑结构类型网络拓扑结构类型 层层次次型型结结构构2.32.3人工
20、神经网络模型人工神经网络模型人人工工神神经经网网络络模模型型输输出出层层到到输输入入层层有有连连接接人人工工神神经经网网络络模模型型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 层层内内有有连连接接层层次次型型结结构构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型全互连型结构全互连型结构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型局局部部互互连连型型网网络络结结构构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型2.3.22.3.2网络信息流向类型网络信息流向类型p前
21、馈型网络前馈型网络前前馈馈:网网络络信信息息处处理理的的方方向向是是从从输输入入层层到到各各隐层再到输出层逐层进行隐层再到输出层逐层进行p反馈型网络反馈型网络在在反反馈馈网网络络中中所所有有节节点点都都具具有有信信息息处处理理功功能能，而而且且每每个个节节点点既既可可以以从从外外界界接接收收输输入入，同同时时又可以向外界输出。又可以向外界输出。人人工工神神经经网网络络模模型型前前馈馈型型网网络络2.3.22.3.2网络信息流向类型网络信息流向类型人人工工神神经经网网络络模模型型反反馈馈型型网网络络人人工工神神经经网网络络模模型型2.3.22.3.2网络信息流向类型网络信息流向类型p节点本身的信
22、息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)神神经经网网络络学学习习 神经网络能够通过对样本的学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值络的学习或训练，其本质是可变权值的动态调整。的动态调整。2.42.4神经网络学习神经网络学习神神经经网网络络学学习习神经网
23、络的学习类型：神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)死记式学习死记式学习2.42.4神经网络学习神经网络学习神神经经网网络络学学习习学习的过程（权值调整的一般情况学习的过程（权值调整的一般情况 ）神神经经网网络络学学习习2.4神经网络学习神经网络学习第二章小结第二章小结 重点介绍了生物神经元的结构及其信息处理机制、重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接习规则。其中，神经元的数学模型、
24、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。理性能的三大要素。p(1)(1)生物神经元的信息处理生物神经元的信息处理p(2)(2)人工神经元模型人工神经元模型p(3)(3)人工神经网络模型人工神经网络模型p(4)(4)神经网络学习神经网络学习第三章第三章 前馈人工神经网络前馈人工神经网络误差反传（误差反传（BPBP）算法的改进与算法的改进与BPBP网络设计网络设计3.43.4基于基于BPBP算法的多层前馈网络模型算法的多层前馈网络模型p三层三层BPBP网络网络输入层输入层隐层隐层输出层输出层p模型的数学表达模型的数
25、学表达输入向量：输入向量：X=(x1,x2,xi,xn)T隐层输出向量：隐层输出向量：Y=(y1,y2,yj,ym)T输出层输出向量：输出层输出向量：O=(o1,o2,ok,ol)T期望输出向量期望输出向量：d=(d1,d2,dk,dl)T输入层到隐层之间的权值矩阵：输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)各个变量之间如何建立联系，来描述整个网络？各个变量之间如何建立联系，来描述整个网络？神经网络的学习神经网络的学习p学习的过程：学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权
26、值乃至拓扑结构，以使网络的输出不断地接近期望的输出。p学习的本质：学习的本质：对可变权值的动态调整p学习规则：学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。pBPBP算法是一种学习规则算法是一种学习规则BPBP算法的基本思想算法的基本思想p学习的类型：有导师学习学习的类型：有导师学习p核心思想：核心思想：将输出误差以某种形式通过隐层向输入层逐层反传p学习的过程：学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值BPBP算法的学习过程算法的学习过程
27、p正向传播：正向传播：输入样本输入层各隐层输出层p判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符p误差反传误差反传误差以某种形式在各层表示修正各层单元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止建立权值变化量与误差之间的关系建立权值变化量与误差之间的关系p输出层与隐层之间的连接权值调整输出层与隐层之间的连接权值调整p隐层和输入层之间的连接权值调整隐层和输入层之间的连接权值调整j=0,1,2,m;k=1,2,l (3.4.9a)i=0,1,2,n;j=1,2,m
28、 (3.4.9b)式中负号表示梯度下降，常数式中负号表示梯度下降，常数(0,1)表示比例系数，反映了训练表示比例系数，反映了训练速率。可以看出速率。可以看出BP算法属于算法属于学习规则类，这类算法常被称为误学习规则类，这类算法常被称为误差的梯度下降差的梯度下降(Gradient Descent)算法。算法。BP算法的程序实现算法的程序实现(1)初始化；初始化；(4)计算各层误差信号；计算各层误差信号；(5)调整各层权值；调整各层权值；(6)检查是否对所有样本完成一次检查是否对所有样本完成一次 轮训；轮训；(7)检查网络总误差是否达到精检查网络总误差是否达到精 度要求。度要求。(2)输入训练样本
29、对输入训练样本对X Xp、d dp计算各层输出；计算各层输出；(3)计算网络输出误差；计算网络输出误差；BP算法的程序实现算法的程序实现然后根据总误差计算各层的误差然后根据总误差计算各层的误差信号并调整权值。信号并调整权值。另另一一种种方方法法是是在在所所有有样样本本输输入之后，计算网络的总误差：入之后，计算网络的总误差：多层前馈网的主要能力多层前馈网的主要能力(1)非线性映射能力非线性映射能力 多层前馈网能学习和存贮大量输入多层前馈网能学习和存贮大量输入-输出模输出模式映射关系，而无需事先了解描述这种映射关式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式系的数
30、学方程。只要能提供足够多的样本模式对供对供BP网络进行学习训练，它便能完成由网络进行学习训练，它便能完成由n维输维输入空间到入空间到m维输出空间的非线性映射。维输出空间的非线性映射。多层前馈网的主要能力多层前馈网的主要能力(2)泛化能力泛化能力 当向网络输入训练时未曾见过的非样本数据当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。映射。这种能力称为多层前馈网的泛化能力。(3)容错能力容错能力 输入样本中带有较大的误差甚至个别错误对网输入样本中带有较大的误差甚至个别错误对网络的输入输
31、出规律影响很小。络的输入输出规律影响很小。误差曲面与误差曲面与BP算法的局限性算法的局限性 误差函数的可调整参误差函数的可调整参数的个数数的个数nw等于各层权值等于各层权值数加上阈值数，即：数加上阈值数，即：误差误差E是是nw+1维空间中维空间中一个形状极为复杂的曲面，一个形状极为复杂的曲面，该曲面上的每个点的该曲面上的每个点的“高度高度”对应于一个误差值，每个对应于一个误差值，每个点的坐标向量对应着点的坐标向量对应着nw个权个权值，因此称这样的空间为误值，因此称这样的空间为误差的权空间。差的权空间。误差曲面的分布误差曲面的分布BPBP算法的局限性算法的局限性p曲面的分布特点曲面的分布特点-算
32、法的局限性算法的局限性p(1)(1)存在平坦区域存在平坦区域-误差下降缓慢，影响收敛速度误差下降缓慢，影响收敛速度p(2)(2)存在多个极小点存在多个极小点-易陷入局部最小点易陷入局部最小点 曲面分布特点曲面分布特点1 1：存在平坦区域：存在平坦区域p平坦误差的梯度变化小 接近于零存在平坦区域的原因分析存在平坦区域的原因分析p 接近于零的情况分析接近于零的情况分析p造成平坦区的原因：造成平坦区的原因：各节点的净输入过大对应着误差的某个谷点对应着误差的某个谷点 平坦区平坦区 曲面分布特点曲面分布特点2 2：存在多个极小点：存在多个极小点 p误差梯度为零误差梯度为零p多数极小点都是局部极小，即使是
33、全局极小多数极小点都是局部极小，即使是全局极小往往也不是唯一的。往往也不是唯一的。单权值单权值双权值双权值曲面分布特点曲面分布特点2 2：存在多个极小点：存在多个极小点pBPBP算法算法以误差梯度下降为权值调整原则p误差曲面的这一特点误差曲面的这一特点使之无法辨别极小点的性质p导致的结果：导致的结果：因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。标准标准BPBP算法的改进引言算法的改进引言p误差曲面的形状固有的误差曲面的形状固有的p算法的作用是什么？算法的作用是什么？调整权值，找到最优点p那么如何更好地调整权值？那么如何更好地调整权值？利用算法使得权值在更新的过程中，
34、走合适的路径，比如跳出平坦区来提高收敛速度，跳出局部最小点等等p如何操作？如何操作？需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使得权值的调整更为合理。标准的标准的BPBP算法内在的缺陷：算法内在的缺陷：易形成局部极小而得不到全局最优；易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；训练次数多使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。训练时学习新样本有遗忘旧样本的趋势。针对上述问题，国内外已提出不少有效的改进算法，针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中下面仅介
35、绍其中3 3种较常用的方法。种较常用的方法。3.53.5标准标准BPBP算法的改进算法的改进p改进改进1 1：增加动量项：增加动量项p改进改进2 2：自适应调节学习率：自适应调节学习率p改进改进3 3：引入陡度因子引入陡度因子改进改进1 1：增加动量项：增加动量项p提出的原因：提出的原因：标准BP算法只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向从而常使训练过程发生振荡，收敛缓慢。p方法：方法：为动量系数，一般有为动量系数，一般有(0 0，1 1)改进改进1 1：增加动量项：增加动量项p实质：实质：从前一次权值调整量中取出一部分迭加到本次权值调整量中p作用：作用：动量项反映了以
36、前积累的调整经验，对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。改进改进2 2：自适应调节学习率：自适应调节学习率p提出的原因：提出的原因：标准BP算法中，学习率也称为步长，确定一个从始至终都合适的最佳学习率很难。平坦区域内，太小会使训练次数增加；在误差变化剧烈的区域，太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。改进改进2 2：自适应调节学习率：自适应调节学习率p基本思想：基本思想：自适应改变学习率，使其根据环境变化增大或减小。p基本方法：基本方法：设一初始学习率，若经过一批次权值调整后使总误差，则本次调整无效，且=(1)
37、。改进改进3 3：引入陡度因子引入陡度因子p提出的原因：提出的原因：误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。p基本思想：基本思想：如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。改进改进3 3：引入陡度因子引入陡度因子p基本方法：基本方法：在原转移函数中引入一个陡度因子当发现E接近零而d-o仍较大时，可判断已进入平坦区，此时令1；当退出平坦区后，再令=1。改进改进3 3：引入陡度因子引入陡度因子 作用分析：作用分析：1：net坐标压缩了倍，神经元的转移函数曲线的敏感区段
38、变长，从而可使绝对值较大的net退出饱和值。=1：转移函数恢复原状，对绝对值较小的net具有较高的灵敏度。应用结果表明该方法对于提高BP算法的收敛速度十分有效。总结总结p基于基于BPBP算法的多层前馈网络模型算法的多层前馈网络模型pBPBP算法的实现算法的实现基本思想推导过程程序实现pBPBP学习算法的功能学习算法的功能pBPBP学习算法的局限性学习算法的局限性pBPBP学习算法的改进学习算法的改进3.6 BP网络设计基础p一一 、训练样本集的准备、训练样本集的准备1.输入输出量的选择2.输入量的提取与表示3.输出量的表示p二、输入输出数据的归一化二、输入输出数据的归一化p三、网络训练与测试三
39、、网络训练与测试1 输出量的选择p 输出量输出量:代表系统要实现的功能目标代表系统要实现的功能目标系统的性能指标系统的性能指标分类问题的类别归属分类问题的类别归属非线性函数的函数值非线性函数的函数值一一 、训训练练样样本本集集的的准准备备输入量的选择p输入量选择的两条基本原则必须选择那些对输出影响大且能够检测或提取的变量各输入变量之间互不相关或相关性很小一一 、训训练练样样本本集集的的准准备备输入输出量的性质输入输出量的性质p从输入、输出量的性质来看，可分为两类：一从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。类是数值变量，一类是语言变量。数值变量的值是数值确定的连续量
40、或离散量。语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。当选用语言变量作为网络的输入或输出变量时，当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。需将其语言值转换为离散的数值量。一一 、训训练练样样本本集集的的准准备备2.输入量的提取与表示XC=(111100111)T XI=(111100111)T XT=(111100111)T(1)文字符号输入文字符号输入一一 、训训练练样样本本集集的的准准备备（2）曲线输入）曲线输入p=1,2,P一一 、训训练练样样本本集集的的准准备备(3)(3)函数自变量输入函数自变量输入一般有几个输入量就设
41、几个分量，1个输入分量对应1个输入层节点。(4)(4)图象输入图象输入在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。一一 、训训练练样样本本集集的的准准备备3.输出量的表示(1)“n中取中取1”表示法表示法 “n中取中取1”是令输出向量的分量数等于类别数，输入样本被判是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取为哪一类，对应的输出分量取1，其余，其余 n-1 个分量全取个分量全取0。例如，。例如，用用0001、0010、0100和和1000可分别表示优、良、中、差可分别表示优、
42、良、中、差4个类别。个类别。(2)“n-1”表示法表示法 如果用如果用n-1个全为个全为0的输出向量表示某个类别，则可以节省一个的输出向量表示某个类别，则可以节省一个输出节点。例如，用输出节点。例如，用000、001、010和和100也可表示优、良、中、差也可表示优、良、中、差4个类别。个类别。(3)数值表示法数值表示法 对于渐进式的分类，可以将语言值转化为二值之间的数值表示。对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开距离。开距离。一一 、训训练练样样本本集集的的
43、准准备备二、输入输出数据的归一化二、输入输出数据的归一化 归一化也称为或标准化，是指通过变换处理将网归一化也称为或标准化，是指通过变换处理将网络的输入、输出数据限制在络的输入、输出数据限制在0，1或或-1，1区间内。区间内。进行归一化的主要原因：进行归一化的主要原因：归一化的方法：归一化的方法：进行归一化的主要原因：p网络的各个输入数据常常具有不同的网络的各个输入数据常常具有不同的物理意义和不物理意义和不同的量纲同的量纲，归一化给各输入分量以同等重要的地位；，归一化给各输入分量以同等重要的地位；pBPBP网的神经元均采用网的神经元均采用SigmoidSigmoid转移函数，变换后可防转移函数，
44、变换后可防止因净输入的绝对值过大而使神经元输出止因净输入的绝对值过大而使神经元输出饱和饱和，继而，继而使权值调整进入误差曲面的平坦区；使权值调整进入误差曲面的平坦区；pSigmoidSigmoid转移函数的输出在转移函数的输出在0101或或-11-11之间。之间。教师信教师信号号如不进行归一化处理，势必使数值大的输出分量如不进行归一化处理，势必使数值大的输出分量绝绝对误差对误差大，数值小的输出分量绝对误差小。大，数值小的输出分量绝对误差小。二二、输输入入输输出出数数据据的的归归一一化化归一化的方法：将输入输出数据变换为将输入输出数据变换为0，1区间的值常用以下变换式区间的值常用以下变换式其中，
45、xI代表输入或输出数据，xmin代表数据变化的最小值，xman代表数据的最大值。将输入输出数据变换为将输入输出数据变换为-1，1区间的值常用以下变换式区间的值常用以下变换式其中，xmid代表数据变化范围的中间值。二二、输输入入输输出出数数据据的的归归一一化化三、网络训练与测试 网络的性能好坏主要看其是否具有很好的泛化能网络的性能好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。用训练集以外的测试数据来进行检验。三三、网网络络训训练练与与测测试试 在隐节点数一定的情况下，为获得好的泛化
46、能力，在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。存在着一个最佳训练次数。三三、网网络络训训练练与与测测试试4.5 自适应共振理论自适应共振理论思考并回答以下几个问题思考并回答以下几个问题p神经网络的学习和记忆特性神经网络的学习和记忆特性学习过程的本质？网络将知识存储（记忆）在什么地方？对于感知器/BP网络/SOM网络学习时，当新样本输入时，权值的改变对旧样本的影响是什么？自适应共振理论（自适应共振理论（ARTART）p历史历史1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(Adaptive Resonance Theory，缩写为AR
47、T)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.Grossberg提出了ATR网络。p共振现象的一些例子共振现象的一些例子自自适适应应共共振振理理论论共振现象共振现象p鱼洗鱼洗p寺院无人敲而响的磬寺院无人敲而响的磬p军队过桥军队过桥p雪崩雪崩p人类认知（图像）人类认知（图像）当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。自自适适应应共共振振理理论论ARTART网络学习算法的基本流程网络学习算法的基本流程环环境境输输入入模模式式与
48、储存与储存的典型的典型向量模向量模式进行式进行比较比较神经网络的神经网络的连接权值连接权值选择最相似的作为该模式的代表选择最相似的作为该模式的代表类，并调整与该类别相关的权值，类，并调整与该类别相关的权值，以使以后与该模式相似的输入再以使以后与该模式相似的输入再与该模式匹配时能得到更大的相与该模式匹配时能得到更大的相似度。似度。相似度的参考门限相似度的参考门限需要在网络中设立一个新的模式需要在网络中设立一个新的模式类，同时建立与该模式类相连的类，同时建立与该模式类相连的权值，用以代表和存储该模式以权值，用以代表和存储该模式以及后来输入的所有同类模式。及后来输入的所有同类模式。C C 比较层比较
49、层R R 识别层识别层ResetReset 复位信号复位信号G G1 1和和G G2 2 逻辑控制信号逻辑控制信号4.5.1.14.5.1.1网络系统结构网络系统结构4.5.1 ART型网络型网络4.5.1.14.5.1.1网络系统结构网络系统结构(1)C(1)C 层结构层结构 该层有该层有n n个节点，每个节点接受来自个节点，每个节点接受来自3 3个方面的信号：个方面的信号：来自外界的输入信号来自外界的输入信号x xi i；来自来自R R 层获胜神经元的外星向量的返层获胜神经元的外星向量的返回信号回信号T Tj j；来自来自G G1 1的控制信号。的控制信号。C C 层节点的输出层节点的输出
50、c ci i是根据是根据2/32/3的的“多多数表决数表决”原则产生的，即输出值原则产生的，即输出值c ci i与与x xi i、t tijij 、G G1 1 3 3个信号中的多数信号值相同。个信号中的多数信号值相同。G G1 1=1=1，反馈回送信号为反馈回送信号为0 0，C C层输出层输出应由输入信号决定，有应由输入信号决定，有C=XC=X。反馈回送信号不为反馈回送信号不为0 0，G G1 1=0=0，C C层输层输出应取决于输入信号与反馈信号的比较出应取决于输入信号与反馈信号的比较情况，如果情况，如果x xi i=，则，则c ci i=x xi i。否则否则c ci i=0=0。网网络