《基于-BP神经网络PID整定原理和算法步骤-精品.doc》由会员分享，可在线阅读，更多相关《基于-BP神经网络PID整定原理和算法步骤-精品.doc（37页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、-_-_摘 要神经网络作为一门新兴的信息处理科学，是对人脑若干基本特性的抽象和模拟。它是以人的大脑工作模式为基础，研究自适应及非程序的信息处理方法。这种工作机制的特点表现为通过网络中大量神经元的作用来体现自身的处理功能，从模拟人脑的结构和单个神经元功能出发，达到模拟人脑处理信息的目的。目前，在国民经济和国防科技现代化建设中神经网络具有广阔的应用领域和发展前景，其应用领域主要表现在信息领域、自动化领域、工程领域和经济领域等。本文以 BP 神经网络作为研究对象。研究的内容主要有：首先介绍了神经网络的概念、控制结构，学习方式等。其次，介绍了人工神经元模型，并对BP 神经网络的基本原理及推导过程进行详
2、细阐述。再次将BP 神经网络的算法应用于PID 中，介绍了基于 BP 神经网络 PID 整定原理和算法步骤。最后利 用 MATLAB/Simulink 对BP 神经网络 PID 控制系统进行仿真，得出 BP 神经网络的控制效果明显好，它具有很强的自整定，自适应功能。关关键键词词： BP 算法， PID 控制，自整定-_ABSTRACTAs a kind of emerging information processing science，the neural network can simulate some basic characteristic of human brain. It is
3、 an information-processed method which takes persons cerebrum working pattern as a foundation and studies the model of adaptive and non- program. The characteristics of this kind of work mechanism are that it can show its processing function through the massive neurons function in the network. Then,
4、 it starts with simulating the human brain structure and the single neuron function to achieve the goal that simulates the human brain to process information.Nowadays, the neural network has wide application fields and prospects in the national economy and modernization of national defense science.
5、It mainly applies in information, automation, economical and so on.This article takes the BP neural network as the research object. The content of the research mainly contain: firstly, it introduces the concept of neural network, control structure and mode of study and so on. Secondly, it introduces
6、 the artificial neuron model, the basic principles of BP neural network and the derivation process in detail. Then, it applies BP neural network in the PID, and introduces the tuning principles of PID based the BP neural network and steps of the algorithm. Finally, Matlab/Simulink is used to simulat
7、e the BP neural network PID control system. In the consequence, the performance of BP neutral network control significantly good. BP neural network control system has a strong self-tuning, adaptive function.KEY WORDS: BP algorithm, PID control, self-tuning-_目 录摘 要 .IABSTRACT.II第 1 章 绪论.2 1.1 选题背景和意义
8、 .2 1.2 神经网络技术国内外发展现状 .3 第 2 章 神经网络的原理和应用.6 2.1 神经网络的基本概念 .6 2.2 神经网络的控制结构 .6 2.2.1 前馈网络.6 2.2.2 反馈网络.6 2.3 神经网络的功能 .7 2.4 神经网络的学习 .7 2.4.1 神经网络的学习方式 .7 2.4.2 神经网络的学习算法 .8 2.5 人工神经元（MP）模型 .8 2.6 BP 算法原理.10 2.7 BP 网络的前馈计算.11 2.8 BP 网络权系数的调整规则.12 2.9 BP 网络学习算法的计算步骤.14 2.10 本章小结 .14 第 3 章 BP 神经网络 PID 控
9、制方法研究 .15 3.1 引言 .15 3.2 基于 BP 神经网络的 PID 整定原理 .15 3.3 本章小结 .19 第 4 章 仿真研究.20 4.1 BP 神经网络自整定 PID 控制系统.20 4.2 仿真结果分析 .27 4.3 本章小结 .27 第 5 章 结论与展望.28 参 考 文 献.30 附 录.31 致 谢.34-_第 1 章 绪论1.11.1 选题背景和意义在计算机技术没有发展的条件下,大量需求的控制对象是一些较为简单的单输入单输出线性系统,而且对这些对象的自动控制要求是保持输出变量为要求的恒值,消除或减少输出变量与给定值之误差、误差速度等。而 PID 控制的结构
10、,正是适合于这种对象的控制要求。因此 PID 控制是最早发展起来的控制策略之一，由于其算法简单，鲁棒性好和可靠性高，被广泛应用于过程控制中，尤其适用于可建立精确数学模型的确定性控制系统。然而实际工业生产过程往往具有非线性，时变不确定性，难以建立精确地数学模型，应用常规 PID 控制器不能达到理想的控制效果，而且在实际生产现场中，由于受到参数整定方法繁杂的困扰，常规 PID 控制器往往整定不良，性能欠佳，对运行工况的适应性很差。所以人们从工业生产过程需要出发,基于常规 PID 控制器的基本原理,对其进行了各种各样的改进，形成所谓智能 PID 控制1。而其中神经网络所具有的大规模的并行处理和分布式
11、的信息存储；极强的自学、联想额容错能力；良好的自适应和自组织性；多输入、多输出的非线性系统都基本符合工程的要求。人工神经网络作为生物控制论的一个成果，其触角几乎延伸到各个工程领域，并且在这些领域中形成新的生长点。以神经网络研究为开端，整个学术界对计算的概念和作用有了新的认识和提高。计算不仅仅局限于数学中，更不仅采取逻辑的、离散的形式，在大量的物理现象以至生物学对象中，进行各种各样的计算，而且大量的运算表现在对模糊低精度模拟量的并行计算，对于这一类计算，传统的计算机是无能为力的。神经网络的数学理论本质是非线性的数学理论，因此，现代非线性科学方面的进展必将推动神经网络的研究，同时，神经网络理论也会
12、对非线性科学提出新课题。神经网络研究的对象是神经系统，这是高度进化的复杂系统，也是系统科学中一个重要的具体的领域。神经网络的研究不仅重视系统的动态特性，而且强调事件和信息在系统内部的表达和产生。神经网络应用时不需考虑过程或现象的内在机理，一些高度非线性和高度复杂的问题能较好地得到处理，因此神经网络在控制领域取得了较大的发展，特别在模型辨识、控制器设计、优化操作、故障分析与诊断等领域迅速得到应用。神经网络控制作为二十一世纪的自动化控制技术，国内外理论与实践均充分证明，其在工业复杂过程控制方面大有用武之地。而工业现场需要先进的控制方法，迫切需要工程化实用化的神经网络控制方法，所以研究神经网络在控制
13、中的应用，对提高我国的自动化水平和企业的经济效益具有重大意义2。神经网络具有很强的非线性逼近能力和自学习能力，所以将BP神经网络算法与PID控制相结合产生的间接自校正控制策略，能自动整定控制器的参数，使系统在较好的性能下运行。虽然人工神经网络存在着以上的许多优点及广泛的应用，但同时也存在着一些不足，-_由于神经网络的不足阻碍了神经网络的发展，在现实应用中 BP 神经网络是最为广泛的神经网络模型，BP 神经网络是在 1986 年被提出的，因其系统地解决了多层网络中隐含单元连接权的学习问题，它同样具有人工神经网络所具有的特点。本课题是以 BP 神经网络模型研究为主。BP 神经网络的缺点主要表现在以
14、下几个方面:(1)学习过程收敛速度慢，训练易陷入瘫痪;(2)训练过程中易陷入局部极小值;(3)网络泛化能力差;(4)隐节点数及权重和阈值初始值的选取缺乏理论指导:(5)未考虑样本选择对系统的影响;(6)未考虑传递函数对神经网络系统的影响;另外，网络结构的确定:包括隐含层数及各隐含层节点数的确定:以及学习率的选取等问题的存在严重阻碍了 BP 神经网络的发展，致使其理论发展缓慢。同时也因为 BP 网络的这些缺点限制了其应用领域的拓宽及应用程度的深入，不利于国民经济的健康发展。因此，研究 BP 神经网络显然具有重要理论意义和重要的应用价值。1.21.2 神经网络技术国内外发展现状当今的自动控制技术都
15、是基于反馈的概念。反馈理论的要素包括三个部分：测量、比较和执行。测量关心的变量，与期望值相比较，用这个误差纠正调节控制系统的响应。PID（比例-积分-微分）控制器作为最早实用化的控制器已有 50 多年历史，现在仍然是应用最广泛的工业控制器。PID 控制器简单易懂，使用中不需精确的系统模型等先决条件，因而成为应用最为广泛的控制器。PID 控制器由比例单元（P） 、积分单元（I）和微分单元（D）组成。在实际生产过程中，由于受到参数整定方法繁杂的困扰，因此常规 PID 控制的应用受到很大的限制和挑战。人们对 PID 应用的同时，也对其进行各种改进，主要体现在两个方面：一是对常规 PID 本身结构的改
16、进，即变结构 PID 控制。如积分分离算法，抗积分饱和算法和微分项的改进等等。另一方面，与模糊控制、神经网络控制和专家控制相结合，扬长避短，发挥各自的优势，形成所谓智能 PID 控制。神经网络是一个由大量简单的处理单元广泛连接组成的系统，用来模拟人脑神经系统的结构和功能。它从开始研究到发展并不是一帆风顺的，经历了兴起到低潮，再转入新的高潮的曲折发展道路。20 世纪 80 年代中期以来，在美国、日本等一些西方工业发达国家里，掀起了一股竞相研究、开发神经网络的热潮。近十多年来人工神经网络的发展也表明了，这是一项有着广泛的应用前景的新型学科，它的发展对目前和未来科学技术水平的提高将有重要影响。初期阶
17、段美国心理学家 wi11iamJames(1890)发表了心理学原理一书，论述了相关学习、联想记忆的基本原理，对人脑功能作了创见性地工作。他指出:当前基本的脑细-_胞曾经一起相继被激活过，其中一个受到刺激重新激活时，会将刺激传播到另一个。同时，James 认为：在大脑皮层上任意点的刺激量，是其他所有发射点进入该点的总和。美国心理学家 W.S.Mcculloh 与数学家 W.H.Pirts(1943)合作，用逻辑数学工具研究客观事件在形成神经网络中的数学模型表达，从此开创了对神经网络的理论研究。Bernard Widrow 和 MareianHoff(1962)提出了一种连续取值的线性加权求和阈
18、值网络，即自适应线性元件网络，也可以看成是感知器的变形，它成功地应用于自适应信号处理和雷达天线控制等连续可调过程。他们在人工神经网络理论上创造了一种被人们熟知的 Widrow-Hoff 学习训练算法，并用硬件电路实现人工神经网络方面的工作，为今天用大规模集成电路实现神经网络计算机奠定了基础。90 年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者 Edelamn 提出Darwinism 模型。他建立了一种神经网络系统理论，例如，Darwinism 的结构包括 Dawin网络和 Nallance 网络，并且这两个网络是并行的，而他们又包含了不同功能的一些子网络。他采用了 Hebb 权值修正
19、规则，当一定的运动刺激模式作用后，系统通过进化，学会扫描跟踪目标。Narendra 和 Parthasarathy(1990 年)提出了一种推广的动态神经网络系及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。神经网络理论有较强的数学性质和生物学特性，尤是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最好的机会。近十年来，神经网络理论与实践有了引人注目的进展，它再一次拓展了计算概念的内涵，使神经计算、进化计算成为新的学科，神经网络的软件模拟得到了广泛的应用。科技发达国家的主要公司对神经网络芯片、生物芯片情有独钟。例如 Intel 公司、I
20、BM 公司和 HNC 公司已取得了多项专利，已有产品进入市场，被国防、企业和科研部门选用，许多公众手中也拥有神经网络实用化的工具，其商业化令人鼓舞。神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和发展前景。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适用于处理需要同时考虑多因素和多条件的、不精确和模糊的信息处理问题。它主要应用领域有：语音识别、图像识别、计算机视觉、智能机器人、故障诊断、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经心理学、心理学和认知科学研究等等。 PID 控制要取得较好的控制效果，就必须通过
21、调整好比例、积分、微分三种控制作用，形成控制量中既有相互配合又相互制约的关系。这种关系不一定是简单的线性组合，从变化无穷的非线性组合中可以找出最佳关系。神经网络所具有的任意非线性表达能力，可以通过对系统性能的学习来实现具有最佳组合的 PID 控制。因此基于神经网络的 PID不仅能适应环境变化，且有较强的鲁棒性。本设计正是研究基于神经网络 PID 控制理论及其应用，特别是基于反向传播算法的PID 控制的基本原理，然后利用 BP 神经网络 PID 控制器对一个单闭环调速系统进行仿真-_研究，并和常规的 PID 控制进行对比，从而得出 BP 神经网络 PID 控制器具有较强的自整定、自适应的优点。-
22、_第 2 章 神经网络的原理和应用2.12.1 神经网络的基本概念人工神经网络(ANN，Artificial Neural Network)，又称并行分布处理模型或连接机制模型，是基于模仿人类大脑的结构和功能而构成的一种信息处理系统或计算机系统。它具有很多与人类智能相类似的特点，诸如结构与处理的并行性、知识分布存储、容错性强、通过训练学习可具备适应外部环境的能力、模式识别能力和综合推理能力等。它是模仿生理学上的人脑神经网络的结构和功能的数学模型，由大量人工神经元连接而成的一种能够进行复杂的逻辑操作的自适应非线性动态信息处理系统。它具有高度的并行性、高度的非线性、良好的容错性、联想记忆功能和自适
23、应等特点。2.22.2 神经网络的控制结构人工神经网络是生物神经网络的一种模拟和近似。它主要从两个方面进行模拟。一种是从生理结构和实现机理方面进行模拟，它涉及生物学、生理学、心理学、物理及化学等许多基础科学。生物神经网络的结构和机理相当复杂，现在距离完全认识他们还相差甚远。另一种是从功能上加以模拟，即尽量使得人工神经网络具有生物神经网络的某些功能特性，如学习、识别、控制等功能。从功能上来看，人工神经网络根据连接方式主要分为两类。2.2.1 前馈网络前馈神经网络是整个神经网络体系中最常见的一种网络，其网络中各个神经元接收前一级的输入，并输出到下一级，网络中没有反馈。网络中节点分为两类，即输入单元
24、和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其他节点作为输入） 。通常前馈网络可分为不同的层，第 i 层的输入只与第 i-1 层输出相连，输入和输出节点与外界相连，而其他中间层称为隐含层，它们是一种强有力的学习系统，其结构简单而易于编程。从系统的观点看，前馈网络是一静态非线性映射，通常简单非线性处理的符合映射可获得复杂的非线性处理能力。但从计算的观点看，前馈神经网络并非是一种强有力的计算系统，不具有丰富的动力学行为。大部分前馈神经网络是学习网络，并不注意系统的动力学行为，它们的分类能力和模式识别能力一般强于其他类型的神经网络。2.2.2 反馈网络反馈神经网络又称为
25、递归网络或回归网络。在反馈网络中，输入信号决定反馈系统-_的初始状态，然后系统经过一系列的状态转移后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后输出的结果，由此可见，稳定性是反馈网络中最重要的问题之一。如果能找到网络的 Lyapunov 函数，则能保证网络从任意的初始状态都能收敛到局部最小点。反馈神经网络中所有节点都是计算单元，同时也可接收输入，并向外界输出。2.32.3 神经网络的功能神经网络在控制领域中的应用功能，基本有以下几个方面：（1）非线性映射和函数逼近功能。这种非线性映射可以是连续的，也可以是离散的，可以是一维的，也可以是多维的。在前馈网络中均有此功能。（2）模式记忆与
26、联想功能。几乎所有的神经网络都能以连接权形式存储一定数量的模式，并能实现对扭曲模式的自联想和异联想的功能。（3）优化计算功能。正因为有此功能，能对给定的一个问题，获得局部或全局的最优化解。可用于动态、静态规划与优化计算等。2.42.4 神经网络的学习2.4.1 神经网络的学习方式神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络的自由参数，使神经网络以一种新的方式对外部环境作出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络最有意义的性质。神经网络经过反复学习对其环境更为了解。神经网络学习方式可分为：有导师学习、无导师学习和再励学习三类。1）有导师学习又
27、称为有监督学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看成对外部环境的了解，由输入输出样本集合来表示。导师信号或期望输出响应代表了神经网络的执行情况的最佳结果，即对于网络输入调整网络参数，使得网络输出逼近导师信号或期望响应。2）无导师学习包括强化学习与无监督学习或称为自组织学习。在强化学习中，对输入输出映射的学习是通过与外界环境的连续作用最小化性能的标量索引而完成的。在无监督学习或称为自组织学习中没有外部导师或评价来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的自由参数最优化。一旦网络与输入数据的统计规律达成一致，就能
28、够形成内部表示方法来为输入特征编码，并由此自动得出新的类别。3）再励学习介于上述两种情况之间，外部环境对系统输出结果只给出评价而不是正确答案，学习系统经过强化那些受奖励的动作来改善自身性能。-_2.4.2 神经网络的学习算法常用的三种学习规则有以下几种：1）.无监督的 Hebb 学习规则Hebb 学习是一类相关学习，其基本思想是：如果两个神经元同时被激活，则它们之间的联接强度的增强与它们激励的乘积成正比，以表示神经元 i 的激活值，表示神经iojo元 j 的激活值，表示神经元 i 和神经元 j 的连接权值，则 Hebb 学习规则可表示 ijw（2-1）( )( ) ( )ijjiw ko k
29、o k式中：为学习速率。 2）.有监督的 Delta 学习规则 在 Hebb 学习规则中，引入教师信号，即将换成希望输出与实际输出之差，就jojdjo 构成有监督学习的学习规则（2-2） ( )( ( )( ) ( )ijjjiw kd ko k o k3）.有监督的 Hebb 学习规则将无监督的 Hebb 学习规则和有监督的 Delta 学习两者结合起来就构成有监督的 Hebb学习规则（2-3）( )( ( )( ) ( ) ( )ijjjijw kd ko k o k o k2.52.5 人工神经元（MP）模型1943 年，美国心理学家 MeCulloch 和数学家 Pitts 共同提出“
30、模拟生物神经元” ，被称为 MP 的人工神经元，人工神经网络是由大量的处理单元即人工神经元广泛互连组成的网络，网络的信息处理功能由神经元间相互作用来实现，知识与信息的存储表现为网络元件间分布式的物理联系，网络的学习和识别取决于各种神经元件连接权系数的动态演化过程。其主要特征为连续时间非线性动力学、网络的全局作用、大规模的并行分布处理和联想学习能力。MP 的人工神经元一般是一个多输入多输出的非线性部件，其基本结构如图 2-1 所示。图 2-1 MP 神经元模型结构( )if u1yjynyi iuiy-_其中，:神经元 i 的输出，它可以与其他多个神经元通过权连接。 iy:神经元的输入。 jy:
31、神经元的连接权值。 ijw:神经元的阈值。 i:神经元的非线性作用函数，又称为激发函数。 ( )if u神经元的输出，可用下式描述: iy(2-4)1()()niij jijyfw yij设(2-5)1niijjuwi则(2-6)( )iiyf u激发函数 f（u）一般有以下几种形式。1）阶跃函数函数表达式为(2-7a)() = 1, 1 1 1 1 1 ?3)Sigmoid 型函数最常用的 Sigmoid 型函数为(2-8)1( )1 exp()f xax式中，参数 a 可控制其斜率。Sigmoid 型函数也称为 S 型函数，上式表示的是一种非对称 S 型函数。另一种常用的 Sigmoid
32、型函数为双曲正切对称 S 型函数，即(2-9)1exp()( )tanh( )1exp()xf xxx-_2.62.6 BP 算法原理1986 年，D.E.Rumelhart 和 J.L.McClelland 提出了一种利用误差反向传播训练算法的神经网络，简称 BP 网络，是一种隐含层的多层前馈网络，系统地解决了多层中隐含单元连接权的学习问题。如果网络的输入节点数为 M、输出节点数为 L，则此神经网络可看成是从 M 维欧式空点到 L 维欧式空间的映射。这种映射是高度非线性的，其主要用于：（1）模式识别与分类：用于语言、文字、图像的识别，医学特征的分类和诊断等。（2）函数逼近：用于非线性控制系统
33、的建模、机器人的轨迹控制及其其他工业控制等。（3）数据压缩：用于编码压缩和恢复、图像数据的压缩和存储以及图像特征的抽取等。BP 学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。也就是采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。网络的学习过程是一种误差边向后传播边修正权系数的过程。多层网络运用 BP 学习算法时，实际上包含了正向和反向传播两个阶段。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改
34、各层神经元的权值 ，使误差信号最小。将上一层节点的输出传送到下一层时，通过调整连接权系数来达到增强或削弱这些输出的作用。除了输入层的节点外，隐含层和输出层的节点的净输入时前一层节点输出的加权和。每个节点的激活程度由它的输入信号、激活函数和节点的偏置来决定。但对于输入层、输入模式送到输入层节点上，这一节点的输出即等于输入。注意：这种网络没有反馈存在，实际运行仍是单向的，所以不能将其看成是一非线性动力学系统，而只是一种非线性映射关系。图 3-1 BP 神经网络结构图具有神经网络的结构如图 3-1，图中设有 M 个输入节点，中间为隐含层 i 个，1x2xmx输出为 l 个。-_2.72.7 BP 网
35、络的前馈计算假设有 M 个输入节点，L 个输出节点，网络的隐含层含有 q 个神经元。在训练网络的学习阶段，设有 N 个训练样本，先假定用其中的某一个样本 p 的输入/输出模式对Xp和Tp对网络进行训练，隐含层的第 i 个神经元在样本 p 作用下输入为（i=1,2.q） (2-10)11MM ppp iijjiijji jjnetw ow x网络隐含层含有 q 个神经元，式中和分别为输入节点 j 在样本 p 作用时的输入和输p jop jx出，对输入节点而言两者相当；为输入层神经元 j 与隐含层神经元 i 之间的连接权值；ijw为隐含层神经元 i 的阈值；M 为输入层的节点数，即输入的个数。i隐
36、含层第 i 个神经元的输出为 i=（1,2.q） (2-11)()pp iiog net式中的 g（）为激活函数。对于 Sigmoid 型激活函数(2-12)101( )1exp ()/f xx式中，参数表示偏值，正的使激活函数水平向左移动；的作用是调节 Sigmoid 函数110形状的，较小的使 Sigmoid 函数逼近一个阶跃限幅函数，而较大的将使 Sigmoid 函数00变得较为平坦。隐含层激活函数 g()的微分函数为p inet（i=1,2.q） (2-13)()() 1(1)ppppp iiiiig netg netg netoo隐含层第 i 个神经元的输出将通过权系数的向前传播到输
37、出层第 k 个神经元作为p io它输入之一，而输出层第 k 个神经元的总输入为（k=1,2.L） (2-14)1q pp kkiik inetw o式中，为隐含层神经元 i 与输出层神经元 k 之间的连接权值；为输出神经元 k 的阈kiwk值；q 为隐含层的节点数。输出层的第 k 个神经元的实际输出为（k=1,2.L） (2-15)()pp kknetg net输出层激活函数的微分函数为()p kg net（k=1,2.L） (2-16)()() 1()(1)ppppp kkkkkg netg netg netoo若其输出与给定模式对的期望输出不一致，则将其误差信号从输出端反向传播回p kt-
38、_来，并在传播过程中对加权系数不断修正，直到输出层神经元上得到所需要的期望输出值为止。对样本 p 完成网络权系数的调整后，再送入另一样本模式对进行类似学习，p kt直到完成 N 个样本的训练学习为止。2.82.8 BP 网络权系数的调整规则对于每一个样本 p 的输入模式对的二次型误差函数为(2-17)211()2L pp pkk kJto则系统对所有 N 个训练样本的总误差函数为 (2-18)2111()2NL pp kk pkJto式中，N 为模式样本对数；L 为网络输出节点数。一般来说，基于还是基于 J 来完成加权系数空间的梯度搜索会获得不同的结果。pJ在 Rumelhart 等人的学习加
39、权规则中，学习过程按使误差函数减小最快的方向调整加权pJ系数直到获得满意的加权系数集为止。这里加权系数的修正时顺序操作的，网络对各模式对一个一个地顺序输入并不断学习，类似于生物神经网络的处理过程，但不是真正的梯度搜索过程。系统最小误差的真实梯度搜索方法是基于式（2-18）的最小化方法。1）输出层权系数的调整权系数应按函数梯度变化的方向调整，使网络逐渐收敛。根据梯度法，可得输出pJ层每个神经元权系数的修整公式为1()pq ppppppk kikiikippp ikikikikkkJJJJnetww oowwwnetnetnet (2-19) 式中，为学习速率，0。 定义 (2-20)()()()
40、(1)p ppppppppppk kkkkkkkkppp kkkJJotog nettooonetonet 因此输出层的任意神经元 k 的加权系数修整公式为(2-21)()(1)ppppppp kikikkkkiwotoooo式中，为输出节点 k 在样本 p 作用时的输出；为隐含节点 i 在样本 p 作用时的输出；p kop io为在样本 p 输入输出对作用时输出节点 k 的目标值。p kt2）隐含层权系数的调整根据梯度法，可得隐含层每个神经元权系数的修整公式为-_（2-22） 1()pMppppppi ijijjiijpp jijijijiiJJJnetww oowwwnetnet 式中，为
41、学习速率，0。（2-23）()(1)p ppppppppi iiiippppp iiiiiJJJJog netoonetonetoo 由于隐含层一个单元输出的改变会影响与该单元相连接的所有输出单元的输入，即(2-24)11111()()pqLLppppk kiikppppp kkiikikiLLppp kikkipp kkikJJJnetw oonetonetoJJwwonet 因此，隐含层的任意神经元 i 的加权系数修正公式为(2-25)1(1)()L pppppp ijijiikkij kwooowo式中，为隐含节点 i 在样本 p 作用时的输出；为在输入节点 j 在样本 p 作用时的输p iop jo出，即输入节点 j 的输入（因对输入节点两者相当） 。输出层的任意神经元 k 在样本 p 作用时的加权系数改进公式为(2-26)(1)( )pp kikikiwkwko 隐含层的任意神经元 i 在样本 p 作用时的加权系数改进公式为 (2-27)(1)( )pp ijijijw kw ko 由式（2-17）和（2-18）可知，对于给定的某一个样本 p，可根据误差要求调整网络的加权系数使其满足要求；对于给定的另一个样本，再根据误差要求调整网络的加权系数使其满足要求，直到所有样本作用下的误差都满足要求为止。这种计算过程称为在线学习过程。如果学习过程按使误差函数 J 减小最快的方向