《BP神经网络算法(30页).doc》由会员分享，可在线阅读，更多相关《BP神经网络算法(30页).doc（30页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、-BP神经网络算法-第 25 页BP神经网络算法摘 要人工神经网络，是由大量处理单元（神经元）组成的非线性大规模自适应动力系统。它具有自组织，自适应和自学习能力，以及具有非线性、非局域性，非定常性和非凸性等特点。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理，记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。作为人工智能的重要组成部分，人工神经网络有较大的应用潜力。本文阐述了神经网络的发展、现状及其原理，介绍了神经网络在航空航天业、国防工业、制造业等诸多方面的应用。BP神经网络是目前应用较多的一种神经网络结构。它能以任意精度逼近任意非线性函数，而且具有良好的
2、逼近性能，并且结构简单，是一种性能优良的神经网络。本文阐述了BP神经网络的基本原理，详细分析了标准BP算法、动量BP算法以及学习率可变的BP算法等几种流行的BP神经网络学习算法,详细的介绍了这几种算法的优缺点，并给出了各种算法的仿真程序，通过仿真结果对各种算法进行比较后有针对性的提出了BP算法的一种改进变梯度BP算法。对于改进的BP算法，本文不仅从理论方面对其进行了深入的分析，还介绍了该算法的详细思路和具体过程，将算法训练后的BP神经网络运用到函数逼近中去。仿真结果表明，这种改进方案确实能够改善算法在训练过程中的收敛特性，而且提高收敛速度，取得令人满意的逼近效果。关键词: 人工智能；BP神经网
3、络；变梯度法；改进Abstract Artificial neural network, by the large number of processing units (neurons) composed of large-scale adaptive nonlinear dynamic systems. It is self-organization, adaptive and self-learning ability, as well as non-linear, non-local, non-steady and non-convex and so on. It is in mode
4、rn neuroscience research on the basis of the results, trying to simulate the brain network processing, memory about the means to design a new machine so that it is the human brain, as the information processing capability.As an important component of artificial intelligence, artificial neural networ
5、ks have greater potential applications. This paper describes the development of a neural network, the status quo and its principles, introduced a neural network in the aerospace industry, defense industry, manufacturing and many other aspects of the application. BP neural network is more of a neural
6、 network structure. Approaching it with any precision arbitrary nonlinear function, but also has a good approximation performance, and simple structure, is a good performance of neural networks.In this paper, BP neural network the basic principles, detailed analysis of the standard BP algorithm, mom
7、entum BP algorithm and the variable rate of learning, such as BP algorithm several popular BP neural network learning algorithm, described in detail the advantages and disadvantages of these different algorithms And gives a variety of algorithm simulation program, through the simulation results of t
8、he various algorithms to compare targeted after BP made an improved algorithm - BP change gradient algorithm. BP to improve the algorithm, the paper not only from the theoretical aspects of their in-depth analysis, also described the algorithm is detailed ideas and specific process, method of traini
9、ng to use BP neural network to function approximation. The simulation results show that this improvement programme is to improve the training algorithm in the process of convergence characteristics, and improve the convergence rate, a satisfactory approximation.Keywords: Artificial intelligence; BP
10、neural network; change gradient method; improve目 录第一章 绪论1人工神经网络的发展史1人工神经网络的应用3第二章 人工神经网络的基本原理及模型7神经网络构成的基本原理7人工神经元模式7连接权值7神经网络状态8神经网络的输出8神经网络的结构8神经网络的特点10神经网络的学习方式11几种典型的神经网络11第三章 BP神经网络算法的改进及其仿真研究15 BP算法的数学描述15 BP网络学习算法18标准BP算法18动量BP算法20学习率可变的BP算法21 BP算法的缺陷22 BP算法的一种改进变梯度BP算法23共轭梯度法23改进共轭梯度法243.5 B
11、P网络应用实例26一般BP算法及其改进算法训练过程的不同26 BP神经网络的函数逼近27结束语28参考文献29致 谢30附 录31第一章 绪论人工神经网络的发展史 早在20世纪初，人们就已经发现人脑的工作方式与现在的计算机是不同的。人脑是由极大量基本单元（称之为神经元）经过复杂的相互连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统。 人工神经网络（artificial neural network,ANN），是借鉴人脑的结构和特点，通过大量简单处理单元（神经元或节点）互连组成的大规模并行分布式信息处理和非线性动力学系统。它具有巨量并行性、结构可变性、高度非线性、自学习性和自组织性等特
12、点。因此，它能解决常规信息处理方法难以解决或无法解决的问题，尤其是那些属于思维（形象思维）、推理及意识方面的问题。 从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过程，即人工神经网络的研究，自20世纪40年代以来，它的发展经历了一条由兴起、萧条和兴盛三个阶段构成的曲折道路123。 早在1943年精神病学家和神经解剖学家McCulloch与数学家Pitts在数学生物物理学会刊Bulletin of Mathematical Biophysics上发表文章，总结了生物神经元的一些基本生理特征，提出了形式神经元的数学描述与结构，即MP模型。他们的神经元模型假定遵循一种所谓“有或无”（al
13、l-or-none）规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它就标志着神经网络和人工智能学科的诞生。 1949年生理学家出版了The Organization of Behavior(行为组织学)一书。该书第一次鲜明提出了神经元连接强度的Hebb规则。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的学习规则为神经网络的学习算法奠定了基础，使神经网络的研究进入了一个重要的发展阶段。 1954年Minsky在Prince
14、ton大学撰写了“神经网络”的博士论文，题目是Theory of Neural-Analog Reinforcement Systems and Its Application tothe Brain-Model Problem。1961年Minsky发表了早期关于人工智能（AI）的优秀论文“Steps Toward Artificial Intelligence”，论文的后半部包含了当今神经网络的大部分内容。1967年Minsky出版了Computation：Finite andInfinite Machines一书，它是第一本以书的形式扩展了McCulloch和Pitts1943年的结果，
15、并把他们置于自动机理论和计算理论的背景中。 1958年，计算机科学家Rosenblatt提出感知机（Perceptron），首次把神经网络理论付诸工程实现。这是一种学习和自组织的心理学模型，它基本上符合神经生物学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这是符合动物学习的自然环境。当时，人们对神经网络的研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模型问题。但是，随之而来的Minsky和Papert（1969）所著的Perceptron一书，利用数学证明单层感知器所能计算的根本局限，提出感知器的处理能力有限，甚至连XOR这样的问题也不能解决，并在多层感知
16、器的总结章中，论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的。当时人工智能的以功能模拟为目标的另一分支出现了转机，产生了以知识信息处理为基础的知识工程（Knowledge Engineering），给人工智能从实验室走向实用带来了希望。同时，微电子技术的发展，使传统的计算机的处理能力有很大提高，数字计算机的发展使当时科学界普遍认为它能解决一切问题，包括模式识别、机器人控制等。因而不必去寻找新的计算理论与实现方法。而且，当时的工艺水平还未能达到制作实用的具有足够规模的神经网络，用分离的电子管即使是晶体管所制作的神经网络也只能作示教星的表演。这些因素的共同作用，促使人们降低了对神经
17、网络研究的热情，从而使神经网络进入萧条时期。但在其间，一些人工神经网络的先驱仍然致力于这一研究，美国波士顿大学的Grossberg提出了自适应共谐振理论（ART网），芬兰的Kohonen提出了自组织映射（SOM），Amari致力于神经网络数学理论的研究，这些都为神经网络的进一步研究与发展奠定了基础。 1982年，美国加州工学院Hopfield提出Hopfield神经网络模型，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的发展。1985年，Hinton和Sejnowsky等人提出了Boltzmann模型，首次采用了多层网络的学习算法，在学习中采用统计热力学模拟退火技术，保证
18、整个系统趋于全局稳定点。1986年Remelhart和McClelland等人提出了并行分布处理的理论，同时，Werbos和Parker独立发展了多层网络的BP算法，这是目前最普遍的网络，广泛用于实际问题求解。 神经网络的发展已到了一个新时期，它涉及的范围正在不断扩大，其应用渗透到各个领域。在连接主义模式下，进化与学习结合的思想正在迅速发展，神经计算、进化计算正成为其发展的一个重要方向。1994年廖晓昕对细胞神经网络建立了新的数学理论与基础，得出了一系列结果，如平衡态的全局稳定性、区域稳定性、周期解的存在性和吸引性等，使该领域取得了新的进展。通过混沌、独立子系统的数学技术来理解人的认知过程，建
19、立新的神经信息处理模型和框架。日本学者将微分流形和信息集合应用于人工神经网络的研究，探索系统化的新的神经信息处理理论基础，为人工神经网络的理论研究开辟了条崭新的途径。神经网络理论有极强的数学性质和生物学特征，尤其是在神经科学、心理学和认识科学等方面提出了一些重大问题，是向神经网络理论研究的新挑战，也是它发展的机会。21世纪神经网络理论日益变得更加外向，不断产生具有重要意义的概念和方法，推进神经网络向更高阶段发展。 如今，神经网络的应用，已渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得了令人瞩目的成果。神经网络理论也已成为涉及神经生
20、理科学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科的新兴的、综合性的前沿学科。 从众多应用研究领域取得的丰硕成果来看，人工神经网络的发展具有强大的生命力。当前存在的问题是智能水平还不高，许多应用方面的要求还不能得到很好的满足；网络分析与综合的一些理论性问题（如稳定性、收敛性的分析，网络的结构综合等）还未得到很好的解决。随着人们对大脑信息处理机理认知的深化，以及人工神经网络智能水平的提高，人工神经网络必将在科学技术领域发挥更大的作用。人工神经网络的应用人工神经网络的应用领域极其广泛，1988年DARPA神经网络研究报告列举了不同领域神经网络的应用实例，见
21、表11。从表中可以看出，神经网络在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等方面都有重要的应用实例。随着人工神经网络技术的发展，其用途日益广泛，应用领域也在不断拓展，已在各工程领域中得到广泛的应用4。表11 神经网络应用实例应用领域应用实例航空航天业高性能飞机自动驾驶仪、飞行航线模拟、飞行器控制系统、自动驾驶仪增强器、飞机构件模拟、飞机构件故障检测等汽车业汽车自动驾驶系统、保单行为分析银行业支票和其他文档读取、信用卡申请书评估信用卡行为检查用于辨认与遗失的信用卡相关的不寻常的信用卡行为国防工业武器制导、目标跟踪与识别、脸部识别、新型传感器、声纳、雷达、图像处理与数据压缩、特征
22、提取与噪声抑制、信号/图像识别电子业编码序列预测、集成电路芯片版图设计、过程控制芯片故障检测、机器人视觉、语音合成非线性建模娱乐业动画、特效、市场预测金融业房地产估价、贷款指导、抵押审查、集团债务评估、信用曲线分析、有价证券交易程序、集团财政分析、货币价格预测工业预测熔炉产生的气体和其他工业过程，以取代复杂而昂贵的仪器设备保险业政策应用评估，产出最优化制造业制造业过程控制、产品设计与分析、过程与机器诊断、实时微粒识别、可视化质量检测系统、焊接质量分析、纸质预测、计算机芯片质量分析、化学产品设计分析、机器保养分析、工程投标、经营与管理、化学处理系统的动态建模等医药乳腺癌细胞分析，EEG和ECG分
23、析，假体设计，移植时间最优化，降低医疗费用支出，提高医疗质量石油天然气勘探机器人技术行走路线控制、铲车机器人、操纵控制器、视觉系统等语音语音识别、语音压缩、元音分类、文本-语音合成等有价证券市场分析、自动债券评级、股票交易咨询系统等电信业图像与数据压缩、自动信息服务、实时语言翻译、用户付费处理系统等交通卡车刹车诊断系统、车辆调度、行程安排系统等神经网络比较擅长的应用领域如下：（1） 模式识别神经网络经过训练可有效的提取信号、语言、图像、雷达、声纳等感知模式的特征，并能解决现有启发模式识别系统不能很好解决的不变量测量、自适应、抽象或概括等问题。这方面的主要应用有：图形、符号、手写体及语音识别，雷
24、达及声纳等目标识别，药物构效关系等化学模式信息辨认，机器人视觉、听觉，各种最近相邻模式聚类及识别分类，遥感、医学图像分析，计算机视觉、计算机输入装置等。神经网络可应用于模式识别的各个环节：特征提聚、聚类分析、边缘检测、信号增强、噪音抑制、数据压缩以及各种变换、分类判决等。模式识别是人工神经网络特别适宜求解的一类问题，神经网络模式识别技术在各领域中的广泛应用是神经网络技术发展的一个重要侧面。（2） 人工智能专家系统是人工智能领域研究时间最长，应用最成功的技术，但人们在应用专家系统解决诸如语音识别、图像处理和机器人控制等这类似于人脑的形象思维的问题时，却遇到很大的困难。神经网络的问世为人工智能开辟
25、了一条崭新的途径，成为人工智能研究领域中的后起之秀，它具有的自学习能力是传统专家系统望尘莫及的。神经网络技术能对不完整信息进行补全，根据已学会的知识和处理问题的经验对复杂问题作出合理的判断决策，给出较满意的解答，或对未来过程作出有效的预测和估计，从而使之在人工智能领域获得广泛的应用。这个方面的主要应用有：自然语言处理、市场分析、预测估值、系统诊断、事故检查、密码破译、语言翻译、逻辑推理、知识表达、智能机器人、模糊评判等。（3） 控制工程神经网络在诸如机器人运动控制、工业生产中的过程控制等复杂控制问题方面有独到之处。较之基于传统数学计算机的离散控制方式，神经网络更适宜于组成快速实施自适应控制系统
26、。这方面的主要应用有：多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。（4） 优化计算和联想控制由于并行、分布式的计算结构，神经网络在求解诸如组合优化（NP完备问题）、费心性优化等一系列问题上表现出高速的集体计算能力。在VLSI自动排版、高速通信开关控制、航班分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的计算等方面得到了成功应用。联想记忆的作用是用一个不完整的模糊的信息联想出储存在记忆中的某个完整、清晰的模式来。如何提高模式储存量和联想质量仍是神经网络的热点之一。目前在这方面的应用又内容寻址器、人脸识别器、知识数据库等。（5） 信号处理神经网
27、络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具，主要用于解决信号处理中的自适应和非线性问题。包括自适应均衡、自适应滤波、回拨抵消、自适应波束形成、自适应编码等自适应问题和各种非线性问题，如非线性区域的模式分类、系统辨识和高维非线性系统的检测、估计等问题，还可对病态问题进行求解。神经网络在弱信号检测、通信、自适应滤波等方面的应用尤其引人注目，并已在许多行业得到应用。虽然神经网络在许多领域内都有成功的应用实例，但神经网络也不是尽善尽美的。目前，神经网络的理论研究和实际用途都在进一步探索之中，相信随着人工神经网络研究的进一步深入，其应用领域会更广，用途会更大。第二章 人工神
28、经网络的基本原理及模型2.1神经网络构成的基本原理356人工神经元模式神经网络是由大量简单处理单元组成，通过可变权值连接而成的并行分布式图21神经元的一般描述系统。神经元是人工神经网络的基本处理单元，它是一个多输入-单输出的非线性器件，其结构如图21所示。图中，xi为输入信号，wij表示从第i个神经元到第j个神经元的连接权值，j为第j个神经元的阈值。设sj为外部输入信号，yj为输出信号，在上述模型中第j个神经元的变换可描述为 （21）这里采用的非线性函数f(x)可以是阶跃函数、分段函数及Sigmoid型函数。连接权值人工神经网络的处理单元间相互连接，所有的连接构成一有向图。每一连接对应于一个实
29、数，称为连接权值，或称为权重。权值的集合可看作是长期记忆。我们可以用权矩阵W来表示网络中的连接模式，W中的元素是wij。连接权值的类型一般分为激发和抑制形式，正的权值表示激发连接，相反，负的权值表示抑制连接。连接权值的连接方式是人工神经网络的特征描述。神经网络状态在时刻t，每一个神经元都有一个实数值，称之为神经元状态，也叫做神经元的激励值，用xi表示神经元uj的状态，用X(t)表示神经网络的状态空间。在各种不同的神经网络类型中，状态空间可以作各种不同的假设。状态空间可能是续的，也可能是离散的；可能是有界的，也可能是无界的；可能在一个实数区间上取值，也可能取有限值；最常见的情形是取二值，即0和1
30、两种状态，或-1和1两种状态，亦或是取连续实数值。神经网络的输出对于每一个神经元，都有一个输出，并通过连接权值将输出传送给其相连的处理单元，输出信号直接依赖于处理单元的状态或激励值。这种依赖性通过输出变换函数fj对于处理单元uj的作用来表示。假如我们用zj(t)来定义t时刻神经元的ui输出那么zj(t)=fj(xj(t) （22）或写成向量的形式 Z(t)=f(X(t) （23）这里，Z(t)是神经网络的输出向量，f定义为状态向量与每一个分量的对应函数。一般是在区间（0，1）上的有界函数。人工神经网络模型，按它的网络性能分类，可以分成确定性的、随机性的、连续型的和离散型的网络。Hopfield
31、网络模型就存在离散和连续两类。确定性是相对于随机性而言，当网络状态按概率分布变化就呈现了随机性。Boltzmann机就是这种类型的人工神经网络模型，该神经元取0和1两种状态，每个神经元状态的转换是一随机函数。神经网络的结构除单元特性外，网络的拓扑结构也是NN的一个重要特性，按网络的拓扑结构分类，人工神经网络可分成3类26： （1）相互连接的网络相互连接的网络中任意神经元之间都可能有连接，信息在神经元之间可以反复传递，造成网络状态的不断变化。系统整体从某一初始状态开始，经过不断的变化过程，最后进入某一平衡状态、周期振荡或其他状态。（2）分层前馈型网络分层前馈网络的神经元分层排列，并将其分为输入层
32、、隐含层和输出层。各神经元接受前一层的输入，并输出给下一层，没有反馈（如图221所示）。节点分为两类，即输入单元和计算单元，每一计算单元可有任意多个输入，但只有一个输出（它可以耦合到任意多个其他节点作为其输入）。前馈型网络可分为不同的层，每一层的神经元只接收前一层神经元的输入，输入层接收外界的输入模式。输入模式经过各层神经元的响应处理变为输出层的输出。最常用的前馈神经网络就是BP神经网络（Backpropagation Neural Network）和RBF径向基函数网络(Radial Basis Function Neural Network)。 图221具有一个隐层的前馈型网络（3）反馈分
33、层网络如图222所示，该网络是在分层前馈网络基础上，将网络的输出反馈到网络的输入，反馈可以将全部输出反馈，也可以将部分输出反馈。所有节点都是计算单元，同时也可接受输入，并向外界输出。最典型的反馈神经网络就是Hopfield神经网络。ANN的工作过程主要分为两个阶段，一个阶段是学习期，此时各计算单元状态不变，各连线上的权值通过学习来修改。第二阶段是工作期，此时连接权值固定，计算单元状态变化，以达到某种稳定状态。图222单层全连接反馈型网络从作用效果来看，前馈型网络主要是函数映射，可用于模式识别和函数逼近。按对能量函数的所有极小点的利用情况，可将反馈型网络分为两类：一类是能量函数的所有极小点都起作
34、用，主要用作各种联想存储器；另一类只利用全局极小点，它主要用于求解优化问题。神经网络的特点神经网络的主要特点是：（1） 分布式储存信息。其信息的储存分布在不同的位置，神经网络是用大量神经元之间的连接及对各连接权值的分布来表示特定的信息，从而使网络在局部网络受损或输入信号因各种原因发生部分畸变时，仍然能够保证网络的正确输出，提高网络的容错性和鲁棒性。（2） 并行协同处理信息。神经网络中的每个神经元都可根据接收到的信息进行独立的运算和处理，并输出结果，同一层中的各个神经元的输出结果可被同时计算出来，然后传输给下一层做进一步处理，这体现了神经网络并行运算的特点，这一特点使网络具有非常强的实时性。虽然
35、单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为是极其丰富多彩的。（3） 信息处理与储存合二为一。神经网络的每个神经元都兼有信息处理和储存功能，神经元之间连接强度的变化，既反应了对信息的记忆，同时又与神经元对激励的响应以其反映了对信息的处理。（4） 对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络的神经元之间的连接强度用权值大小来表示，这些神经元之间的连接强度会不断增加，从而提高神经元对这些样本特征的反应灵敏度。神经网络的学习方式 一个神经网络仅仅具有拓扑结构还不能具有任何智能特性。必须有一套完整的学习、工作规则与之配合。人工神经网络的工作过程可
36、分为以下两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。神经网络中信息处理、传递是由网络结构的连接权实现的，而连接权值的大小则是通过在一定拓扑结构固定的条件下，遵循一定的原则，按照一定的方式，应用一定的学习算法训练得到的。通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点。在一般情况下，性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的。对神经网络学习算法的研究是神经网络研究中最核心的部分。对于不同结构的神经网络，人们都研究出许多的学习算法和它们相对应。神
37、经网络的学习过程一般来说就是对神经网络权值调整的过程，数据网络能够根据样本模式逐渐调整权值，使得神经网络具有卓越的学习、记忆和处理信息的能力。神经网络的学习方法有两大类567：有导师学习和无导师学习。对于有导师学习，神经网络的输出和希望的输出进行比较，然后根据两者之间的差的函数（如差的平方和）来调整网络的权值，最终使其函数达到最小。对于无导师学习，当输入的样本模式进入神经网络后，网络按照预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。神经网络学习算法中最著名的是针对BP网络的误差反向传播学习算法，也就是梯度算法。它属于有导师学习，其原理就是从误差平方和对网络权值的梯度方
38、向来修改网络的权值，从而使BP网络较快达到所希望的学习效果。当然，BP网络的梯度算法还存在一些问题，如易陷入局部极小点和收敛速度慢等。因此，人们对梯度算法的改进方案研究也成为热点问题。几种典型的神经网络神经元的激活函数不同、拓扑结构不同、网络的学习算法、构成神经网络的方式不同，则神经网络对信息处理的方法和能力亦不同。下面介绍几种典型的神经网络。（1）多层前向神经网络（Multilayer Feedforward NN or MFNN）多层前向神经网络是目前应用较多的一种神经网络结构。它是由输入层、若干隐含层、输出层构成。各层神经元之间无连接。神经元以不同的非减函数，如Sigmoid函数、反正切
39、函数、双曲函数等为激活函数。多层前向神经网络结构如图25所示。多层前向神经网络本质上是一种多输入、多输出的非线性映射。Cybenko(1988,1989),Funahashi(1989),HechetNiesen(1989),Carroll&Dickinson(1989)等学者均对MFNN具有对人以连续函数的逼近能力予以系统的证明。其结论是，在一个相当宽的范围内，MFNN具有以任意精度逼近任意非线性连续函数的能力。在Funahashi(1989)的证明中，隐节点函数限定为有界单调递增连续函数。Hornik等人(1989)和陈天平发现，有界性是必要的，单调递增的限制条件并非必要。对网络的泛化机制
40、和改进措施进行了系统的分析，指出最简单拓扑结构不仅有利于硬件的实现，也有利于网络泛化功能的改善，证明了MFNN仅用一个隐含层就可以逼近任意连续的非线性函数。MFNN这一特点使其在信号处理、非线性油画及系统辨识、非线性控制等领域具有广泛的应用前景。输出层输入层隐含层图25前向神经网络结构图（2）径向基函数网络（Radial Basis Function Neural Network,RBFNN）径向基函数网络RBFNN是一种特殊的神经网络，它是由Moody和Darken（1988，1989）基于大脑皮层中存在局部、重叠的感受域这一特性提出的。RBFNN网络与MFNN网络结构上十分相似。RBFNN
41、实际上可以看作只有一个隐层的MFNN，其主要区别是RBFNN的激活函数为径向基函数。但输出的RBFNN网络模型为 （24） 其中，wi为第i个隐节点与输出节点之间的连接权，ci为第i个隐节点的中心，为感受域（敏感域）。同MFNN一样，理论上RBF网络也具有广泛的非线性适应能力。（3）Hopfield神经网络（Hopfield Neural Network,HNN）Hopfield神经网络是美国物理学家于1982年首先提出的。它主要用于模拟生物神经网络的记忆机理。Hopfield神经网络是一种全连接型的神经网络。对于每一个神经元来说，自己的输出信号通过其它神经元又反馈到自己，所以Hopfield
42、神经网络是一种反馈型神经网络。Hopfield神经网络有离散型（DHNN）和连续型（CHNN）两种。Hopfield神经网络状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程（对于DHNN）或微分方程（对于CHNN）来描述。系统的稳定性可用所谓的“能量函数”（即李雅普诺夫获哈密顿函数）进行分析。在满足一定条件下，某种“能量函数”的能量在网络运行过程中不断减小，最后趋于稳定的平衡状态。目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找该记忆的过程。初态可以认为是给定的有关该记忆的部分信息。这就是联想记忆
43、的过程。如果把系统的稳定点视为一个能量函数的极小点，而把能量函数视为一个求解该优化问题的过程。由此可见，Hopfield网络的演变过程是一种计算联想记忆或求解优化问题的过程。实际上它的解并不需要真的去计算，而只要构成这种反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。（4）小波网络（Wavelet Neural Network）由Zhang等人最先提出的小波网络（Wavelet Neural Network），是以近年来出现的小波分析为理论依据，是小波变换的一种实现方式。小波网络实际上是一种局部基函数网络，结构与RBF网络相类似，所不同的是它的基函数是由小波函数按分辨尺度伸缩与空间位
44、置平移构成。所谓小波函数，就是由基函数经平移、伸缩形成的一簇函数，表示为 （25）其中，a,b分别表示伸缩、平移系数。其输出 （26）其中，X=x1,.xi,.为输入向量，ai，bi为第i输入所对应的伸缩、平移参数。第三章 BP神经网络算法的改进及其仿真研究随着控制领域中不断出现新的控制思路和手段，人工神经网络作为一种新型的信息获取、描述和处理方式，正在引起过程控制届的注意。神经网络具有能够逼近任意非线性函数关系的能力和比较方便的学习手段，因此，它可以用来作为一种复杂工业过程建模的新型方法7。本文针对常用BP算法收敛速度慢，易陷入局部极小等缺点，对以往BP算法的各种改进进行了深入的分析和探讨。
45、同时，借鉴Fletcher-Reeves线性搜索方法8，探讨了基于Fletcher-Reeves方法的改进共轭梯度法。并对各种算法进行仿真和比较，实验结果表明，本文提出的改进共轭梯度方法可以有效提高网络的收敛速度，同时避免网络陷入局部极小点，达到全局最优。 BP算法的数学描述1986年Rumelhart，Hinton和Williams完整而简明地提出一种ANN的误差反向传播训练算法（简称BP算法），系统地解决了多层网络中隐含单元连接权的学习问题，由此算法构成的网络我们称为BP网络。BP网络是前向反馈网络的一种，也是当前应用最为广泛的一种网络。误差反传算法的主要思想是把学习过程分为两个阶段：第一
46、阶段（正向传播过程），给出输入信息通过输入层经隐含层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权值，具体来说，就是可对每一权重计算出接收单元的误差值与发送单元的激活值的积。基于BP算法的多层前馈型网络的结构如图31所示。这种网络不仅有输入层节点，输出层节点，而且有一层或多层隐含节点。对于输入信息，首先向前传播到隐含层的节点上，经过各单元的激活函数（又称作用函数、转换函数）运算后，把隐含节点的输出信息传播到输出节点，最后给出输出结果。网络的学习过程由正向和反向传播两部分组成。在正向传
47、播过程中，每一层的神经元的状态只影响下一层神经元网络。如果输出层不能得到期望输出，就是实际输出值与期望输出值之间有误差，那么转向反向传播过程，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，逐次地向输入层传播去进行计算，再经过正向传播过程，这两个过程的反复运用，使得误差信号最小。实际上，误差达到人们所希望的要求时，网络的学习过程就结束。误差反传（学习算法）期望输出向量（导师信号）+隐 藏 层信 号 流图31基于BP算法的多层前馈型网络的结构BP算法是在导师指导下，适合于多层神经元网络的一种学习，它是建立在梯度下降法的基础上的。理论证明，含有一个隐含层的BP网络可以实现以任意精度近似任何连续非线性函数9。设含有共L层和n个节点的一个任意网络，每层单元只接受前一层的输出信息并输出给下一层各单元，各节点（有时称为单元）的特性为Sigmoid型（它是连续可微的，不同于感知器中的线性阈值函数，因为它是不连续的