《人工神经网络理论简介.docx》由会员分享，可在线阅读，更多相关《人工神经网络理论简介.docx（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、人工神经网络理论简介人工神经网络理论简介 人工神经网络是基于仿照生物大脑结构和功能而构成的一种信息处理系统。由于人工神经网络具有困难的动力学特性、并行处理机制、学习、联想和记忆等功能，以及它的高度自组织、自适应实力和敏捷活性而受到自然科学领域学者和各行业应用专家的广泛重视 31 。4.1 神经网络的特点 神经网络事实上是由大量简洁元件相互连接而成的困难网络，具有高度的非线性，能够进行困难的逻辑操作和非线性关系实现的系统。神经网络吸取了生物神经网络的很多优点，因而有其固有的特点 32 ：1、分布式存储信息。其信息的存储分布在不同的位置，神经网络是用大量神经元的连接及对各连接权值的分布来表示特定的
2、信息，从而使网络在局部网络受损或输入信号因各种缘由发生部分畸变时，仍旧能够保证网络的正确输出，提高网络的容错性和鲁棒性。2、并行协同处理信息。神经网络中的每个神经元都可依据接收到的信息进行独立的运算和处理，并输出结果，同一层中的各个神经元的输出结果可被同时计算出来，然后传输给下一层做进一步处理，这体现了神经网络并行运算的特点，这个特点使网络具有特别强的实时性。虽然单个神经元的结构及其简洁，功能有限，但大量神经元构成的网络系统所能实现的行为是极其丰富多彩的。3、良好的容错性与联想记忆功能。神经网络通过自身的网络结构能够实现对信息的记忆。而所记忆的信息是存储在神经元之间的权值中。从单个权值中看不出
3、所存储的信息内容，因而是分布式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、缺损模式复原等模式信息处理工作；又宜于做模式分类、模式联想等模式识别工作。4、对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络的神经元之间的连接强度用权值大小表示，这种权值可以通过对训练样本的学习不断改变，而且随着训练样本量的增加和反复学习，这些神经元之间的连接强度会不断增加，从而提高神经元对这些样本特征的反应灵敏度。4.2 神经网络的结构 与泛化实力 4.2.1 神经元模型 神经元是人工神经网络的基本处理单元，它一般是一个多输入单输出的非线性元件。一个神经网络的神经元模型描述
4、了一个网络如何将它的输入向量转化为输出向量的过程，实质上体现了网络输入和其输出之间的一种函数关系。通过选取不同的模型结构与激活函数，可以形成各个不同的神经网络，得到不同的输入输出关系式，并达到不同的设计目的，完成不同的任务。所以在利用神经网络解决实际应用问题之前，必需首先驾驭神经网络的模型结构及其特性以及对其输出向量的计算。神经元输出除受输入信号的影响外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，经常还加入一个额外输入信号，称为阈值（或门限值）。如图 4-1 所示为一个具有 R 个输入的神经元：图 4-1 神经元模型示意图 神经元的输出表示为：1( ) (4 1)Ri ii
5、a f w p q= - - 其中，定义1 2 , , , TRP p p p = 表示神经元的输入向量；1 2 , , , Rw w w w = 表示神经元的权值向量； q 为神经元的阈值； f 表示神经元的传递函数； a 为神经元的输出。4.2.2 神经网络的激活函数 激活函数（Activation transfer function）是一个神经元及整个神经网络的核心。网络解决问题的实力与功效除了与网络结构有关，在很大程度上取决于网络所采纳的激活函数。激活函数能够限制输入对输出的激活作用；能够对输入、输出进行函数转换；还能将可能无限阈值的输入变换成指定的有限范围内的输出。激活函数通常是有界
6、的、分段可微的函数 33 ，目前最常用的是 S 型(Sigmoid)函数1( )1xf xe -=+和双极性函数。S 型激活函数具有非线性放大增益，对随意输入的增益等于在输入输出曲线中该输入点处的曲线斜率值。当输入由-∞增大到零时，其增益由 0 增至最大；然后当输入由 0 增加至+∞时，其增益又由最大渐渐降低至 0，并总为正值。利用该函数可以使同一神经网络既能处理小信号，也能处理大信号。因为该函数的中间高增益区解决了小信号的问题，而在伸向两边的低增益区正好适用于处理大信号的输入。一般而言，一个神经网络是线性或者非线性是由网络神经元中所具有的激活函数的线性或非线性来确定的
7、。4.2.3 神经网络的结构 只有上亿个生物神经元连接成生物神经网络，才能完成对外部感知信息进行的处理、记忆、学习等。同样，单个人工神经元往往不能完成对输入信号的处理，它要按肯定的规则连接成网络，并让网络中每个神经元的权值和阈值按肯定的规则改变，才能实现所设计神经网络的功能要求。人工神经网络的连接形式和其拓扑结构多种多样，但总的来说有两种形式，即前馈型神经网络和反馈型神经网络，下面分别介绍两种网络的连接结构和用途 34 。1 前馈型神经网络 一般前馈网络都具有多层结构，至少为三层。第一层为输入层，其次层为隐含层，第三层为输出层。各层的每一个单元的输出都干脆与紧接的下一层的各单元的输入端相连，由
8、于层与层之间没有反馈存在，所以根据这种连接方式组成的网络称为前馈网络。一个三层结构的神经网络如图 4-2 所示。图 4-2 三层前馈神经网络示意图 输入层的单元作用只是将输入信号送到隐含层各单元的各个输入端，所以它只起到信号输出的作用而不作任何计算。因此假如系统具有 R 个输入变量，则输入层就应当有 R 个输入单元，隐含层和输出层单元具有运算功能。输入层单元个数等于输入变量的个数，输出层单元个数等于输出变量个数。但是隐含层单元个数原委多少最合适，目前理论上而还不能给出精确的回答。但从理论上可以证明：对于一个三层前馈网络，只要选择足够多的隐节点，总可以随意靠近一个光滑的非线性函数。所以隐含节点的
9、节点数的选择可遵照这个原则，逐步由少增多隐含节点，通过仿真试验，直到靠近的非线性函数达到要求的精度为止。从限制的观点看，前馈网络的主要用途在于它的非线性的映射关系能被用来实现非线性系统的建模、辨别和限制。2 反馈型神经网络 在反馈网络中全部节点都是一样的，它们之间都可以相互连接（一个节点既接收其它节点来的输入，同时也输出给其它节点），但其结构比前馈神经网络要困难得多，即从输出到输入具有反馈连接。典型的反馈网络是 Hopfield 神经网络和 Elman 神经网络。Hopfield 网络又称为联想记忆网络，它经常存储一个或多个稳定的目标向量，当网络输入端输入相像的向量时，这些稳定的目标向量将唤醒
10、网络记忆的模式，并通过输出呈现出来。Elman 网络是两层反向传播网络，隐含层和输入向量连接的神经元，其输出不仅作为输出层的输入，而且还连接隐含层内的另外一些神经元，反馈至隐含层的输入。由于其输入表示了信号的空域信息，而反馈支路是一个延迟单元，反映了信号的时域信息，所以 Elman 网络可以在时域和空域进行模式识别。4.2.4 神经网络的泛化实力 神经网络的泛化实力用来评价神经网络的有效性。一个神经网络通过学习算法，对已知的样本数据进行学习，学习的目的不是仅仅记住样本数据，而是当新的数据即测试数据出现时，神经网络也能产生精确的输出，其精确度越高，就说明神经网络的泛化实力越强。有关神经网络泛化实
11、力的探讨得到了探讨人员的高度重视，但至今还未能探讨出一套完整的理论来保证神经网络泛化实力。一般来说，影响神经网络泛化实力的因素许多，如网络选取、学习算法、初值的选择等，但以下因素对神经网络的泛化实力是确定性的：靠近对象(系统)的困难程度。足够的训练数据及训练数据的代表性。神经网络的困难程度。即网络结构的大小。事实上，这些因素是相互关联的，靠近系统越困难，就须要越多的学习样本，网络结构也就越困难。但问题是，神经网络是通用靠近器，而靠近对象的困难程度是无法预知的，只有后两个问题是神经网络泛化实力探讨中应考虑的。因此，这方面的探讨包括：定好神经网络结构后，确定训练样本数，以使神经网络的泛化实力最大。
12、已知训练样本数后，确定最佳的网络结构，以使神经网络的泛化实力最大。4.3 神经网络的 学习算法 神经元网络对信息的处理是由大量的神经元共同完成的，是一种集合的功能；与之相适应的是信息的分布式存储和联想记忆的存取方式。网络由这些不同层次的节点集合组成，信息在节点之间传递，并且由于节点间连接权值的不同而被放大、衰减或抑制。在整个网络系统中，隐含层起着确定性作用。它把输入样本的特征形成更接近于输出模式的概念。神经网络最显著的特征是它对样本的学习实力。学习是一个调整网络参数和结构并把学问反映在分布式的网络结构中的过程。一个训练好的网络代表了一个静态的学问库，该学问库在它的运行阶段可以被重新获得。因此一
13、个神经网络的性能很大程度上取决于它的学习实力。在一般状况下，神经网络通过学习而对自身性能的改善是根据某种预定的度量调整自身参数随时间逐步达到的。对于每个神经网络模型都有与其相关的学习算法，学习算法确定了权值的初值并规定了在学习过程中权值应如何改变以便改善网络的性能。从工程应用的角度看，一个好的学习算法应当具备以下特点：学习鲁棒性。即学习方法必需以如下方式保证鲁棒性：不产生局部微小值、震荡问题、灾难失忆问题、不确定存储和记忆回想问题或者类似的学习困难问题。学习的快速性。即学习方法必需在学习时具有快速性，同时通过少量的样本就可以快速的学习。从工程角度看，一个具有在线学习功能的系统必需能够通过尽量少
14、的样本就能完成快速的学习。学习的有效性。即当供应有限的训练样本时，在学习中该方法应当是计算有效的。学习的泛化实力。即学习后的神经网络能够有较好的泛化实力，而神经网络的结构尽量小。就是说必需尽可能设计出最小的神经网络。神经网络的学习主要分为两大类，即有监督学习和无监督学习两种。其中，有监督学习又可以分为自由网络算法和固定网络算法。前者容许在学习过程中变更网络拓扑结构以及隐含节点数，后者则只变更网络的权值。对算法的考虑主要是收敛速度的快慢、是否收敛到全局最优的状况以及算法的适应性等。神经网络的学习方式（按环境所供应信息的多少）有以下三种 35 。1 有监督学习 假如能供应一组输入输出样本，该样本反
15、映了被靠近对象的固有特性(映射)，那么所谓有监督学习是指基于对该输入输出样本的训练，学习到这组数据所代表的系统特性。在学习过程中，神经网络不断地将实际结果与目标输出进行比较，并依据比较结果或误差，根据肯定的规则或算法对网络权值或阈值进行调整，从而使网络的输出渐渐接近目标值。如图 4-3 所示。图 4-3 有监督学习示意图 2 无监督学习 无监督学习时不须要供应志向的输出值，是一种自组织学习，即网络学习过程完全是一种自我学习的过程，不须要供应学习样本或外界反馈。在学习过程中，网络只需响应输入信号的激励，根据某种规则反复调整网络权值或阈值，直到最终形成某种有序的状态。如图 4-4 所示。图 4-4
16、 无监督学习示意图3 增加型学习 增加型学习是有监督学习的特例。外部环境对系统输出结果只给出评价而不是给出正确答案，学习系统通过强化那些受嘉奖的动作来改善自身性能。如图4-5 所示。图 4-5 增加型学习示意图 此外有些网络根本不须要学习，这些网络的权值在处理问题的过程中根本不随时间改变。但这种网络的权值须要提前设定。Hopfield 网络和双向联想记(Bidirectional Memory)网络等都是不须要学习的网络 36 。4.4 BP 神经网络概述 Rumelhart，McClelland 和他们的同事在 1982 年成立了 PDP 小组，探讨并行分布信息处理方法，探究人类认知的微结构
17、。1985 年发展了 BP 网络(Back –Propagation Network)。4.4.2 BP 神经网络的结构 BP 神经网络是一个具有三层或三层以上的神经网络。上下层之间各种神经元实行权连接，即下层的每一个单元与上层的每一个单元都实现全连接，而每层各种神经元之间无连接。最基本的 BP 网络是三层前馈网络，即包括：输入层、隐含层和输出层当一对学习样本供应给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，根据削减目标输出与实际输出之间误差的方向，从输出层反向经过各中间层回到输入层，从而逐层修正各连接权值，这种算法称误差反向
18、传播算法，即 BP 算法。随着这种误差逆向的传播修正不断进行，网络对输入模式响应的正确率也不断上升。由于误差反向传播中会对传递函数进行求导计算，BP 网络的传递函数要求必需是可微的，常用的传递函数有 Sigmoid 型的对数、正切函数或线性函数。由于传递函数是到处可微的，所以对于 BP 网络来说，一方面，所划分的区域不再是一个线性划分，而是一个非线性超平面组成的区域，它是比较平滑的曲面，因而它的分类比线性划分更加精确，容错性也比线性划分更好；另一方面，网络可以严格采纳梯度下降法进行学习，权值修正的解析式特别明确。4.4.2 BP 神经网络的 学习过程 以三层 BP 网络为例，BP 神经网络的学习过程描述如下：假设网络输入向量1 2( , , , )k nP a a a = ；网络输出向量1 2( , , , )k qT y y y = ；中间层单元输入向量1 2( , , , )k pL l l l = ；输出向量1 2( , , , )k pB b b b = ；输出层单元输入向量1 2( , , , )k qS s s s = ；输出向量1 2( , , , )k qC c c c = ；输入层至中间层的连接权ijw.