《人工神经网络讲稿ppt课件.ppt》由会员分享，可在线阅读，更多相关《人工神经网络讲稿ppt课件.ppt（47页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、人工神经网络讲稿ppt课件 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望主要内容主要内容多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法人工神经元网络人工神经元网络神经元的数学模型神经元的数学模型 生物神经元生物神经元引言引言1 12 23 34 45 51、引言、引言工业革命以来，人类大量采用机器来减轻人们的体力工业革命以来，人类大量采用机器来减轻人们的体力劳动，并获得巨大效益。同样，人类为了通过使用某劳动，并获得巨大效益。同样，人类为了通过使用某种机
2、器来减轻脑力劳动，也一直进行着不懈努力。种机器来减轻脑力劳动，也一直进行着不懈努力。20世世纪40年代，由于年代，由于计算机的算机的发明和使用，使人明和使用，使人类的文明的文明进入入计算机算机时代，在一定程度上减代，在一定程度上减轻了人了人们的的脑力力劳动神经元网络作为人工智能的一个分支，在神经元网络作为人工智能的一个分支，在近几十年来，受到人们的广泛重视。近几十年来，受到人们的广泛重视。智能计算的核心问题是关于人脑功能的模拟问题。目前认为，人类智能计算的核心问题是关于人脑功能的模拟问题。目前认为，人类的大脑中的神经元对于人脑的智能起着关键的作用，这些神经元的的大脑中的神经元对于人脑的智能起着
3、关键的作用，这些神经元的数量非常多，组成了十分复杂的神经网络。数量非常多，组成了十分复杂的神经网络。1、引言、引言智能的定义众所周知人类是具有智能的，因为人类能够记忆事物，能够有目地进行一些活动，能够通过学习获得知识，并能在后续的学习中不断地丰富知识，还有一定的能力运用这些知识去探索未知的东西，去发现、去创新。粗略地讲，智能智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。也可以说，智能是个体认识客观事物和运用知识解决问题的能力。1、引言、引言1 1感知和认识感知和认识客观事物、客观世界和自我的能力客观事物、客观世界和自我的能力感知是智能的基感知是智能的基础最基本的能力最基本的
4、能力2 2通过通过学习学习取得经验与积累知识的能力取得经验与积累知识的能力这是人是人类在世界中能在世界中能够不断不断发展的最基本能力展的最基本能力4 4联想、推理、判断、决策语言的能力联想、推理、判断、决策语言的能力3 3理解理解知识，知识，运用运用知识和经验知识和经验分析分析、解决解决问题的能力问题的能力这一能力可以算作是智能的高一能力可以算作是智能的高级形式形式是人是人类对世界世界进行适当改造、推行适当改造、推动社会不断社会不断发展的能力展的能力这是智能高是智能高级形式的又一方面形式的又一方面主主动与被与被动之分。之分。联想、推理、判断、决策的能力是主想、推理、判断、决策的能力是主动的基的
5、基础。按照上面的描述，人类个体的智能是一种综合能力。具体来讲，可以包按照上面的描述，人类个体的智能是一种综合能力。具体来讲，可以包括一下八个方面的能力：括一下八个方面的能力：1、引言、引言5 5通过通过学习学习取得经验与积累知识的能力取得经验与积累知识的能力6 6发现、发明、创造、创新的能力发现、发明、创造、创新的能力7 7实时、迅速、合理地应付复杂环境的能力实时、迅速、合理地应付复杂环境的能力8 8预测，洞察事物发展、变化的能力预测，洞察事物发展、变化的能力人工智能的定义人工智能的定义 人工智能（人工智能（ArtificialIntelligence，AI）最初是在）最初是在1956年被引入
6、的。它研究怎样让计算机模仿人脑从事推理、年被引入的。它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题，设计、思考、学习等思维活动，以解决和处理较复杂的问题，简单地来说，人工智能就是研究如何让计算机模仿人脑进行简单地来说，人工智能就是研究如何让计算机模仿人脑进行工作。工作。2、生物神经元生物神经元图图2-1神经元的解剖神经元的解剖 在人体内，神经元的结在人体内，神经元的结构形式并非是完全相同构形式并非是完全相同的；但是，无论结构形的；但是，无论结构形式如何，神经元都是式如何，神经元都是由由一些基本的成份组成的。一些基本的成份组成的。从图中从图中可以看出：神
7、经可以看出：神经元是由细胞体，树突和元是由细胞体，树突和轴突三部分组成轴突三部分组成2、生物神经元生物神经元突触，是一个神经元与另一突触，是一个神经元与另一个神经元之间相联系并进行个神经元之间相联系并进行信息传送的结构。信息传送的结构。突触的存在说明：两个神经突触的存在说明：两个神经元的细胞质并不直接连通，元的细胞质并不直接连通，两者彼此联系是通过突触这两者彼此联系是通过突触这种结构接口的。有时也把种结构接口的。有时也把突触看作是神经元之间的连突触看作是神经元之间的连接。接。图图2-2突触结构突触结构2生物神经元生物神经元目前，根据神经生理学的研究，已经发现神经元及其间的突触有4种不同的行为。
8、神经元的4种生物行为有：u能处于抑制或兴奋状态能处于抑制或兴奋状态；u能产生爆发和平台两种情况能产生爆发和平台两种情况u能产生抑制后的反冲能产生抑制后的反冲u具有适应性。具有适应性。突触的4种生物行为有：u能进行信息综合能进行信息综合u能产生渐次变化的传送能产生渐次变化的传送u有电接触和化学接触等多种连接方式有电接触和化学接触等多种连接方式u会产生延时激发。会产生延时激发。目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。2生物神经元生物神经元2.1神神经元的元的兴奋与抑制与抑制2.2神经元的信息传递及阀值特性神经元的信息传递及阀值特性 2.3神神
9、经元的信息元的信息综合特性合特性图2-3.神经元的兴奋过程电位变化3神经元的数学模型神经元的数学模型从神经元的特性和功能可以知道，神经元是一个多从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。神经元抽象为一个简单的数学模型。3神经元的数学模型神经元的数学模型vW权矢量（权矢量（weightvector）vX输入矢量（输入矢量（inputvector）3神经元的数学模型神经元的数学模型比较常用的
10、是激活函数可归结为三种比较常用的是激活函数可归结为三种形式：阀值型、形式：阀值型、S型和线性型。型和线性型。激活函数：激活函数：阈值型：阈值型：3神经元的数学模型神经元的数学模型S型（型（Sigmoid）激活函数）激活函数3神经元的数学模型神经元的数学模型线性型激活函数性型激活函数神经元的特点：神经元的特点：u是一多输入、单输出元件是一多输入、单输出元件u具有非线性的输入输出特性具有非线性的输入输出特性u具有可塑性，其塑性变化的变化部分主要是权值（具有可塑性，其塑性变化的变化部分主要是权值（Wi）的变）的变化，这相当于生物神经元的突触变化部分化，这相当于生物神经元的突触变化部分u神经元的输出响
11、应是各个输入值的综合作用结果神经元的输出响应是各个输入值的综合作用结果u输入分为兴奋型（正值）和抑制型（负值）两种。输入分为兴奋型（正值）和抑制型（负值）两种。4.人工神经网络人工神经网络人工神经网络（人工神经网络（ArtificialNeuralNetworkANN）是对人类大脑系统的一阶特性的一种描述，简单地讲，它是对人类大脑系统的一阶特性的一种描述，简单地讲，它是一个数学模型可以用电子线路来实现也可以用计算是一个数学模型可以用电子线路来实现也可以用计算机程序来模拟，是人工智能研究的一种方法。机程序来模拟，是人工智能研究的一种方法。人工神经网络的提出人工神经网络的提出：u信息的分布表示信息
12、的分布表示u运算的全局并行和局部操作运算的全局并行和局部操作u处理的非线性处理的非线性 人工神经网络的三大特点人工神经网络的三大特点：人工神经网络的定义人工神经网络的定义：人工神经网络是一个人工神经网络是一个并行，分布处理结构并行，分布处理结构，它由处理单元及称为联接的，它由处理单元及称为联接的无向信号通道互连而成。这些处理单元无向信号通道互连而成。这些处理单元(PEProcessingElement)具有局部内存，并可以完成局部操作、每个处理单元有一个单一的输出联具有局部内存，并可以完成局部操作、每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并接
13、，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出行联接都输出相同的信号相同的信号，即相应处理单元的信号，信号的大小不因分支，即相应处理单元的信号，信号的大小不因分支的多少而变化，处理单元的输出信号可以是的多少而变化，处理单元的输出信号可以是任何需要的数学模型任何需要的数学模型，每个处，每个处理单元中进行的操作必须是理单元中进行的操作必须是完全局部的完全局部的。也就是说，它必须仅仅依赖于经。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。内存中的值。4
14、.人工神人工神经网网络4.人工神经网络人工神经网络按照网络的结构区分，则有前向网络和反馈网络按照网络的结构区分，则有前向网络和反馈网络按照学习方式区分，则有有教师学习和无教师学习网络按照学习方式区分，则有有教师学习和无教师学习网络按照网络性能区分，则有连续型和离散性网络，随机型和按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络确定型网络按照突触性质区分，则有一阶线性关联网络和高阶非线性按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络关联网络按对生物神经系统的层次模拟区分，则有神经元层次模型，按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经
15、系统层次模型和智能型组合式模型，网络层次模型，神经系统层次模型和智能型模型。模型。人工神经网络的分类人工神经网络的分类：4.人工神人工神经经网网络络第一种：前馈网络（第一种：前馈网络（FeedforwardNetwork）下面介绍几种常见的神经网络。下面介绍几种常见的神经网络。表示一个非表示一个非线性激活函数，性激活函数，每个神经元的激活函每个神经元的激活函数是算子的分量，激活函数是标量，是输入矢量数是算子的分量，激活函数是标量，是输入矢量和权矢量之积。和权矢量之积。前馈网络没有反馈，可以连成多层网，前馈网络前馈网络没有反馈，可以连成多层网，前馈网络通常是有教师提供信息，提供期望值，可以从误通
16、常是有教师提供信息，提供期望值，可以从误差信号来修正权值，直到误差小于允许范围。差信号来修正权值，直到误差小于允许范围。4.人工神人工神经网网络对于输入对于输入X（t）仅在初始时刻不为零的情况，这种网）仅在初始时刻不为零的情况，这种网络也可以保持有输出信号。所以络也可以保持有输出信号。所以，即，即在在t0时，输入可以取消或被系统自动保持。如果我时，输入可以取消或被系统自动保持。如果我们这里只考虑们这里只考虑，则在，则在t0时，没有输入的情时，没有输入的情况，可将下一时刻的输出写成：况，可将下一时刻的输出写成：，为，为方便起见，也可将网络的输出状态表示成：方便起见，也可将网络的输出状态表示成：第
17、二种：反馈网络第二种：反馈网络4.人工神人工神经网网络第三种：相互结合型网络第三种：相互结合型网络相互结合型网络的结构如图所示，它是网状结构相互结合型网络的结构如图所示，它是网状结构网络，构成网络中的各个神经元都可能相互双相网络，构成网络中的各个神经元都可能相互双相联接，所有的神经元即作输入，同时也用输出。联接，所有的神经元即作输入，同时也用输出。这种网络如果在某一时刻从外部加一个输入信号，这种网络如果在某一时刻从外部加一个输入信号，各个神经元一边相互作用，一边进行信息处理，各个神经元一边相互作用，一边进行信息处理，直到收敛于某个稳定值为止。直到收敛于某个稳定值为止。4.人工神人工神经网网络第
18、四种：混合型网络第四种：混合型网络前面所讲的前馈网络和上述的相互结合型网络分前面所讲的前馈网络和上述的相互结合型网络分别是典型的层状解构网络和网状结构网络，介于别是典型的层状解构网络和网状结构网络，介于两种网络中间的一种连接方式，如图所示：它是两种网络中间的一种连接方式，如图所示：它是在前馈网络的同一层间各神经元又有互联的结构，在前馈网络的同一层间各神经元又有互联的结构，所以称为混合型网络。这种在同一层内互联的目所以称为混合型网络。这种在同一层内互联的目的是为了限制同层内神经元同时兴奋或抑制的数的是为了限制同层内神经元同时兴奋或抑制的数目，已完成特定功能。例如：视网膜的神经元网目，已完成特定功
19、能。例如：视网膜的神经元网络就有许多这种连接形式。络就有许多这种连接形式。4.人工神人工神经网网络学习是神经系统的本能，人的神经系统是最发达的，所以人的学习能力也最强。模仿人的学习过程人们提出多种神经网络的学习方法。u有教师学习u无教师学习 4.人工神人工神经网网络神经网络的学习过程神经网络的学习过程：4.人工神人工神经网网络关于综合误差有各种不同的定义，但本质上都是一致的。这里介绍两种：关于综合误差有各种不同的定义，但本质上都是一致的。这里介绍两种：第一种：均方根标准误差（第一种：均方根标准误差（Root-mean-squarenormalizederror,RMS误差误差）式中：式中：模式
20、模式k第第j个输出单元的期望值；个输出单元的期望值；模式模式k第第j个输出单元的实际值；个输出单元的实际值；M样本模式对个数；样本模式对个数；Q输出单元个数。输出单元个数。第二种：误差平方和第二种：误差平方和式中：式中：M样本模式对个数；样本模式对个数；Q输出单元个数。输出单元个数。神经元网络的学习规则神经元网络的学习规则神经元网络的最大特点就是它具有神经元网络的最大特点就是它具有学习的能力学习的能力，在学习，在学习过程中，主要是网络的连接权的值产生了相应的变化，学过程中，主要是网络的连接权的值产生了相应的变化，学习到的内容也是记忆在连接权之中。习到的内容也是记忆在连接权之中。令为令为Wij第
21、第i个神经元的第个神经元的第j个输入连接权，这个输入可以是个输入连接权，这个输入可以是外来的输入信号，也可以试来自其他神经元的输出。学习信号外来的输入信号，也可以试来自其他神经元的输出。学习信号r是是Wi和和X的函数，有时也包括教师信号的函数，有时也包括教师信号di，所以有，所以有权矢量的变化是由学习步骤按时间权矢量的变化是由学习步骤按时间t，t+1，一步一步进行计算的。在，一步一步进行计算的。在时刻时刻t连接权的变化量为：连接权的变化量为：其中其中c是一个正数，称为学习常数，决定学习的速率。是一个正数，称为学习常数，决定学习的速率。神经元网络的学习规则神经元网络的学习规则离散学习步骤可写成：
22、离散学习步骤可写成：从时刻从时刻t到下一个时刻（到下一个时刻（t+1），连接权按下式计算），连接权按下式计算:其中其中c是一个正的常数，称为学习常数，决定学习的速率。是一个正的常数，称为学习常数，决定学习的速率。Hebb学学习规则习规则权分量用下式分量用下式调整：整：或或当两个神经元同时兴奋时，突触的传递效率加强，那么在人工神经网络当两个神经元同时兴奋时，突触的传递效率加强，那么在人工神经网络中就表现为连接权的增加。以中就表现为连接权的增加。以a表示神经元表示神经元A的激活值（输出），的激活值（输出），b表示表示神经元神经元B的激活值，的激活值，Wab表示两个神经元的连接权，则表示两个神经元的
23、连接权，则Hebb学习规则学习规则的数学表达式为：的数学表达式为：根据根据Hebb学习规则，学习信号学习规则，学习信号r等于神经元的输出：等于神经元的输出：感知机（感知机（Perceptron）学习规则）学习规则这一规则是有监督学习，学习信号是期望值与神经这一规则是有监督学习，学习信号是期望值与神经元实际响应之差学习规则如下图所示。元实际响应之差学习规则如下图所示。注意：这个规则仅能用于双极二进制神经响应。注意：这个规则仅能用于双极二进制神经响应。感知机（感知机（Perceptron）学习规则）学习规则在这一规则下，在这一规则下，Oi仅当不正确的情况下才进行权调整，误差仅当不正确的情况下才进行
24、权调整，误差是学习的必要条件。由于期望值（是学习的必要条件。由于期望值（di）与响应值（）与响应值（Oi）均为均为+1或者或者-1，所以权调整量为：，所以权调整量为：这里这里“”号，号，“”号，号，当当权值无变化。初始权可为任意值。权值无变化。初始权可为任意值。Delta学学习规则仅对连续激活函数，并只激活函数，并只对有有监督学督学习模型有效。模型有效。学学习信号信号为：误差梯度矢量：误差梯度矢量：这个学习规则可从这个学习规则可从Oi与与di最小方差得出。最小方差得出。方差：方差：Delta学学习规则这个个规则是与离散感知器学是与离散感知器学习规则是并行的，可以称是并行的，可以称为连续感知器感
25、知器训练规则，它可以，它可以进一步推广到多一步推广到多层。一般要求一般要求c取取较小的小的值，是在，是在权空空间，按，按负的方向的方向转动权矢量。矢量。梯度矢量分量：梯度矢量分量：由于最小误差要求权变换是负梯度方向，所以取式由于最小误差要求权变换是负梯度方向，所以取式中中c正常数。正常数。神神经元网元网络的工作的工作过程：程：这里主要介里主要介绍两种最常用的形式：两种最常用的形式：第一种：回想（第一种：回想（recall）自自动联想想异异联想想第二种：分类（第二种：分类（classification）异联想的一种特殊情况异联想的一种特殊情况识别识别自动联想过程自动联想过程异联想过程异联想过程分
26、类过程分类过程识别过程识别过程5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v误差逆传播校正方法是利用实际输出与期望输出误差逆传播校正方法是利用实际输出与期望输出之差对网络的各层连接权由后向前进行校正的一之差对网络的各层连接权由后向前进行校正的一种计算方法。理论上讲，这种方法可以适用于任种计算方法。理论上讲，这种方法可以适用于任意多层的网络。意多层的网络。5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v为计算方便，我们首先把网络的变量设置如下：为计算方便，我们首先把网络的变量设置如下：v输入模式向量：输入模式向量：v希望输出向量：希望输出向量：v中间层各单元输入激活值向
27、量：中间层各单元输入激活值向量：v中间层各单元输出向量：中间层各单元输出向量：v输出层各单元输入激活值向量：输出层各单元输入激活值向量：v输出实际值向量：输出实际值向量：v输入层至中间层的连接权：输入层至中间层的连接权：v中间层至输出层的连接权：中间层至输出层的连接权：v中间层各单元的阈值：中间层各单元的阈值：v输出层各单元的阈值：输出层各单元的阈值：v其中其中5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v激活函数才用激活函数才用S型函数：型函数：v激活函数的导数为：激活函数的导数为：v这里的学习规则实际上是一种这里的学习规则实际上是一种Delta学习规则，即利用误学习规则，即利
28、用误差的负梯度来调整连接权，使其输出误差单调减少。利用差的负梯度来调整连接权，使其输出误差单调减少。利用Delta学习规则，应该先求出误差函数的梯度，因此有以学习规则，应该先求出误差函数的梯度，因此有以下推导过程：下推导过程：v对第对第k个学习模式，网络的希望输出与实际输出的偏差设个学习模式，网络的希望输出与实际输出的偏差设为：为：5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v采用平方和误差进行计算：采用平方和误差进行计算：v按梯度下降原则，中间层至输出层连接权的调整按梯度下降原则，中间层至输出层连接权的调整量应为：量应为：v展开：展开：5多层网络的误差逆传播校正方法多层网络的误
29、差逆传播校正方法v利用（利用（4）式可得：）式可得：v因为输出层第因为输出层第t个单元的激活值为：个单元的激活值为：v输出层第输出层第t个单元的输出值为：个单元的输出值为：v由式（由式（2）可得对于输出函数的导数：）可得对于输出函数的导数：5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v所以：所以：v因此，由式（因此，由式（6）（）（7）和（）和（11）可得：）可得：为进一步简化，所以：5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v同理，由输入层至中间层连接权的调整，仍按梯同理，由输入层至中间层连接权的调整，仍按梯度下降法的原则进行度下降法的原则进行：同样也可求出阈值
30、的调整量：同样也可求出阈值的调整量：为中间层各单元的校正误差 以上的推导仅是针对某一组学习模式进行的，其误差也是某一组的误差。对以上的推导仅是针对某一组学习模式进行的，其误差也是某一组的误差。对于全部的输入模式，我们有网络的全局误差于全部的输入模式，我们有网络的全局误差E：BP网网络的学的学习规则与与计算方法算方法u输入模式顺传播（输入模式由输入层经中间层输入模式顺传播（输入模式由输入层经中间层向输出层传播计算），这一过程主要是利用输入向输出层传播计算），这一过程主要是利用输入模式求出它所对应的实际输出模式求出它所对应的实际输出 u输出误差逆传播（输出的误差由输出层经中间输出误差逆传播（输出的
31、误差由输出层经中间层传向输入层），当这些实际的输出值与希望的层传向输入层），当这些实际的输出值与希望的输出值不一样时或者说其误差大雨所限定的数值输出值不一样时或者说其误差大雨所限定的数值时，就要对网络进行校正。时，就要对网络进行校正。u循环记忆训练（模式顺传播与误差逆传播的计循环记忆训练（模式顺传播与误差逆传播的计算过程反复交替循环进行）算过程反复交替循环进行）u学习结果判别（判定全局误差是否趋向极小值）学习结果判别（判定全局误差是否趋向极小值）。BP网的学习过程利用前面求得的对各个连接权和阀值进行校正利用前面求得的对各个连接权和阀值进行校正的数学表达式，可构成的数学表达式，可构成BP网络的学
32、习规则。网络的学习规则。BP网网络的的应用用举例例“异或异或”（XOR）问题：例如有一个：例如有一个BP网网络，它由，它由输入、中入、中间和和输出出层这三三层构成，如构成，如图所示。所示。输入入层和中和中间层各有两个神各有两个神经元，元，输出出层有一有一个神个神经元。先要求元。先要求训练这一网一网络，使其具有解决，使其具有解决“异或异或”问题的能力。的能力。首先给网络的连接权及首先给网络的连接权及其阈值赋予其阈值赋予-0.1,0.1区间的随机数，如上图区间的随机数，如上图所示。在初始状态下的所示。在初始状态下的输入、输出结果如下表输入、输出结果如下表所示所示X1 X2 希望输出实际输出全局误差
33、0 000.50.50 110.50.51 010.50.51 100.50.5X2X1X10.08010.06050.05430.0579-0.02910.0999BP网网络络的的应应用用举举例例X1 X2 希望输出实际输出全局误差0 000.1190.1660 110.7271 010.7341 100.415这时的平方和误差可用下式计算：由于对应四个输入模式的实际输出均为由于对应四个输入模式的实际输出均为0.5左右，所以全局误差为左右，所以全局误差为0.5。下面。下面采用采用BP网络的学习算法进行训练，取。当进行网络的学习算法进行训练，取。当进行8000次学习后得到下图所示次学习后得到下
34、图所示的网络参数。的网络参数。这时的全局误差为0.16584。若输出小于0.5判为0，大于0.5判为1，则可认为此时网络已经完成了模式记忆，已有正确的分类能力。X2X1X13.6631-5.6523-1.7169-1.8367-5.7174-5.6494BP网网络的的应用用举例例若当进一步学习达若当进一步学习达11050次后，全局误差减小为次后，全局误差减小为0.0078。若输出小于若输出小于0.1为为0，大于，大于0.9为为1，则可认为该网络完，则可认为该网络完全学会了解决全学会了解决“异或异或”问题。问题。X1 X2 希望输出实际输出全局误差0 000.050.00780 110.9411
35、 010.9411 100.078X2X1X1X17.3022-7.7033-3.7261-3.7286-602163-6.1775BP网网络的的应用用举例例u学习收敛速度太慢学习收敛速度太慢u不能保证收敛到全局最小点不能保证收敛到全局最小点u网络的中间层数及它的单元数的选取无理论上的指导，网络的中间层数及它的单元数的选取无理论上的指导，而是根据具体经验确定的，因此网络设计有时不是最而是根据具体经验确定的，因此网络设计有时不是最佳佳u网络的学习、记忆具有不稳定性等。网络的学习、记忆具有不稳定性等。BP网络的缺点：网络的缺点：改进：改进：u累积误差校正法累积误差校正法uS函数输出限幅法函数输出限幅法u惯性校正法惯性校正法LOGOv感知器学习算法相当简单，并且当函数线性可分感知器学习算法相当简单，并且当函数线性可分时保证收敛。但它也存在问题：即函数不是线性时保证收敛。但它也存在问题：即函数不是线性可分时，则求不出结果；另外，不能推广到一般可分时，则求不出结果；另外，不能推广到一般前馈网络中。为了克服存在的问题，所以人们提前馈网络中。为了克服存在的问题，所以人们提出另一种算法出另一种算法梯度算法梯度算法(也即是也即是LMS法法)。为。为了能实现梯度算法，故把神经元的激发函数改为了能实现梯度算法，故把神经元的激发函数改为可微分函数，可微分函数，