《人工神经网络理论与应用PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《人工神经网络理论与应用PPT讲稿.ppt（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、人工神经网络理论与应用第1页，共52页，编辑于2022年，星期四神经网络基础知识神经网络基础知识7.1 生物神经元及人工神经元的组成生物神经元及人工神经元的组成7.2 人工神经网络的模型人工神经网络的模型 7.2.1 人工神经元的模型人工神经元的模型 7.2.2 常用的激活转移函数常用的激活转移函数 7.2.3 MP模型神经元模型神经元第2页，共52页，编辑于2022年，星期四7.1 7.1 生物神经元及人工神经元的组成生物神经元及人工神经元的组成 神神经经元元也也称称神神经经细细胞胞，它它是是生生物物神神经经系系统统的的最最基基本本单单元元，它它和和人人体体中中其其他他细细胞胞的的关关键键区
2、区别别在在于于具具有有产产生生、处处理理和和传传递递信信号号的的功功能能。每每个个神神经经元元都都包包括括三三个个主主要要部部分分：细细胞胞体、树突和轴突，见图体、树突和轴突，见图7.17.1（a a）。）。(a)简单神经元网络图简单神经元网络图 (b)简化后的网络示意图简化后的网络示意图(1)细胞体；细胞体；(2)树突；树突；(3)轴突；轴突；(4)突触突触图图7.1 简单神经元网络及其简化结构图简单神经元网络及其简化结构图第3页，共52页，编辑于2022年，星期四神经元结构与功能细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为0.5-100m，大小不等。细胞体是神经元的主体，用于处理由树
3、突接受的其它神经元传来的信号；轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达1m以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处。第4页，共52页，编辑于2022年，星期四神经元结构与功能树突是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。神经元中的细胞体相当于一个初等处理器，它对
4、来自其它各个神经元的信号进行总体求和，并产生一个神经输出信号。细胞膜内外的电位之差被称为膜电位。在无信号输入时的膜电位称为静止膜电位。当一个神经元的所有输入总效应达到某个阈值电位时，该细胞变为活性细胞。第5页，共52页，编辑于2022年，星期四生物神经元的功能与特征(1)时空整合功能 神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，使生物神经元对由突触传入的神经冲动具有时空整合的功能。(2)兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位的阈值
5、时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜电位低于动作电位的阈值时，细胞进入抑制状态，无神经冲动输出。第6页，共52页，编辑于2022年，星期四生物神经元的功能与特征(3)脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神经纤维传递的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的如下过程：电脉冲-神经化学物质-膜电位 (4)神经纤维传导速率 神经冲动沿神经纤维传导的速度在1-150m/s之间。其速度差异与纤维的粗细、髓鞘的有无有关。一般来说，有髓鞘的纤维，其传导速度在10
6、0m/s以上，无髓鞘的纤维，其传导速度可低至每秒数米。(5)突触延时和不应期 突触对相邻两次神经冲动的响应需要有一定的时间间隔，在这个时间间隔内不响应激励，也不传递神经冲动，这个时间间隔称为不应期。第7页，共52页，编辑于2022年，星期四人脑神经系统的结构与特征神经生理学的研究结果表明，人脑的神经系统是一个由大量生物神经元并行互连所形成的一个网络系统。每个人的大脑大约有1011-1012个神经元，每个神经元大约有103-104个突触，即与其它103-104个神经元相连。(1)记忆和存储功能人脑神经系统的记忆和处理功能是有机的结合在一起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不
7、需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。(2)高度并行性（为什么计算机无法模拟更多的神经元，如果有100个神经元，两两互连，则会出现10099/2=5000个N元一次方程。如何计算如此复杂的方程组？）提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。第8页，共52页，编辑于2022年，星期四人脑神经系统的结构与特征(3)分布式功能 人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动
8、，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。可见，在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。因此，大脑是一种分布式系统。(4)容错功能 容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。第9页，共52页，编辑于2022年，星期四人脑神经系统的结构与特征(5)联想功能 人脑不仅具有很强的容错功能，还有联想功
9、能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。(6)自组织和自学习功能 人脑能够通过内部自组织、自学习能力不断适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。第10页，共52页，编辑于2022年，星期四 人工神经元的主要结构单元是信号的输入、综合处理和输出人工神经元的主要结构单元是信号的输入、综合处理和输出 输出信号强度大小反映了该神经元对相邻神经元影响的强弱输出信号强度大小反映了该神经元对相邻神经元影响的强弱 人工神经元之间通过互相联接形成网络，称为人工神经网络人工神经元之间通过互相联接形成网络，称为人工
10、神经网络 神经元之间相互联接的方式称为联接模式神经元之间相互联接的方式称为联接模式 相互之间的联接强度由联接权值体现。相互之间的联接强度由联接权值体现。v 在人工神经网络中，改变信息处理及能力在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。的过程，就是修改网络权值的过程。第11页，共52页，编辑于2022年，星期四 目前多数目前多数人工神经网络的构造人工神经网络的构造大体上都大体上都采用如下的一些采用如下的一些原则原则：v 由一定数量的基本神经元分层联接；由一定数量的基本神经元分层联接；v 每每个个神神经经元元的的输输入入、输输出出信信号号以以及及综综 合处理内容都比较简单
11、；合处理内容都比较简单；v 网网络络的的学学习习和和知知识识存存储储体体现现在在各各神神经经元元之间的联接强度上。之间的联接强度上。第12页，共52页，编辑于2022年，星期四 7.2 人工神经网络的模型人工神经网络的模型 7.2.1 人工神经元的模型人工神经元的模型 神神经经元元是是人人工工神神经经网网络络的的基基本本处处理理单单元元，它它一一般般是是一一个个多多输输入入/单单输输出出的的非非线线性性元元件件。神神经经元元输输出出除除受受输输入入信信号号的的影影响响外外，同同时时也也受受到到神神经经元元内内部部因因素素的的影影响响，所所以以在在人人工工神神经经元元的的建建模模中中，常常常常还
12、还加加有有一一个个额额外外输输入入信信号，称为偏差，有时也称为阈值或门限值。号，称为偏差，有时也称为阈值或门限值。第13页，共52页，编辑于2022年，星期四 神经元的输出矢量可以表示为：神经元的输出矢量可以表示为：A=f(W*P+b)=f(wj pj+b)(7.2)可以看出偏差被简单地加在可以看出偏差被简单地加在W*P上作为激活函数的另一个输入分量。上作为激活函数的另一个输入分量。实际上偏差也是一个权值，只是它具有固定常数为实际上偏差也是一个权值，只是它具有固定常数为1的输入。的输入。在网络的设在网络的设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动，计中，偏差起着重要的作用，它
13、使得激活函数的图形可以左右移动，从而增加了解决问题的可能性。从而增加了解决问题的可能性。第14页，共52页，编辑于2022年，星期四7.2.2 激活转移函数激活转移函数 激激 活活 转转 移移 函函 数数（Activation transfer function）简简称称激激活活函函数数，它它是是一一个个神神经经元元及及神神经经网网络络的的核核心心之之一一。神神经经网网络络解解决决问问题题的的能能力力与与功功效效除除了了与与网网络络结结构构有有关关外外，在在很很大程度上取决于网络激活函数。大程度上取决于网络激活函数。第15页，共52页，编辑于2022年，星期四 激活函数的基本作用是：激活函数的
14、基本作用是：控制输入对输出的激活作用；控制输入对输出的激活作用；对输入、输出进行函数转换；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有将可能无限域的输入变换成指定的有限范围内的输出。限范围内的输出。下面是几种常用的激活函数：下面是几种常用的激活函数：第16页，共52页，编辑于2022年，星期四 （l l）阀值型（硬限制型）阀值型（硬限制型）具有此激活函数的神经元的输入具有此激活函数的神经元的输入/输出关系为：输出关系为：(a)没有偏差的阈值型激活函数没有偏差的阈值型激活函数 (b)带有偏差的阈值型激活函数带有偏差的阈值型激活函数 图图7.3 阈值型激活函数阈值型激活函数(7.3)
15、第17页，共52页，编辑于2022年，星期四 （2 2）线性型）线性型 具有此激活函数的神经元的输入具有此激活函数的神经元的输入/输出关系为：输出关系为：(a)没有偏差的线性激活函数没有偏差的线性激活函数 (b)带有偏差的线性激活函数带有偏差的线性激活函数 图图7.4 线性型激活函数线性型激活函数A=f(W*P+b)=W*P+b (7.4)第18页，共52页，编辑于2022年，星期四 （3）S型型(Sigmoid)对数对数S型激活函数型激活函数 见图见图7.5(a)，其神经元的输入，其神经元的输入/输出关系为：输出关系为：(a)带有偏差的对数带有偏差的对数S型激活函数型激活函数 (b)带有偏差
16、的双曲正切带有偏差的双曲正切S型激活函数型激活函数 图图7.5 S型激活函数型激活函数(7.5)第19页，共52页，编辑于2022年，星期四 （3）S型型(Sigmoid)双曲正切双曲正切S型激活函数型激活函数 见图见图7.5(b)，其神经元的输入，其神经元的输入/输出关系为：输出关系为：(a)带有偏差的对数带有偏差的对数S型激活函数型激活函数 (b)带有偏差的双曲正切带有偏差的双曲正切S型激活函数型激活函数图图7.5 S型激活函数型激活函数(7.6)第20页，共52页，编辑于2022年，星期四 一般地，称一个神经一般地，称一个神经网络是线性或非线性是网络是线性或非线性是由网络神经元中所具有由
17、网络神经元中所具有的激活函数的线性或非的激活函数的线性或非线性来决定的。线性来决定的。第21页，共52页，编辑于2022年，星期四人工神经网络人工神经网络人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。基于对人类生物系统的这一认识，人们也试图通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。人工神经元之间通过互连形成的网络称为人工神经网络。在人工神经网络中，神经元之间互连的方式称为连接模式或连接模型。它不仅决定了神经元网络的互连结构，
18、同时也决定了神经网络的信号处理方式。第22页，共52页，编辑于2022年，星期四人工神经网络的分类人工神经网络的分类 目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。第23页，共52页，编辑于2022年，星期四人工神经网络的局限性人工神经网络是一个新兴学科，因此还存在许多问题。其主要表现有：(1)受到脑科学研究的限制：由于生理实
19、验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有很多问题需要解决；(2)还没有完整成熟的理论体系；(3)还带有浓厚的策略和经验色彩；(4)与传统技术的接口不成熟。上述问题的存在，制约了人工神经网络研究的发展。第24页，共52页，编辑于2022年，星期四7.2.3 MP神经元模型神经元模型 MP神神经经元元模模型型是是由由美美国国心心理理学学家家McClloch和和数数学学家家Pitts共共同同提提出出的的，因因此此，常常称称为为MP模模型型。MP神神经经元元模模型型是是典典型型的的阈阈值值型型神神经经元元，见见图图7.6，它它相相当当于于一一个个多多输输入入单单输输出出的的阈阈值值
20、器器件。件。w1w2wrp1p2pr b 图图7.6 MP模型神经元模型神经元第25页，共52页，编辑于2022年，星期四 如如图图(7.6)所所示示，假假定定p1，p2，pn表表示示神神经经元元的的n个个输输入入；wi表表示示神神经经元元的的突突触触连连接接强强度度，其其值值称称为为权权值值；n 表表示示神神经经元元的的输输入入总总和和，f(n)即即为为激激活活函函数数；a 表表示示神神经经元元的的输输出出，b 表表示示神神经经元元的的阈阈值值，那那么么MP模模型型神神经经元元的的输输出可描述为出可描述为(7.7)式所示：式所示：w1w2wrp1p2pr b图图7.6 MP模型神经元模型神经
21、元(7.7)第26页，共52页，编辑于2022年，星期四 MP模模型型神神经经元元是是二二值值型型神神经经元元，其其输输出出状状态态取取值值为为1或或0，分分别别代代表表神神经经元元的的兴兴奋奋和和抑抑制制状状态态。如如果果 n 0，即即神神经经元元输输入入加加权权总总和和超超过过某某个个阈阈值值，那那么么该该神神经经元元兴兴奋奋，状状态态为为1；如如果果n 0，那那么么该该神神经经元元受受到到抑抑制制，状状态态为为0。通通常常，将将这这个个规规定定称称为为MP模模型型神神经经元元的的点点火火规规则则。用用一一数学表达式表示为：数学表达式表示为：对对于于 MP模模型型神神经经元元，权权值值w在
22、在（1，1）区区间间连连续续取取值值。取取负负值值表表示示抑抑制制两两神神经经元元间间的的连连接接强强度度，正正值值表表示示加强。加强。(7.8)第27页，共52页，编辑于2022年，星期四MPMP模模 型型 神神 经经 元元具具 有有 什什 么么 特特 性性？能完成什么功能？能完成什么功能？为了回答这个问题，我们以简单的逻辑为了回答这个问题，我们以简单的逻辑代数运算为例来说明。代数运算为例来说明。第28页，共52页，编辑于2022年，星期四 例例1 假假设设一一个个MP模模型型神神经经元元有有2个个输输入入：p1和和p2，其其目目标标输输出出记为记为t，试问它能否完成下列真值表功能？，试问它
23、能否完成下列真值表功能？解：根据要求，神经元的权值和阈值必须满足如下不解：根据要求，神经元的权值和阈值必须满足如下不 等式组：等式组：若若取取b值值为为0.5,W1和和W2取取0.7。可可以以验验证证用用这这组组权权值值和和阈阈值值构构成成的的2输入输入MP模型神经元能够完成该逻辑模型神经元能够完成该逻辑“或或”运运 算。算。(1)(2)(3)(4)不不 等等 式式 组组真真 值值 表表 p1 p2 t 1 1 1 1 0 1 0 1 1 0 0 0第29页，共52页，编辑于2022年，星期四 如如同同许许多多代代数数方方程程一一样样，由由MP模模型型激激活活函函数数得得出出的的不不等等式式具
24、具有有一一定定的的几几何何意意义义，所所有有输输入入样样本本构构成成样样本本输输入入空空间间。对对于于任任意意特定特定W和和P的值都规定了一个超平面（决策平面），其方程为：的值都规定了一个超平面（决策平面），其方程为：它它把把超超平平面面Rn（XRn）分分成成了了两两部部分分：WX-b0 部部分分和和 WX-b0 部分。部分。第30页，共52页，编辑于2022年，星期四 一一般般地地，N N输输入入的的MPMP模模型型神神经经元元有有2 2n n个个输输入入样样本本，几几何何上上分分别别位位于于N N维维超超立立方方体体的的各各顶顶点点处。处。第31页，共52页，编辑于2022年，星期四7.3
25、 人工神经网络的结构与学习人工神经网络的结构与学习 7.3.1 人工神经网络的结构人工神经网络的结构 如果将大量功能简单的形式神经元通过如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分一定的拓扑结构组织起来，构成群体并行分布式处理的布式处理的计算结构计算结构，那么这种结构就是，那么这种结构就是人人工神经网络工神经网络，在不引起混淆的情况下，统称，在不引起混淆的情况下，统称为神经网络。为神经网络。第32页，共52页，编辑于2022年，星期四 根据神经元之间连接的拓扑根据神经元之间连接的拓扑结构上的不同，可将神经网络结结构上的不同，可将神经网络结构分为两大类：构分为两大类：
26、分层网络分层网络 相互连接型网络相互连接型网络 第33页，共52页，编辑于2022年，星期四1分层结构分层结构 分分层层网网络络将将一一个个神神经经网网络络模模型型中中的的所所有有神神经经元元按按功功能能分分成成若若干干层层，一一般般有有输输入入层层、隐隐层层（又又称称中中间间层层）和和输输出出层层各各层层顺顺序序连连接接，如如图图7.7所示。所示。输输 出出 层层 中中 间间 层层 输输 入入 层层输入输入输出输出图图 7.77.7分层网络的功能层次分层网络的功能层次第34页，共52页，编辑于2022年，星期四 简单的前向网络；简单的前向网络；具有反馈的前向网络；具有反馈的前向网络；层内有相
27、互连接的前向网络。层内有相互连接的前向网络。分分层层网网络络可可以以细细分分为为三三种种互互连形式：连形式：第35页，共52页，编辑于2022年，星期四图图7.8（a）简单的前向网络形状；）简单的前向网络形状；图图7.8（b）输出层到输入层具有反馈的前向网络；）输出层到输入层具有反馈的前向网络；图图7.8（c）层内有相互连接的前向网络。层内有相互连接的前向网络。第36页，共52页，编辑于2022年，星期四 所谓相互连接型网络是指网络中任意两个神所谓相互连接型网络是指网络中任意两个神经元之间是可达的，即存在连接路径，如图经元之间是可达的，即存在连接路径，如图7.8（d）所示。）所示。2相互连接型
28、结构相互连接型结构第37页，共52页，编辑于2022年，星期四 权值修正学派认为：神权值修正学派认为：神经网络的学习过程就是不断经网络的学习过程就是不断调整网络的连接权，以获得调整网络的连接权，以获得期望的输出的过程。期望的输出的过程。7.3.2 人工神经网络的学习人工神经网络的学习第38页，共52页，编辑于2022年，星期四v 相关学习法相关学习法v 误差修正学习法误差修正学习法 典型的权值修正方法有两类典型的权值修正方法有两类第39页，共52页，编辑于2022年，星期四 式式中中，wji(t+1)表表示示修修正正一一次次后后的的某某一一权权值值；称称为为学学习习因因子子，决决定定每每次次权
29、权值值的的修修正正量量，x i（t）、xj（t）分分别别表表示示 t 时时刻刻第第i、第第j个神经元的状态。个神经元的状态。相关学习法相关学习法 如果神经网络中某一神经元与另一直接与其相连的神经如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。相关学习法是根据连接间的激活水平改变权值的，相加强。相关学习法是根据连接间的激活水平改变权值的，相关学习法也称关学习法也称Hebb学习规则，可用一数学表达式表示为：学习规则，可用一数学表达式表示为：(7.9)第40页，共52页，编辑于2022年，星
30、期四 （1）选择一组初始权值和偏差值；）选择一组初始权值和偏差值；（2）计算某一输入模式对应的实际输出与期望输出的误差）计算某一输入模式对应的实际输出与期望输出的误差 （3）更新权值）更新权值（偏差值可视为输入恒为（偏差值可视为输入恒为-1的一个权值）的一个权值）式中，式中，为学习因子；为学习因子；y je(t)、yj(t)分别表示第分别表示第j个神经个神经 元元 的期望输出与实际输出；的期望输出与实际输出；x i为第为第i个神经元的输入；个神经元的输入；（4）返回步骤（）返回步骤（2），直到对所有训练模式，网络输出均），直到对所有训练模式，网络输出均 能满足要求能满足要求。误差修正学习法误差
31、修正学习法 根据期望输出与实际输出之间的误差大小来修正权值。根据期望输出与实际输出之间的误差大小来修正权值。误差修正学习法也称误差修正学习法也称学习规则，可由如下四步来描述；学习规则，可由如下四步来描述；(7.10)第41页，共52页，编辑于2022年，星期四 例例2考虑一个考虑一个2输入输入MP模型神经元的学习。模型神经元的学习。假设初始参数为：假设初始参数为：w1=0.2，w2=-0.5，b=0.1 要求该神经元能实现下列逻辑真值表：要求该神经元能实现下列逻辑真值表：逻辑真值表逻辑真值表 x1：0 0 1 1 x2：0 1 0 1ye：1 1 0 0 第42页，共52页，编辑于2022年，
32、星期四 解：神经元输入和的表达式为：解：神经元输入和的表达式为：n=w 1 x 1+w 2 x 2 -b满足所给逻辑真值表的激活函数不等式组为：满足所给逻辑真值表的激活函数不等式组为：x1 x2 ye 不等式组不等式组 0 0 1 -b 0 b 0 0 1 1 w 2 -b 0 b w 2 1 0 0 w 1 -b 0 b w 1 1 1 0 w 1+w 2 -b 0 b w 1+w 2 在初始参数设置下，神经元的实际输出为：在初始参数设置下，神经元的实际输出为：n1=0.2*0 0.5*0 0.1=-0.1 0 y1=0 n2=0.2*0 0.5*1 0.1=-0.6 0 y2=0 n3=0
33、.2*1 0.5*0 0.1=0.1 0 y 3=1 n4=0.2*1 0.5*1 0.1=-0.4 0 y4=0可见，可见，有有3个输入模式相应的输出都与期望输出不符个输入模式相应的输出都与期望输出不符，即有误差。下面我们看如何使用即有误差。下面我们看如何使用学习规则进行学习。学习规则进行学习。第43页，共52页，编辑于2022年，星期四 首首先先，确确定定学学习习因因子子，即即确确定定每每次次误误差差修修正正量量的的多多少少。假假如如学学习习因因子子采采用用下下式式确定：确定：式式中中,为为一一个个正正的的常常数数，通通常常在在0-10-1之之间取值。为简便起见，这里取值为间取值。为简便起
34、见，这里取值为0.10.1。(7.11)第44页，共52页，编辑于2022年，星期四 1.当输入当输入x1x2=00时：时：要使实际输出要使实际输出 y=1，必须满足激活函数大于，必须满足激活函数大于0，即：，即：n1=-b0 b0 阈值阈值b需取负值需取负值 根据（根据（2.11）式得学习因子）式得学习因子的值为：的值为：修正后的权、阈值为：修正后的权、阈值为：由于由于x1=x2=0，所以权值不变。，所以权值不变。第一次学习结束后，第一次学习结束后，MP模型神经元的参数为：模型神经元的参数为：w1(1)=0.2，w2(1)=-0.5，b(1)=0。b(1)0。第45页，共52页，编辑于202
35、2年，星期四 对权阈值进行修正如下：对权阈值进行修正如下：第二次学习结束后，第二次学习结束后，MP模型神经元的参数为：模型神经元的参数为：w1(2)=0.2，w2(2)=-0.2，b(2)=-0.3。b(2)w 2(2)，b(2)0。当当输输入入x1=0，x2=1 时时，要要使使实实际际输输出出 y=1，必必须须满满足足激激活函数大于活函数大于0，即：，即：w 2 -b 0 b w 2 b还要满足前面的条件还要满足前面的条件 b0第46页，共52页，编辑于2022年，星期四学习结果为：学习结果为：w1(7)=-0.225，w2(7)=-0.0875，b(7)=-0.1875。满足条件：满足条件
36、：b(7)0 w 1(7)b(7)w 2(7)b(7)w 1(7)+w 2(7)能够实现要求真值表功能。能够实现要求真值表功能。依次类推，表依次类推，表2.1给出了一个学习的结果。给出了一个学习的结果。第47页，共52页，编辑于2022年，星期四学习过程中决策直线在样本平面的位置变化，如图学习过程中决策直线在样本平面的位置变化，如图7.6。第48页，共52页，编辑于2022年，星期四2.3.2.2.3.2.学习技术分类学习技术分类 根据学习时是否需要外部指导信息，通常根据学习时是否需要外部指导信息，通常将神经网络的学习分为三种类型，即将神经网络的学习分为三种类型，即:v 有导师学习有导师学习v
37、 强化学习强化学习v 无导师学习无导师学习第49页，共52页，编辑于2022年，星期四 有导师学习有导师学习 必必须须预预先先知知道道学学习习的的期期望望结结果果教教师师信信 息，并依此按照某一学习规则来修正权值。息，并依此按照某一学习规则来修正权值。强化学习强化学习 利利用用某某一一表表示示“奖奖惩惩”的的全全局局信信号号，衡衡量与强化输入相关的局部决策如何。量与强化输入相关的局部决策如何。无导师学习无导师学习 不不需需要要教教师师信信息息或或强强化化信信号号，只只要要给给定定输输入入信信息息，网网络络通通过过自自组组织织调调整整，自自学学习习并并给给出出一定意义下一定意义下 的输出响应。的输出响应。第50页，共52页，编辑于2022年，星期四 权值修正权值修正 拓扑变化、拓扑变化、权值与拓扑修正权值与拓扑修正 从从神神经经网网络络结结构构变变化化的的角角度度来来分分，学学习习技技术术还还可可分分为为三三种种:第51页，共52页，编辑于2022年，星期四确定性学习确定性学习随机性学习随机性学习学习技术又还可分为：学习技术又还可分为：第52页，共52页，编辑于2022年，星期四