《第八讲人工神经网络.ppt》由会员分享，可在线阅读，更多相关《第八讲人工神经网络.ppt（72页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第八第八讲人工神人工神经网网络内容安排内容安排一、生物神经元二、人工神经网络结构三、神经网络基本学习算法n学科交叉学科交叉是当前研究领域的一个重要特征是当前研究领域的一个重要特征 n信息科学与生命科学的相互交叉、相互渗透和相互信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。促进是现代科学技术发展的一个显著特点。概述n计算智能是是学科交叉研究过程中出现的一个重计算智能是是学科交叉研究过程中出现的一个重要研究方向要研究方向n计算智能涉及神经网络、模糊逻辑、进化计算和人工计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正是反映了当代科学技生命
2、等领域，它的研究和发展正是反映了当代科学技术多学科交叉与集成的重要发展趋势。术多学科交叉与集成的重要发展趋势。什么是计算智能神经网络与人工智能（神经网络与人工智能（AIAI）把神经网络归类于人工智能可能不大合适，而归类于把神经网络归类于人工智能可能不大合适，而归类于计算智能计算智能 （CICI）更能说明问题实质。进化计算、人工生）更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能命和模糊逻辑系统的某些课题，也都归类于计算智能 计算智能与人工智能计算智能与人工智能 计算智能取决于制造者（计算智能取决于制造者（manufacturersmanufacturers）提供
3、的数值数）提供的数值数据，不依赖于知识；据，不依赖于知识；n人工智能应用知识精品（人工智能应用知识精品（knowledge tidbitsknowledge tidbits），故），故此，一种说法是此，一种说法是 人工神经网络应当称为计算神经网络。人工神经网络应当称为计算神经网络。计算智能与人工智能的区别和关系计算智能与人工智能的区别和关系nA AArtificial Artificial，即人工的（非生物的），即人工的（非生物的）nB BBiologicalBiological，即物理的化学的，即物理的化学的(？)nC CComputationalComputational，表示数学计算机，
4、表示数学计算机 n 计算智能是一种智力方式的低层认知，它与人工计算智能是一种智力方式的低层认知，它与人工智智 能的区别只是认知层次从中层下降至低层而已。能的区别只是认知层次从中层下降至低层而已。中层系统含有知识（精品），低层系统则没有中层系统含有知识（精品），低层系统则没有。计算智能与人工智能的区别和关系n当一个系统只涉及数值（低层）数据，含有模式识别当一个系统只涉及数值（低层）数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：部分，不应用人工智能意义上的知识，而且能够呈现出：n（1 1）计算适应性；）计算适应性；n（2 2）计算容错性；）计算容错性；n（3 3）接近人的速度
5、；）接近人的速度；n（4 4）误差率与人相近，）误差率与人相近，n则该系统就是计算智能系统。则该系统就是计算智能系统。n当一个智能计算系统以非数值方式加上知识（精品）当一个智能计算系统以非数值方式加上知识（精品）值，即成为人工智能系统。值，即成为人工智能系统。神经计算n大脑模型生物神经系统生物神经系统n生物神经系统是一个有高度组织和相互作用的数生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大量巨大的细胞组织群体。人类大脑的神经细胞大约在约在10101111一一10101313个左右。神经细胞也称神经元，是个左右。神经细胞也称神经元，是神经系统的基本单元，它们
6、按不同的结合方式构神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智塑性，使得大脑具有学习、记忆和认知等各种智能。能。生物神经系统生物神经系统n生物神经元主要由以下几个部分组成：生物神经元主要由以下几个部分组成：n胞体，是神经细胞的本体胞体，是神经细胞的本体;n树突树突，用以接受来自其它细胞元的信号用以接受来自其它细胞元的信号;n轴突，用以输出信号，与多个神经元连接轴突，用以输出信号，与多个神经元连接;n突触，是一个神经元与另一个神经元相联系的特殊部突触，是一个神经元与另一个神
7、经元相联系的特殊部位，通过神经元轴突的端部靠化学接触和电接触将信位，通过神经元轴突的端部靠化学接触和电接触将信号传递给下一个神经元的树突或胞体。号传递给下一个神经元的树突或胞体。生物神经元示意图 生物神经元的基本工作机制生物神经元的基本工作机制 一个神经元有两种状态一个神经元有两种状态-兴奋和抑制。平时处于抑制兴奋和抑制。平时处于抑制状态的神经元，其树突和胞体接受其它神经元经由突触状态的神经元，其树突和胞体接受其它神经元经由突触传来的兴奋电位，多个输入在神经元中以代数和的方式传来的兴奋电位，多个输入在神经元中以代数和的方式叠加；如输入兴奋总量超过阈值，神经元被激发进入兴叠加；如输入兴奋总量超过
8、阈值，神经元被激发进入兴奋状态，发出输出脉冲，由轴突的突触传递给其它神经奋状态，发出输出脉冲，由轴突的突触传递给其它神经元。元。一个神经元的兴奋和抑制两种状态是由细胞膜内外之间不同的电位差来表征的。一个神经元的兴奋和抑制两种状态是由细胞膜内外之间不同的电位差来表征的。在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在-50-100mv之间。在兴奋状态，则产生内正外负的相反电位差，这时表现为约之间。在兴奋状态，则产生内正外负的相反电位差，这时表现为约60100mv的电脉冲。细胞膜内外的电位差是由膜内外的离子浓度不同导致的。
9、细胞的电脉冲。细胞膜内外的电位差是由膜内外的离子浓度不同导致的。细胞的兴奋电脉冲宽度一般大约为的兴奋电脉冲宽度一般大约为1ms。生物神经特性生物神经特性(1)(1)并行分布处理的工作模式并行分布处理的工作模式 实际上大脑中单个神经元的信息处理速度是很慢的，每次约实际上大脑中单个神经元的信息处理速度是很慢的，每次约1 1毫秒毫秒(ms)(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。能也很有限，估计不会比计算机的一条指令更复杂。但是人脑对某但是人脑对某一复杂过程的处理和反应却很快，一
10、般只需几百毫秒。例如要判定一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需人眼看到的两个图形是否一样，实际上约需400ms400ms，而在这个处理过，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的
11、并行处理系统。例如在一是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度此可见，大脑信息处理的并行速度已达到了极高的程度生物神经特性生物神经特性(2)(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性。神神经经系系统统的的可可塑塑性性和和自自组组织织性性与与人人脑脑的的生生长长发发育育过过程程有有关关
12、。例例如如，人人的的幼幼年年时时期期约约在在9 9岁岁左左右右，学学习习语语言言的的能能力力十十分分强强，说说明明在在幼幼年年时时期期，大大脑脑的的可可塑塑性性和和柔柔软软性性特特别别良良好好。从从生生理理学学的的角角度度看看，它它体体现现在在突突触触的的可可塑塑性性和和联联接接状状态态的的变变化化，同同时时还还表表现现在在神神经经系系统统的的自自组组织织特特性性上上。例例如如在在某某一一外外界界信信息息反反复复刺刺激激下下接接受受该该信信息息的的神神经经细细胞胞之之间间的的突突触触结结合合强强度度会会增增强强。这这种种可可塑塑性性反反映映出出大大脑脑功功能能既既有有先先天天的的制制约约因因素
13、素，也也有有可可能能通通过过后后天天的的训训练练和和学学习习而而得得到到加加强强。神神经经网网络络的的学学习习机机制制就就是是基基于于这这种种可可塑塑性性现现象象，并通过修正突触的结合强度来实现的。并通过修正突触的结合强度来实现的。生物神经特性生物神经特性(3)(3)信息处理与信息存贮合二为一。信息处理与信息存贮合二为一。大大脑脑中中的的信信息息处处理理与与信信息息存存贮贮是是有有机机结结合合在在一一起起的的，而而不不像像现现行行计计算算机机那那样样存存贮贮地地址址和和存存贮贮内内容容是是彼彼此此分分开开的的。由由于于大大脑脑神神经经元元兼兼有有信信息息处处理理和和存存贮贮功功能能，所所以以在
14、在进进行行回回亿亿时时，不不但但不不存存在在先先找找存存贮贮地地址址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容.(4)(4)信息处理的系统性信息处理的系统性 大脑是一个复杂的大规模信息处理系统，单个的元大脑是一个复杂的大规模信息处理系统，单个的元“神经元神经元”不能不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以
15、调节另一些子系统的行为。例如，视觉系统和运动系统些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能就存在很强的系统联系，可以相互协调各种信息处理功能生物神经特性生物神经特性(5)(5)能接受和处理模糊的、模拟的、随机的信息。能接受和处理模糊的、模拟的、随机的信息。(6)(6)求求满满意意解解而而不不是是精精确确解解.人人类类处处理理日日常常行行为为时时，往往往往都都不不是是一一定定要要按按最最优优或或最最精精确确的的方方式式去去求求解解，而而是是以以能能解解决决问问题为原则，即求得满意解就行了。题为原则，即求得满意解就行了。(7)(7
16、)系统具有鲁棒性和容错性系统具有鲁棒性和容错性人工神经网络结构人工神经网络结构n人工神经网络人工神经网络n人工神经元模型人工神经元模型n常见响应函数常见响应函数n人工神经网络典型结构人工神经网络典型结构人工神经网络的进展n初创阶段（二十世纪四十年代至六十年代）n19431943年，美国心理学家W.S.MccullochW.S.Mcculloch和数理逻辑学家W.Pitts 合作，以数学逻辑为研究手段，探讨了客观事件在神经网络的形式问题，在此基础上提出了神经元的数学模型，即MP（Mcculloch-PittsMcculloch-Pitts）模型。n 19601960年，威德罗和霍夫率先把神经网络
17、用于自动控制研究。n过度阶段（二十世纪六十年代初至七十年代）n M.MinskyM.Minsky和S.PapertS.Papert经过多年的潜心研究,于19691969年出版了影响深远的Perceptron一 书，从理论上证明了以单层感知机为代表的网络系统在某些能力方面的局限性。n 6060年代末期至8080年代中期，神经网络控制与整个神经网络研究一样，处于低潮n高潮阶段（二十世纪八十年代）n 19821982和19841984年，美国加州理工学院的生物物理学家，J.Hopfield在美国科学院院刊发表的两篇文章，有力地推动了人工神经网络的研究与应用，并引发了研究神经网络的一次热潮。n 808
18、0年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上n平稳发展阶段（二十世纪九十年代以后）人工神经网络的进展1.1.可以充分逼近任意复杂的非线性关系可以充分逼近任意复杂的非线性关系2.2.所有定量或定性的信息都等势分布贮存于所有定量或定性的信息都等势分布贮存于 网络内的各神经网络内的各神经元，故有很强的鲁棒性和容错性元，故有很强的鲁棒性和容错性3.3.采用并行分布处理方法，使得快速进行大量运算成为可能采用并行分布处理方法，使得快速进行大量运算成为可能4.4.可学习和自适应不知道或不
19、确定的系统可学习和自适应不知道或不确定的系统5.5.能够同时处理定量、定性知识。能够同时处理定量、定性知识。6.6.可以通过软件和硬件实现。可以通过软件和硬件实现。人工神经网络的特性人工神经网络人工神经网络 n直观理解直观理解 神经网络是一个并行和分布式的信息处理网络神经网络是一个并行和分布式的信息处理网络结构结构它一般由大量神经元组成它一般由大量神经元组成n每个神经元只有一个输出，可以连接到很多其他的每个神经元只有一个输出，可以连接到很多其他的神经元神经元n每个神经元输入有多个连接通道，每个连接通道对每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数应于一个连接权系数 n概念概念
20、人工神经网络是反映人脑结构及功能的一种抽人工神经网络是反映人脑结构及功能的一种抽象数学模型，是由大量神经元节点互连而成的象数学模型，是由大量神经元节点互连而成的复杂网络，用以模拟人类进行知识的表示与存复杂网络，用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为。储以及利用知识进行推理的行为。人工神经网络（人工神经网络（ANNANN）可以看成是以人工神经元）可以看成是以人工神经元为结点，用有向加权弧连接起来的有向图。在为结点，用有向加权弧连接起来的有向图。在此有向图中此有向图中，人工神经元人工神经元就是对就是对生物神经元生物神经元的的模拟，而模拟，而有向弧有向弧则是则是轴突轴突突触突触树
21、突树突对的模对的模拟。有向弧的拟。有向弧的权值权值表示相互连接的两个人工神表示相互连接的两个人工神经元间经元间相互作用的强弱相互作用的强弱。人工神经元模型 n通用模型通用模型n求和操作求和操作n激励函数激励函数fn激励函数的基本作用激励函数的基本作用控制输入对输出的激活作用控制输入对输出的激活作用对输入、输出进行函数转换对输入、输出进行函数转换将可能无限域的输入变换成指定的有限将可能无限域的输入变换成指定的有限范围内的输出范围内的输出 f f为输出变换函数，也叫激励函数，往往为输出变换函数，也叫激励函数，往往采用采用0 0、1 1二值函数或形函数，这三种函数二值函数或形函数，这三种函数都是连续
22、和非线性的，如下图。都是连续和非线性的，如下图。b.Sigmoidb.Sigmoid型激发函数称为西格莫伊德（型激发函数称为西格莫伊德（SigmoidSigmoid）函数，简称函数，简称S S型函数，其输入输出特性常用对数曲线型函数，其输入输出特性常用对数曲线或正切曲线等表示。这类曲线反映了神经元的饱和或正切曲线等表示。这类曲线反映了神经元的饱和特性。特性。S S型函数是最常用的激发函数，它便于应用梯型函数是最常用的激发函数，它便于应用梯度技术进行搜索求解。度技术进行搜索求解。a.a.阈值型阈值型对于这种模型，神经元没有内部状态，激发函数对于这种模型，神经元没有内部状态，激发函数 为一阶跃函数
23、，如上图（为一阶跃函数，如上图（a a）所示。这时，输出为：）所示。这时，输出为：c.c.双双曲曲正正切切函函数数（见见图图（c c）来来取取代代常常规规形形函函数数，因因为为形形函函数数的的输输出出均均为为正正值值，而而双双曲曲正正切切函函数数的的输输出出值值可可为为正正或或负负。双双曲曲正正切切函函数数如如下下式所示：式所示：人工神经网络结构人工神经网络结构n人工神经网络是具有下列特性的有向图人工神经网络是具有下列特性的有向图 n 对于每个节点对于每个节点i i 存在一个状态变量存在一个状态变量x xi i；n从节点从节点j j 至节点至节点i,i,存在一个连接权系数存在一个连接权系数w
24、wijij；n对于每个节点对于每个节点i i，存在一个阈值，存在一个阈值 i i；n对于每个节点对于每个节点 i i，定义一个变换函数，定义一个变换函数f fi i ；对于最一；对于最一般的情况，此函般的情况，此函 数取如下的形式数取如下的形式神经网络的基本特性和结构n神经元的模型确定之后，一个神经网络的神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及特性及能力主要取决于网络的拓扑结构及学习方法学习方法n人工神经网络连接的几种基本形式人工神经网络连接的几种基本形式前向网络前向网络 (a)(a)从输出到输入有反馈的前向网络从输出到输入有反馈的前向网络 (b)(b)n用来存
25、储某种模式序列用来存储某种模式序列层内互连前向网络层内互连前向网络 (c)(c)n限制层内同时动作的神经元；分类功能限制层内同时动作的神经元；分类功能相互结合型网络相互结合型网络 (d)(d)人工神经网络典型结构x1x2xny1y2ynx1x2xny1y2yna）b）x1x2xny1y2ynx1x2x3x4y1y2y3y4c）d）n人工神经网络最具有吸引力的特点是它的人工神经网络最具有吸引力的特点是它的学习能力。学习是神经网络研究的一个重学习能力。学习是神经网络研究的一个重要内容，神经网络的适应性是通过学习实要内容，神经网络的适应性是通过学习实现的现的.人工神经网络的学习过程就是对它人工神经网
26、络的学习过程就是对它的训练过程的训练过程.神经网络基本学习算法什么是学习？什么是学习？学习就是对信息进行编码学习就是对信息进行编码,其目的就是其目的就是通过向有限个例子（训练样本）的学习来通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。的规律（如函数形式）。当样本数据改变系统参数时，系统会对当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织的学习，在这些改变进行自适应或自组织的学习，在神经网络中表现为突触的改变。神经网络中表现为突触的改变。按突触修正假说，神经网络在拓扑结构按突触修正假说，神经网络在拓扑
27、结构固定时，其学习归结为连接权的变化。固定时，其学习归结为连接权的变化。主要学习算法n神经网络基本学习算法神经网络基本学习算法分为：分为：有师学习（监督学习）有师学习（监督学习）无师学习（非监督学习）无师学习（非监督学习）强化学习强化学习n有师学习有师学习 有师（监督）就是对每一个输入有师（监督）就是对每一个输入Xi,都假都假定我们已经知道它的期望输出定我们已经知道它的期望输出Yi,这个这个Yi可以可以理解为监督信号，也叫理解为监督信号，也叫“教师信号教师信号”。对每。对每一个输入一个输入Xi及其对其估计的期望输出及其对其估计的期望输出Yi，就，就构成了一个训练样本。根据这若干组训练样构成了一
28、个训练样本。根据这若干组训练样本本（Xi，Yi），），对人工神经网络进行训练，对人工神经网络进行训练，利用学习系统的误差（利用学习系统的误差（期望输出与实际输出期望输出与实际输出之差），不断校正学习系统的行为（即突触之差），不断校正学习系统的行为（即突触权值），直到误差满足要求，算法停止。有权值），直到误差满足要求，算法停止。有师学习算法主要有师学习算法主要有 规则、规则、BPBP算法、算法、LVQLVQ算算法等。法等。其关键之处，就是将教师信号加入到了其关键之处，就是将教师信号加入到了网络中网络中.n无师学习无师学习 无师学习不需要知道期望输出。在训练无师学习不需要知道期望输出。在训练过程中
29、，只要想神经网络提供输入模式，神过程中，只要想神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按照经网络就能够自动地适应连接权，以便按照相似特征把输入模式分组聚集。无师学习算相似特征把输入模式分组聚集。无师学习算法主要在自适应谐振理论法主要在自适应谐振理论ART、Kohonen等等自组织竞争型网络中采用。自组织竞争型网络中采用。n 强化学习强化学习 人类通常从与外界环境的交互中学习。人类通常从与外界环境的交互中学习。强化学强化学习技术是从控制理论、统计学、心理学等相关学科习技术是从控制理论、统计学、心理学等相关学科发展而来，最早可以追溯到巴甫洛夫的条件反射实发展而来，最早可以追溯到巴
30、甫洛夫的条件反射实验。验。所谓强化（所谓强化（reinforcement）学习是指从环境）学习是指从环境状态到行为映射的学习，以使系统行为从环境中获状态到行为映射的学习，以使系统行为从环境中获得的累积奖励值最大。我们并没有直接告诉主体要得的累积奖励值最大。我们并没有直接告诉主体要做什么或者要采取哪个动作做什么或者要采取哪个动作,而是主体通过看哪个动而是主体通过看哪个动作得到了最多的奖励来自己发现。主体的动作的影作得到了最多的奖励来自己发现。主体的动作的影响不只是立即得到的奖励，而且还影响接下来的动响不只是立即得到的奖励，而且还影响接下来的动作和最终的奖励。作和最终的奖励。主体主体主体主体强化学
31、习模型i:inputr:reward s:statea:action状态 sisi+1ri+1奖励 ri环境环境环境环境行为行为 aia0a1a2s0s1s2s3基本原理是：如果主体的某个行为策略导基本原理是：如果主体的某个行为策略导致环境正的奖赏（强化信号），那么主体致环境正的奖赏（强化信号），那么主体以后产生这个行为策略的趋势便会加强以后产生这个行为策略的趋势便会加强.n监督学习与非监督学习的区别：监督学习与非监督学习的区别：在监督学习中，假定我们知道每一输入对应的在监督学习中，假定我们知道每一输入对应的期望输出，并利用学习系统的误差，不断校正系统期望输出，并利用学习系统的误差，不断校正系
32、统的行为；的行为；在非监督学习中，我们不知道学习系统的期望在非监督学习中，我们不知道学习系统的期望输出输出。n监督学习与强化学习的区别：监督学习与强化学习的区别：p Supervised Learning Learn from examples provided by a knowledgable external supervisor.p Reinforcement Learning Learn from interaction learn from its own experience,and the objective is to get as much reward as possib
33、le.The learner is not told which actions to take,but instead must discover which actions yield the most reward by trying them.人工神经网络基本模型1.MP1.MP模型模型 MPMP模模型型属属于于一一种种阈阈值值元元件件模模型型，它它是是由由美美国国Mc Mc CullochCulloch和和PittsPitts提提出出的的最最早早神神经经元元模模型型之之一一。MPMP模模型型是是大大多多数数神神经经网网络络模模型型的的基础。基础。标准MP模型 w wij ij 代代表
34、表神神经经元元i i与与神神经经元元j j之之间间的的连连接接强强度度(模模拟拟生物神经元之间突触连接强度生物神经元之间突触连接强度)，称之为连接权；，称之为连接权；u ui i代表神经元代表神经元i i的活跃值，即神经元状态；的活跃值，即神经元状态；v vj j代表神经元代表神经元j j的输出，即是神经元的输出，即是神经元i i的一个输的一个输入；入；i i代表神经元代表神经元i i的阈值。的阈值。函数函数f f表达了神经元的输入输出特性。在表达了神经元的输入输出特性。在MPMP模型中，模型中，f f定义为阶跃函数：定义为阶跃函数：如果把阈值如果把阈值 i i看作为一个特殊的权值，看作为一个
35、特殊的权值，则可改写为则可改写为:其中，其中，w w0i 0i-i-i，v v0 01 1 为为用用连连续续型型的的函函数数表表达达神神经经元元的的非非线线性性变换能力，常采用变换能力，常采用s s型函数型函数:MPMP模模型型在在发发表表时时并并没没有有给给出出一一个个学学习习算算法法来来调调整整神神经经元元之之间间的的连连接接权权。但但是是，我我们们可可以以根根据据需需要要，采采用用一一些些常常见见的的算算法法来来调调整整神神经经元元连连接接权权，以以达达到到学学习习目目的的。下下面面介介绍绍的的HebbHebb学学习习规规则则就就是是一一个个常常见见学学习习算算法。法。HebbHebb学
36、习规则学习规则 神神经经网网络络具具有有学学习习功功能能。对对于于人人工工神神经经网网络络而而言言，这这种种学学习习归归结结为为神神经经元元连连接接权权的的变变化化。调调整整w wij ij的的原原则则为为：若若第第i i和和第第j j个个神神经经元元同同时时处处于于兴兴奋奋状状态态，则则它它们们之间的连接应当加强，即：之间的连接应当加强，即：wwij ijuui iv vj j 这这一一规规则则与与“条条件件反反射射”学学说说一一致致，并并已已得得到到神神经经细细胞学说的证实。胞学说的证实。是表示学习速率的比例常数。是表示学习速率的比例常数。2 2 感知器模型感知器模型 感感知知器器是是一一
37、种种早早期期的的神神经经网网络络模模型型，由由美美国国学学者者F.RosenblattF.Rosenblatt于于19571957年年提提出出.感感知知器器中中第第一一次次引引入入了了学学习习的的概概念念，使使人人脑脑所所具具备备的的学学习习功功能能在在基基于于符符号号处处理理的的数数学学到到了了一一定定程程度度的的模拟，所以引起了广泛的关注。模拟，所以引起了广泛的关注。n 简单感知器简单感知器 简简单单感感知知器器模模型型实实际际上上仍仍然然是是MPMP模模型型的的结结构构，但但是是它它通通过过采采用用监监督督学学习习来来逐逐步步增增强强模模式划分的能力，达到所谓学习的目的。式划分的能力，达
38、到所谓学习的目的。其结构如下图所示其结构如下图所示 感知器处理单元对感知器处理单元对n n个输入进行加权和操作即：个输入进行加权和操作即：其其中中，WWi i为为第第i i个个输输入入到到处处理理单单元元的的连连接接权权值值 为为阈值。阈值。f f取阶跃函数取阶跃函数.感知器在形式上与感知器在形式上与MPMP模型差不多，它模型差不多，它们之间的区别在于神经元间连接权的变化。们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。利用简单感知器就被赋予了学习的特性。利用简单感知器可以实现逻辑代数中的一些运算。器可以实现
39、逻辑代数中的一些运算。Y=f(w Y=f(w1 1x x1 1+w+w2 2x x2 2-)-)(1)“(1)“与与”运算。当取运算。当取w w1 1w w2 21 1，1.51.5时，上式完成逻辑时，上式完成逻辑“与与”的运算。的运算。(2)“(2)“或或”运算，运算，当取当取w wl lw w2 21 1，0.50.5时，上式完成时，上式完成逻辑逻辑“或或”的运算。的运算。(3)“(3)“非非”运算，运算，当取当取w wl l=-1=-1，w w2 20 0，-1-1时，完成逻时，完成逻辑辑“非非”的运算。的运算。与与许许多多代代数数方方程程一一样样，上上式式也也具具有有一一定定的的几几何
40、何意意义义。对对于于一一个个两两输输入入的的简简单单感感知知器器，每每个个输输入入取取值值为为0 0和和1 1，如如上上面面结结出出的的逻逻辑辑运运算算，所所有有输输入入样样本本有有四四个个，记记为为(x1(x1，x2)x2)：(0(0，0)0)，(0(0，1)1)，(1(1，0)0)，(1(1，1)1)，构构成成了了样样本本输输入入空空间间。例例如如，在在二二维维平平面面上上，对对于于“或或”运运算算，各各个个样样本的分布如下图所示。本的分布如下图所示。直线直线 1*x1*x1 1+1*x+1*x2 2-0.5-0.5 0 0将二维平面分为两部分，上部为激发区将二维平面分为两部分，上部为激发
41、区(y(y，=1=1，用，用表示表示)，下部为抑制区，下部为抑制区(y(y0 0，用，用表示表示)。nRoseblattRoseblatt已经证明，如果两类模式是线性可已经证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），分的（指存在一个超平面将它们分开），则算法一定收敛则算法一定收敛.n可以把感知器看作是可以把感知器看作是n n维实例空间（即点空维实例空间（即点空间）中的超平面决策面间）中的超平面决策面.n对于超平面一侧的实例，感知器输出对于超平面一侧的实例，感知器输出1 1，对，对于另一侧的实例，输出于另一侧的实例，输出-1.-1.基于神经网络的知识表示和推理基于神经网络的知识
42、表示和推理1 1、基于神经网络的知识表示、基于神经网络的知识表示 基于神经网络系统中知识的表示方法与传统人基于神经网络系统中知识的表示方法与传统人工智能系统中所用的方法（如产生式、框架、语工智能系统中所用的方法（如产生式、框架、语义网络等）完全不同，传统人工智能系统中所用义网络等）完全不同，传统人工智能系统中所用的方法是知识的显式表示，而神经网络中的知识的方法是知识的显式表示，而神经网络中的知识表示是一种隐式的表示方法。在这里，知识并不表示是一种隐式的表示方法。在这里，知识并不像产生式系统中独立地表示为每一条规则，而是像产生式系统中独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表
43、示。将某一问题的若干知识在同一网络中表示。n例如，在有些神经网络系统中，知识是用神经网例如，在有些神经网络系统中，知识是用神经网络所对应有向权图的邻接矩阵及阈值向量表示的。络所对应有向权图的邻接矩阵及阈值向量表示的。如对下图所示的异或逻辑的神经网络来说，其邻如对下图所示的异或逻辑的神经网络来说，其邻接矩阵为：接矩阵为：异或逻辑的神经网络表示 IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0 如果用产生工规则描述，则该网络代表下述如果用产生
44、工规则描述，则该网络代表下述的的4 4条规则：条规则：一般而言一般而言,ANN,ANN与经典计算方法相比并非优越与经典计算方法相比并非优越,只有当常规方只有当常规方法解决不了或效果不佳时法解决不了或效果不佳时ANNANN方法才能显示出其优越性。尤其对方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、如故障诊断、特征提取和预测等问题特征提取和预测等问题,ANN,ANN往往是最有利的工具。另一方面往往是最有利的工具。另一方面,ANNANN对处理大量原始数据而不能用规则或公式描述的问题对处理大量原始数据而不能用规则或公
45、式描述的问题,表现表现出极大的灵活性和自适应性。出极大的灵活性和自适应性。黑箱 下面讨论一个用于医疗诊断的例子。假设系统的下面讨论一个用于医疗诊断的例子。假设系统的诊断模型只有六种症状、两种疾病、三种治疗方案。诊断模型只有六种症状、两种疾病、三种治疗方案。对网络训练样本是选择一批合适的病人并从病历中对网络训练样本是选择一批合适的病人并从病历中采集如下信息：采集如下信息：（1 1）症状：对每一症状只采集有、无及没有记）症状：对每一症状只采集有、无及没有记录这三种信息。录这三种信息。（2 2）疾病：对每一疾病也只采集有、无及没有）疾病：对每一疾病也只采集有、无及没有记录这三种信息。记录这三种信息。
46、（3 3）治疗方案：对每一治疗方案只采集是否采）治疗方案：对每一治疗方案只采集是否采用这两种信息。用这两种信息。n其中，对其中，对“有有”、“无无”、“没有记录没有记录”分别用分别用+1+1，-1-1，0 0表示。这样对每一个病人就可以构成一个训表示。这样对每一个病人就可以构成一个训练样本。练样本。n假设根据症状、疾病及治疗方案间的因果关系以及假设根据症状、疾病及治疗方案间的因果关系以及通过训练本对网络的训练得到了下图所示的神经网通过训练本对网络的训练得到了下图所示的神经网络。络。n其中其中,x,x1 1,x,x2 2,，x x6 6 为症状；为症状；x x7 7,x,x8 8 为疾病名；为疾
47、病名；x x9 9,x,x1010,x x1111为治疗方案；为治疗方案；x xa a,x,xb b,x,xc c是附加层，这是由是附加层，这是由 于学习算于学习算法的需要法的需要 而增加的。在此网络中，而增加的。在此网络中，x x1 1，x x2 2,，x x6 6是输入层；是输入层；x x9 9,x,x1010,x,x1111是输出层；两者之间以疾病名是输出层；两者之间以疾病名作为中间层。作为中间层。一个医疗诊断系统的神经网络模型一个医疗诊断系统的神经网络模型n下面对图加以进一步说明：下面对图加以进一步说明：a.a.这是一个带有正负权值这是一个带有正负权值w wij ij 的前向网络，的前
48、向网络，由由w wij ij可构成相应的学习矩阵。当可构成相应的学习矩阵。当ijij时，时，w wij ij =0=0；当；当ijij且节点且节点i i之间不存在连接孤时，之间不存在连接孤时，w wij ij 也为也为0 0；其余，；其余，w wij ij为图中连接弧上所标出为图中连接弧上所标出的数据。这个学习矩阵可用来表示相应的的数据。这个学习矩阵可用来表示相应的神经网络。神经网络。b.b.神经元取值为神经元取值为+1+1，0 0，-1-1，特性函数为一离，特性函数为一离散型的阈值函数，其计算公式为：散型的阈值函数，其计算公式为：其其中中，X Xj j 表表示示节节点点j j 输输入入的的加
49、加权权和和；x xj j 为为节节点点j j的的输输出出，为为计计算算方方便便，式式中中增增加加了了 w w0j 0jx x0 0 项项，x x0 0 的的值值为为常常数数1 1，w w0j 0j 的的值值标标在在节节点点的的圆圆圈圈中中，它它实实际际上上是是-，是是节节点点j j的的阈阈值。值。c.c.图中连接弧上标出的图中连接弧上标出的w wij ij值是根据一组值是根据一组训练样本，通过某种学习算法（如训练样本，通过某种学习算法（如BPBP算法）算法）对网络进行对网络进行 训练得到的。这就是神经网络训练得到的。这就是神经网络系统所进行的知识获取。系统所进行的知识获取。d.d.由全体由全体
50、w wij ij值及各种症状、疾病、治疗值及各种症状、疾病、治疗方案名所构成的集合形成了该疾病诊治系方案名所构成的集合形成了该疾病诊治系统的知识库。统的知识库。n2.2.基于神经网络的推理基于神经网络的推理 基于神经网络的推理是通过网络计算实现基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。入，通过网络计算最终得到输出结果。例例如如，对对上上面面给给出出的的诊诊治治疾疾病病的的例例子子，若若用用户户提提供供的的证证据据是是 x1=1x1=1（即病人有（即病人有 这个症状），这个症状），x2=x3=x2