人工智能章计算智能精.ppt

《人工智能章计算智能精.ppt》由会员分享，可在线阅读，更多相关《人工智能章计算智能精.ppt（111页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、人工智能章计算智能第1页，本讲稿共111页4.1.1 什么是计算智能什么是计算智能概念解释概念解释 计算智能计算智能（Computational Intelligence，CI）目前还没有一个统一的的定义，使用较多的是）目前还没有一个统一的的定义，使用较多的是美国科学家贝慈德克（美国科学家贝慈德克（J.C.Bezdek）从计算智能系统角度所给出的定义。）从计算智能系统角度所给出的定义。从计算智能系统角度从计算智能系统角度 如果一个系统仅处理低层的数值数据，含有模式识别部件，没有使用人工智能如果一个系统仅处理低层的数值数据，含有模式识别部件，没有使用人工智能意义上的知识，且具有计算适应性、计算容

2、错力、接近人的计算速度和近似于人意义上的知识，且具有计算适应性、计算容错力、接近人的计算速度和近似于人的误差率这的误差率这4个特性，则它是计算智能的。个特性，则它是计算智能的。从学科范畴看从学科范畴看 计算智能是在神经网络（计算智能是在神经网络（Neural Networks,NN）、进化计算（）、进化计算（Evolutionary Computation,EC）及模糊系统（）及模糊系统（Fuzzy System,FS）这）这3个领域发展相对成熟的基础上形个领域发展相对成熟的基础上形成的一个统一的学科概念。成的一个统一的学科概念。2第2页，本讲稿共111页4.1.1 什么是计算智能什么是计算智

3、能 研究领域研究领域神经网络神经网络 是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行互联，是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。构造人工神经网络系统去模拟生物神经系统的智能机理的。进化计算进化计算 是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。模拟人类智能的进化规律的。模糊计算模糊计算 是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能

4、力的认识，是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。用模糊逻辑去模拟人类的智能行为的。综合解释综合解释 从贝慈德克的定义和上述学科范畴可以看出以下两点：从贝慈德克的定义和上述学科范畴可以看出以下两点：第一，第一，计算智能是借鉴仿生学的思想，基于生物神经系统的结构、进化和认知计算智能是借鉴仿生学的思想，基于生物神经系统的结构、进化和认知对自然智能进行模拟的。对自然智能进行模拟的。第二，第二，计算智能是一种以模型（计算模型、数学模型）为基础，以分布、并行计算为特计算智能是一种以模型（计算模型、数学模型）为基础，以分布、并行计算为特

5、征的自然智能模拟方法。征的自然智能模拟方法。3第3页，本讲稿共111页4.1.2 计算智能的产生与发展计算智能的产生与发展 1992年，贝慈德克在年，贝慈德克在Approximate Reasoning学报上首次学报上首次 提出了提出了“计算智能计算智能”的概念。的概念。1994年年6月底到月底到7月初，月初，IEEE在美国佛罗里达州的奥兰多市召开了首届国际计算智在美国佛罗里达州的奥兰多市召开了首届国际计算智能大会能大会(简称简称WCCI94)。会议第一次将神经网络、进化计算和模糊系统这三个领域合。会议第一次将神经网络、进化计算和模糊系统这三个领域合并在一起，形成了并在一起，形成了“计算智能计

6、算智能”这个统一的学科范畴。这个统一的学科范畴。在此之后，在此之后，WCCI大会就成了大会就成了IEEE的一个系列性学术会议，每的一个系列性学术会议，每4年举办一次。年举办一次。1998年年5月，在美国阿拉斯加州的安克雷奇市又召开了第月，在美国阿拉斯加州的安克雷奇市又召开了第2届计算智能国际会议届计算智能国际会议WCCI98。2002年年5月，在美国州夏威夷州首府火奴鲁鲁市又召开了第月，在美国州夏威夷州首府火奴鲁鲁市又召开了第3届计算智能国际会议届计算智能国际会议WCCI02。此外，。此外，IEEE还出版了一些与计算智能有关的刊物。还出版了一些与计算智能有关的刊物。目前，计算智能的发展得到了国

7、内外众多的学术组织和研究机构的高度重视，并已成为智能目前，计算智能的发展得到了国内外众多的学术组织和研究机构的高度重视，并已成为智能科学技术一个重要的研究领域。科学技术一个重要的研究领域。4第4页，本讲稿共111页4.1.3 计算智能与人工智能的关系计算智能与人工智能的关系 目前，对计算智能与人工智能的关系有目前，对计算智能与人工智能的关系有2种观点，一种认为计算智能是人工智能的种观点，一种认为计算智能是人工智能的一个子集，另一种认为计算智能和人工智能是不同的范畴。一个子集，另一种认为计算智能和人工智能是不同的范畴。第一种观点第一种观点的代表人物是贝慈德克。他把智能（的代表人物是贝慈德克。他把

8、智能（Intelligence，I）和神经网络（）和神经网络（Neural Network，NN）都分为）都分为计算的计算的（Computational，C）、）、人工的人工的（Artificial，A）和）和生物的生物的（Biological,B）3个层次，并以个层次，并以模式识别模式识别（PR）为例，给出了下图所示的智能的层次）为例，给出了下图所示的智能的层次结构。结构。在该图中，在该图中，底层是计算智能（底层是计算智能（CI），它通过数值计算来实现，其基础是，它通过数值计算来实现，其基础是CNN；中间层中间层是人工智能（是人工智能（AI），它通过人造的符号系统实现，其基础是，它通过人造的

9、符号系统实现，其基础是ANN；顶层是生物智能顶层是生物智能（BI），它通过生物神经系统来实现，其基础是，它通过生物神经系统来实现，其基础是BNN。按照贝慈德克的观点，按照贝慈德克的观点，CNN是指按生物激励模型构造的是指按生物激励模型构造的NN，ANN是指是指CNN+知识，知识，BNN是指人脑，即是指人脑，即ANN包含了包含了CNN，BNN又包含了又包含了ANN。对智能也一样，贝慈德克认为。对智能也一样，贝慈德克认为AI包含了包含了CI，BI又包含了又包含了AI，即计算智能是人工智能的一个子集。，即计算智能是人工智能的一个子集。5第5页，本讲稿共111页CNNCPRCIANNAPRAIBNNB

10、PRBI人类知识人类知识(+)传传 感感 输输入入知识知识(+)传传 感感 数数据据计算计算(+)传感器传感器B生物的生物的A符号的符号的C数值的数值的复复杂杂性性复杂性复杂性输入输入层次层次 贝慈德克的智能的贝慈德克的智能的3个层次个层次4.1.3 计算智能与人工智能的关系计算智能与人工智能的关系6第6页，本讲稿共111页 第二种观点第二种观点是大多数学者所持有的观点，其代表人物是艾伯哈特（是大多数学者所持有的观点，其代表人物是艾伯哈特（R.C.Eberhart）。）。他们认为：他们认为：虽然人工智能与计算智能之间有重合，但计算智能是一个全新虽然人工智能与计算智能之间有重合，但计算智能是一个

11、全新的学科领域，无论是生物智能还是机器智能，计算智能都是其最核心的的学科领域，无论是生物智能还是机器智能，计算智能都是其最核心的部分，而人工智能则是外层。部分，而人工智能则是外层。事实上，事实上，CI和传统的和传统的AI只是智能的两个不同层次，各自都有自身的优势和局限性，只是智能的两个不同层次，各自都有自身的优势和局限性，相互之间只应该互补，而不能取代。相互之间只应该互补，而不能取代。大量实践证明，只有把大量实践证明，只有把AI和和CI很好地结合起来，才能更好地模拟人类智能，很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。才是智能科学技术发展的正确方向。4.1.3 计算

12、智能与人工智能的关系计算智能与人工智能的关系7第7页，本讲稿共111页 4.1 概述概述 4.2 神经计算神经计算 4.2.1 神经计算基础神经计算基础 4.2.2 人工神经网络的互连结构人工神经网络的互连结构 4.2.3 人工神经网络的典型模型人工神经网络的典型模型 4.3 进化计算进化计算 4.4 模糊计算模糊计算 4.5 粗糙集粗糙集第第4章章 计算智能计算智能 神经计算或叫神经网络，是计算智能的重要基础和核心。神经计算或叫神经网络，是计算智能的重要基础和核心。基于神经网络的连接学习机制放到机器学习部分讨论。基于神经网络的连接学习机制放到机器学习部分讨论。8第8页，本讲稿共111页4.2

13、.1 神经计算基础神经计算基础 生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。统的简化、抽象和模拟，具有人脑功能的许多基本特征。1.生物神经系统简介生物神经系统简介 (1)生物神经元的结构生物神经元的结构 (2)生物神经细胞及工作方式生物神经细胞及工作方式 (3)突触联结突触联结 (4)突触传递方式突触传递方式2.人工神经网络简介人工神经网络简介9第9页，本讲稿共111页结构：结构：胞体胞体 轴突轴突 树突树突 突触突触长度：长度：最长最长1米米状态：状态：抑制抑制 兴奋

14、兴奋细胞体细胞体轴突轴突树突树突突触突触1.生物神经系统简介生物神经系统简介生物神经元的结构生物神经元的结构10第10页，本讲稿共111页细胞结构细胞结构 细胞膜，细胞质，细胞核细胞膜，细胞质，细胞核神经递质传递神经递质传递 乙酰胆碱、儿茶酚胺类、乙酰胆碱、儿茶酚胺类、氨基酸等氨基酸等信号跨膜转导信号跨膜转导 离子通道离子通道基本状态：基本状态：抑制：抑制：-70毫伏毫伏 兴奋：兴奋：+40 毫伏毫伏静息膜电位：静息膜电位：-70毫伏毫伏动作电位：动作电位：+40 毫伏毫伏工作方式：工作方式：刺激叠加刺激叠加 瞬间冲动瞬间冲动细胞膜细胞膜细胞质细胞质细胞核细胞核1.生物神经系统简介生物神经系统

15、简介神经细胞及工作方式神经细胞及工作方式11第11页，本讲稿共111页1.生物神经系统简介生物神经系统简介突触联结方式突触联结方式12第12页，本讲稿共111页1.生物神经系统简介生物神经系统简介突触传导突触传导突触后膜突触后膜突触间隙突触间隙突触前膜突触前膜神经微管神经微管线粒体线粒体突触小泡突触小泡存储颗粒存储颗粒 突触传导由电变化和化学突触传导由电变化和化学变化两个过程完成。变化两个过程完成。当一个神经冲动传到神经当一个神经冲动传到神经末梢时，促使小泡前移与突末梢时，促使小泡前移与突触前膜融合，并在融合处出触前膜融合，并在融合处出现裂口，使其所含神经递质现裂口，使其所含神经递质释放，释放

16、出来的神经递质释放，释放出来的神经递质通过突触前膜的张口进入突通过突触前膜的张口进入突出间隙。出间隙。进入突触间隙的神经递质进入突触间隙的神经递质又迅速作用于突触后膜，改又迅速作用于突触后膜，改变突触后膜的通透性，引起变突触后膜的通透性，引起突触后成分中的电位变化，突触后成分中的电位变化，实现神经冲动的传递。实现神经冲动的传递。由于神经末梢所释放的递由于神经末梢所释放的递质不同（兴奋作用和抑制作质不同（兴奋作用和抑制作用），因此突触可分为兴奋用），因此突触可分为兴奋性突触和抑制性突触。性突触和抑制性突触。13第13页，本讲稿共111页4.2.1 神经计算基础神经计算基础 生物神经系统是人工神经

17、网络的基础。人工神经网络是对人脑神经系统的简化、抽生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。象和模拟，具有人脑功能的许多基本特征。1.生物神经系统简介生物神经系统简介2.人工神经网络简介人工神经网络简介 (1)人工神经元的结构人工神经元的结构 (2)常用的人工神经元模型常用的人工神经元模型 (3)人工神经网络及其分类人工神经网络及其分类 14第14页，本讲稿共111页x1x2xnw1w2wny MP模型是美国心理学家麦克洛奇模型是美国心理学家麦克洛奇(W.McM ulloch)和数理逻辑学家皮茨和数理逻辑学家皮茨(W.Pitt

18、s)根据生物神经元的功能和结构，于根据生物神经元的功能和结构，于1943年提出的一种将神经元看作二进制阈值元年提出的一种将神经元看作二进制阈值元件的简单模型。件的简单模型。图中的图中的x1,x2,xn表示某一神经元的表示某一神经元的n个输入；个输入；wi表示第表示第i个输入的连接强度，称为个输入的连接强度，称为连接权值；连接权值；为神经元的阈值；为神经元的阈值；y为神经元的输出。为神经元的输出。2.人工神经网络简介人工神经网络简介人工神经元的结构人工神经元的结构图图4.3 MP神经元模型神经元模型 人工神经元是一个具有多输入，单输出的非线性器件。其输入为：人工神经元是一个具有多输入，单输出的非

19、线性器件。其输入为：其输出为：其输出为：15第15页，本讲稿共111页 根据功能函数的不同，可得不同的神经元模型。根据功能函数的不同，可得不同的神经元模型。阈值阈值型型(Threshold)这种模型的神经元没有内部状态，作用函数这种模型的神经元没有内部状态，作用函数f是一个阶跃函是一个阶跃函数，他表示激活值数，他表示激活值和输出之间的关系。和输出之间的关系。分段线性强饱和型分段线性强饱和型(Linear Saturation)这种模型又称为伪线性，其输入这种模型又称为伪线性，其输入/输出之间在一定范围内满输出之间在一定范围内满足线性关系，一直延续到输出为最大值足线性关系，一直延续到输出为最大值

20、1为止。但当达到最大为止。但当达到最大值后，输出就不再增。值后，输出就不再增。S型型(Sibmoid)这是一种连续的神经元模型，其输入输出特性常用指数、这是一种连续的神经元模型，其输入输出特性常用指数、对数或双曲正切等对数或双曲正切等S型函数表示。它反映的是神经元的饱和特型函数表示。它反映的是神经元的饱和特性性.子阈累积型子阈累积型(Subthreshold Summation)也是一个非线性函数，当产生的激活值超过也是一个非线性函数，当产生的激活值超过T值时，该神经值时，该神经元被激活产生个反响。在线性范围内，系统的反响是线性的。元被激活产生个反响。在线性范围内，系统的反响是线性的。f()1

21、T12.人工神经网络简介人工神经网络简介常用的人工神经元模型常用的人工神经元模型f()100f()10f()016第16页，本讲稿共111页 人工神经网络是一种对人工神经元进行互联所形成的网络，它是对生物神经网络的模拟。反人工神经网络是一种对人工神经元进行互联所形成的网络，它是对生物神经网络的模拟。反映的是神经元的饱和特性映的是神经元的饱和特性.2.人工神经网络简介人工神经网络简介人工神经网络及其分类人工神经网络及其分类人工神经网络的概念人工神经网络的概念人工神经网络的分类人工神经网络的分类按学习方法按学习方法前馈网络前馈网络反馈网络反馈网络按拓扑结构按拓扑结构有导师指导有导师指导无导师指导无

22、导师指导按网络性能按网络性能连续型网络连续型网络离散型网络离散型网络17第17页，本讲稿共111页4.2.2 人工神经网络的互联结构人工神经网络的互联结构 人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接模式，它是构造神经网人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接模式，它是构造神经网络的基础，也是神经网络诱发偏差的主要来源。从互连结构的角度：络的基础，也是神经网络诱发偏差的主要来源。从互连结构的角度：1.前馈网络前馈网络2.反馈网络反馈网络单层前馈网络单层前馈网络 多层前馈网络多层前馈网络 单层反馈网络单层反馈网络多层反馈网络多层反馈网络仅含输入层和输出层，

23、且只有输出层仅含输入层和输出层，且只有输出层的神经元是可计算节点的神经元是可计算节点 除拥有输入、输出层外，还至少含有除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前向网络一个、或更多个隐含层的前向网络 指不拥有隐含层的反馈网络指不拥有隐含层的反馈网络 指拥有隐含层的反馈网络指拥有隐含层的反馈网络（可含有反馈联结）（可含有反馈联结）（只包含前向联结）（只包含前向联结）18第18页，本讲稿共111页 单层前馈网络单层前馈网络是指那种只拥有单层计算节点的前向网络。它仅含有输入层和输是指那种只拥有单层计算节点的前向网络。它仅含有输入层和输出层，且只有输出层的神经元是可计算节点，如下图所示出层

24、，且只有输出层的神经元是可计算节点，如下图所示x1X2X3xny1Y2ym权值权值wij输出层输出层输入层输入层图图4.8 单层前馈网络结构单层前馈网络结构1.前馈网络前馈网络单层前馈网络单层前馈网络(1/3)其中，输入向量为其中，输入向量为X=(x1,x2,xn)；输出向量为；输出向量为Y=(y1,y2,ym)；输入层各个输入到；输入层各个输入到相应神经元的连接权值分别是相应神经元的连接权值分别是wij，i=1,2,.,n，j=1,2,.,m。19第19页，本讲稿共111页 若假设各神经元的阈值分别是若假设各神经元的阈值分别是j，j=1,2,m，则各神经元的输出，则各神经元的输出yj,j=1

25、,2,.,m分分别为：别为：1.前馈网络前馈网络单层前馈网络单层前馈网络(2/3)其中，由所有连接权值其中，由所有连接权值wij构成的连接权值矩阵构成的连接权值矩阵W为：为：在实际应用中，该矩阵是通过大量的训练示例学习而形成的。在实际应用中，该矩阵是通过大量的训练示例学习而形成的。20第20页，本讲稿共111页 多层前馈网络多层前馈网络是指那种除拥有输入、输出层外，还至少含有一个、或更多个隐含层的是指那种除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前馈网络。前馈网络。隐含层是指由那些既不属于输入层又不属于输出层的神经元所构成的处理层隐含层是指由那些既不属于输入层又不属于输出层的神经元

26、所构成的处理层,也被称为中间层。也被称为中间层。隐含层的作用是通过对输入层信号的加权处理，将其转移成更能被输出层接受的形式。隐含层的作用是通过对输入层信号的加权处理，将其转移成更能被输出层接受的形式。x1X2Xny1Ym隐含层隐含层输出层输出层输入层输入层图图4.9 多层前馈网络结构多层前馈网络结构权值权值权值权值1.前馈网络前馈网络多层前馈网络多层前馈网络(3/3)多层前馈网络的输入层的输出向量是第一隐含层的输入信号，而第一隐含层的输出多层前馈网络的输入层的输出向量是第一隐含层的输入信号，而第一隐含层的输出则是第二隐含层的输入信号，以此类推，直到输出层。则是第二隐含层的输入信号，以此类推，直

27、到输出层。多层前馈网络的典型代表是多层前馈网络的典型代表是BP网络。网络。21第21页，本讲稿共111页2.反馈经网络反馈经网络 反馈网络是指允许采用反馈联结方式所形成的神经网络。所谓反馈联结方式反馈网络是指允许采用反馈联结方式所形成的神经网络。所谓反馈联结方式是指一个神经元的输出可以被反馈至同层或前层的神经元。是指一个神经元的输出可以被反馈至同层或前层的神经元。反馈网络和前向网络不同：反馈网络和前向网络不同：前向网络前向网络属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前的输出，因此不具有的输出，因此不具有“短期记忆

28、短期记忆”的性质。的性质。反馈网络反馈网络则不同，它的每个神经元的输入都有可能包含有该神经元先前则不同，它的每个神经元的输入都有可能包含有该神经元先前输出的反馈信息，即一个神经元的输出是由该神经元当前的输入和先前输出的反馈信息，即一个神经元的输出是由该神经元当前的输入和先前的输出这两者来决定的，这就有点类似于人类的短期记忆的性质。的输出这两者来决定的，这就有点类似于人类的短期记忆的性质。反馈网络的典型例子是后面将要介绍的反馈网络的典型例子是后面将要介绍的Hopfield网络网络 22第22页，本讲稿共111页人工神经网络模型人工神经网络模型 人工神经网络模型是指对网络结构、联结权值和学习能力的

29、总括。常用的网络模型已有人工神经网络模型是指对网络结构、联结权值和学习能力的总括。常用的网络模型已有数十种。例如：数十种。例如：传统的感知机模型；具有误差反向传播功能的反向传播网络模型；采用多变量插值的径向基传统的感知机模型；具有误差反向传播功能的反向传播网络模型；采用多变量插值的径向基函数网络模型；建立在统计学习理论基础上的支撑向量机网络模型；采用反馈联接方式的反馈函数网络模型；建立在统计学习理论基础上的支撑向量机网络模型；采用反馈联接方式的反馈网络模型；基于模拟退火算法的随机网络模型。网络模型；基于模拟退火算法的随机网络模型。重点讨论重点讨论 1.感知器（感知器（Perceptron）模型

30、）模型 2.反向传播（反向传播（BP）模型）模型 3.反馈网络（反馈网络（Hopfield）模型）模型4.2.3 人工神经网络的典型模型人工神经网络的典型模型23第23页，本讲稿共111页 感知器感知器是美国学者罗森勃拉特（是美国学者罗森勃拉特（Rosenblatt）于）于1957年为研究大脑的存储、年为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，其拓扑结构学习和认知过程而提出的一类具有自学习能力的神经网络模型，其拓扑结构是一种分层前向网络。它包括：单层感知器和多层感知器。是一种分层前向网络。它包括：单层感知器和多层感知器。单层感知器单层感知器是一种只具有单层可调节

31、连接权值神经元的前向网络，这些神经元构是一种只具有单层可调节连接权值神经元的前向网络，这些神经元构成了单层感知器的输出层，是感知器的可计算节点。成了单层感知器的输出层，是感知器的可计算节点。在单层感知器中，每个可计算节点都是一个线性阈值神经元。当输入信息在单层感知器中，每个可计算节点都是一个线性阈值神经元。当输入信息的加权和大于或等于阈值时，输出为的加权和大于或等于阈值时，输出为1，否则输出为，否则输出为0或或-1。单层感知器的输出层的每个神经元都只有一个输出，且该输出仅与本神经元的输入单层感知器的输出层的每个神经元都只有一个输出，且该输出仅与本神经元的输入及联接权值有关，而与其他神经元无关。

32、及联接权值有关，而与其他神经元无关。1.感知器模型感知器模型单层单层 感知器感知器(1/7)24第24页，本讲稿共111页单层感知器的结构如下图单层感知器的结构如下图x1x2xny1ym输入层输入层输出层输出层权值权值 wij输入向量为输入向量为X=(x1,x2,xn)；输出向量为输出向量为Y=(y1,y2,ym)；输入层各个输入到相应神经元的连接权值输入层各个输入到相应神经元的连接权值分别是分别是wij，i=1,2,.,n，j=1,2,.,m。若假设各神经元的阈值分别是若假设各神经元的阈值分别是j，j=1,2,m，则各神经元的输出，则各神经元的输出yj,j=1,2,.,m分别为分别为 其中，

33、由所有连接权值其中，由所有连接权值wji构成的连构成的连接权值矩阵接权值矩阵W为：为：在实际应用中，该矩阵是通过大量的训在实际应用中，该矩阵是通过大量的训练示例学习而形成的练示例学习而形成的1.感知器模型感知器模型单层感知器单层感知器(2/7)25第25页，本讲稿共111页 使用感知器的主要目的是为了对外部输入进行使用感知器的主要目的是为了对外部输入进行分类分类。罗森勃拉特已经证明，如果外部输入是线性可分的（指存在一个超平面可以将它们罗森勃拉特已经证明，如果外部输入是线性可分的（指存在一个超平面可以将它们分开），则单层感知器一定能够把它划分为两类。其判别超平面由如下判别式确定：分开），则单层感

34、知器一定能够把它划分为两类。其判别超平面由如下判别式确定：1.感知器模型感知器模型单层感知器单层感知器(3/7)作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知器可以很作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知器可以很好地实现好地实现“与与”、“或或”、“非非”运算，但却不能解决运算，但却不能解决“异或异或”问题。问题。26第26页，本讲稿共111页例例4.1“与与”运算（运算（x1x2）(0,0)(1,1)(0,1)(1,0)图图4.10 与运算问题图示与运算问题图示输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1x2w1*x1+w2*x2-

35、=0 000w1*0+w2*0-0 0 010w1*0+w2*1-0 w2 100w1*1+w2*0-0 w1 111w1*1+w2*1-0 w1+w2 可以证明此表有解，例如取可以证明此表有解，例如取w1=1，w2=1，=1.5，其分类结果如右图所示。，其分类结果如右图所示。其中，输出为其中，输出为1的用实心圆，输出为的用实心圆，输出为0的用空心圆。后的用空心圆。后面约定相同。面约定相同。1.感知器模型感知器模型单层感知器单层感知器(4/7)27第27页，本讲稿共111页例例4.2“或或”运算（运算（x1x2）输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1x2w1*x1+w2*x2

36、-=0 000w1*0+w2*0-0 0 011w1*0+w2*1-0 w2 101w1*1+w2*0-0 w1 111w1*1+w2*1-0 w1+w2 此表也有解，例如取此表也有解，例如取w1=1，w2=1，=0.5，其分类结果如右图所示。其分类结果如右图所示。(0,1)(0,0)(1,0)图图4.11 或运算问题图示或运算问题图示(1,1)1.感知器模型感知器模型单层感知器单层感知器(5/7)28第28页，本讲稿共111页例例4.3“非非”运算（运算（x1）输入输入输出输出超平面超平面阈值条件阈值条件x1x1w1*x1-=0 01w1*0-0 0 10w1*1 w1 此表也有解，例如取此

37、表也有解，例如取w1=-1，=-0.5，其分，其分类结果如右图所示。类结果如右图所示。图图4.12 非运算问题图示非运算问题图示011.感知器模型感知器模型单层感知器单层感知器(6/7)29第29页，本讲稿共111页例例4.4“异或异或”运算（运算（x1 XOR x2）输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1 XOR x2w1*x1+w2*x2-=0 000w1*0+w2*0-0 0 011w1*0+w2*1-0 w2 101w1*1+w2*0-0 w1 110w1*1+w2*1-w1+w2 此表无解，即无法找到满足条件的此表无解，即无法找到满足条件的w1、w2和和，如右图所示

38、。因为异或问题是一个非线性可分，如右图所示。因为异或问题是一个非线性可分问题，需要用多层感知器来解决。问题，需要用多层感知器来解决。(0,1)(0,0)(1,0)图图4.13 异或运算问题图示异或运算问题图示(1,1)1.感知器模型感知器模型单层感知器单层感知器(77)30第30页，本讲稿共111页 (2)多层感知器多层感知器 多层感知器是通过在单层感知器的输入、输出层之间加入一层或多层处理单元所多层感知器是通过在单层感知器的输入、输出层之间加入一层或多层处理单元所构成的。其拓扑结构与图构成的。其拓扑结构与图5.9所示的多层前向网络相似，差别也在于其计算节点的连所示的多层前向网络相似，差别也在

39、于其计算节点的连接权值是可变的。接权值是可变的。多层感知器的输入与输出之间是一种高度非线性的映射关系，如图多层感知器的输入与输出之间是一种高度非线性的映射关系，如图4.9所示所示的多层前向网络，若采用多层感知器模型，则该网络就是一个从的多层前向网络，若采用多层感知器模型，则该网络就是一个从n维欧氏空维欧氏空间到间到m维欧氏空间的非线性映射。因此，多层感知器可以实现非线性可分问维欧氏空间的非线性映射。因此，多层感知器可以实现非线性可分问题的分类。例如，对题的分类。例如，对“异或异或”运算，用图运算，用图4.14所示的多层感知器即可解决。所示的多层感知器即可解决。1.感知器模型感知器模型多层多层

40、感知器感知器(1/2)31第31页，本讲稿共111页x11y=x1 XOR x2x1X2x121-1111-1输入层输入层隐层隐层输出层输出层权值权值权值权值图图4.14“异或异或”问题的多层感知器问题的多层感知器阈值阈值0.5阈值阈值-1.5阈值阈值1.5(0,1)(0,0)(1,0)图图4.15异或问题的解决异或问题的解决(1,1)在图在图4.14中，隐层神中，隐层神经元经元x11所确定的直线方所确定的直线方程为程为 它可以识别一个半它可以识别一个半平面。隐层神经元平面。隐层神经元x12所所确定的直线方程为确定的直线方程为它也可以识别一个半平它也可以识别一个半平面。面。输出层神经元所确定的

41、直线方程为输出层神经元所确定的直线方程为 它相当于对隐层神经元它相当于对隐层神经元x11和和x12的输出作的输出作“逻辑逻辑与与”运算，因此可识别由隐层已识别的两个半平面的运算，因此可识别由隐层已识别的两个半平面的交集所构成的一个凸多边形，如图交集所构成的一个凸多边形，如图4.15所示。所示。1.感知器模型感知器模型多层多层 感知器感知器(2/2)32第32页，本讲稿共111页 误差反向传播误差反向传播(Error Back Propagation)网络通常简称为网络通常简称为BP(Back Propagation)网络，是网络，是由美国加州大学的鲁梅尔哈特和麦克莱兰在研究并行分布式信息处理方

42、法，探索人类认知由美国加州大学的鲁梅尔哈特和麦克莱兰在研究并行分布式信息处理方法，探索人类认知微结构的过程中，于微结构的过程中，于1985年提出的一种网络模型。年提出的一种网络模型。BP网络的网络拓扑结构是多层前向网络，如图网络的网络拓扑结构是多层前向网络，如图4.16所示。在所示。在BP网络中，同层节点网络中，同层节点之间不存在相互连接，层与层之间多采用全互连方式，且各层的连接权值可调。之间不存在相互连接，层与层之间多采用全互连方式，且各层的连接权值可调。BP网网络实现了明斯基的多层网络的设想，是当今神经网络模型中使用最广泛的一种。络实现了明斯基的多层网络的设想，是当今神经网络模型中使用最广

43、泛的一种。y1y2ymx1x2xn输出层输出层隐含层隐含层输入层输入层权可调权可调权可调权可调图图4.16 一个多层一个多层BP网络的结构网络的结构2.BP网络模型网络模型模型结构模型结构33第33页，本讲稿共111页对对BPBP网络需说明以下两点：网络需说明以下两点：第一，第一，BPBP网络的每个处理单元均为非线性输入网络的每个处理单元均为非线性输入/输出关系，其作用函数通常采用的输出关系，其作用函数通常采用的是可微的是可微的SigmoidSigmoid函数，如：函数，如：2.BP网络模型网络模型模型说明模型说明 第二，第二，BP网络的学习过程是由工作信号的正向传播和误差信号的反向传播组网络

44、的学习过程是由工作信号的正向传播和误差信号的反向传播组成的。所谓正向传播，是指输入模式经隐层到输出层，最后形成输出模式；所成的。所谓正向传播，是指输入模式经隐层到输出层，最后形成输出模式；所谓误差反向传播，是指从输出层开始逐层将误差传到输入层，并修改各层联接谓误差反向传播，是指从输出层开始逐层将误差传到输入层，并修改各层联接权值，使误差信号为最小的过程权值，使误差信号为最小的过程。34第34页，本讲稿共111页 Hopfield网络是由美国加州工学院物理学家霍普菲尔特网络是由美国加州工学院物理学家霍普菲尔特1982年提出来的一种单层全年提出来的一种单层全互连的对称反馈网络模型。它可分为离散互连

45、的对称反馈网络模型。它可分为离散Hopfield网络和连续网络和连续Hopfield网络，限于篇网络，限于篇幅，本书重点讨论离散幅，本书重点讨论离散Hopfield网络。网络。离散离散Hopfield网络的结构网络的结构 离散离散Hopfield网络是在非线性动力学的基础上由若干基本神经元构成的一种单层全互连网络，网络是在非线性动力学的基础上由若干基本神经元构成的一种单层全互连网络，其任意神经元之间均有连接，并且是一种对称连接结构。一个典型的离散其任意神经元之间均有连接，并且是一种对称连接结构。一个典型的离散 Hopfidld网络结构如网络结构如图图4-17所示。离散所示。离散Hopfield

46、网络模型是一个离散时间系统，每个神经元只有网络模型是一个离散时间系统，每个神经元只有0和和1（或（或-1和和1）两）两种状态，任意神经元种状态，任意神经元i和和j之间的连接权值为之间的连接权值为wij。由于神经元之间为对称连接，且神经元自身无连。由于神经元之间为对称连接，且神经元自身无连接，因此有接，因此有3.Hopfield网络模型网络模型离散离散Hopfield网络模型网络模型(1/2)由该连接权值所构成的连接矩阵是一个零对角的对称矩阵。由该连接权值所构成的连接矩阵是一个零对角的对称矩阵。35第35页，本讲稿共111页图图 417 离散离散Hopfield网络的结构网络的结构ymY2Y1x

47、1x2xn输入层输入层输出层输出层 在在 Hopfidld网络中，虽然神经元自身无连接，但由于每个神经元都与其他神经元网络中，虽然神经元自身无连接，但由于每个神经元都与其他神经元相连，即每个神经元的输出都将通过突触连接权值传递给别的神经元，同时每个神相连，即每个神经元的输出都将通过突触连接权值传递给别的神经元，同时每个神经元又都接受其他神经元传来的信息，这样对每个神经元来说，其输出经过其他神经元又都接受其他神经元传来的信息，这样对每个神经元来说，其输出经过其他神经元后又有可能反馈给自己，因此经元后又有可能反馈给自己，因此Hopfidld网络是一种反馈神经网络网络是一种反馈神经网络 3.Hopf

48、ield网络模型网络模型离散离散Hopfield网络模型网络模型(2/2)36第36页，本讲稿共111页 4.1 概述概述 4.2 神经计算神经计算 4.3 进化计算进化计算 4.3.1 进化计算概述进化计算概述 4.3.2 遗传算法遗传算法 4.4 模糊计算模糊计算 4.5 粗糙集粗糙集第第4章章 计算智能计算智能37第37页，本讲稿共111页 进化计算（进化计算（Evolutionary Computation,EC）是在达尔文（）是在达尔文（Darwin）的）的进化论和孟德尔（进化论和孟德尔（Mendel）的遗传变异理论的基础上产生的一种在基）的遗传变异理论的基础上产生的一种在基因和种群

49、层次上模拟自然界生物进化过程与机制的问题求解技术。它因和种群层次上模拟自然界生物进化过程与机制的问题求解技术。它主要包括主要包括 遗传算法（遗传算法（Genetic Algorithm，GA）进化策略（进化策略（Evolutionary Strategy,ES）进化规划（进化规划（Evolutionary Programming,EP）遗传规划（遗传规划（Genetic Programming,GP）四大分支。）四大分支。其中，第一个分支是进化计算中最初形成的一种具有普遍影响的模拟其中，第一个分支是进化计算中最初形成的一种具有普遍影响的模拟进化优化算法。因此我们主要讨论遗传算法。进化优化算法。

50、因此我们主要讨论遗传算法。4.3 进化计算进化计算38第38页，本讲稿共111页 进化计算是一种模拟自然界生物进化过程与机制进行问题求解的自组织、进化计算是一种模拟自然界生物进化过程与机制进行问题求解的自组织、自适应的随机搜索技术。它以达尔文进化论的自适应的随机搜索技术。它以达尔文进化论的“物竟天择、适者生存物竟天择、适者生存”作为作为算法的进化规则，并结合孟德尔的遗传变异理论，将生物进化过程中的算法的进化规则，并结合孟德尔的遗传变异理论，将生物进化过程中的 繁殖（繁殖（Reproduction）变异（变异（Mutation）竞争（竞争（Competition）选择（选择（Selection）