《第5章计算智能-bistu人工智能基础.ppt》由会员分享，可在线阅读，更多相关《第5章计算智能-bistu人工智能基础.ppt（89页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1 第5章 计算智能计算智能052 第5章 计算智能目录/Contents5.15.15.25.2模糊理论神经网络5.35.3遗传算法5.45.4群体智能5.45.4本章小结3 第5章 计算智能目录/Contents5.15.1模糊理论一、模糊集合及其运算二、模糊推理三、模糊控制4 第5章 计算智能一、模糊集合及其运算1965年，扎德在其著名的论文“Fuzzy Sets”中提出了模糊集合的概念用于描述一个没有明确、清楚的定义界限的集合，元素可以部分的隶属于这个集合。序对方式表示：积分形式表示：模糊集合的两种表示方法:为论域U的一个模糊集合，称为模糊集合的隶属度函数。的大小反映了u对于模糊集 的
2、隶属程度。隶属度 的值越大，表示u属于 的程度越高。5 第5章 计算智能模糊集合的基本运算 设 ，是论域U上的模糊集合，任意元素 ，则u对 与 的交集 、并集 和 的补集 的隶属度函数定义：交运算（AND运算）：并运算（OR运算）：补运算（NOT运算）：与 的交集、并集和补集也是U上的模糊集合。6 第5章 计算智能模糊集合的基本运算模糊集合运算的基本性质：幂等律：德-摩根律：交换律：结合律：分配律：吸收律：两极律：复原律：7 第5章 计算智能二、模糊推理 模糊关系：直积空间 上的模糊关系是 的一个模糊子集 ，的隶属度函数 表示了X中的元素x与Y中的元素y具有这种关系的程度。当 是有限集合时，定
3、义在 上的模糊关系R可用 阶矩阵表示：8 第5章 计算智能模糊关系的合成运算模糊关系的交、并、补运算规则：交运算：并运算：补运算：设X、Y、Z是论域，R是X到Y的一个模糊关系，S是Y到Z的一个模糊关系，R到S的合成T也是一个模糊关系，记为其隶属度如下：合成运算：9 第1章 概述模糊逻辑推理一般情况的模糊逻辑推理，即有n个前提 在或(or)的连接下 对前提A*的推理结果B*可如下求得 模糊逻辑推理是模糊关系合成的运用之一。例如对于模糊关系为R的控制器，当其输入为A时，根据推理合成规则，即可求得控制器的输出B。10 第1章 概述三、模糊控制模糊控制原理图 模糊控制和传统控制的系统结构一致，最常见的
4、模糊控制系统有Mamdani型模糊逻辑系统和高木-关野(Takagi-Sugeno)型模糊逻辑系统。11 第1章 概述模糊控制的基本思想 在忽略了空气阻力和各种摩擦之后，可将一级倒立摆系统抽象成小车和匀质杆组成的系统，摆杆与小车之间为自由链接，小车在控制力的作用下沿滑轨在x方向运动，控制目的是使倒立摆能够尽可能稳定在铅直方向，同时小车的水平位置也能得到控制。一级倒立摆系统简单说明模糊控制器设计的一般方法：12 第5章 计算智能模糊控制的基本思想1）模糊化 以摆杆的倾角和速度作为输入变量，建立倾角和速度的模糊子集。接着按照一定的隶属度函数确定每个模糊子集隶属度，这个确定隶属度的过程就是对变量进行
5、模糊化的过程。2）模糊推理 建立一系列的模糊规则，来描述各种输入所产生的作用。如可以建立一些规则：如果摆杆向左倾斜大并倒得非常快，那么小车快速向左运动；如果摆杆向左倾斜大并倒得较快，那么小车中速向左运动；如果摆杆向左倾斜小并倒的慢，那么小车慢速向左运动。3）解模糊 模糊输出量被反模糊化为能够用于对物理装置进行控制的精确量这个过程称为解模糊。这里，可以通过重心法解模糊得到施加在小车上的控制力U实现倒立摆的稳定控制。13 第5章 计算智能模糊控制的特点模糊控制显著特点：1）无需知道被控对象的精确数学模型。2）易被人们接受。模糊控制的核心是模糊推理，它是人类通常智能活动的体现。3）鲁棒性好。干扰和参
6、数变化对控制效果的影响被大大减弱，尤其适合于非线性、时变及纯滞后系统的控制。模糊控制待解决问题：1）在理论上还无法像经典控制理论那样证明运用模糊逻辑的控制系统的稳定性。2）模糊逻辑控制规则靠人的经验制定的，它本身并不具有学习功能。3）模糊控制规则越多，控制运算的实时性越差。14 第5章 计算智能目录/Contents5.15.15.25.2模糊理论5.35.3遗传算法5.45.4群体智能5.45.4本章小结神经网络15 第5章 计算智能目录/Contents5.25.2神经网络一、神经网络结构二、神经网络的学习机制三、感知器四、BP神经网络五、径向基神经网络六、反馈式神经网络七、自组织竞争神经
7、网络八、CMAC网络16 第5章 计算智能一、神经网络结构 人工神经网络是基于生物神经元网络机制提出的一种计算结构，是生物神经网络的某种模拟、简化和抽象。人工神经元M-P模型结构是一个多输入，单输出的非线性元件。其I/O关系可推述为:是从其他神经元传来的输入信号；表示从神经元i到神经元j的连接权值；为阈值；称为激励函数或转移函数。17 第5章 计算智能人工神经元 其它不同的一些神经元数学模型主要区别在于采用了不同的激励函数，常用的激励函数有阈值型函数，分段线性函数，Sigmoid型函数等，如下表名称阈值函数双向阈值函数S函数双曲正切函数高斯函数公式 图形特征不可微，类阶跃，正值不可微，类阶跃，
8、零均值可微，类阶跃，正值不可微，类阶跃，零均值可微，类脉冲18 第5章 计算智能神经网络拓扑结构 神经网络的拓扑结构，主要指它的联接方式。将神经元抽象为一个节点，神经网络则是节点间的有向连接，根据连接方式的不同大体可分为层状和网状两大类。左图层状结构的神经网络各层顺序相连，信号单向传递；右图网状结构的神经网络的任何两个神经元之间都可能双向联接。19 第5章 计算智能神经网络结构模型的特点1）分布性 神经网络通过大量神经元之间的连接及对各连接权值的分布来表示特定的信息；神经网络存储信息不是存储在一个地方，而是分布在不同的地方；2）并行性 神经网络的每个神经元都可根据接收到的信息进行独立的运算和处
9、理，然后将输出结果传输给其它神经元进行同时（并行）处理。3）容错性 由于神经网络信息的存储是分布式地存在整个网络的连接权值上，这种分布式存储方式即使局部网络受损或外部信息部分丢失也不影响整个系统的性能，具有恢复原来信息的优点。4）联想记忆性 神经网络具有对外界刺激信息和输入模式进行联想记忆的能力。5）自适应性 神经网络能够进行自我调节，以适应环境变化。20 第5章 计算智能二、神经网络的学习机制 神经网络的学习，本质上是对可变权值的动态调整。目前神经网络的学习方法有多种，按有无导师分类，可分为无教师学习，有教师学习和强化学习等几大类。（1）有教师学习（监督学习）教师输出为输入信号p的期望输出t
10、。误差信号为神经网络实际输出与期望输出之差。神经网络的参数根据训练向量和反馈回的误差信号进行逐步、反复地调整。21 第5章 计算智能神经网络的学习机制（2）无教师学习（无监督学习）无教师学习只要求提供输入，学习是根据输入的信息、特有的网络结构和学习规则来调节自身的参数或结构。网络的输出由学习过程自行产生，将反映输入信息的某种固有特性。无教师学习主要作用：1）聚类 2）数据压缩与简化22 第5章 计算智能神经网络的学习机制（3）强化学习 强化学习的学习目标是动态地调整参数，以达到强化信号最大。学习系统选择一个动作作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈给学习系
11、统，学习系统根据强化信号和环境当前状态再选择下一个动作。23 第5章 计算智能三、感知器1957年，美国学者Rosenblatt提出一种用于模式分类的神经网络模型，称为感知器。感知层（输入层）自身并无信息处理能力；输出层（信息处理层）每个节点均具有信息处理能力，并向外部输出处理后的信息，不同的输出节点，其连接权是相互独立的。单计算节点的单层感知器 多输出节点的单层感知器24 第5章 计算智能感知器的学习算法 感知器的基本功能是对外部信号进行“感知”与“识别”。当有一定状态的外部刺激信号或其它神经元的信号，感知器处于“兴奋”状态，其他状态时，呈现“抑制”态。如果A、B是 中两个互不相交的集合，且
12、以下方程成立，则称集合（A，B）为感知器的学习目标。根据感知器模型，学习算法实际是要寻找 满足下述要求：25 第5章 计算智能感知器的学习算法 感知器的训练过程是感知器权值的逐步调整过程，为此用t表示每一次调整的序号。t0对应于学习开始前的初始状态，此时对应的权值为初始化值。训练可按如下步骤进行：1)对各权位 (m为计算层的节点数)赋予较小的非零随机数；2)输入样本对 ，其中 ，的输出向量(教师信号)，上标p代表样本对的模式序号，设样本集中的样本总数为P，则p=1,2,P；3)计算各节点的实际输出 ，；4)调整各节点对应的权值 ，其中 为学习率，用于控制调整速度，但 值太大会影响训练的稳定性，
13、太小则使训练的收敛速度变慢，一般取 ；5)返回到步骤2)输入下一对样本；以上步骤周而复始，直到感知器对所有样本的实际输出与期望输出相等。26 第5章 计算智能感知器的局限性与改进方式1)感知器的主要局限性感知器的激活函数是单向阈值函数，因此感知器网络的输出值只能取0或1；感知器神经网络只能对线性可分的向量集合进行分类；单层感知器对权值向量的学习算法是基于迭代思想的，通常是采用纠错学习规则进行学习；当输入样本中存在奇异样本时，网络训练所花费的时间就很长；2)感知器的主要改进方式转移函数的改进神经元的内部进行改造；神经网络的结构上的改进神经元之间的联接形式上进行改造；学习算法的改进在人工神经网络权
14、值和阈值求取方法上进行改造；综合改进上述方法综合进行改造。；27 第5章 计算智能三、BP神经网络 误差反向传播(Error Back Proragation，BP)算法是一种利用误差反向传播训练算法的前馈型网络。输入向量：隐层输出向量：输出层输出向量：期望输出向量：输入层到隐层之间的权值矩阵：其中列向量 为隐层第j个神经元对应的权向量隐层到输出层之间的权值矩阵：其中列向量 为输出层第k个神经元对应的权向量；BP神经网络模型（包括输入层、隐层和输出层）28 第5章 计算智能BP神经网络三层感知器的数学模型中各层信号之间的数学关系如下：对于隐层，有对于输出层，有以上两式中，变换函数 通常均为单极
15、性sigmoid函数(sigmoid函数连续、可导)也可以采用双极性sigmoid函数(或称双曲线正切函数)为降低计算复杂度，根据需要输出层也可以采用线性函数 29 第5章 计算智能BP学习算法 BP学习算法实质是求取网络总误差函数的最小值问题。具体采用“最速下降法”，按误差函数的负梯度方向进行权系数修正。具体学习算法包括，输入信号的正向传递过程和输出误差信号的反向传播过程两大过程。1）网络的误差当网络输出与期望输出不等时，存在输出误差 ，定义如下 进一步展开至输入层，有 30 第5章 计算智能BP学习算法2）基于梯度下降的网络权值调整 网络输入误差是关于各层权值 的函数，因此调整权值就可改变
16、误差 。调整权值的原则应该使误差不断地减小，因此可采用梯度下降(Gradient Descent)算法，使权值的调整量与误差的梯度下降成正比，即 负号表示梯度下降，常数 表示比例系数，在训练中反映了学习速率。31 第5章 计算智能BP学习算法 上述标准BP算法每输入一个样本，都要回传误差并调整权值。累积误差校正BP算法是在所有P对样本输入之后，计算累积误差，根据总误差计算各层的误差信号并调整权值。P对样本输入后，网络的总误差 可表示为：这种训练方式是一种批处理方式，以累积误差为目标，也可称为批(Batch)训练或周期(Epoch)训练算法。算法着眼于全局，在样本较多时候，较单样本训练方法收敛速
17、度快。标准BP算法与累积误差校正BP算法的区别在于权值调整方法。前向型神经网络的相关改进学习算法多是以BP算法为基础的。32 第5章 计算智能BP网络的功能与数学本质BP神经网络的功能特点：非线性映射能力 多层前馈网能学习和存贮大量“输入输出”模式的映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力 神经网络的泛化能力是指当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响不大。
18、33 第5章 计算智能BP网络的功能与数学本质BP神经网络的数学本质：BP神经网络从非线性映射逼近观点来看，均可由不超过4层的网络来实现，其数学本质就是插值，或更一般地是数值逼近。不仅是BP网络，其反馈式或其它形式的人工神经网络，总要有一组输入变量 和一组输出变量 ;从数学上看，这样的网络不外乎是一个映射：34 第5章 计算智能BP网络的设计1)输入-输出变量的确定与训练样本集的准备 输出量可以是系统的性能指标、类别归属或非线性函数的函数值等。对于具体问题，输入量必须选择那些对输出影响大且能够检测或提取的相关性很小的输入变量。产生数据样本集，训练数据的产生包括数据收集、数据分析、变量选择以及数
19、据预处理。2)神经网络结构的确定（网络的层数、每层节点数）确定了输入和输出变量后，网络输入层和输出层的节点个数也就确定了。剩下的问题是考虑隐含层和隐层节点。从原理上讲，只要有足够多的隐含层和隐层节点，BP神经网络即可实现复杂的非线性映射关系，但另一方面，基于计算复杂度的考虑，应尽量使网络简单，即选取较少的隐层节点。3)神经网络参数的确定（通过训练获得阈值、传输函数及参数等）如果样本集能很好地代表系统输入/输出特征，神经网络进行了有效的学习与训练，神经网络将具有较好的映射性能。35 第5章 计算智能BP网络的问题与改进1）BP神经网络存在的缺陷网络的训练易陷入局部极小值；网络的学习收敛速度缓慢；
20、网络的结构难以确定；网络的泛化能力不能保证；2）传统BP算法的改进与优化增加阻尼项；自适应调节学习率；引入陡度因子；L-M学习算法；36 第5章 计算智能BP网络的问题与改进3）深度神经网络浅层学习 BP神经网络模型中含有一层隐层节点，可称为浅层模型。BP算法只能处理浅层结构（小于等于3），限制了网络的性能。对于浅层模型，样本特征的好坏成为系统性能的瓶颈。深度神经网络模型深度学习 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。37 第5章 计算智能五、径向基神经网络 径向基函数(Radial Basis Functio
21、n，RBF)网络是一种前馈型局部逼近神经网络。RBF网络是单隐层的前向网络，它由输入层、隐含层、输出层三层构成。RBF神经网络的基本思想：用径向基函数(RBF)作为隐单元的“基”，构成隐含层空间，将输入矢量直接映射到隐空间。根据隐节点的个数，RBF网络有两种模型：正规化网络(Regularization Network)广义网络(Generalized Network)广义网络结构38 第5章 计算智能径向基神经网络RBF神经网络的特点：RBF神经网络是单隐层的；RBF神经网络用于函数逼近时，隐节点为非线性激活函数，输出节点为线性函数。隐节点确定后，输出权值可通过解线性方程组得到；RBF神经网
22、络具有“局部映射”特性，是一种有局部响应特性的神经网络；RBF神经网络隐节点的非线性变换（高斯函数）将低维空间的输入拓展到了高维空间，把线性不可分问题转化为线性可分问题；39 第5章 计算智能RBF网络的数学基础 径向基函数指某种沿径向对称的标量函数，通常定义为空间中任一点到某一中心之间欧氏距离的单调函数。设有P个输入样本 （插值条件），在输出空间相应目标为 。需要找到一个非线性映射函数 ，使得：选择P个基函数，每个基函数对应一个训练数据，各基函数的形式为：是函数的中心，以输入空间的点 与中心 的距离为自变量。故称为径向基函数。插值函数F(X)为基函数的线性组合 将插值条件代入，得到关于P个关
23、于未知 的P个方程。求解方程组可得到相应的参数。40 第5章 计算智能RBF网络的数学基础 RBF 网解决内插问题时，使用P个隐节点，并把所有的样本输入 选为RBF网的数据中心，且各基函数取相同的扩展常数。于是RBF 网从输入层到隐层的输出便是确定的。网络在样本输入点的输出就等于教师信号，此时网络对样本实现了完全内插，即对所有样本误差为0。径向基函数插值示意图41 第5章 计算智能RBF网络的学习算法 对于一个实际问题，径向基神经网络的设计包括结构设计和参数设计。结构设计主要是确定网络的隐节点数,参数设计只需考虑扩展常数和输出节点的权值。当采用广义RBF网络结构时，如果给定了训练样本，那么该网
24、络的学习算法应该解决的问题包括：1）如何确定网络隐节点数；2）如何确定各径向基函数的数据中心及扩展常数；3）如何修正输出权值。一般情况下，如果知道了网络的隐节点数、数据中心和扩展常数，RBF神经网络从输入到输出就成了一个线性方程组，此时，输出层权值学习可采用最小二乘法等方法求解。42 第5章 计算智能RBF神经网络与BP神经网络的比较 RBF神经网络与BP神经网络的不同在于：1)网络结构 BP神经网络各层之间采用权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层之间实行权连接。BP神经网络隐层单元转移函数一般选择S型函数，RBF神经网络隐层单元的转移函数是关于中心对称的径向对
25、称函数。RBF神经网络与BP神经网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP神经网络，总存在一个RBF神经网络可以代替它。43 第5章 计算智能RBF神经网络与BP神经网络的比较2)局部逼近与全局逼近 BP神经网络的隐节点采用输入模式与权向量的内积作为激活函数的自变量，而激活函数则采用Sigmoid 函数。BP神经网络是对非线性映射的全局逼近。RBF神经网络的隐节点采用输入模式与中心向量的距离（如欧氏距离）作为函数的自变量，并使用径向基函数（如Gaussian函数）作为激活函数。神经元的输入离径向基函数中心点越远，神经元的激活程度就越低。RBF网络具有“局部映射”特性。44
26、第5章 计算智能其它径向基网络1）广义回归神经网络 广义回归神经网络(Generalized Regression Neural Network，GRNN)由输入层、模式层、求和层与输出层构建形成了前馈型网络结构。GRNN网络的特点:具有局部逼近能力，学习速度较快；建模需要样本数量少；GRNN网络中人为调节的参数少，网络的学习全部依赖数据样本；GRNN对所有隐层单元的核函数采用同一的光滑因子，网络的训练过程；实质上是一个一维寻优过程，训练极为方便快捷，而且便于硬件实现；45 第5章 计算智能其它径向基网络2）概率神经网络 概率神经网络(Probabilistic Neural Networks
27、，PNN)基于Bayes分类规则与Parzen窗的概率密度函数估计方法的四层前向型人工神经网络概率神经网络的特点:网络学习过程简单，训练速度快；网络的容错性好，模式分类能力强，收敛性较好；网络的扩充性能好，结构设计灵活方便；46 第5章 计算智能六、反馈式神经网络 J.Hopfield于1982年提出一种单层反馈神经网络。Hopfield网络分为离散Hopfield网络（DHNN）和连续Hopfield网络（CHNN）两种。（1）离散Hopfield神经网络 离散Hopfield网络是单层全互连的，其结构形式可表示为以上的两种形式，左图特别强调了输出与输入在时间上的传输延迟特性。47 第5章
28、计算智能离散Hopfield神经网络 假设Hopfield网络中有个 神经元，其中任意神经元 的输入用 表示，输出用 表示，它们都是时间的函数，其中 也称为神经元 在 时刻的状态。神经元 的输入来自其它神经元的输出，因此 可表示为：式中的 表示神经元 的阈值或偏差。相应神经元 的输出或状态为 式中，激励函数 可取单极性阈值函数或双极性阈值函数 。取双极性阈值函数时，表示为反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出。48 第5章 计算智能离散Hopfield神经网络离散Hopfield神经网络的运行规则Hopfiled网络的工作方式主要有两种形式：串行（异步40）工作
29、方式：在任一时刻，只有某一神经元的状态改变，其他不变。并行（同步）工作方式：在任一时刻，部分或全部神经元的状态同时改变。49 第5章 计算智能离散Hopfield神经网络离散Hopfield神经网络的运行过程图（a）表明，如果网络是稳定的，它可以从任一初态收敛到一个稳态。图（b）表明，若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不出现无限发散的情况，只能出现限幅的自持振荡，这种网络称为有限环网络。图（c）表明，如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。50 第5章 计算智能离散Hopfi
30、eld神经网络能量函数 Hopfield提出了人工神经网络能量函数（也称Lyapunov函数）的概念，使网络的运行稳定性判断有了可靠而简便的依据。Hopfield网络的能量函数可定义为：其矩阵形式为：51 第5章 计算智能连续Hopfield神经网络 （2）连续Hopfield神经网络上图为连续Hopfield神经网络结构，图中每个神经元均由运算放大器及其相关的电路组成。52 第5章 计算智能连续Hopfield神经网络连续Hopfield神经网络的稳定性分析 能量函数 是单调下降的、有界的，因此，连续Hopfield网络模型是稳定的，给定一个初始状态，网络将逐步演变到能量函数的局部最小点。对
31、于连续Hopfield神经网络模型，能量(Lyapunov)函数定义如下53 第5章 计算智能七、自组织竞争神经网络自组织竞争神经网络的结构输入层起“观察”作用，负责接收外界信息并将输入模式向竞争层传递；竞争层起“分析比较”作用，负责找出规律完成模式归类；各神经元之间的虚线连接线，即是模拟生物神经网络层内神经元的侧抑制现象。神经细胞一旦兴奋，会对其周围的神经细胞产生抑制作用；54 第5章 计算智能自组织竞争神经网络自组织竞争学习的基本原理 竞争学习是自组织网络中最常用的一种学习策略，该策略的一种典型学习规则是“胜者为王”（Winner-Take-All）。竞争获胜神经元“惟我独兴”，进行权值调
32、整，对周围其他神经元进行了强侧抑制，不允许它们权值调整。输入向量与内星权向量的归一化55 第5章 计算智能自组织竞争神经网络自组织竞争学习的基本原理自组织竞争神经网络竞争层权向量的调整56 第5章 计算智能SOM神经网络自组织特征映射网（Self-Origanizing Maps,SOM），又称Kohonen网。SOM网的输出排列 SOM网输入层各神经元通过权向量将外界信息汇集到竞争层的各神经元，输入层神经元数目与样本维数相等；竞争层也是输出层。图a给出了输出层按一维阵列组织的SOM网，它是最简单的自组织神经网络。图b 给出了输出按二维平面组织的SOM网，其输出层每个神经元同周围其他神经元侧向
33、连接，排列成棋盘状平面。57 第5章 计算智能SOM神经网络SOM网的功能应用1）保序映射 SOM网络输出平面上，属性相似的模式聚在在一起，实现了特征的有序分布。2）数据压缩 SOM网络的高维空间相近的输入样本，其输出响应节点的位置也接近。可见，高维空间的样本在保持拓扑结构不变的条件下投影到了低维空间，这就使得数据压缩得以实现。3）特征抽取 SOM网将高维空间样本映射到低维输出空间，其位置分布规律往往一目了然。这就实现了在高维模式空间中具有复杂的结构模式的特征抽取。58 第5章 计算智能八、CMAC网络 小脑模型关节控制器（Celebella Model Articulation Contro
34、ller,CMAC）是一种表达复杂非线性函数的表格查询型自适应神经网络，可以通过学习算法改变表格的内容。CMAC网络的模型结构网络的模型结构59 第5章 计算智能CMAC网络网络的输入输出关系 可分解为以下4个步骤详细说明1)输入状态空间S的量化 输入状态空间S是一个多维空间，空间维数由待处理对象信息的维数决定。例如，CMAC网络如需要处理10个传感器来的信号，每个传感器可能取100个不同值，那么输入空间将有 个点。输入量若是模拟量，则需要对这些模拟量进行了量化，其精度与量化的级数有关。2)概念映射 概念映射实现从输入空间S至概念（虚拟）存储器AC的映射。映射原则为：状态空间S中的每个点与 中
35、分散的C个单元相对应；输入空间邻近两点（一点为一个输入n维向量），在AC中有部分重叠单元被激励。距离越近，重叠越多；距离远的点，在AC中不重叠，这称为局域泛化。60 第5章 计算智能CMAC网络3)实际映射 从虚拟存储空间AC至实际存储空间AP 的映射采用杂散编码（压缩存储空间）技术实现。杂散技术是将分布稀疏、占用较大存储空间的数据作为一个伪随机发生器的变量，产生一个占用空间较小的随机地址，而在这个随机地址内存放着占用大量内存空间地址内的数据，这就完成了由多到少的映射。CMAC网络的映射示意图61 第5章 计算智能CMAC网络4)CMAC的输出 对于第i个输出，是由AP中C个权值的线性叠加而得
36、到的。从输入到AC是C个联接，从AC到AP以及AP到 都是C个单元联接。从CMAC网络结构上看是多层前馈网络，F是权值的线性叠加，AP到F和S到AC都是线性变换，AC到AP是一种随机的压缩变换。但网络总体上看，输出与输入表达了非线性映射关系。62 第5章 计算智能CMAC网络CMAC网络的特点1）学习收敛速度快，实时性强 由于利用了联想记忆和先进的查表技术，CMAC网络的收敛速度快，实时控制能力强。从网络总体上看，输入和输出是一种表达非线性映射的表格系统。由于CMAC网络的学习只在线性映射部分，因此其收敛速度比BP算法快得多，对样本数据出现的次序不敏感且不存在局部极小问题。2）局部泛化能力 由
37、于相邻两个输入参考状态至少对应使用共同记忆单元一个以上，输入状态空间中相似的输入将产生相似的输出，相隔较远的输入状态将产生独立的输出。因此，小脑模型是一种局部的学习网络，它的联想具有局部推广能力。3）易于软硬件实现 小脑模型结构简单，因而有利于硬件实现和软件实现。63 第5章 计算智能CMAC网络CMAC与RBF神经网络的比较CMAC与RBF神经网络均为局部连接神经网络，具有大体相似的结构特点。局部连接神经网络结构图64 第5章 计算智能目录/Contents5.15.15.25.2模糊理论神经网络5.35.3遗传算法5.45.4群体智能5.45.4本章小结65 第5章 计算智能目录/Cont
38、ents5.35.3遗传算法一、遗传算法原理二、遗传算法应用框架66 第5章 计算智能一、遗传算法原理遗传算法（Genetic AlgorithmGA），是一种通过模拟自然进化过程搜索最优解的方法。遗传算法作为一种新的全局优化搜索算法，具有简单通用、鲁棒性强、适于并行处理及应用范围广等显著特点。（1）基本思想遗传算法把问题的参数用基因代表，把问题的解用染色体代表（在计算机里用二进制码表示），这就得到一个由具有不同染色体的个体组成的群体。群体在特定的环境里生存竞争、不断进化，最后收敛到一组最适应环境的个体问题的最优解。遗传算法的过程67 第5章 计算智能遗传算法原理（2）遗传算法中的术语 遗传算
39、法计算优化的操作过程就如同生物学上生物遗传进化的过程，主要有三个基本操作（或称为算子）：选择（Selection）、交叉（Crossover）、变异（Mutation）相关遗传学术语、遗传算法概念和相应的数学概念三者之间的对应关系如表所示。序号遗传学概念遗传算法概念数学概念1个体要处理的基本对象、结构也就是可行解2群体个体的集合被选定的一组可行解3染色体个体的表现形式可行解的编码4基因染色体中的元素编码中的元素5基因位某一基因在染色体中的位置元素在编码中的位置6适应值个体对于环境的适应程度，或在环境压力下的生存能力可行解所对应的适应函数值7种群被选定的一组染色体或个体根据入选概率定出的一组可行
40、解8选择从群体中选择优胜个体，淘汰劣质个体保留或复制适应值大的可行解，去掉小的可行解9交叉一组染色体上对应基因段的交换根据交叉原则产生的一组新解10交叉概率染色体对应基因段交换的概率（可能性大小）闭区间0,1上的一个值，一般为0.650.9011变异染色体水平上基因变化编码的某些元素被改变12变异概率染色体上基因变化的概率（可能性大小）开区间(0,1)内的一个值,一般为0.0010.0113进化、适者生存个体优胜劣汰，一代又一代地进化目标函数取到最优可行解68 第5章 计算智能遗传算法原理（3）遗传算法的步骤遗传算法流程69 第5章 计算智能二、遗传算法应用框架遗传算法的优势：遗传算法擅长解决
41、的问题是全局最优化问题，遗传算法能够跳出局部最优而找到全局最优点。遗传算法采用种群的方式组织搜索，因而可按并行方式同时搜索解空间内的多个区域，并相互交流信息。同时它具有能根据环境变化来自动发现环境的特性和规律的能力遗传算法不需要求导数操作或其他辅助知识，而只需要对目标函数计算适应度，对问题的依赖性小。遗传算法局限性：编码存在表示的不准确性，单一的遗传算法编码不能全面地将优化问题的约束表示出来。对于任何一个具体的优化问题，调节遗传算法参数的选择，现在还没有实用的上下限。遗传算法对算法的精度、可行度、计算复杂性等方面，还没有有效的定量分析方法。70 第5章 计算智能遗传算法应用框架遗传算法的应用：
42、1)遗传算法与优化技术的融合 为了产生有效的全局优化方法和提高遗传算法计算性能，在遗传算法的大范围群体搜索性能中融入快速收敛的局部优化方法。2)混合遗传算法 为改善单纯遗传算法的性能，将不同算法的优点有机结合。遗传算法容易产生早熟收敛、收敛速度慢、局部寻优能力较差，因此，将遗传算法与像梯度法、爬山法、模拟退火算法、禁忌搜索算法等一些启发式搜索且具有较强的局部搜索能力的算法相结合，以改善单纯遗传算法的运行效率和求解质量。3)针对具体的研究和工程应用，合理地选择参数 研究参数设定数目更少或不需要参数设定的算法。4)设计面向多个目标优化问题的遗传算法或者约束性优化问题的遗传算法71 第5章 计算智能
43、目录/Contents5.15.15.25.2模糊理论神经网络5.35.3遗传算法5.45.4群体智能5.45.4本章小结72 第5章 计算智能目录/Contents5.45.4群体智能一、群体智能介绍二、蚁群算法三、粒子群算法73 第5章 计算智能一、群体智能介绍 群智能(Swarm Intelligence)受群居生物集体社会行为的启发，其特点是个体行为简单，但群体工作却能够突现出复杂（智能）的行为特征。目前，群智能研究领域主要有：蚁群算法（蚂蚁觅食的过程）；粒子群算法（鸟群捕食的过程）；人工蜂群算法（蜜蜂采蜜的过程）；萤火虫算法（萤火虫相互吸引，改变位置的过程）；细菌觅食优化算法（细菌觅
44、食行为的一种模拟过程）。群智能方法的应用领域己扩展到多目标优化、数据分类、模式识别、神经网络训练、信号处理、决策支持等多个方面。74 第5章 计算智能二、蚁群算法 1992年意大利学者Dorigo等受蚂蚁群体觅食行为的启发，提出了一种基于种群的模拟进化算法-蚁群算法。蚁群算法作为一种新兴的智能仿生类进化算法-蚂蚁系统，已经在许多领域获得到了广泛的应用。从蚂蚁系统开始，基本的蚁群算法得到了发展和完善，并在TSP以及许多优化问题求解中得到了验证。75 第5章 计算智能蚁群算法（1）蚂蚁觅食 蚁群寻找食物时，总能找到一条最优的路径。因为蚂蚁在找食物的时候会在路上释放一种特殊的信息素。当它们碰到未走过
45、的路口时，就随机选一条路径，同时释放出与路径长度成反比的信息素。路径越段，释放的激素浓度越大。当后来的蚂蚁再次碰到这个路口的时候，一般会选择激素浓度较高的路径，这概率相对较大，从而形成一个正反馈。最优路径上的激素浓度越来越大，而其它的路径上激素浓度却会随着时间的流逝而减少，最终整个蚁群会找出最优路径。76 第5章 计算智能蚁群算法（2）蚁群算法的原理分析（a）（c）（b）如图(a)，A为蚁巢，D为食物。蚂蚁同时从A点随机选择路线ABD或ACD出发。当走ABD的蚂蚁到达终点时，走ACD的蚂蚁刚好走到C点。如图(b)，A为蚁巢，D为食物。走ABD的蚂蚁走到终点后得到食物又返回了起点A，而走ACD的
46、蚂蚁刚好到达D点。如图(c)，所有蚂蚁都自主的选择了将要行走的最短路径ABD路线，表现出了正反馈现象。正反馈过程可类比大肠杆菌在人体内部觅食的过程。77 第5章 计算智能蚁群算法（3）TSP问题示例 算法开始时，把m只蚂蚁随机放到n座城市；把每只蚂蚁 k的禁忌表tabuk(s)的第一个元素tabuk(1)设置为它当前所在城市；禁忌表的作用是防止蚂蚁走重复的路径,走过一个城市,就把它的编号加入到禁忌表。设各路径上的信息素（C为一较小的常数）；每只蚂蚁根据路径上的信息素和启发式信息（两城市间距离）独立地选择下一座城市；在时刻t蚂蚁k从城市i转移到城市j的概率为78 第5章 计算智能蚁群算法当所有蚂
47、蚁完成一次周游后，各路径上的信息素将进行更新。更新方式有两种：1）挥发 所有路径上的信息素以一定的比例减少，模拟自然蚁群的信息素随时间挥发的过程。信息素的挥发2）增强 给评价值“好”(有蚂蚁走过的好路径)的边增加信息素。边上信息素增加的总量及第k只蚂蚁在Lij边上增加的信息素量79 第5章 计算智能蚁群算法蚂蚁向下一个目标的运动是通过一个随机原则来实现的，即运用当前所在节点存储的信息，计算出下一步可达节点的概率，并按此概率实现一步移动，逐此往复，越来越接近最优解。蚂蚁找到一个解后，会评估该解或解的一部分的优化程度，并把评价信息保存在相关连接的信息素中。80 第5章 计算智能蚁群算法（4）算法改
48、进及局限性蚁群算法改进主要集中在以下三个方面:1)信息素的调整，如开始搜索前所有信息索水平设为最大值，扩大搜索范围，采用最值蚁群算法以减少停滞。2)搜索速度的改进，引入侦察蚁、搜索蚁、工蚁。3)搜索策略的改善，加入扰动、添加牵引力引导蚂蚁朝全局最优搜索。蚁群算法理论的分析工具还很有限，目前现有的主要是马尔可夫链理论、适应值划分技术及漂移分析等方法。但这些方法比较复杂，还需要满足严格的条件才能使用，所以寻求新方法新路径也是一个未来的研究方向。81 第5章 计算智能三、粒子群算法1995年，Kennedy与Eberhart基于鸟类族群觅食的讯息传递启发，提出了粒子群算法。一群鸟在随机搜寻食物，在这
49、个区域里只有一块食物，所有的鸟都不知道食物在哪里，但是它们知道当前的位置离食物还有多远。找到食物的最优策略是搜寻目前离食物最近的鸟的周围区域。82 第5章 计算智能粒子群算法（1）粒子群算法基本思想 粒子群算法中，每个优化问题的潜在解都是搜索空间中的一只鸟，称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(Fitness Value)，同时还有一个速度决定他们飞行的方向和距离。粒子群算法初始化为一群随机粒子(随机解)，粒子们追随当前的最优粒子在解空间中迭代搜索。在每一次迭代中，粒子通过跟踪两个“极值”来更新自己：第一个就是粒子本身所找到的最优解，这个解称为个体极值(pbest)；另
50、一个极值是整个种群目前找到的最优解，这个极值是全局极值(gbest)。83 第5章 计算智能粒子群算法如果粒子的群体规模为 N，则第i(i=1，2，,N)个粒子的位置可表示为 ，它所经历过的“最好”位置记为 ，它的速度用 表示，群体中“最好”粒子的位置的索引号用 表示。所以粒子 i 将根据下面的公式来更新自己的速度和位置：84 第5章 计算智能粒子群算法公式中多项式的三部分分别代表：1）粒子先前的速度 说明粒子目前的状态，起到平衡全局搜索和局部搜索的作用；2）认知部分(Cognition Modal)表示粒子本身的思考，使粒子有了足够强的全局搜索能力，避免局部极小3）社会部分(Social M