《第2章人工神经网络的基本模型ppt.ppt》由会员分享，可在线阅读，更多相关《第2章人工神经网络的基本模型ppt.ppt（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2006-5-9北京科技大学 自动化系1第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 623349672006-5-9北京科技大学 自动化系2第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 人工神经元的基本模型人工神经元的基本模型 几种典型的激活函数几种典型的激活函数 人工神经网络的学习算法概述人工神经网络的学习算法概述 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构2006-5-9北京科技大学 自动化系3 （1）细胞体细胞体: 细胞核、细胞质和细胞膜。细胞核、细胞质和细胞膜。（2）树突：树突：胞体短而多分枝的突起。相当于神经元的输入端。胞体短而多分枝的突起。相
2、当于神经元的输入端。（3）轴突：）轴突：胞体上最长枝的突起，也称神经纤维。胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。端部有很多神经末稍传出神经冲动。（4）突触：突触：神神经元间的连接接口，每个神经元约有经元间的连接接口，每个神经元约有1万万10万个突万个突触。神经元通过其轴突的神经末稍，经突触与另一触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔信息传递特性是可变的，形成了神经元间联接的柔性，称为性，称为结构的可塑性结构的可塑性。（5）细胞膜电
3、位：细胞膜电位：神经细神经细胞 在 受 到 电 的 、 化 学 的 、 机 械 的 刺 激 后 ， 能胞 在 受 到 电 的 、 化 学 的 、 机 械 的 刺 激 后 ， 能 产生兴奋与抑制。产生兴奋与抑制。2.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系42.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系5（1）兴奋与抑制：当传入神经元冲动，经整和使细胞）兴奋与抑制：当传入神经元冲动，经
4、整和使细胞 膜电位升高，超过动作电位的阈值时，为兴奋状膜电位升高，超过动作电位的阈值时，为兴奋状 态，产生神经冲动，由轴突经神经末稍传出。态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电当传入神经元的冲动，经整和，使细胞膜电 位降低，低于阈值时，为抑制状态，不产生神经位降低，低于阈值时，为抑制状态，不产生神经 冲动。冲动。（2）学习与遗忘：由于神经元结构的可塑性，突触的）学习与遗忘：由于神经元结构的可塑性，突触的 传递作用可增强与减弱，因此，神经元具有学习传递作用可增强与减弱，因此，神经元具有学习 与遗忘的功能。与遗忘的功能。2.1 2.1 人工神经元的基本模型
5、人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系62.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 1 1）神经元及其联接；）神经元及其联接；2 2）神经元之间的联接强度决定信号传递的强弱；）神经元之间的联接强度决定信号传递的强弱；3 3）神经元之间的联接强度是可以随训练改变的；）神经元之间的联接强度是可以随训练改变的；4 4）信号可以是起刺激作用，也可以是起抑制作用；）信号可以是起刺激作用，也可以是起抑制作用；5 5）一个神经元接受的信号的累积效果决定该神经元
6、）一个神经元接受的信号的累积效果决定该神经元的状态；的状态；6) 6) 每个神经元可以有一个每个神经元可以有一个“阈值阈值”。 神经元是构成神经网络的最基本单元（构件）。神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应具有生物神经元的六个基本特性。人工神经元模型应具有生物神经元的六个基本特性。2006-5-9北京科技大学 自动化系7 0 )(xf 1 x (b) 作用函数 图图2.1 MP神经元模型神经元模型 )(ixf i （a）2.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 神经元神经元i i的输入的输入yj
7、输出输出yi 描述描述: :设设则则每一神经元的输出，或每一神经元的输出，或0 0或或1 1，0 0表示表示抑制抑制，1 1表示表示兴奋兴奋：1(),niijjjjyfw yij1niijjjjxw y( )iiyf x10( )00iiiixyf xx2006-5-9北京科技大学 自动化系8f(x)：作用（激发）函数作用（激发）函数是一种阶跃函数。是一种阶跃函数。从神经元的结构示意图上可见：当输入从神经元的结构示意图上可见：当输入yj的加权和的加权和 大于大于域值域值 时，神经元的输出时，神经元的输出yi =1，即神经元处于，即神经元处于“兴奋状态兴奋状态”；反之，当输入反之，当输入yj的加
8、权和的加权和 大于域值大于域值 时，神经元的输时，神经元的输出出yi =0，即神经元处于，即神经元处于“抑制状态抑制状态” 在基本在基本MP模型中取整数。模型中取整数。jj1nijjjwy1nijjjw y2.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型ijw2006-5-9北京科技大学 自动化系9输入输入：Y=（ y0， y1，y2，yn）联接权：联接权：W=（ w0， w1，w2，wn）T网络输入：网络输入：netj=wjiyi向量形式：向量形式：netj=WYyn wny1 w1y2 w2neti=WY令令 ，则，则MP神
9、经元模型可以表示为：神经元模型可以表示为：0(),niijjjyfw yij0jjw01jy 2.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系102.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型M-PM-P模型从哪些方面刻画了自然神经元？模型从哪些方面刻画了自然神经元？前面已介绍过生物（自然）神经元具有如下特点： 两态工作：即工作于兴奋或抑制两种状态； 阈值作用：即超过某一阈值则神经元兴奋； 多输入单输出特性； 空间、时间叠加
10、性； 可塑性联接：即突触部分的联接强度可以调节。 虽然M-P模型无法实现生物神经元的空间、时间的交叉叠加性，但其它生物神经元功能都具备。 2006-5-9北京科技大学 自动化系11M-PM-P模型在人工神经网络中的地位模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。 其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。2.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经
11、网络的基本模型2006-5-9北京科技大学 自动化系122.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型对对M-PM-P人工神经元进行改进的主要方式有如下几个方面人工神经元进行改进的主要方式有如下几个方面: :神经元的内部改造：对人工神经元取不同的非线性函数；对输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。神经网络的结构上的改造：人工神经元之间的联接形式不同。算法的改进：在人工神经网络权值和阈值取求的方法上 不同。其它形式的改造。2006-5-9北京科技大学 自动化系13 激活函数激活函数执行对该神经元所获
12、得的网络输入的变执行对该神经元所获得的网络输入的变换，也常称为激励函数、活化函数：换，也常称为激励函数、活化函数：o=f(net) f(net)=k*net+c netooc2.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系14 if netf（net）= k*net if |net|0为一常数，被称为饱和值，为一常数，被称为饱和值，为该神经元的最大输出。为该神经元的最大输出。 - - net o 2.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经
13、网络的基本模型2006-5-9北京科技大学 自动化系15if netf（net）=-if net均为非负实数，均为非负实数，为阈值。为阈值。二值形式：二值形式：1if netf（net）=0if net双极形式：双极形式：1if netf（net）=-1if net -onet02.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系162.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型不同的作用函数，可构成不同的神经不同的作用函数，可构成
14、不同的神经元模型。元模型。 图 2-2-3 （a）1 （b） 2 非对称型非对称型Sigmoid函数函数:简称简称S型作用函数，是可微的，用下式表示：型作用函数，是可微的，用下式表示：如图如图(a)和和(b) f xex( ) +11 或或 fxex( ) +11 02006-5-9北京科技大学 自动化系17第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 图 2-2-3 （c）1 （d） 2 对称型对称型Sigmoid函数函数 是可微的，是可微的，用下式表示：如用下式表示：如图图(a)(a)和和(b)(b) fxeexx( ) +11 或或 fxeexx() +11 ， 0或或 f
15、 xeeeexxxx( ) + ， 02006-5-9北京科技大学 自动化系18对称型阶跃函数对称型阶跃函数图图（e），用下式表示：），用下式表示： +0,10,1)(xxxf 用阶跃作用函数的神经元，称用阶跃作用函数的神经元，称阈值逻辑单元阈值逻辑单元。第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系19第二章第二章 人工神经网络的基本模型人工神经网络的基本模型高斯函数高斯函数: 是可微的，分一维和高维，用下式表示：如图是可微的，分一维和高维，用下式表示：如图(a)和和(b)22()2()netf nete一维2() ()2()Tiiiijxx
16、f Xe二维2006-5-9北京科技大学 自动化系202.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系21非线性作用函数非线性作用函数1 1 2 非对称型非对称型Sigmoid函数函数2006-5-9北京科技大学 自动化系22非线性作用函数非线性作用函数2对称型对称型Sigmoid函数函数 1 2 2006-5-9北京科技大学 自动化系23非线性作用函数非线性作用函数3 非对称型阶跃函数非对称型阶跃函数2006-5-9北京科技大学 自动化系24非线性作用函数非线性作用函数4 对称型阶跃函数对称
17、型阶跃函数2006-5-9北京科技大学 自动化系25非线性作用函数非线性作用函数2006-5-9北京科技大学 自动化系26非线性作用函数非线性作用函数5高斯高斯RBF(RBF(一维一维) )2006-5-9北京科技大学 自动化系27非线性作用函数非线性作用函数5高斯高斯RBFRBF（二维）（二维）2006-5-9北京科技大学 自动化系28非线性作用函数非线性作用函数5高斯高斯RBFRBF（二维）（二维）2006-5-9北京科技大学 自动化系29非线性作用函数非线性作用函数6B样条函数（次）样条函数（次） 2006-5-9北京科技大学 自动化系30非线性作用函数非线性作用函数6B样条函数（样条函
18、数（1 1次）次）2006-5-9北京科技大学 自动化系31非线性作用函数非线性作用函数 2006-5-9北京科技大学 自动化系322.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型学习过程就是调整权值的过程。学习过程就是调整权值的过程。1、竞争学习2、有监督学习3、无监督学习4、Hebb和Delta学习5、有、无监督混合学习6、随即自适应学习模拟退火7、模糊学习 等等几种常见类型学习算法：2006-5-9北京科技大学 自动化系33对于竞争学习规则，有三个基本元素：1.一个神经元集合，这些神经元除了一些随机分布的突触权
19、值之外是完全相同的，并且由于突触权值的不同而对一个给定的输入模式集合由不同的响应。2.在每个神经元的强度上给定一个极限。3.一个机制，它允许神经元为响应一个给定输入子集的权利而竞争，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的（即，“开”）.竞争获胜神经元被叫做胜者通吃（winner-takes-all）神经元。2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型竞争学习竞争学习2006-5-9北京科技大学 自动化系342.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工
20、神经网络的基本模型人工神经网络的基本模型竞争学习竞争学习 0, 1否则对于所有如果kjjvvyjkkkj() kw0 kjkjxw如果神经元 竞争成功如果神经元 竞争失败按照标准的竞争学习规则，作用于突触权值wkj的改变量wkj定义为获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元的输出信号被置为0。我们有:2006-5-9北京科技大学 自动化系352.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型有教师学习（称为监督学习）有教师学习（称为监督学习） 神经网络神经网络的参数可以综的参数可以综合训练向量和合训练向
21、量和反馈回的误差反馈回的误差信号进行适当信号进行适当调整。调整。 2006-5-9北京科技大学 自动化系362.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 如果我们能给定一个设计好的算法来使成本如果我们能给定一个设计好的算法来使成本费用最小，而且有足够的输入费用最小，而且有足够的输入/输出的数据集，那输出的数据集，那么有指导的学习系统往往可以较好地完成诸如模么有指导的学习系统往往可以较好地完成诸如模式分类，函数逼近之类的任务。式分类，函数逼近之类的任务。有教师学习（称为监督学习）有教师学习（称为监督学习） 误差信号
22、可以定义为：神经网络实际输出与预误差信号可以定义为：神经网络实际输出与预期响应之差。这种调节可以逐步而又不断反复地进期响应之差。这种调节可以逐步而又不断反复地进行，其最终目的就是要让神经网络模拟老师行，其最终目的就是要让神经网络模拟老师学学习样本；从统计的角度来看，这种模拟是最优的。习样本；从统计的角度来看，这种模拟是最优的。2006-5-9北京科技大学 自动化系372.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 无教师学习模式中无教师学习模式中没有老师来监视学习过没有老师来监视学习过程的。即神经网络没有程的。即神
23、经网络没有任何带标号的例子可以任何带标号的例子可以学习参考。这学习模式学习参考。这学习模式又分又分2类：类：无教师学习（称为无监督学习）无教师学习（称为无监督学习）加强学习加强学习/神经动神经动态规划态规划2006-5-9北京科技大学 自动化系382.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型无教师学习（称为无监督学习）无教师学习（称为无监督学习）无监督学习无监督学习 在无监督或自组织学习系统中，不再有外在的老在无监督或自组织学习系统中，不再有外在的老师或者评价来监督学习的过程。提供独立于任务的师或者评价来监督学习
24、的过程。提供独立于任务的表示质量的度量，要求网络学习该度量而且参数将表示质量的度量，要求网络学习该度量而且参数将根据这个度量来逐步优化网络。根据这个度量来逐步优化网络。 为了实际地使用无监督系统，我们可能会使用竞为了实际地使用无监督系统，我们可能会使用竞争性学习规则。争性学习规则。2006-5-9北京科技大学 自动化系392.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型学习任务学习任务模式联想 存储阶段回忆阶段模式联想xy输入向量输出向量模式联想输入输出关系图2006-5-9北京科技大学 自动化系402.3 2.3
25、人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型学习任务学习任务模式识别 模式识别将收到的模式或信号置以一个预先定义好的分类号。 识别机设计成一个采用监督学习算法的多层前馈网络。特征抽取的非监督网络分类的监督网络12:r 输入模式x 特征向量y 模式分类的经典分类方法图解模式分类的经典分类方法图解. .mm维观维观察空间察空间g g维特维特征空间征空间r r 维 决维 决策空间策空间2006-5-9北京科技大学 自动化系412.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神
26、经网络的基本模型其中向量x 是输入，向量d 为输出。向量值函数 假定为未知。为了弥补函数 未知的知识缺乏,我们假定有如下确定的训练样本集合:考虑下面的一个非线性输入输出映射函数关系式： |)()(|xfxFxT=(xi,di)i=1N 对于所有的是一个很小的正数.其中d = f(x) )(f) (f学习任务学习任务函数逼近函数逼近 逼近问题其实是一个很完整的监督学习网络系统。其中xi是输入向量，而di是期望的反馈向量。反之，完全可以将监督学习网络系统看成是一个函数逼近问题。2006-5-9北京科技大学 自动化系422.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章
27、 人工神经网络的基本模型人工神经网络的基本模型学习任务学习任务函数逼近函数逼近 神经网络的函数逼近问题实际上也是逼近一个未知输入输出映射函数问题：系统识别模块图系统识别模块图 2006-5-9北京科技大学 自动化系432.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 学习任务学习任务函数逼近函数逼近 逆模式系统图逆模式系统图 2006-5-9北京科技大学 自动化系44 Hebb学习规则学习规则 按照生物学的条件反射原理，按照生物学的条件反射原理，Hebb构造了一种简单的构造了一种简单的神经网络神经网络权值权值调整原则
28、：调整原则：若第若第 i 与第与第 j 个神经元同时处于兴个神经元同时处于兴奋状态，则它们间的联接应加强奋状态，则它们间的联接应加强。即：。即： wy yijija，a 0这和这和“条件反射条件反射”学说一致学说一致，并已得到证实。，并已得到证实。 Hebb 学习规则的相关假设，是许多学习规则的基础。学习规则的相关假设，是许多学习规则的基础。2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学 自动化系45Delta学习规则（学习规则（误差校正规则误差校正规则 如梯度方法、如梯度方法、BPBP
29、算法算法） Widrow和和Hoff的写法的写法： Wij(t+1)=Wij(t)+(yj- aj(t) neti(t) 也可以写成：也可以写成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=jneti(t) j=yj- aj(t)Grossberg的写法为：的写法为： Wij(t)=ai(t)(netj(t)-Wij(t)更一般的更一般的Delta规则为：规则为： Wij(t)=g(ai(t)，yj，netj(t)，Wij(t)其中：其中：ai(t)是网络目标输出；是网络目标输出； yj是网络计算输出；是网络计算输出； netj(t)网络内部叠加信号；网络内部叠加信号； W
30、ij(t)网络权值。网络权值。2006-5-9北京科技大学 自动化系462.4 2.4 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构第二章第二章 人工神经网络的基本模型人工神经网络的基本模型四种常见类型的网络结构1、前向型2、反馈型3、随机型4、自组织竞争型2006-5-9北京科技大学 自动化系472.4 2.4 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构第二章第二章 人工神经网络的基本模型人工神经网络的基本模型前向网络特点 1. 神经元分层、多层排列； 2. 层间无连接； 3. 方向由入到出。 应用最为广泛 u y 前向网络前向网络+2006-5-9北京科技大学 自动化系4
31、82.4 2.4 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 ) 1( +ty )(tu u y 反馈网络反馈网络反馈网络的特点：反馈网络的特点：网络在内部连接上有反馈连接。网络在内部连接上有反馈连接。2006-5-9北京科技大学 自动化系492.4 2.4 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 Output与 Input相连（全反馈）特点：1. 内部前向； 2. 输出反馈到输入。Hopfield网络是其一种特例。Fukushima网络网络特点：Fuku
32、shima网络反馈网络的一种特例2006-5-9北京科技大学 自动化系502.4 2.4 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构第二章第二章 人工神经网络的基本模型人工神经网络的基本模型(1) 层内神经元互相连接；(2) 层间神经元采用前向连接。Inner recurrent 网络特点：Inner recurrent 网络反馈网络的一种特例2006-5-9北京科技大学 自动化系512.4 2.4 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构第二章第二章 人工神经网络的基本模型人工神经网络的基本模型互联网络特点： 每个元都与其它元相连 例： Hopfield Boltzmann结构图结构图互联网络反馈网络的一种特例2006-5-9北京科技大学 自动化系52