《人工神经网络的基本模型说课材料.ppt》由会员分享，可在线阅读，更多相关《人工神经网络的基本模型说课材料.ppt（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2006-5-9北京科技大学 自动化系1第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型北京科技大学北京科技大学北京科技大学北京科技大学 信息信息信息信息(xnx)(xnx)工程学院工程学院工程学院工程学院付冬梅付冬梅付冬梅付冬梅 62334967第一页，共52页。2006-5-9北京科技大学 自动化系2第二章第二章 人工人工(rngng)神经网络的神经网络的基本模型基本模型 人工人工(rngng)神经元的基本模型神经元的基本模型 几种典型的激活函数几种典型的激活函数 人工人工(rngng)神经网络的学习算神经网络的学习算法概述法概述 人工人工(rngng)神经网
2、络的基本拓神经网络的基本拓扑结构扑结构第二页，共52页。2006-5-9北京科技大学 自动化系3 生物神经元结构 （1）细胞体:细胞核、细胞质和细胞膜。（2）树突：胞体短而多分枝(fn zh)的突起。相当于神经元的输入端。（3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。（4）突触：神经元间的连接接口，每个神经元约有1万10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。（5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能 产生兴奋与抑制。2.1
3、 2.1 人工神经元的基本人工神经元的基本(jbn)(jbn)模型模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型第三页，共52页。2006-5-9北京科技大学 自动化系4 生物生物(shngw)神经神经元结构元结构2.1 2.1 人工神经元的基本人工神经元的基本(jbn)(jbn)模型模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型第四页，共52页。2006-5-9北京科技大学 自动化系5 生物生物(shngw)神经元功能神经元功能（1）兴兴奋奋与与抑抑制制：当当传传入入神神经经元元冲冲动动，经经整整和和使使细细胞胞 膜膜电
4、电位位升升高高，超超过过动动作作电电位位的的阈阈值值(y zh)时时，为为兴兴奋奋状状 态态，产产 生生 神神 经经 冲冲 动动，由由 轴轴 突突 经经 神神 经经 末末 稍稍 传传 出出。当当传传入入神神经经元元的的冲冲动动，经经整整和和，使使细细胞胞膜膜电电 位位降降低低，低低于于阈阈值值(y zh)时时，为为抑抑制制状状态态，不不产产生生神神经经 冲冲动动。（2）学学习习与与遗遗忘忘：由由于于神神经经元元结结构构的的可可塑塑性性，突突触触的的 传传递递作作用用可可增增强强与与减减弱弱，因因此此，神神经经元元具具有有学学习习 与与遗遗忘忘的的功功能能。2.1 2.1 人工神经元的基本人工神
5、经元的基本(jbn)(jbn)模模型型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型第五页，共52页。2006-5-9北京科技大学 自动化系62.1 2.1 人工人工(rngng)(rngng)神经元的基本神经元的基本模型模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型 人工神经元的六个基本特征：人工神经元的六个基本特征：1）神经元及其联接；）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激
6、作用，也可以是起抑制作用；）信号可以是起刺激作用，也可以是起抑制作用；5）一个神经元接受的信号的累积效果决定该神经元的）一个神经元接受的信号的累积效果决定该神经元的状态状态(zhungti)；6)每个神经元可以有一个每个神经元可以有一个“阈值阈值”。神经元是构成神经网络的最基本单元（构件）。神经元是构成神经网络的最基本单元（构件）。人工神经元模型应具有生物神经元的六个基本特性。人工神经元模型应具有生物神经元的六个基本特性。第六页，共52页。2006-5-9北京科技大学 自动化系7图图2.1 MP神神经经元元模模型型(mxng)（a）2.1 2.1 人工人工(rngng)(rngng)神经元的神
7、经元的基本模型基本模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型 神经元神经元i i的输入的输入yj 输出输出yi 描述描述:设设则则每一神经元的输出，或每一神经元的输出，或0 0或或1 1，0 0表示表示抑制抑制，1 1表示表示兴奋兴奋：基本基本基本基本MPMP模型模型第七页，共52页。2006-5-9北京科技大学 自动化系8f(x)：作用（激发）函数作用（激发）函数是一种阶跃函数。是一种阶跃函数。从神经元的结构示意图上可见：当输入从神经元的结构示意图上可见：当输入yj的加权和的加权和 大于大于域值域值 时，神经元的输出时，神经元的输出yi =1，即神经元
8、处于，即神经元处于“兴奋状态兴奋状态”；反之，当输入反之，当输入yj的加权和的加权和 大于域值大于域值 时，神经元的输时，神经元的输出出yi=0，即神经元处于，即神经元处于“抑制状态抑制状态”在基本在基本MP模型中取整数。模型中取整数。2.1 2.1 人工人工(rngng)(rngng)神经元的基本神经元的基本模型模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型第八页，共52页。2006-5-9北京科技大学 自动化系9人工神经元模拟生物神经元的一阶特性。人工神经元模拟生物神经元的一阶特性。人工神经元模拟生物神经元的一阶特性。人工神经元模拟生物神经元的一阶特性。
9、输入：输入：输入：输入：Y=Y=Y=Y=（y0 y0 y0 y0，y1 y1 y1 y1，y2y2y2y2，ynynynyn）联接联接联接联接(lin ji)(lin ji)(lin ji)(lin ji)权：权：权：权：W=W=W=W=（w0 w0 w0 w0，w1 w1 w1 w1，w2w2w2w2，wnwnwnwn）T T T T网络输入：网络输入：网络输入：网络输入：netj=wjiyinetj=wjiyinetj=wjiyinetj=wjiyi向量形式：向量形式：向量形式：向量形式：netj=WYnetj=WYnetj=WYnetj=WYyn wny1 w1y2 w2neti=WY
10、MP模型的另一种模型的另一种(y zhn)形式形式令令 ，则，则MP神经元模型可以神经元模型可以(ky)表示为：表示为：2.1 2.1 人工神经元的基本模型人工神经元的基本模型第二章第二章 人工神经网络的基本模型人工神经网络的基本模型第九页，共52页。2006-5-9北京科技大学 自动化系102.1 2.1 人工神经元的基本人工神经元的基本(jbn)(jbn)模型模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型M-PM-P模型从哪些方面刻画了自然神经元？模型从哪些方面刻画了自然神经元？前面已介绍过生物（自然）神经元具有如下特点：前面已介绍过生物（自然）神经元具
11、有如下特点：两态工作：即工作于兴奋或抑制两种状态；两态工作：即工作于兴奋或抑制两种状态；阈值作用：即超过某一阈值则神经元兴奋；阈值作用：即超过某一阈值则神经元兴奋；多输入单输出特性；多输入单输出特性；空间叠加性；空间叠加性；可塑性联接：即突触部分的联接强度可以调节。可塑性联接：即突触部分的联接强度可以调节。虽然虽然M-PM-P模型无法实现生物神经元的空间、时间模型无法实现生物神经元的空间、时间(shjin)(shjin)的交叉叠加性，但其它生物神经元功能都的交叉叠加性，但其它生物神经元功能都具备。具备。第十页，共52页。2006-5-9北京科技大学 自动化系11M-PM-P模型在人工神经网络中
12、的地位模型在人工神经网络中的地位 首先首先M-PM-P模型是所有人工神经元中第一个被建立起模型是所有人工神经元中第一个被建立起来的，它在多个来的，它在多个(du)(du)方面都显示出生物神经元所具方面都显示出生物神经元所具有的基本特性。有的基本特性。其次，目前其它形式的人工神经元已有很多，但大其次，目前其它形式的人工神经元已有很多，但大多数都是在多数都是在M-PM-P模型的基础上经过不同的修正，改进变模型的基础上经过不同的修正，改进变换而发展起来。因此换而发展起来。因此M-PM-P人工神经元是整个人工神经网人工神经元是整个人工神经网的基础。的基础。2.1 2.1 人工人工(rngng)(rng
13、ng)神经元的神经元的基本模型基本模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型第十一页，共52页。2006-5-9北京科技大学 自动化系122.1 2.1 人工神经元的基本人工神经元的基本(jbn)(jbn)模型模型第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型对对M-PM-P人工神经元进行改进的主要方式有如下几个方面人工神经元进行改进的主要方式有如下几个方面:神经元的内部改造：对人工神经元取不同的非线性函数；神经元的内部改造：对人工神经元取不同的非线性函数；对输入和输出做不同的限制：离散的（某些离散点）和连续对输入和输出做
14、不同的限制：离散的（某些离散点）和连续的（整个的（整个(zhngg)(zhngg)实数域）。实数域）。神经网络的结构上的改造：人工神经元之间的联接形式不同。神经网络的结构上的改造：人工神经元之间的联接形式不同。算法的改进：在人工神经网络权值和阈值取求的方法上算法的改进：在人工神经网络权值和阈值取求的方法上 不不同。同。其它形式的改造。其它形式的改造。第十二页，共52页。2006-5-9北京科技大学 自动化系13 激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也也常常称称为为(chn(chn wi)wi)激激励励函函数数、活活化化函函数数：o=f(ne
15、t)o=f(net)线性函数（线性函数（Liner FunctionLiner Function）f(net)=k*net+c f(net)=k*net+c netooc2.2 2.2 几种典型几种典型(dinxng)(dinxng)的激活函数的激活函数(Activation Function)(Activation Function)第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型第十三页，共52页。2006-5-9北京科技大学 自动化系142 2、非线性斜面、非线性斜面(ximin)(ximin)函数函数(Ramp(Ramp Function)Function
16、)ifnetf（net）=k*netif|net|0为一常数，被称为饱和(boh)值，为该神经元的最大输出。-net o 2.2 2.2 几种典型的激活几种典型的激活(j hu)(j hu)函数函数(Activation(Activation Function)Function)第二章第二章 人工神经网络的基本模型人工神经网络的基本模型第十四页，共52页。2006-5-9北京科技大学 自动化系15if netf（net）=-if net均为非负实数，均为非负实数，为阈值。为阈值。二值形式：二值形式：1if netf（net）=0if net双极形式：双极形式：1if netf（net）=-1i
17、f net -onet02.2 2.2 几种典型的激活几种典型的激活(j hu)(j hu)函数函数(Activation Function)(Activation Function)第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型阈值阈值阈值阈值(y zh)(y zh)函数（函数（函数（函数（Threshold FunctionThreshold Function）阶跃函数）阶跃函数）阶跃函数）阶跃函数第十五页，共52页。2006-5-9北京科技大学 自动化系162.2 2.2 几种典型几种典型(dinxng)(dinxng)的激活函数的激活函数(Activat
18、ion Function)(Activation Function)第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型 其他形式的作用其他形式的作用其他形式的作用其他形式的作用(zuyng)(zuyng)(zuyng)(zuyng)函数函数函数函数:不同的作用不同的作用不同的作用不同的作用(zuyng)(zuyng)(zuyng)(zuyng)函数，函数，函数，函数，可构成不同的神经元模型。可构成不同的神经元模型。可构成不同的神经元模型。可构成不同的神经元模型。非对称型非对称型Sigmoid函数函数:简称简称S型作用函数，是可微的，用下式表示：型作用函数，是可微的，
19、用下式表示：如图如图(a)和和(b)f xex()=+-11 或或 fxex()=+-11b b 0第十六页，共52页。2006-5-9北京科技大学 自动化系17第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型对称对称(duchn)(duchn)型型Sigmoid函数函数(hnsh)(hnsh)是可微的，是可微的，用下式表示：如用下式表示：如图图(a)(a)和和(b)(b)fxeexx()=-+-11 或或 fxeexx()=-+-11bb ，b 0或或 f xeeeexxxx()=-+-bbbb ，b 0第十七页，共52页。2006-5-9北京科技大学 自动化系
20、18对称对称(duchn)(duchn)型阶跃函数型阶跃函数第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型第十八页，共52页。2006-5-9北京科技大学 自动化系19第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型高斯高斯(o s)(o s)函数函数:是可微的，分一维和高维，用下式表示：如图是可微的，分一维和高维，用下式表示：如图(a)(a)和和(b)(b)第十九页，共52页。2006-5-9北京科技大学 自动化系20神经元演示神经元演示非线性作用非线性作用(zuyng)函数函数（激发函数）（激发函数）2.2 2.2 几种几种(j
21、 zhn)(j zhn)典型的激活函数典型的激活函数(Activation Function)(Activation Function)第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型第二十页，共52页。2006-5-9北京科技大学 自动化系21非线性作用非线性作用(zuyng)函数函数1非对称型非对称型Sigmoid函数函数(hnsh)第二十一页，共52页。2006-5-9北京科技大学 自动化系22非线性作用非线性作用(zuyng)函数函数2对称对称(duchn)型型Sigmoid函数函数第二十二页，共52页。2006-5-9北京科技大学 自动化系23非线性作用
22、非线性作用(zuyng)函数函数3 非对称型阶跃函数非对称型阶跃函数(hnsh)第二十三页，共52页。2006-5-9北京科技大学 自动化系24非线性作用非线性作用(zuyng)函数函数4 对称对称(duchn)型阶跃函数型阶跃函数第二十四页，共52页。2006-5-9北京科技大学 自动化系25非线性作用非线性作用(zuyng)函数函数第二十五页，共52页。2006-5-9北京科技大学 自动化系26非线性作用非线性作用(zuyng)函数函数5高斯高斯(o s)RBF(o s)RBF(一维一维)第二十六页，共52页。2006-5-9北京科技大学 自动化系27非线性作用非线性作用(zuyng)函数
23、函数5高斯高斯(o s)RBF(o s)RBF（二维）（二维）第二十七页，共52页。2006-5-9北京科技大学 自动化系28非线性作用非线性作用(zuyng)函数函数5高斯高斯(o s)RBF(o s)RBF（二维）（二维）第二十八页，共52页。2006-5-9北京科技大学 自动化系29非线性作用非线性作用(zuyng)函数函数6B样条函数样条函数(hnsh)（次）（次）第二十九页，共52页。2006-5-9北京科技大学 自动化系30非线性作用非线性作用(zuyng)函数函数6B样条函数样条函数(hnsh)（1次）次）第三十页，共52页。2006-5-9北京科技大学 自动化系31非线性作用非
24、线性作用(zuyng)函数函数第三十一页，共52页。2006-5-9北京科技大学 自动化系322.3 2.3 人工神经网络的学习人工神经网络的学习(xux)(xux)算法概算法概述述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型学习过程就是学习过程就是(jish)调整权值的过程。调整权值的过程。1、竞争学习2、有监督学习3、无监督学习4、Hebb和Delta学习5、有、无监督混合学习6、随即自适应学习模拟退火7、模糊学习 等等几种常见类型学习算法：第三十二页，共52页。2006-5-9北京科技大学 自动化系33对于竞争学习规则，有三个基本元素：1.一个神经元集合
25、，这些神经元除了一些随机分布的突触权值之外是完全相同的，并且(bngqi)由于突触权值的不同而对一个给定的输入模式集合由不同的响应。2.在每个神经元的强度上给定一个极限。3.一个机制，它允许神经元为响应一个给定输入子集的权利而竞争，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的（即，“开”）.竞争获胜神经元被叫做胜者通吃（winner-takes-all）神经元。2.3 2.3 人工神经网络的学习算法人工神经网络的学习算法(sun f)(sun f)概概述述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型竞争学习竞争学习第三十三页，共52页。2006
26、-5-9北京科技大学 自动化系342.3 2.3 人工神经网络的学习算法人工神经网络的学习算法(sun f)(sun f)概概述述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型竞争竞争(jngzhng)学习学习按照标准的竞争学习规则，作用于突触权值wkj的改变量wkj定义为获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元的输出信号被置为0。我们有:第三十四页，共52页。2006-5-9北京科技大学 自动化系352.3 2.3 人工神经网络的学习算法人工神经网络的学习算法(sun f)(sun f)概概述述第二章第二章 人工神经网络的基本人工神经网络的基本
27、(jbn)(jbn)模型模型有教师学习有教师学习(xux)（称为监督学习（称为监督学习(xux)）神经网络神经网络的参数可以综的参数可以综合训练向量和合训练向量和反馈回的误差反馈回的误差信号进行适当信号进行适当调整。调整。第三十五页，共52页。2006-5-9北京科技大学 自动化系362.3 2.3 人工神经网络的学习人工神经网络的学习(xux)(xux)算法概述算法概述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型 如果我们能给定如果我们能给定(i dn)一个设计好的算法一个设计好的算法来使成本费用最小，而且有足够的输入来使成本费用最小，而且有足够的输入/输出
28、的数输出的数据集，那么有指导的学习系统往往可以较好地完据集，那么有指导的学习系统往往可以较好地完成诸如模式分类，函数逼近之类的任务。成诸如模式分类，函数逼近之类的任务。有教师学习（称为监督学习）有教师学习（称为监督学习）误差信号可以定义为：神经网络实际输出与预误差信号可以定义为：神经网络实际输出与预期响应之差。这种调节可以逐步而又不断反复地进期响应之差。这种调节可以逐步而又不断反复地进行，其最终目的就是要让神经网络模拟老师行，其最终目的就是要让神经网络模拟老师学学习样本；从统计的角度来看，这种模拟是最优的。习样本；从统计的角度来看，这种模拟是最优的。第三十六页，共52页。2006-5-9北京科
29、技大学 自动化系372.3 2.3 人工神经网络的学习人工神经网络的学习(xux)(xux)算法概算法概述述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型 无教师学习模式中无教师学习模式中没有老师没有老师(losh)来监视来监视学习过程的。即神经网学习过程的。即神经网络没有任何带标号的例络没有任何带标号的例子可以学习参考。这学子可以学习参考。这学习模式又分习模式又分2类：类：无教师学习（称为无监督学习）无教师学习（称为无监督学习）加强学习加强学习/神经动神经动态规划态规划第三十七页，共52页。2006-5-9北京科技大学 自动化系382.3 2.3 人工神经网络
30、的学习算法人工神经网络的学习算法(sun f)(sun f)概概述述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型无教师学习无教师学习(xux)（称为无监督学习（称为无监督学习(xux)）无监督学习无监督学习 在在无无监监督督或或自自组组织织学学习习系系统统中中，不不再再有有外外在在的的老老师师或或者者评评价价来来监监督督学学习习的的过过程程。提提供供独独立立于于任任务务的的表表示示质质量量的的度度量量，要要求求网网络络学学习习该该度度量量而而且且参参数数将将根据这个度量来逐步优化网络。根据这个度量来逐步优化网络。为为了了实实际际地地使使用用无无监监督督系系统统
31、，我我们们可可能能会会使使用用竞竞争争性性学习规则。学习规则。第三十八页，共52页。2006-5-9北京科技大学 自动化系392.3 2.3 人工神经网络的学习算法人工神经网络的学习算法(sun f)(sun f)概概述述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型学习学习(xux)任务任务模式联想 存储阶段回忆阶段模式联想xy输入向量输出向量模式联想输入输出关系图第三十九页，共52页。2006-5-9北京科技大学 自动化系402.3 2.3 人工神经网络的学习算法人工神经网络的学习算法(sun f)(sun f)概述概述第二章第二章 人工神经网络的基本人工神
32、经网络的基本(jbn)(jbn)模型模型学习学习(xux)任务任务模式识别 模式识别将收到的模式或信号置以一个预先定义好的分类号。识别机设计成一个采用监督学习算法的多层前馈网络。特征抽取的非监督网络分类的监督网络12:r 输入模式x 特征向量y 模式分类的经典分类方法图解模式分类的经典分类方法图解.mm维观维观察空间察空间g g维特维特征空间征空间r r维维 决决策空间策空间第四十页，共52页。2006-5-9北京科技大学 自动化系412.3 2.3 人工神经网络的学习人工神经网络的学习(xux)(xux)算法概算法概述述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模
33、型模型其中向量x 是输入，向量d 为输出。向量值函数 假定为未知。为了弥补函数 未知的知识缺乏,我们假定有如下确定的训练样本集合:考虑下面的一个非线性输入输出映射函数关系式：T=(xi,di)i=1N 对于所有的是一个很小的正数.其中d=f(x)学习学习(xux)任务任务函数逼近函数逼近 逼近问题其实是一个很完整的监督学习网络系统。其中xi是输入向量，而di是期望的反馈向量。反之，完全可以将监督学习网络系统看成是一个函数逼近问题。第四十一页，共52页。2006-5-9北京科技大学 自动化系422.3 2.3 人工神经网络的学习算法人工神经网络的学习算法(sun f)(sun f)概述概述第二章
34、第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型学习学习(xux)任务任务函数逼近函数逼近 神经网络的函数逼近问题实际上也是逼近一个未知输入输出映射函数问题：系统识别模块图系统识别模块图 第四十二页，共52页。2006-5-9北京科技大学 自动化系432.3 2.3 人工神经网络的学习算法人工神经网络的学习算法(sun f)(sun f)概述概述第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型学习学习(xux)任务任务函数逼近函数逼近 逆模式系统图逆模式系统图 第四十三页，共52页。2006-5-9北京科技大学 自动化系44 Hebb学习学
35、习(xux)规则规则 按照按照(nzho)生物学的条件反射原理，生物学的条件反射原理，Hebb构造了一种简单的构造了一种简单的神经网络权值调整原则：若第神经网络权值调整原则：若第 i 与第与第 j 个神经元同时处于兴个神经元同时处于兴奋状态，则它们间的联接应加强。即：奋状态，则它们间的联接应加强。即：Dwy yijij=a，a 0这和这和“条件反射条件反射”学说一致学说一致(yzh)，并已得到证实。，并已得到证实。Hebb 学习规则的相关假设，是许多学习规则的基础。学习规则的相关假设，是许多学习规则的基础。2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述第二章第二章 人工神
36、经网络的基本模型人工神经网络的基本模型第四十四页，共52页。2006-5-9北京科技大学 自动化系45 Delta Delta学习学习学习学习(xux)(xux)规则（误差校正规则规则（误差校正规则规则（误差校正规则规则（误差校正规则 如梯度方法、如梯度方法、如梯度方法、如梯度方法、BPBP算法）算法）算法）算法）Widrow和和Hoff的写法：的写法：Wij(t+1)=Wij(t)+(yj-aj(t)neti(t)也可以也可以(ky)写成：写成：Wij(t+1)=Wij(t)+Wij(t)Wij(t)=jneti(t)j=yj-aj(t)Grossberg的写法为：的写法为：Wij(t)=a
37、i(t)(netj(t)-Wij(t)更一般的更一般的Delta规则为：规则为：Wij(t)=g(ai(t)，yj，netj(t)，Wij(t)其中：其中：ai(t)是网络目标输出；是网络目标输出；yj是网络计算输出；是网络计算输出；netj(t)网络内部叠加信号；网络内部叠加信号；Wij(t)网络权值。网络权值。第四十五页，共52页。2006-5-9北京科技大学 自动化系462.4 2.4 人工神经网络的基本拓扑人工神经网络的基本拓扑(tu p)(tu p)结结构构第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型四种常见类型的网络结构1、前向型2、反馈型3、随机
38、型4、自组织(zzh)竞争型第四十六页，共52页。2006-5-9北京科技大学 自动化系472.4 2.4 人工神经网络的基本拓扑人工神经网络的基本拓扑(tu p)(tu p)结结构构第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型前向网络特点(tdin)1.神经元分层、多层排列；2.层间无连接；3.方向由入到出。应用最为广泛前向网络前向网络+第四十七页，共52页。2006-5-9北京科技大学 自动化系482.4 2.4 人工神经网络的基本人工神经网络的基本(jbn)(jbn)拓扑结构拓扑结构第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模
39、型模型反馈反馈(fnku)网络网络反馈网络的特点：反馈网络的特点：网络在内部连接上有反馈连接。网络在内部连接上有反馈连接。第四十八页，共52页。2006-5-9北京科技大学 自动化系492.4 2.4 人工神经网络的基本拓扑人工神经网络的基本拓扑(tu p)(tu p)结构结构第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型 Output与 Input相连（全反馈）特点：1.内部前向；2.输出反馈到输入(shr)。Hopfield网络是其一种特例。Fukushima网络网络特点：Fukushima网络反馈网络的一种特例第四十九页，共52页。2006-5-9北京科技
40、大学 自动化系502.4 2.4 人工神经网络的基本人工神经网络的基本(jbn)(jbn)拓扑结构拓扑结构第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型(1)层内神经元互相连接；(2)层间神经元采用前向连接。Inner recurrent 网络特点：Inner recurrent 网络反馈(fnku)网络的一种特例第五十页，共52页。2006-5-9北京科技大学 自动化系512.4 2.4 人工神经网络的基本人工神经网络的基本(jbn)(jbn)拓扑结拓扑结构构第二章第二章 人工神经网络的基本人工神经网络的基本(jbn)(jbn)模型模型互联网络特点：每个元都与其它(qt)元相连 例：Hopfield Boltzmann结构图结构图互联网络反馈网络的一种特例第五十一页，共52页。2006-5-9北京科技大学 自动化系52本章结束，谢谢本章结束，谢谢(xi xie)大家！大家！第五十二页，共52页。