《第四章人工神经元网络模型精选文档.ppt》由会员分享，可在线阅读，更多相关《第四章人工神经元网络模型精选文档.ppt（55页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第四章人工神经元网络模型本讲稿第一页，共五十五页1982：Hopfield HNN模型（Hopfield Neural Networks）1986：Rumelhart BP算法（back propagation）误差反向传播学习算法神经元网络系统主要研究三个方面的内容：神经元模型神经网络结构神经网络学习方法线性非线性处理单元前向网络(BP)反馈网络(Hopfield)自组织网络(ART)有导师指导无学习：神经元系统根据某种学习方法调整它内部参数以完成特定的任务的过程。本讲稿第二页，共五十五页一、神经元模型神经元是生物神经系统的最基本单元1、神经细胞结构 树突（输入端）细胞体 轴突（输出端）突触
2、（轴突末梢）（联系接口）两种状态（有无神经冲动）兴奋（有）：电位差内正外负（约60100mV）抑制（无）：电位差内负外正（约50100mV）细胞膜内外之间的不同电位差来表征的。本讲稿第三页，共五十五页神经元模型是生物神经元的抽象和模拟。是神经网络的最基本组成部分，一般是多输入-单输出的非线性器件。2、神经元模型（人工神经元）结构图神经元结构模型 f()其中：为阈值；为表示神经元j到神经元i的连接权系数 激励函数（非线性函数）本讲稿第四页，共五十五页（1）阈值型（2）分段线性型图4-3阈值函数图4-4线性函数激励函数f()形式:本讲稿第五页，共五十五页（3）Sigmoid 函数型(S型)（4）T
3、an函数型图4-5Sigmoid 函数图4-6Tan函数本讲稿第六页，共五十五页二、神经网络的模型分类按层次：（1）神经元层次模型：只是研究单一神经元的动态特性和自适应特性，探索神经元对输入信息的处理和存储能力。（2）组合式模型这种模型是由数种相互补充、相互协作的神经元组成，用于完成某些特定的任务。（3）网络层次模型它是由众多相同神经元相互连接而成的网络，着重研究神经网络的整体性能。（4）神经系统层次模型一般由多个不同性质的神经网络构成，以模拟生物神经系统更复杂、更抽象的特性。本讲稿第七页，共五十五页按连接方式分类：(1)前向网络特点：神经元分层排列，组成输入层、隐含层（可以有若干层）和输出层
4、。每一层的神经元只接受前一层神经元的输入。各神经元之间不存在反馈。感知器和误差反向传播算法中使用的网络都属于这种类型。输入层隐含层输出层本讲稿第八页，共五十五页特点：只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈，(2)反馈网络本讲稿第九页，共五十五页(3)相互结合型网络（网状结构）特点：在任意两个神经元之间都可能有连接。HNN属于这一类。在无反馈的前向网络中，信号一旦通过某个神经元,过程就结束了。而在相互结合网络中，信号要在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。从某种初态开始。经过若干次的变化，才会到达某种平衡状态，根据网络
5、的结构和神经元的特性，还有可能进入周期振荡。本讲稿第十页，共五十五页(4)混合型网络（层次型网络和网状结构网络的结合）特点：同一层内神经元可以连接；不同层之间是无反馈的。输入输出本讲稿第十一页，共五十五页距离计算神经网络三、神经网络的学习算法学习：针对一组给定输入，通过外部校正（调整权系数），使网络产生相应的期望输出的过程。图4-8 有导师指导的神经网络学习方式在训练过程中，绐终存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值。神经网络的学习算法分为两大类：有导师学习和无导师学习1、有导师指导的学习（BP算法）特点：须多次重复训练（调整权值），使误差值e0；学习需
6、消耗一定时间。实时控制关键：提高神经网络学习速度。本讲稿第十二页，共五十五页图4-9 无导师指导的神经网络学习方式2、无导师指导的学习神经网络评价函数评价函数作用：对网络的某种行为趋向作出评价，实现对网络的训练。学习规则根据连接权系数的改变方式不同分为三类：相关学习、纠错学习、无导师学习本讲稿第十三页，共五十五页（1）相关学习（联想式）特点：仅仅根据连接间的激活水平改变权系数。它常用于自联想网络，执行特殊记忆状态的死记式学习。学习算法：Hebb规则。下一时刻的权值当前权值激活水平理论依据：突触前与突触后两者同时兴奋，即两个神经元同时处于激发状态时，它们之间的连接强度将得到加强。本讲稿第十四页，
7、共五十五页（2）纠错学习特点：依赖关于输出节点的外部反馈改变权系数。它常用于感知器网络、多层前向传播网络。学习方法：梯度下降法；学习算法：规则(BP算法采用)。（3）无导师学习（竞争式学习）特点：自动实现输入空间的检测和分类，调整权值以反映所观察事件 的分布。它常用于ART网络。步骤：1.识别与输入最匹配的节点。定义距离dj为接近距离测度，即具有最短距离的节点选作胜者。2.胜者的权向量经修正使该节点对输入u更敏感。定义Nc，其半径逐渐减小至接近于0。权值学习规则为：本讲稿第十五页，共五十五页每一层的神经元只接受前一层神经元的输入（即前一层的输出作为下一层的输入）。各神经元之间不存在反馈。第二节
8、 前向神经网络模型前向神经网络可以看成一种一组输入模式到一组输出模式的系统变换。这种变换通过对某一给定的输入样本相应的输出数据集的训练而得到。此神经网络为有导师指导下的学习。在导师的指导下，使网络的突触权系数阵能在某种学习规则的指导下进行自适应学习。前向网络的训练需要一组输入输出样本集。输入层隐含层输出层特点：神经元分层排列，组成输入层、隐含层（可以有若干层）和输出层。本讲稿第十六页，共五十五页一、单一人工神经元式中：为阈值；是第j个输入的突触权系数(即权值)图单一人工神经元的示意图本讲稿第十七页，共五十五页二、单层神经网络结构图单层前向传播网络结构示意图输入变量：输出变量：本讲稿第十八页，共
9、五十五页三、多层神经网络结构多层传播结构是在输入层和输出层之间嵌入一层或多层隐含层的网络结构。第一层输出：输出：隐层：第L层的输入是第L-1层的输出本讲稿第十九页，共五十五页四、多层传播网络的学习算法(BP算法：误差反向传播学习算法)前向传播网络实质：一种从输入空间到输出空间的映射。对于给定的输入矢量X，其网络的响应可以由Y=T(X)给出。其中T为与网络结构相关的非线性算子。神经网络可以通过合适样本集，即输入输出矢量对(Xp,Tp)，(p=1,2,N；p为样本数)，来进行训练。网络的训练实质上是对突触权阵的调整，以满足当输入为Xp时其输出应为Tp。本讲稿第二十页，共五十五页误差准则函数：使误差
10、准则函数极小来进行权阵的调整tpi:期望输出ypi：实际输出通常，前向传播网络的训练是一个周期一个周期地进行的，即在每一个周期内，训练将是针对所有的样本集的，一旦一个周期完成，下一个周期仍然对此样本集进行重新训练，直到性能指标E满足要求为止特点：第r+1层的输入是第r层的输出。本讲稿第二十一页，共五十五页规则图单层前向传播网络结构示意图问题：如何调整权值，使Ep最小误差准则函数：方法：梯度下降法本讲稿第二十二页，共五十五页梯度下降法公式：定义：（广义误差）则：复合求导规则本讲稿第二十三页，共五十五页推广到多层：输入层（r=1）：若r=L（输出层）：本讲稿第二十四页，共五十五页取：Sigmoid
11、型(S型)激励函数本讲稿第二十五页，共五十五页若rL（隐含层）：考虑到r+1层所有的神经元输入激励信号都与第r层的神经元输出相关。利用复合微分规则对求微分需对所有r+1层的输入激励信号 分别求微分之和来得到，即本讲稿第二十六页，共五十五页计算步骤：初始化wij、j、最大容许误差E、给定输入向量Xp和期望目标输出Tp计算各层输出求误差Ep调整权值EpE结束NY前向计算误差反向计算网络权阵的更新是通过反向传播网络的期望输出（样本输出）与实际输出的误差来实现的。本讲稿第二十七页，共五十五页注意的有关问题：（1）权系数的初值权系数通常初始化成小的随机值，尽量可能覆盖整个权阵的空间域。（2）学习方式 单
12、样本学习：每输入一个样本就进行一次学习，然后提供下一个样本重复学习（适合在线学习）。批量学习：样本集全部输入到神经网络中，才进行一次权值调整（适合离线学习）。（3）激励函数 采用S型激励函数时，由于输出层各神经元的输出只能趋于1或0，不能达到1或0。在设置各训练样本时，期望的输出分量不能设置为1或0，以设置0.95或0.05较为适宜。本讲稿第二十八页，共五十五页（4）学习速度学习速率越大，收敛越快，但容易产生振荡；而学习速率越小，收敛越慢。一般取值0.0010.1。（5）局部极小问题 BP学习不可避免地存在局部极小问题，且学习速度很慢，甚至会在极值点附近出现振荡现象，而不能平滑地趋于最优解。解
13、决方案：加动量项(momentum)其中：学习开始阶段，选较大的值可以加快学习速度；学习接近优化区时，值必须相当小，否则权值将产生振荡而不收敛。本讲稿第二十九页，共五十五页例4-1如下图所示的多层前向传播神经网络结构。图4-15例4-1的神经网络结构图假设对于期望的输入网络权系数的初始值见图。试用BP算法训练此网络（本例中只给出一步迭代学习过程）。这里，取神经元激励函数学习步长为1。解 1）输入最大容许误差值E，最大迭代学习次数 iterafe max。置初始迭代学习次数 iterate=0。2）计算当前输入状态下、当前网络的连接权系数下的神经网络输出（即前向计算）。本讲稿第三十页，共五十五页
14、3)判断神经网络最大容许误差满足要求或迭代学习达到最大容许值否？若上述不等式中有一个满足，则退出学习。否则进入4）。本讲稿第三十一页，共五十五页4）计算广义误差。输出层广义误差：隐含层广义误差：误差反向传播本讲稿第三十二页，共五十五页5）连接权系数更新继续迭代计算直至满足终止条件为止例如：本讲稿第三十三页，共五十五页例4-2 利用多层前向传播神经网络逼近非线性函数解训练算法采用传统的BP学习算法，其中样本集取20点即期望值：选择多层前向网络结构为：1个输入神经元、6个隐含层神经元和1个输出神经元（隐层数为1）。神经元激励函数都为Sigmoid函数。图4-16多层前向传播网络结构图初始权系数阵由
15、（0,1）之间的随机数组成。学习步长前向计算误差反向传播学习方式是批量学习还是单样本学习？计算过程：本讲稿第三十四页，共五十五页 选择30个校验样本数据集，它们的取值为为了验证含多隐含层的前向传播网络的逼近性能，对含有两个隐含层的多层前向网络进行了仿真试验。取第一隐含层的隐含神元经数为4、第二隐含层的隐含神元经数为2。图4-16b)多层前向传播网络结构本讲稿第三十五页，共五十五页均方误差均方误差yy图4-17两种MLP模型的学习曲线和网络的逼近测试图（比较）BP算法的学习曲线网络的测试集逼近性能系统的实际输出（如虚线所示）神经网络的逼近输出（如实线所示）本讲稿第三十六页，共五十五页结论：增加隐
16、含层的数目并不一定意味着能够改善逼近精度（隐含层越多，计算量越大，收敛速度就受影响慢）。对于本例而言，这一非线性函数的神经网络逼近问题用单一隐含层已经足以满足逼近精度了。本讲稿第三十七页，共五十五页上机试验题（P87）（BP算法的应用字符识别）1.编写一个利用前向神经传播网络进行字符识别的程序。设神经网络为具有一个隐含层的BP网络，需识别的字符有三个A、I和O，其输入为44象素的扫描输入，见图425。目标输出分别为A=(1,-1,-1)，I=(-1,1,1)，O=(-1,-1,1)。网络为16个输入节点、3个输出节点、9个隐含层节点。图425 习题6图问题：输入样本集为？本讲稿第三十八页，共五
17、十五页第三节动态神经网络模型前向传播网络特点：从学习观点看是一种强有力的学习系统，系统结构简单且易于编程；从系统观点看是一种静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力；从计算观点看不是一种强有力的系统，缺乏丰富的动力学行为，大部分前向神经网络都是学习网络，并不注重系统的动力学行为。反馈型神经网络：非线性动力学系统。具备丰富的动力学特征，如稳定性、极限环、奇异吸引子（即浑沌现象）等。本讲稿第三十九页，共五十五页反馈动力学神经网络系统的两个重要特征：1）系统有若干个稳定状态（称为记忆）。如果从某一初始状态开绐运动，系统总可以进入某一稳定状态（即寻找记忆的过程）。稳态
18、的存在是实现联想记忆的基础。定点吸引子：相空间（即状态空间）的一个不动点。稳定性定义：定义4-1神经网络从任一初态X(0)开绐运动，若存在某一有限的时刻ts。从ts以后神经网络的状态不再发生变化，即 ，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。吸引子分类：稳定的吸引子（如定点吸引子）；不稳定的吸引子（如极限环吸引子周期重复的循环）。2）系统的稳定状态可以通过改变相连单元的权值而产生。难点：怎样通过调整网络权值来产生需要的稳定状态。本讲稿第四十页，共五十五页 Hopfield 神经网络（以二值型的Hopfield网络为例）二值型的Hopfield网络又称离散型的Hopf
19、ield网络（简记为DHNN）。特点：单层（只有一个神经元层次）、全连接，即每个神经元的输出都通过权系数wij反馈到所有其它神经元（包括自身神经元）。图4-20二值型Hopfield网络的结构图本讲稿第四十一页，共五十五页节点方程式：阈值型激励函数式中：K表示时间变量；表示外部输入(阀值)；表示神经元输出；表示神经元内部状态；f()表示阀值函数。某一时刻的网络状态可以用一个包含0和1的矢量来表示，如 。状态变化采用随机性异步更新策略。随机性异步更新策略特点：每次只有一个神经元节点进行状态的调整计算（即随机地选择下一个要更新的神经元，且允许所有神经元节点具有相同的平均变化概率），其它节点状态均保
20、持不变。本讲稿第四十二页，共五十五页 节点状态更新包括三种情况：01、10，或状态保持。某一时刻网络中只有一个节点被选择进行状态更新，当该节点状态变化时，网络状态就可以以某一概率转移到另一状态；当该节点状态保持时，网络状态更新的结果保持前一时刻状态。网络从某一初始状态开始经多次更换状态才能达到某一稳定状态。给定网络的权值和阀值，就可以确定网络的状态转移序列。本讲稿第四十三页，共五十五页解：对节点V1：0.00.00.1-0.50.20.6例4-3假设一个3节点的离散Hopfield神经网络，已知网络权值与阀值如下图所示。计算状态转移关系。已知初始状态为 ；且 ；。图421 一个3节点离散Hop
21、field网络状态a）已知网络权值初值，圈内为阀值，线上为连接系数节点V1状态y1由01。网络状态由000100，转移概率为1/3。对节点V2：节点V2状态y2由00，状态保持不变。对节点V3：节点V3状态y3由00，状态保持不变。本讲稿第四十四页，共五十五页110000001-0.6-0.43/31/30100111111000.41/30.01/3-0.32/32/31/31/30.01/31/31/30.01/3-0.11/31/31/31/31/31012/3图4-24 b)网络状态转移，圈内为状态，线上为转移概率网络从任意一个初始状态开始经几次的状态更新后都将到达此稳态。每个状态定义
22、一个能量E，Hopfield用非线性动力学系统理论中的能量函数方法（或Liapunov函数）研究反馈神经网络的稳定性。能量函数：网络的稳定状态：例：本讲稿第四十五页，共五十五页特点：Hopfield网络神经元状态要么在同一“高度”上变化，要么从上向下转移（能量E减小的方向上转移）。这是Hopfield网络系统稳定的重要标记。定理4-1离散Hopfield神经网络的稳定状态与能量函数E在状态空间的局部极小状态是一一对应的。能量函数的极小值点与网络稳定状态有着紧密的关系。神经网络的能量极小状态又称为能量井。能量井的存在为信息的分布存储记忆、神经优化计算提供了基础。应用：将记忆的样本信息存储于不同的
23、能量井，则当输入某一模式时，神经网络就能回想起与其相关记忆的样本以实现联想记忆(DHNN的重要应用特征)。本讲稿第四十六页，共五十五页一旦神经网络的能量井可以由用户选择或产生时，Hopfield网络所具有的能力才能得到充分的发挥。能量井的分布由连接权值决定。设计能量井的核心：如何获得一组合适的权值。权值设计有两种方法：一、静态产生方法：根据求解问题的要求直接计算出所需要的连接权值。特点：一旦权值确定下来就不再改变。二、动态产生方法：通过提供一种学习机制来训练网络，使其能自动调整连接权值，产生期望的能量井。学习方法如Hebb规则、规则。本讲稿第四十七页，共五十五页例4-5以图4-22所示的3节点
24、DHNN为例，要求设计的能量井为状态和111。权值和阀值可在-1,1区间取值。试确定网络权值和阀值。图4-22 3节点DHNN模型解：为能量井为能量井注意：网络权值和阀值的选择可以在某一个范围内进行，解非唯一。大于还是小于等于0？本讲稿第四十八页，共五十五页100101011001000010111110图4-23例4-5的DHNN状态转移图在某种情况下，所选择的一组参数虽然能满足能量井的设计要求，但同时也会产生我们不期望的能量井（即假能量井）。针对上例，如果选择权值和阀值为：可以验证，这组值是满足上面约束的要求，由这组参数构成DHNN有三个能量井，除010、111外，还有一假能量井100。本
25、讲稿第四十九页，共五十五页通过一定的学习规则自动调整连接权值，使网络具有期望的能量井分布，并经记忆样本存储在不同的能量井中（DHNN的重要应用：联想记忆）。权值设计的动态产生方法：常用的学习规则：Hebb学习规则和学习规则。Hebb学习规则：训练方法：设有N个神经元相互连接，每个神经元的活化状态只能取0或1，分别代表抑制和兴奋。学习过程中调节的原则为：若i与j两个神经元同时处于兴奋状态，则它们之间的连接应加强，即对于一给定的需记忆的样本向量 （N个样本，即N个能量井）本讲稿第五十页，共五十五页权值矩阵W：权系数的学习规则为：即当节点输出保持不变时则为能量井。本讲稿第五十一页，共五十五页例：假设
26、神经元的阈值矢量 ，网络输出只取两值(0，1)。要求Hopfield网络记忆如下稳定状态：，试设计网络权值，并对以下初始状态下的网络行为作出评价：。解：其中：本讲稿第五十二页，共五十五页是一个稳定状态。本讲稿第五十三页，共五十五页要实现联想记忆，神经网络必须具备两个基本条件：能够收敛于稳定状态，利用此稳态来记忆样本信息；具有回忆能力，能够从某一局部输入信息回忆起与其相关的相似记忆，或者由某一残缺的信息回忆起比较完整的记忆。DHNN实现联想记忆分为两个阶段：学习记忆阶段和联想记忆阶段。学习记忆阶段实质上是设计能量井的分布，对于要记忆的样本信息，通过一定的学习规则训练网络，确定一组合适的权值和阀值
27、，使网络具有期望的稳态，不同的稳态对应不同的记忆样本。联想回忆阶段是当给定网络某一输入模式的情况下，网络能够通过自身的动力学状态演化过程达到与其在海明距离意义上最近的稳态，从而实现自联想或异联想回忆。DHNN用于联想记忆有两个突出特点，即记忆是分布式的，联想是动态的。本讲稿第五十四页，共五十五页习题和思考题（P87）6.如图425所示的字符识别系统，要求用离散Hopfield网络来记忆A、I、O三个字符(1表示黑，0表示白)，如字符A表示(1，1，1，1，1，0，1，0，1，0，1，0，1，1，1，1)。试求出Hopfield网络的各连接系数。当输入为(1，1，0，1，1，0，1，0，1，1，0，1，1，1，1，1)时，利用此训练好的网络实现对此输入模式的识别。图425 习题6图本讲稿第五十五页，共五十五页