《神经网络2-hopfield网络.ppt》由会员分享，可在线阅读，更多相关《神经网络2-hopfield网络.ppt（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 智能控制技术智能控制技术 西安工业大学西安工业大学 电电 信信 学学 院院 宋宋宋宋 晓晓晓晓 茹茹茹茹第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 7.4反馈神经网络模型反馈神经网络模型Hopfield网络网络第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 Hopfield网网络络属属于于无无监监督督学学习习神神经经元元网网络络。Hopfield网网络络是是单单层层反反馈馈网网络络，是是一一种种全全连连接接加加权权无无向图，可分为连续型和离散型二种形式。向图，可分为连续型和离散
2、型二种形式。7.4反馈神经网络模型反馈神经网络模型Hopfield网络网络1982年，年，JHopfield提出了可用作联想存储器的互连提出了可用作联想存储器的互连网络，这个网络称为网络，这个网络称为Hopfield网络模型，也称网络模型，也称Hopfield模模型。型。Hopfield神经网络模型是一种循环神经网络，从输神经网络模型是一种循环神经网络，从输出到输入有反馈连接。出到输入有反馈连接。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 图726 Hopfield网络第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 Hopfield网络是单层反馈
3、网络，有网络是单层反馈网络，有n个神经元节点，个神经元节点，每每个个神神经经元元的的输输出出连连接接到到其其它它神神经经元元的的输输入入。各各个个节节点点自自己己没没有有反反馈馈，图图中中的的每每个个节节点点都都附附有有一一个个阈阈值值和和权权系系数数。每每个个节节点点都都可可处处于于一一种种可可能能的的状状态态（1或或1），即即当当该该神神经经元元所所受受的的刺刺激激越越过过其其阈阈值值时时，神神经经元元处处于于一一种种状状态态（比比如如1）。否否则则神神经经元元就就始始终终处处于于另另一一状状态态（比比如如1），图图中中顶顶点点的的个个数数就就是是该该神神经经网网络络的的阶数阶数。第第5章
4、章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 从从时时域域上上来来看看，Hopfield网网可可以以用用一一组组耦耦合合的的非非线线性性微微分分方方程程来来表表示示。在在一一定定条条件件下下，Hopfield网网络络可可以以用用作作联联想想存存储储器器。Hopfield网网络络得得到到广广泛泛应应用用的的另一个特点是它具备另一个特点是它具备快速优化快速优化能力能力。离离散散型型的的Hopfield网网络络即即二二值值型型的的Hopfield网网络络，只只有有一一个个神神经经元元层层次次。每每个个处处理理单单元元均均有有一一个个活活跃跃值值（状状态态）取取两两个个可可能能的的状状
5、态态值值之之一一，通通常常用用0和和1或或1和和1来来表表示示神神经经元元的的两两个个状状态态，即即抑抑制制或或兴兴奋奋。整整个个网网络络的的状状态态由由单单一一神神经经元元的的状状态态组组成成。网网络络的的状状态态可可用用一一个个由由0(-1)/1组组成成的的矢矢量量来来表表示示，其其中中每每一一元元素素对对应应于某个神经元的状态于某个神经元的状态。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 图727 Hopfield基本单元第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 如
6、果如果Hopfield网络是一个能收敛的稳定网络，则反馈网络是一个能收敛的稳定网络，则反馈与迭代过程所产生的变化越来越小，一旦到达了稳定平与迭代过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么衡状态；那么Hopfield网络就会输出一个稳定的恒值。网络就会输出一个稳定的恒值。对于一个对于一个Hopfield网络来说，关键是在于确定它在稳定网络来说，关键是在于确定它在稳定条件下的权系数。条件下的权系数。应该应该指出指出：反馈网络有稳定的，也有不稳定的。对于：反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，还存在如何判别它是稳定网络，亦网络来说，还存在如何判别它是稳定网络，亦或
7、是不稳定的问题；而判别依据是什么，也是需要确定或是不稳定的问题；而判别依据是什么，也是需要确定的。的。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 1离散离散Hopfield网络网络Hopfield最早提出的网络是二值神经网络，神经元的最早提出的网络是二值神经网络，神经元的输出只取输出只取1和和0这两个值，所以，也称离散这两个值，所以，也称离散Hopfield神经神经网络。在离散网络。在离散HopfieId网络中，所采用的神经元是二值网络中，所采用的神经元是二值神经元；故而，所输出的离散值神经元；故而，所输出的离散值1和和0分别表示神经元处分别表示神经元处于激活和抑制状
8、态。于激活和抑制状态。先考虑由三个神经元组成的离散先考虑由三个神经元组成的离散Hopfield神经网络，其神经网络，其结构如图结构如图713中所示中所示。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 图图713离散离散Hopfield神经网络结构图神经网络结构图第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 第一层是实际神经元，故而执行对输人信息和权系数第一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性函数乘积求累加和，并由非线性函数f处理后产生输出信息。处理后产生输出信息。f是一个简单的阈值函效，如果神经元的输出信息大于阈是一
9、个简单的阈值函效，如果神经元的输出信息大于阈值值，那么，神经元的输出就取值为，那么，神经元的输出就取值为1；小于阈值；小于阈值，则神，则神经元的输出就取值为经元的输出就取值为。对于二值神经元，它的计算公式如下对于二值神经元，它的计算公式如下其中：其中：xi为外部输入。并且有：为外部输入。并且有：Yi=1,当当Uii时时Yi=0,当当Ui0当神经网络从当神经网络从t0开始，有初始开始，有初始状态状态Y(0)；经过有限时刻；经过有限时刻t，有：，有：Y(t+t)=Y(t)则称网络是稳定的。则称网络是稳定的。对对Hopfield网络引入一个网络引入一个Lyapunov函数，即所谓能量函数，即所谓能量
10、函数函数第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 即：即：对于神经元对于神经元j，其能量函数可表示为，其能量函数可表示为：即：即：第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 神经元神经元j的能量变化量表示为的能量变化量表示为Ej：如果存在条件如果存在条件Wii=0,i=1,2,.,nWij=Wjii=1,2,.,nj=1,2,.,n则有：则有：第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 式中：式中：Ej为神经元为神经元j的能量；的能量；Ej为神经元为神经元j的能量变化；的能量变化；Wij为神经元为神经元i到神经元到
11、神经元j的权系数：的权系数：Yi为神经元为神经元j的输出；的输出；Xj为神经元为神经元j的外部输入；的外部输入；j为神经元为神经元j的阀值；的阀值；Yj为神经元为神经元j的输出变化。的输出变化。如果，令如果，令Uj=WijYi+Xj则则Ej可表示为：可表示为：考虑如下两种情况：考虑如下两种情况：第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 1如果如果Ujj，即神经元，即神经元j的输入结果的值大于阀值，的输入结果的值大于阀值，则则Uj-j0，则从二值神经元的计算公式知道：，则从二值神经元的计算公式知道：Yj的值保的值保持为持为1，或者从，或者从0变到变到1。这说明。这说明
12、Yj的变化的变化Yj只能是只能是0或或正值。这时很明显有正值。这时很明显有Ej：Ej0这说明这说明Hopfield网络神经元的能量减少或不变。网络神经元的能量减少或不变。2如果如果Ujj，即神经元，即神经元j的输入结果的值小于阀值，的输入结果的值小于阀值，则则Uj-j0，则从二值神经元的计算公式可知：，则从二值神经元的计算公式可知：Yj的值保的值保持为持为0，或者从，或者从1变到变到0。这说明。这说明Yj的变化的变化Yj只能是零只能是零或负位。这时则有或负位。这时则有Ej：Ej0这也说明这也说明Hopfield网络神经元的能量减少。网络神经元的能量减少。第第5章章单片机的定时单片机的定时/计数
13、器与串行接口计数器与串行接口 上面两点说明了上面两点说明了Hopfield网络在权系数矩阵网络在权系数矩阵W的对角的对角线元素为线元素为0，而且，而且W矩阵元素对称时，矩阵元素对称时，Hopfield网络是稳网络是稳定的。定的。hopfield网络的一个功能是可用于联想记忆，也即是网络的一个功能是可用于联想记忆，也即是联想存储器。这是人类的智能特点之一。对于联想存储器。这是人类的智能特点之一。对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在网络的确定网络中的权系数，使所记忆的信息在网络的n维
14、超维超立方体的某一个顶角的能量最小。当网络的权系数确定立方体的某一个顶角的能量最小。当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部之后，只要向网络给出输入向量，这个向量可能是局部数据即不完全或部分不正确的数据，但是网络仍然产数据即不完全或部分不正确的数据，但是网络仍然产生所记忆的信息的完整输出。生所记忆的信息的完整输出。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 1984年年Hopfield开发了一种用开发了一种用n维维Hopfield网络作联想网络作联想存储器的结构。在这个网络中，权系数的赋值规则为存存储器的结构。在这个网络中，权系数的赋值规则为
15、存储向量的外积存储规则储向量的外积存储规则(outproductstorageprescription)其原理省略。其原理省略。2连续连续Hopfield网络网络连续连续Hopfield网络的拓朴结构和离散网络的拓朴结构和离散Hopfield网络的结网络的结构相同。这种拓朴结构和生物的神经系统中大量存在的构相同。这种拓朴结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在连续神经反馈回路是相一致的。在连续Hopfield网络中，和网络中，和离散离散Hopfield网络一样，其稳定条件也要求网络一样，其稳定条件也要求Wij=Wji。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器
16、与串行接口 连续连续Hopfield网络和离散网络和离散Hopfield网络不同的地方在于其网络不同的地方在于其函数函数g不是阶跃函数，而是不是阶跃函数，而是S形的连续函数。一般取形的连续函数。一般取g(u)=1/(1+e-u)当网络神经元的传递函数是当网络神经元的传递函数是S函数，并且网络权系数矩函数，并且网络权系数矩阵对称；则随时间的变化网络的能量会下降或不变；且阵对称；则随时间的变化网络的能量会下降或不变；且仅当输出电位随时间变化不变时网络的能量才会不变。仅当输出电位随时间变化不变时网络的能量才会不变。换而言之，在上述条件下的网络是能量不变或下降的。换而言之，在上述条件下的网络是能量不变
17、或下降的。定理的证明省略定理的证明省略可以证明，如果可以证明，如果Hopfield网络的传递函数网络的传递函数g是连续而且是连续而且有界的，那么，能量函数有界的，那么，能量函数E(t)是有界的。是有界的。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 最后结论：最后结论：当当Hopfield网络的神经元传递函数网络的神经元传递函数g是连续且是连续且有界的，有界的，eg：Sigmoid函数，并且网络的权系数矩阵对称，函数，并且网络的权系数矩阵对称，则这个连续则这个连续Hopfield网络是稳定的。网络是稳定的。在实际应用中任一系统，如果其优化问题可以用能量函在实际应用中任一
18、系统，如果其优化问题可以用能量函数数E(t)作为目标函数，则总可以用连续作为目标函数，则总可以用连续Hopfield网络对其网络对其进行求解。由于引入能量函数进行求解。由于引入能量函数E(t)，Hopfield使神经网络使神经网络和问题优化直接对应；这种工作是具开拓性的。利用神和问题优化直接对应；这种工作是具开拓性的。利用神经网络进行优化计算，就是在神经网络这一动力系统给经网络进行优化计算，就是在神经网络这一动力系统给出初始的估计点，即初始条件；然后随网络的运动传递出初始的估计点，即初始条件；然后随网络的运动传递而找到相应极小点。这样，大量的优化问题都可以用连而找到相应极小点。这样，大量的优化
19、问题都可以用连续的续的Hopfield网来求解。这也是网来求解。这也是Hopfield网络用于神经计网络用于神经计算的基本原因。算的基本原因。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 例例2：由：由3个神经元组成的个神经元组成的Hopfield网络，有网络，有2个基个基本存贮器，存贮本存贮器，存贮2个向量个向量1，-1，1和和-1，1，-1，设计权连接矩阵。设计权连接矩阵。解析：按公式：解析：按公式：第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 相应的连接图形如728：第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 满足
20、匹配条件的固定点或向量计算如下：满足匹配条件的固定点或向量计算如下：第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 其它点都是不稳定的点，例如，对其它点都是不稳定的点，例如，对1，1，1，和，和1，1，-1，迭代结果都移向稳定点。，迭代结果都移向稳定点。对对1，1，1第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 对1，1，-1第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 此过程可用图表示如729：第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 Hopfield网络的工作过程有网络的工作过程有4个步骤：个
21、步骤：1）存贮（学习），异步、随机。）存贮（学习），异步、随机。2）初始化，加入初始试样，然后移走。）初始化，加入初始试样，然后移走。3）迭代直至收敛）迭代直至收敛4）输出，得到稳定点）输出，得到稳定点。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 例例7-3假设一个假设一个3节点的离散节点的离散Hopfield神经网络，神经网络，已知网络权值与阈值如下图已知网络权值与阈值如下图730所示，已知网络权所示，已知网络权值初值圈内为阈值，线上为连接函数。计算状态转移值初值圈内为阈值，线上为连接函数。计算状态转移关系。关系。图图730离散离散Hopfield神经网络神经网络第
22、第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 解析：以初始状态解析：以初始状态为例，我们为例，我们可以依次选择节点可以依次选择节点，确定其节点兴奋的条，确定其节点兴奋的条件及状态的转移。假设首先选择节点件及状态的转移。假设首先选择节点，激励函数为，激励函数为可可见见，节节点点处处于于兴兴奋奋状状态态并并且且状状态态y1由由01。网网络络状状态态由由000100，转转移移概概率率为为1/3。同同样样其其它它两两个个节节点也可以以等概率发生状态变化，它们的激励函数为点也可以以等概率发生状态变化，它们的激励函数为第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接
23、口 节点节点状状态态保保持持不不变变。因因此此，由由状状态态000不不会会转转移移到到001和和010。图230 b)网络状态转移，圈内为状态，线上为转移概率第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 从这个例子上可以看出，系统状态从这个例子上可以看出，系统状态是一个网络的稳定状态；网络从任意一个初始状态是一个网络的稳定状态；网络从任意一个初始状态开始经几次的状态更新后都将到达此稳态。开始经几次的状态更新后都将到达此稳态。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 仔仔细细观观察察图图中中的的状状态态转转移移关关系系，就就会会发发现现Hopf
24、ield网网络络神神经经元元状状态态要要么么在在同同一一“高高度度”上上变变化化，要要么么从从上上向向下下转转移移。这这样样的的一一种种状状态态变变化化有有着着它它必必然然的的规规律律。Hopfield网网络络状状态态变变化化的的核核心心是是每每个个状状态态定定义义一一个个能能量量E，任任意意一一个个神神经经元元节节点点状状态态变变化化时时，能能量量E都都将将减减小小。这这也也是是Hopfield网网络络系系统统稳稳定定的的重重要要标标记记。Hopfield这这种种用用非非线线性性动动力力学学系系统统理理论论中中的的能能量量函函数数方方法法（或或Liapunov函函数数）研研究究反反馈馈神神经经网网络络的的稳定性，并引入能量函数。稳定性，并引入能量函数。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口 则则Hopfield神经网络中的状态变化导致能量函数神经网络中的状态变化导致能量函数E的下降，并且能量函数的极小值点与网络稳定状态有的下降，并且能量函数的极小值点与网络稳定状态有着紧密的关系。着紧密的关系。定理定理4-1离散离散Hopfield神经网络的稳定状态与能神经网络的稳定状态与能量函数量函数E在状态空间的局部极小状态是一一对应的在状态空间的局部极小状态是一一对应的。第第5章章单片机的定时单片机的定时/计数器与串行接口计数器与串行接口