《反馈型神经网络ppt课件.ppt》由会员分享，可在线阅读，更多相关《反馈型神经网络ppt课件.ppt（96页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 (1) 前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。(2) 前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。 (3) 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。 (4)两者都有局部极小问题。 一、网络结构一、网络结构
2、 单层全反馈型神经网络结构单层全反馈型神经网络结构输入输出关系为：1n2I1I2InY1Y2YnX1X2Xnw11w12w1nw21w22w2nwn1wn2wnn1( )(),1,2,njjijijjiYf xfw YIjn二二、网络状态、网络状态 (1)轨迹经过一段时间t (t0)后不会再延伸，而永远停留在X(t0+t)状态，这时称网络收敛到一个稳定点或平衡点。在一个反馈网络中，可能存在有多个稳定点，根据不同的情况，这些稳定点可分为： 渐近稳定点Xe 不稳定的平衡点Xf 网络的伪稳定点 (2)轨迹为环状，称为极限环。 (3)如果X(t)的轨迹在某个确定的范围内变化，但既不重复又不能停下来，状
3、态变化为无穷多个，而轨迹也不发散到无穷远，这种现象成为混沌（Chaos）. (4)如果X(t)的轨迹随时间一直延伸到无穷远，此时状态发散，而系统的输出也发散。 三、网络的设计要求三、网络的设计要求 (1)网络的稳定性 (2)网络的稳定点 (3)稳定点的吸引域 美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。 Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型（DHNN）和连续性（CHNN）两种。pDHNN：作用函数为hadlim，主要用于联想记忆。pCHNN：作用函数为S型函数
4、，主要用于优化计算。1、网络结构2、网络的工作方式3、网络的稳定性分析4、DHNN网络设计 一、网络结构一、网络结构DHNN的结构是一个单层结构的全反馈网络，有n个节点，W是一个nn的对称零对角权值矩阵，为n维阈值向量。DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态： X=x X=x1 1,x,x2 2,x xn n T T 反馈网络的输入就是网络的状态初始值，表示为： X(0)=x X(0)=x1 1(0),x(0),x2 2(0),(0),x xn n(0)(0)T T x1 x2 xi xn T1 T2 Ti Tn 10
5、sgn10jjjjnetxnetnet（）j=1,2,nDHNN网的转移函数常采用符号函数网的转移函数常采用符号函数式中净输入为式中净输入为nijiijjTxwnet1)(j=1,2,n 对于对于DHNN网，一般有网，一般有wii=0 ，wij=wji。 反馈网络稳定时每个神经元的状态都不再改变，反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为此时的稳定状态就是网络的输出，表示为lim( )tt X二二、网络的工作方式、网络的工作方式(1) 串行（异步）工作方式串行（异步）工作方式任一时刻t，只有某一个节点i (随机地或确定性地选择) 变化，而其余n-1个节点的状
6、态保持不变，即：(2) (2) 并行（同步）工作方式并行（同步）工作方式任一时刻t，所有的节点或部分节点改变状态，即： (1)sgn( )(1)( )iijjXtnettiXtXtjiitXwtXijnjjii)(sgn() 1(1 三、三、网络的稳定性分析（1）网络的状态）网络的状态p 稳定：若网络从一个初态X(t0)出发，经过一个有限时刻t，网络的状态不再发生变化，即： 则称网络是稳定的，这时所有的节点输出不再变化，网络稳定在某一状态。如果网络是稳定的，它可以从任一初态收敛到一个稳态。 0)()(00tttXtttX(a) (b) (c) p有限环：若网络是不稳定的，由于DHNN网每个节点
7、的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 p混沌：如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。 (a) (b) (c) (a) (b) (c) p网络达到稳定时的状态X，称为网络的吸引子。如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。 p定义：若网络的状态X 满足 X=f(net)
8、=f(WX-T)则称X为网络的吸引子。 （2 2）稳定性定理）稳定性定理p定理定理1 1：当网络工作在异步方式下，满足wij=wji，wii=0，i、j=1,2,n，则能量函数单调下降，且网络必定稳定。定理定理5.1证明：证明：定义网络的能量函数为：令网络的能量改变量为E，状态改变量为X，有 1111122nnnTTijijiiijiEw x xT xX WXX T EE t1E t)() 1()(tttXXX将将 代入上式代入上式 ，并考，并考虑到虑到W W为对称矩阵，有为对称矩阵，有 1212E E t 111 ( )( ) ( )( ) ( )( )( )( )( ) 22( )( )(
9、 )( )( )( )( )( )( )TTTTTTTTTE tttttttttttttttttTtt XXWXXXXTXWXXTXWXXW XXTXWXXW X( )0,.,0,( ),0,.,0Tjtx tX2121( )( )()( )( )( )njijijjjjijjE txtw xTxt wxt nett 对于DHNN网络的任一个节点i，能量函数的变化可能有以下几种情况：因此,网络无论在什么条件下都能保证E0，这样就保证了网络的稳定性和收敛性。 1( ) 1,( )0,(1) 1,0,02( ) 1,( )0,(1)1,2,03( )1,( )0,(1) 1,2,04( )1,(
10、)0,(1)1,0,0jjjjjjjjjjjjjjjjX tnet tX tXEX tnet tX tXEX tnet tX tXEX tnet tX tXE (1)sgn( )jjXtnet t( )( )( )jjE txt nett 由于网络中各节点的状态只能取1或1，能量函数E(t)作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时E(t)=0。综上所述，当网络工作方式和权矩阵均满足定理1的条件时，网络最终将收敛到一个吸引子。定理定理2 2：当网络工作在异步方式下，满足wij=wji，i、j=1,2,n，则能量函数单调下降，且网络必定稳定。定理3：当网络工作在并行
11、方式下，满足wij=wji，则网络或者收敛于一个稳定点，或者收敛于极限环为2的一个周期解。证明：在并行工作方式时，其能量函数可以用下式表示：11(1)( )( )(1)2211(1)( )(1)( )22ijijiiiijiTTEw X tXtT X tX tXtWX tTX tX t ;nn nnXRWRIR11(1)( )(1)( )2211( )(1)( )(1)2211( )(1)(1)(1)(1)221( )(1)(1)21( ) (1)(1)2TTTTTTTTTEXtWX tTX tX tXt WX tTX tX tXt WX tX tTX tX tXt WTX tX tNET t
12、X tX t 0(1)(1)(1)(1)2(1) 1,(1)12(1)1,(1) 1iiiiiiiiX tX tX tX tX tX tX tX t 由于在NET(t)中的每个分量NETi(t)与在X(t+1)中每个分量Xi(t+1)同号，因而成立。所以E0。现在考虑在稳定点的情况，即E=0的情况：若X(t)=X(t+1)=X(t-1)，则E=0，且网络达到稳定。若X(t)X(t+1)=X(t-1)，则E=0，且网络到达周期为2的极限环。证毕。( ) (1)(1)0TH tX tX ti(1)( )(1)sgn( )( )X tX tX tWX tX t(1)sgn( )( )(1)( )(1
13、)X tWX tX tX tX tX t p以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。p性质1：若X是网络的一个吸引子，且阈值T=0，在sgn(0)处，xj(t+1)=xj(t)，则X也一定是该网络的吸引子。证明：X是吸引子，即X=f(WX)，从而有fW(X)=fWX=fWX=XX也是该网络的吸引子。p性质2：若Xa是网络的一个吸引子，则与Xa的海明距离dH(Xa，Xb)=1的Xb一定不是吸引子。证明：不妨设x1ax1b，xja=xjb，j=2,
14、3,n。w11=0，由吸引子定义，有)()(2112111nibiiniaiiaTxwfTxwfx由假设条件知，由假设条件知，x1ax1b，故，故 -Xb 不是该网络的吸引子。不是该网络的吸引子。)(211b1nibiiTxwfxp能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。p定义2若Xa是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态X演变到Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从状态X演变到Xa，则称X强吸引到Xa。p定义3若对某些X，有X弱吸引到吸引子Xa，则称这些X的集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的
15、集合为Xa的强吸引域。例.1设有3节点DHNN网，用无向图表示如下，权值与阈值均已标在图中，试计算网络演变过程的状态。x1 -0.1 -0.5 0.2 x2 0.0 0.6 0.0 x3 解：设各节点状态取值为1或0，3节点DHNN网络应有23=8种状态。不妨将X=(x1,x2,x3),T=(0,0,0)T作为网络初态，按123的次序更新状态。第1步：更新x1，x1=sgn(-0.5)0+0.20(-0.1)=sgn(0.1)=1其它节点状态不变，网络状态由(0,0,0)T变成(1,0,0)T。如果先更新x2或x3，网络状态将仍为(0,0,0)T，因此初态保持不变的概率为2/3，而变为(1,0
16、,0)T的概率为1/3。第2步：此时网络状态为(1,0,0)T，更新x2后，得x2=sgn(-0.5)1+0.600=sgn(-0.5)=0其它节点状态不变，网络状态仍为(1,0,0)T。如果本步先更新x1或x3，网络相应状态将为(1,0,0)T和(1,0,1)T，因此本状态保持不变的概率为2/3，而变为(1,0,1)T的概率为1/3。第3步：此时网络状态为(1,0,0)T，更新x3得x3=sgn0.21+0.600=sgn(0.2)=1同理可算出其它状态之间的演变历程和状态转移概率。 从这个例子，可以看出两个显著的特征：从这个例子，可以看出两个显著的特征： (1)状态状态(011）是一个满足
17、前面定义的稳定状态。）是一个满足前面定义的稳定状态。 (2)从任意初始状态开始，网络经过有限次状态更从任意初始状态开始，网络经过有限次状态更新后，都将到达该稳定状态。新后，都将到达该稳定状态。 1/3 110 1/3 1/3 1/3 1/3 010 000 2/3 001 x1 -0.1 1/3 1/3 100 2/3 1/3 -0.5 0.2 1/3 1/3 0.6 2/3 1/3 x2 0.0 0.0 x3 101 1/3 (a) 111 2/3 1/3 011 3/3 (b)DHNN网络状态演变示意网络状态演变示意图图HNNHNN的联想记忆的联想记忆 所谓联想可以理解为从一种事物联系到与
18、其所谓联想可以理解为从一种事物联系到与其相关的事物的过程相关的事物的过程. .日常生活中日常生活中, ,从一种事物出发从一种事物出发, ,人们会非常自然地人们会非常自然地联想到与该事物密切相关或有因果关系的种种事联想到与该事物密切相关或有因果关系的种种事务务. .两种联想形式两种联想形式自联想自联想(Auto-association) :(Auto-association) :由某种代表事物由某种代表事物( (或该事物的主要特征或该事物的主要特征, ,或部分主或部分主要特征要特征) )联想到其所标示的实际事物。联想到其所标示的实际事物。从英文字头从英文字头“Newt”Newt”联想到联想到“N
19、ewton”Newton”。听到歌曲的一部分可以联想起整个曲子。听到歌曲的一部分可以联想起整个曲子。HNNHNN的联想记忆的联想记忆异联想异联想( (他联想他联想)(Hetero -association) :)(Hetero -association) :由一种事物由一种事物( (或该事物的主要特征或该事物的主要特征, ,或部分或部分主要特征主要特征) )联想到与其密切相关的另一事联想到与其密切相关的另一事物。物。从质能关系式从质能关系式E=mcE=mc2 2联想到其发明者爱因联想到其发明者爱因斯坦。斯坦。看到某人的名字会联想起他的相貌和特点。看到某人的名字会联想起他的相貌和特点。人脑从一种
20、事物得到对应事物的两种途径人脑从一种事物得到对应事物的两种途径按时间顺序对相关事物进行思考按时间顺序对相关事物进行思考可通过时间表来回忆某一阶段所做的工作可通过时间表来回忆某一阶段所做的工作. .通过事物本质特征的对比来确定事物的属性通过事物本质特征的对比来确定事物的属性由提示信息或局部信息对事物进行回忆或确认由提示信息或局部信息对事物进行回忆或确认. .HNNHNN的联想记忆的联想记忆qHNNHNN的一个功能是可用于联想记忆的一个功能是可用于联想记忆, ,也即是联想存储也即是联想存储器器. .这是人类的智能特点之一这是人类的智能特点之一. . 人类的所谓人类的所谓“触景生情触景生情”就是见到
21、一些类同过去接触的就是见到一些类同过去接触的景物景物, ,容易产生对过去情景的回昧和思忆容易产生对过去情景的回昧和思忆. . 对于对于HNN,HNN,用它作联想记忆时用它作联想记忆时, ,首先通过一个学习训练过首先通过一个学习训练过程确定网络中的权系数程确定网络中的权系数, ,使所记忆的信息在网络的使所记忆的信息在网络的n n维超维超立方体的某一个顶角的能量最小立方体的某一个顶角的能量最小. . 当网络的权系数确定之后当网络的权系数确定之后, ,只要向网络给出输入向量只要向网络给出输入向量, ,这这个向量可能是局部数据个向量可能是局部数据. . 即不完全或部分不正确的数据即不完全或部分不正确的
22、数据, ,但是网络仍然产生所但是网络仍然产生所记忆的信息的完整输出记忆的信息的完整输出. .HNNHNN的联想记忆的联想记忆q19841984年年HopfieldHopfield提出一种用提出一种用n n维维HNNHNN作联想存储器的作联想存储器的结构结构. . HNNHNN联想存储器的主要思想为联想存储器的主要思想为: : 根据欲存储的信息的表示形式和维数根据欲存储的信息的表示形式和维数, ,设计相应的设计相应的HNNHNN结构结构 将欲存储的信息设计为将欲存储的信息设计为HNNHNN的动力学过程的已知的渐的动力学过程的已知的渐近稳定平衡点近稳定平衡点 通过学习和设计算法寻求合适的权值矩阵将
23、稳定状态通过学习和设计算法寻求合适的权值矩阵将稳定状态存储到网络中存储到网络中4. DHNN网络设计p用用 DHNN实现联想记忆需要考虑两个重要的问题：实现联想记忆需要考虑两个重要的问题：怎样按记忆确定网络的怎样按记忆确定网络的W和和 ；网络给定之后如何分析它的记忆容量。网络给定之后如何分析它的记忆容量。p为了使所设计的权值满足要求，权值矩阵应符合以下为了使所设计的权值满足要求，权值矩阵应符合以下要求：要求：为保证异步方式工作时网络收敛，为保证异步方式工作时网络收敛，W 应为对称阵；应为对称阵；为保证同步方式工作时网络收敛，为保证同步方式工作时网络收敛，W 应为非负定对应为非负定对称阵；称阵；
24、保证给定样本是网络的吸引子，并且要有一定的吸保证给定样本是网络的吸引子，并且要有一定的吸引域。引域。p下面将分别讨论。下面将分别讨论。 权权值设计的方法值设计的方法 记忆记忆容量分析容量分析 权权值修正的其它值修正的其它方法方法 (1)权值设计的方法权值设计的方法权值设计的方法有外积法、伪逆法、正交设计法权值设计的方法有外积法、伪逆法、正交设计法等。等。网络待记忆的学习样本有网络待记忆的学习样本有N个，个，XK, K=1,2,N，XKRn，其每个分量为，其每个分量为XiK，i=1,2,n，利用已知需，利用已知需要存储的样本来设计要存储的样本来设计n个节点间的连接权值，如节点个节点间的连接权值，
25、如节点i和和j间的连接权值为：间的连接权值为： P1pTpp)( XXW若取若取wjj=0，上式应写为，上式应写为 P1pTppI)(XXW式中式中I为单位矩阵。上式写成分量元素形式，有为单位矩阵。上式写成分量元素形式，有 ji0jixxwP1ppjpiij下面检验所给样本能否称为吸引子。下面检验所给样本能否称为吸引子。因为因为P个样本个样本Xp，p=1,2,P，x -1,1n 是两两正交的，有是两两正交的，有kpnkpkTp0)(XXkPpTppkI XXXWX1)()(1kPpkTppXXXXkkTkkPXXXX)(kkkPnPnXXX)( 因为因为n P，所以有，所以有ppppPnPnf
26、fXXXWX)sgn()(）（可见给定样本可见给定样本 Xp，p=1,2,P 是吸引子。是吸引子。如果N个样本XK，K=1,2,N，不是两两正交，其连接权值依据Hebb规则求 得，在N个样本中任选一个样本XK作为初始输入： 通过上式可求得新的输出XK=sgn(WXK)，取XK的第j个分量：KKNTKTTTNKKNXXXXXXXXXXWX2121式中11122111211,1sgnsgnsgn()sgn()nKKjjiiinnnKKNNKijiijiijiiiinNnKKkkKjiijiikkK ijjXw XX X XX X XXXXXXX X Xsn NKkkniKikjkijKjjXXXn
27、nXs, 11; 设nj为零均值的随机变量，Xik,Xjk1,-1，而nj的方差2=(N-1)n , 。对于非正交的学习样本，如果满足 ，则网络仍可收敛到其记忆样本上nN) 1( nNn) 1(设样本维数为n，样本个数为N，则根据Hebb规则设计的DHNN，实现样本均为吸引子的充分条件（样本应满足的条件）为：（1）若N个样本两两正交，则充分条件为nxxjixxiTijTi)()()()()(0Nn（2）若m个样本不是两两正交，则为mmnN1ijjTixx)()(maxikm四、DHNN的联想记忆功能与权值设计 例例 对于一个对于一个4 4神经元的网络，取阈值为神经元的网络，取阈值为0 0。给定
28、两个模式存。给定两个模式存贮于网络之中贮于网络之中 m m1 1： V V(1)(1)v v1 1,v ,v2 2,v ,v3 3,v ,v4 4 1,1,1,11,1,1,1 m m2 2： V V(2)(2)v v1 1,v ,v2 2,v ,v3 3,v ,v4 4 -1,-1,-1,-1-1,-1,-1,-1计算可得权矩阵：计算可得权矩阵：111213142122232431323334414243440222202222022220wwwwwwwwWwwwwwwww给出用于联想的原始模式：给出用于联想的原始模式： m mA A ： V V(A)(A)1,1,-1,11,1,-1,1运
29、行网络得到稳定状态运行网络得到稳定状态V V(1)(1)1,1,1,11,1,1,1，这个稳定状态正好是网络，这个稳定状态正好是网络已记忆的模式已记忆的模式m m1 1由此可以认为由此可以认为A A是由模式是由模式m mA A联想起来的。联想起来的。如联想模式为：如联想模式为： m mB B ： V V(B)(B)-1,-1,-1,1-1,-1,-1,1则得到另一稳定状态则得到另一稳定状态:V:V(2)(2)-1,-1,-1,-1-1,-1,-1,-1，即模式，即模式m m2 2 求出权矩阵满秩，其逆存在，则可线性无关的，则如果样本之间是为伪逆，有其中由此可得输入输出之间用权值W来映射，则有设
30、输入样本WXXXXXXXNWNYXWNXXXXTTTN,sgn,121*X(3)正交化的权值设计1)保证系统在异步工作时的稳定性；2)保证所有要求记忆的稳定平衡点都能收敛到自己；3)使伪稳定点（网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解）的数目尽可能的少；4)使稳定点的吸引域尽可能的大。四、DHNN的联想记忆功能与权值设计 设给定m个样本向量 x(k)=(k=1,2,m) ，首先组成如下的n (m-1) 阶矩阵,)() 1()()2()() 1 (mmmmxxxxxxATVUA),(,00021rdiagSS对A进行奇异值分解U是nn正交阵，V是(m-1) (m-1)
31、正交阵。(3)正交化的权值设计则 u1,u2,ur 是对应于非零奇异值1, 2, r 的左奇异向量，且组成了A的值域空间的正交基；ur+1,un 是 A的值域的正交补空间的正交基。 按如下方法组成连接权矩阵W和阈值向量b。)()(1mmrkTkkWxxbuuWU可表示成,121nrruuuuuU(3)正交化的权值设计所设计出的平衡稳定点能够保证收敛到自己并且有较大的稳定域。DHNN的权值设计及网络工作过程示例例1 采用Hebb规则，设计离散Hopfield网络，判断样本是否均为吸引子，并考察这两个吸引子的吸引能力。 两个样本为1111,1111)2()1(xx02222022220222202
32、)2()2()1()1(IxxxxWTT解 1）求连接权矩阵DHNN的权值设计及网络工作过程示例)2()2()1()1(11116666)(,11116666)(xfWxfxfWxf可见，两个样本 均为网络的吸引子。不满足前面给出的充分条件，是否为吸引子需具体加以检验：2）判断样本是否为吸引子 两个样本不正交，根据第二种情况判断4maxikm5812mmnm3）考察两个吸引子的吸引能力（联想记忆的功能) 显然它比较接近x(1),用异步方式按1,2,3,4的调整次序来演变网络：Txx1111)0()3(1)0() 1 (1)0() 1 (1)0() 1 (1)6()0() 1 (44332211
33、1xxxxxxfxwfxnjjj)1(1111) 1 (xxT(1)可见，只需异步方式调整一步既收敛到 x(1) 。即3）考察两个吸引子的吸引能力（联想记忆的功能) 显然它比较接近x(2),用异步方式按1,2,3,4的调整次序来演变网络：(2)可见，只需异步方式调整一步既收敛到 x(2) 。即)2(1111) 1 (xxTTxx1111)0()4(1)0() 1 (1)0() 1 (1)0() 1 (1)6()0() 1 (443322111xxxxxxfxwfxnjjj(3)可见，此时x(5)收敛到 x(2) 。即Txx1111)0()5(它与x(1)和x(2)的海明距离（两个向量不相同元素
34、的个数）均为2。若按1,2,3,4的调整次序调整网络可得4 , 3 , 2)0() 1 (1)2()0() 1 (111ixxfxwfxiinjjjTx1111) 1 (4 , 3 , 1) 1 ()2(1)6() 1 ()2(122ixxfxwfxiinjjj)2(1111)2(xxT即4 , 2 , 1)0() 1 (1)2()0() 1 (133ixxfxwfxiinjjjTx1111) 1 (3 , 2 , 1) 1 ()2(1)6() 1 ()2(144ixxfxwfxiinjjj)1(1111)2(xxT若按3,4,1,2的调整次序调整网络可得即即可见，此时x(5)收敛到 x(1)
35、 。11112226)()0() 1 ()3(fWxfWxfx下面对该例应用同步方式进行计算，仍取x(0)为x(3)， x(4)， x(5) 三种情况。Txx1111)0()3(1)可见， x(3)收敛到 x(1) 。11112226)0() 1 (fWxfx(2)Txx1111)0()4(可见， x(4)收敛到 x(2) 。11116666)1 ()2(fWxfx(3)Txx1111)0()5(11112222)0() 1 (fWxfx)0(11112222)1 ()2(xfWxfx 可见，它将在两个状态间跳跃，产生极限环为2的自持振荡。若根据前面的稳定性分析，由于此时连接权矩阵W不是非负定
36、阵，所以出现了振荡。 2. 记忆容量分析记忆容量是指在网络结构参数一定条件下，保证联想记忆功能正确实现，网络所能存储的最大样本数。当网络规模一定时，所能记忆的模式是有限的。联想记忆的原理联想记忆的原理 (1) 自联想记忆(Auto-AM) 设在学习过程中存入N个样本XK，K=1,2,N， 若输入X=XK+V，其中XK是N个样本之一，V是偏差项（可能是噪声、图形的缺损或畸变等），要求输出为Y=XK，即使之复原。 (2) 他联想记忆（Hetero-AM） 规定两组样本之间有一定的对应关系XKYK, K=1,2,N，例如，XK代表某人的照片，YK代表某人的姓名。使用时，若输入X=XK+V，要求输出为
37、Y= YK。当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：(1)权值移动(2)交叉干扰(1)权值移动在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序:当网络准确的X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2的记忆项X2X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分得遗忘了以前以记忆住的模式。endIXXWWqkforWTKK, 10从动力学的角度来看，k值较小时，网络Hebb学习规则，可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样
38、本成为网络的吸引子，而且有可能使已记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。(2)交叉干扰 网络在学习多个样本后，在回忆阶段即验证该记忆样本时，所产生的干扰，称为交叉干扰。对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.130.15)n，n为神经元数。记忆容量问题记忆容量问题例例4.4.存储如下记忆模式：若给出用于联想的原始存储如下记忆模式：若给出用于联想的原始模式为：模式为： m m1 1:Y
39、:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,1,=-1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,1,1,=-1,-1,1,1, m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.则其权矩阵为：则其权矩阵为：111213142122232431323334414243440131101131011110wwwwwwwwWwwwwwwww记忆容量问题记忆容量问题 给出联想模式：给出联想模式： m m
40、3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.但网络运行稳定在模式但网络运行稳定在模式 m m1 1:Y:Y(1)(1)=-1,1,1,1=-1,1,1,1而不是其自身模式而不是其自身模式m m3 3。 CHNN是在DHNN的基础上提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。我们将从以下几点来讨论CHNN。1、网络模型2、CHNN方程的解及稳定性分析3、关于Hop
41、field能量函数的几点说明4、关于CHNN的几点结论利用运算放大器实现的利用运算放大器实现的Hopfield动态神经元f()v1R1iRniR2iIiRiCiv2vnvi-vi连续型连续型Hopfield网络结构网络结构-+R1C1-+R2C2-+R3C3-+RnCnv1.I1I2I3InT1nT13T12v2v3vnT11Tn11.CHNN的网络模型 对于Hopfield动态神经元模型，放大器的I/O关系可用如下的方程来描述： 1011tanh1niiijiijiijiixduucvuIdtRRvuxxxe 或iiiiijijnjiijiiiinjjijiiicIcRwcRcRvwudtd
42、u,1,111101f()v1R1iRniR2iIiRiCiv2vnvi-vi对上述方程变形得：的一种特殊情况。视为可以此可见，模型有相同的形式。由上式与则有如果令为向量矩阵形式：CHNNDHNNDHNNWvuuRvdiagwwwwWWvuunnnnnn, 0, ,12111111 2.CHNN方程的解及稳定性分析对于CHNN来说，关心的同样是稳定性问题。在所有影响电路系统稳定的所有参数中，一个比较特殊的参数值是放大器的放大倍数。从前面的分析中可以看出，当放大器的放大倍数足够大时，网络由连续性转化成离散型，状态与输出之间的关系表现了激活函数的形状，而正是激活函数代表了一个网络的特点，所以，下面
43、着重分析不同激活函数关系对系统的稳定性的影响。1、激活函数为线性函数时2、激活函数为非线性函数时 当激活函数为线性函数时，即1210iirvuUAUBAWAII 此时系统的状态方程为：其中。此系统的特征方程为：其中 为单位对角阵。通过对解出的特征值 ， ， ，的不同情况，可以得到不同的系统解的情况。 对于非线性系统进行稳定性分析，方法之一就是在系统的平衡点附近对系统进行线性化处理。也可以基于网络的能量函数。下面介绍Hopfield能量函数法。 :121:101111的稳定性有如下的定理关于能量项。入状态和输出值关系的上式第三项表示一种输能量函数定义为CHNNdvvRIvvvwEniviinii
44、ininjjiiji 1111,0,001,2,1122iijjiiniiinniijjjijijjiiijjjvwwdvdEdEindtdtdtdvdEEdtv dtuEw vw vIvRw v 定理：若为单调连续递增的函数，则随着网络状态的变化，有当且仅当时，证明： 11niiiiiiiuIRdudvvdtdt 2111000niiiiiiidvdEvdtdtdEvdtdvdEidtdt 单调递增，仅当时 此定理表明，随着时间的演化，网络的状态总是朝能量减少的方向运动。网络的平衡点就是E的极小点。3.关于Hopfield能量函数的几点说明1）能量函数为反馈网络的重要概念。根据能量函数可以方
45、便的判断系统的稳定性；2）能量函数与李雅普诺夫函数的区别在于：李氏被限定在大于零的范围内，且要求在零点值为零；3）Hopfield选择的能量函数，只是保证系统稳定和渐进稳定的充分条件，而不是必要条件，其能量函数也不是唯一的。 当对反馈网络应用能量函数后，从任一初始状态开始，因为在每次迭代后都能满足E0，所以网络的能量将会越来越小，最后趋于稳定点E=0。Hopfield能量函数的物理意义是：在那些渐进稳定点的吸引域内，离吸引点越远的状态，所具有的能量越大，由于能量函数的单调下降特性，保证状态的运动方向能从远离吸引点处，不断地趋于吸引点，直到达到稳定点。4.关于CHNN的几点结论： 1）具有良好的
46、收敛性； 2）具有有限个平衡点； 3）如果平衡点是稳定的，那么它也一定是渐进稳定的； 4）渐进稳定平衡点为其能量函数的局部极小点； 5）能将任意一组希望存储的正交化矢量综合为网络的渐进平衡点； 6）网络的存储信息表现为神经元之间互连的分布式动态存储； 7）网络以大规模、非线性、连续时间并行方式处理信息，其计算时间就是网络趋于平衡点的时间。Hopfield网络在组合优化中的应用 组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。 将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于
47、极小值时，问题的最优解也随之求出。 旅行商问题，简称TSP（Traveling Salesman Problem）。问题的提法是：设有N个城市，,记为：,用dij表示ci和cj之间的距离，dij0,(i,j=1,2,n)。有一旅行商从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。N=5 TSP Probelm ，N=5，并用字母A、B、C、D、E、分别代表这5个城市。当任选一条路径如B-D-E-A-C，则其总路径长度可表示为Nccc,21NcccC,21CBACEADEBDdddddS第一步就是将问题映照到一个神经网络。假定每个神经元的放大器有很高的放大倍
48、数，神经元的输出限制在二值0和1上，则映照问题可以用一个换位矩阵（Permutation Matrix）来进行，换位矩阵可如下图所示。 次序城市12345A00010B10000C00001D01000E00100约束条件和最优条件矩阵的每个元素对应于神经网络中的每个神经元，则这个问题可用N2=52=25个神经元组成的Hop-field网络来求解。 问题的约束条件和最优条件如下：（1)一个城市只能被访问一次=换位矩阵每行只有一个“1”。 （2）一次只能访问一个城市=换拉矩阵每列只有一个“1”。 （3）总共有N个城市=换位矩阵元素之和为N。 (4）求巡回路径最短=网络能量函数的最小值对应于TSP
49、的最短路径。 用vij表示换位矩阵第i行、第j列的元素，显然只能取1或0。同时，vij也是网络神经元的状态。结论:构成最短路径的换位矩阵一定是形成网络能量函数极小点的网络状态。建立能量函数1）优化目标在换位矩阵中，顺序访问两城市所有可能途径（长度）可表示为N个城市两两之间所有可能的访问路径的长度可表示为当这项最小时，则它就表示访问N个城市的最短距离。,1,1111()(,)Nxyxiy ixyxiy ixyxiy iy iiddd 111111(,)2NNNxyxiy iy ixyiEd2）对应于第（1）个约束条件第x行的所有元素 按顺序两两相乘之和 应为0。N个行的所有元素按顺序两两相乘之和
50、 也应为0。则可得网络能量函数的第一项，项前乘系数A/2， 111NNxixiij i xixjNxNiNijxi 111112111N nNAxi xjxiji 3）对应于第（2）个约束条件，可得能量函数的第二项，式中B/2为系数。4)对应于第（3）个约束条件，换位矩阵中所有为“1”元素之和应等于N由此可得网络能量函数的第三项式中，取平方值是为了使这项符合能量的表达形式，同时也体现了对不符合约束条件时的一种惩罚；C/2为系数。yiNiNxNxyxiB 11112011NNxNixi2112NxNixiNC5）网络能量函数的最后表达式将优化目标乘以D/2，由此得到网络能量函数的第四项 ，则最后