第六章竞争神经网络.pptx

《第六章竞争神经网络.pptx》由会员分享，可在线阅读，更多相关《第六章竞争神经网络.pptx（38页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、1第六章第六章 竞争神经网络竞争神经网络2概述概述竞争神经网络在无教师信息的情况下能够自组竞争神经网络在无教师信息的情况下能够自组织地挖掘输入信息的特征，以便对输入进行聚织地挖掘输入信息的特征，以便对输入进行聚类处理。类处理。此类神经网络经常被用来作为前处理单元此类神经网络经常被用来作为前处理单元 (preprocessing unit)(preprocessing unit)，以便抽取出输入信息，以便抽取出输入信息的特征，或将输入信息矢量量化的特征，或将输入信息矢量量化 (vector (vector quantization) quantization) 之后再进行监督式学习。之后再进行监

2、督式学习。 3概述概述神经网络有两种实现非监督式学习的方式：神经网络有两种实现非监督式学习的方式： HebbianHebbian规则规则 通常不是被用来分析输入信息间的聚通常不是被用来分析输入信息间的聚类关系或分类关系，类关系或分类关系，而是而是测量输入信息间的相似性或测量输入信息间的相似性或分析输入信息中的主要成分向量分析输入信息中的主要成分向量 (principle (principle components)components)”。 竞争学习规则竞争学习规则 使用竞争学习的神经网络，只有其使用竞争学习的神经网络，只有其中的一个神经元会被激活。该神经元就称为胜者中的一个神经元会被激活。该

3、神经元就称为胜者 (winner)(winner)”。这种神经网络通常用来做聚类分析。即在。这种神经网络通常用来做聚类分析。即在无先验知识的情况下，发现或挖掘输入信息本身的结无先验知识的情况下，发现或挖掘输入信息本身的结构及聚类关系。构及聚类关系。 4概述概述基于竞争学习的神经网络常被用作样本特征检测基于竞争学习的神经网络常被用作样本特征检测器，在样本排序、样本聚类、样本分类、样本检器，在样本排序、样本聚类、样本分类、样本检测和样本分布特征可视化等方面有广泛地应用测和样本分布特征可视化等方面有广泛地应用典型的竞争神经网络有典型的竞争神经网络有： ART (Adaptive Resonance

4、Theory) SOFM (Self-Organization Feature Mapping) PCA (Principle Components Analysis) SNN (Synergetic Neural Network)5Competitive Learningn竞争学习的概念竞争学习的概念 设训练模式集合为x1, x2, xp，所有这些模式分别属于按某种标准设定的m类模式之一（无先验知识） 通过竞争学习，网络实现自组织模式分类。每个输出结点代表某一类模式，具体哪一个结点对应于哪具体哪一个结点对应于哪一类模式不是事先指定的，需要竞争而出。一类模式不是事先指定的，需要竞争而出。 每个

5、节点就像一个pattern detector或feature detector，对输入的解释是通过有无相应节点表示对输入的解释是通过有无相应节点表示，而不是相应幅度或输入输出变换（象前馈网络或，而不是相应幅度或输入输出变换（象前馈网络或反馈网络）反馈网络） 与该结点相连的权向量包含了该类模式的基本信息与该结点相连的权向量包含了该类模式的基本信息竞争学习及其特点竞争学习及其特点6n竞争学习目的竞争学习目的 竞争学习过程是对输入矢量的聚类过程，是使得获胜节点获得最大响应的过程，是使获胜节点与输入节点之间的权矢获胜节点与输入节点之间的权矢量逐渐逼近输入矢量。量逐渐逼近输入矢量。 当训练结束后，对于某

6、类输入模式P，一定有一个网络输出节点有最大响应（输出值为1），其余输出节点无响应（输出值为0）。该最大响应输出节点与输入节点之间的权矢量该最大响应输出节点与输入节点之间的权矢量等于或代表此输入矢量。等于或代表此输入矢量。Competitive Learning7Competitive Learning x1 x2 x3 - xn y1 y2 y3 - ym竞争层竞争层输入层输入层-每个输入节点与每个输出节点全连接-竞争层的每一个节点接受一个输入加权和 竞争网络结构竞争网络结构8Competitive Learningn 竞争学习过程竞争学习过程 “winner takes all”l确定确定w

7、inner winner (competitive phase) (competitive phase) ：按一定的准则计：按一定的准则计 算每个输出节点与输入节点之间的算每个输出节点与输入节点之间的权矢量与输入矢量之权矢量与输入矢量之间的逼近度间的逼近度, ,最逼近的为最逼近的为winner.winner.l调整权矢量调整权矢量(reward phase)(reward phase) ：按一定的准则调整：按一定的准则调整 winnerwinner的权矢量的权矢量In simple competitive learning ，only the winner is allowed to lear

8、n (change its weight). In self-organizing maps， winner and other neurons in the neighborhood of the winner may learn.9 competitive learning1p2y1y2ymx1x2xn.xwxwyTin1jjiji XWmaxXWif,yTkm,1kTii 为胜者XWminXWifykm,1kii 为胜者，当权重归一化时，两个判断式是等效的确定确定Winneror10competitive learning权重调整： ncompetitio theloses neuron

9、 if ncompetitio the winsneuron if ii, 0),wx(wijjij11Competitive LearningSimple Competitive Learning1212. 052. 0X81. 027. 01W 70. 042. 02W 21. 043. 03W Competitive Learning13nWe find the winning (best-matching) neuron jX using the minimum-distance Euclidean criterion:221221111)()(wxwxd73. 0)81. 012.

10、0()27. 052. 0(22222221212)()(wxwxd59. 0)70. 012. 0()42. 052. 0(22223221313)()(wxwxd13. 0)21. 012. 0()43. 052. 0(22nNeuron 3 is the winner and its weight vector W3 is updated according to the competitive learning rule. 0.01 )43.052.0( 1.0)( 13113wxw0.01 )21.012.0( 1.0)( 23223wxw Competitive Learning1

11、4nThe updated weight vector W3 at iteration (p + 1) is determined as:nThe weight vector W3 of the wining neuron 3 becomes closer to the input vector X with each iteration.20. 044. 001. 00.01 21. 043. 0)()() 1(333pppWWW Competitive Learning15Competitive Learning Compress (encode)输入矢量 x 映射到一个输出节点（code

12、-word ） Decompress (decode)输出节点（code-word ） 映射到对应的权矢量（ code-book vector） 有损压缩有损压缩Data Compression16 竞争学习网络的局限性：竞争学习网络的局限性： 一般竞争网络适用于具有典型聚类特性的大量数据的辨识，但当遇到大量的具有概率分布的输入矢量时，竞争网络就无能为力了，这时可以采用SOFM网络来解决。 SOFM网络也采用竞争学习方法，但强调邻域的作用。因此，相应的竞争策略略有不同，即不但获胜者而且其邻域的神经元也调整权重。 SOFM模型模型17SOFM模型模型自组织特征映射网络（自组织特征映射网络（SOF

13、M) 借鉴了上述生理机制，将输入矢量的特征以有意义的拓扑借鉴了上述生理机制，将输入矢量的特征以有意义的拓扑结构映射在输出层上。结构映射在输出层上。即在输入特征空间相邻的矢量映射即在输入特征空间相邻的矢量映射后，其输出层响应节点形成在拓扑几何意义上的后，其输出层响应节点形成在拓扑几何意义上的 相邻。相邻。 当随机样本输入到当随机样本输入到SOFMSOFM网络时，如果样本足够多，那么在网络时，如果样本足够多，那么在权值分布上可近似于输入随机样本的概率密度分布，在输权值分布上可近似于输入随机样本的概率密度分布，在输出神经元上也反映了这种分布，即概率大的样本集中在输出神经元上也反映了这种分布，即概率大

14、的样本集中在输出空间的某一个区域或各个不同的区域。出空间的某一个区域或各个不同的区域。 一般而言，一般而言，SOFMSOFM网络的权矢量收敛到所代表的输入矢量的网络的权矢量收敛到所代表的输入矢量的平均值，它反映了输入数据的统计特性平均值，它反映了输入数据的统计特性18SOFM模型模型 输入层和输出层（竞争层）输入层和输出层（竞争层） 输入为输入为 ，输出可，输出可 以是任意维，以是任意维， 但一般取二维但一般取二维 其其 中分布中分布m m个神经元。个神经元。 输入节点输入节点i i通过权值通过权值 与输出层与输出层 的的m m个节点连接，每个输出节点个节点连接，每个输出节点j j 对应一组权

15、向量对应一组权向量： Tn21x,x,xtX ijw TjjjjwwwtWn21,iijijxwfon1 节点节点j j输出：输出： 网络结构网络结构19SOFM模型模型激活函数激活函数 脑神经元化分成不同的功能区域。这种体现了拓扑几何意义相关的区域的形成与神经元之间的侧向联结（laterallateral connections ）相关。侧向联结可用一种Mexican hat function 来描述。20SOFM模型模型 For a given node,近邻神经元互相激励近邻神经元互相激励 (mutually excitatory , w 0)(mutually excitatory ,

16、 w 0)远离神经元互相抑制远离神经元互相抑制 (mutually inhibitory,w 0)(mutually inhibitory,w 0)很远距离的神经元（很远距离的神经元（irrelevant irrelevant ，w = 0)w = 0) 可以用“邻域”(neighborhood)作用来实现复杂的侧向反馈21SOFM模型模型 学习：学习： n SOFM是竞争网络中的一种。它也是通过自组织方法，用样本数据来调整网络的权值，使得权重成为能反映使得权重成为能反映输入分布特征的矢量。输入分布特征的矢量。n 考虑到邻域的作用，权重调整策略要有所变化，仅靠 “winner takes al

17、lwinner takes all” 的竞争学习方法无法发展出拓扑映射图22SOFM模型模型为了能使二维输出平面上相邻的输出结点对相近的输入模式类作出特别反应，在训练过程中需定义获胜结点的邻域结点。假设本次获胜结点为Nj，它在t时刻的邻域结点用NEj(t)表示，NEj(t)包含以结点Nj为中心而距离不超过某一半径的所有结点。随着训练的进行， NEj(t)的半径逐渐缩小，最后只包含获胜结点Nj自身，即在训练初始阶段，不但对获胜的结点做权值调整，也对其较大范围内的几何邻接结点做相应的调整，而随着训练过程的继续，与输出结点相连的权向量也越来越接近其代表的模式类。在训练结束后，几何上相近的输出结点所连

18、接的权向量既有联系（类似性）又互相区别，从而保证对于某一类输入模式，获胜结点能做出最大响应，而相邻结点做出较大响应。23SOFM模型模型在竞争学习过程中，通过在竞争学习过程中，通过邻域的作用邻域的作用逐渐地逐渐地扩大排他性，最终仅一个神经元竞争获胜扩大排他性，最终仅一个神经元竞争获胜24竞争学习算法竞争学习算法初始化：对各节点的权赋以小的随机数作为初始值 归一化权值和输入样本 定初始领域 ，学习速率 ，迭代总数T，t=0 随机选取某样本输入 竞争：在输出节点中计算寻找最佳匹配节点C ,即其权向量与 的 欧氏距离最小： ;, 1,0piwjimj, 1 0cN 0 txtxtxtXp21,tX

19、tWtXtWtXjcmin tWj为为p p维向量维向量 21pijiijtwtxtWtX其中 注：当输入向量和权向量均为归一化向量时，神经元输出的内注：当输入向量和权向量均为归一化向量时，神经元输出的内积最大等价与输入向量和权向量的欧氏距离最小积最大等价与输入向量和权向量的欧氏距离最小25竞争学习算法竞争学习算法 更新：对获胜神经元c及拓扑领域 中的所有节点的权值： tNc tWtXttWtWjjj1 twtxttwtwjiijiji1或 tNjc tWtWjj1 tNjc Ttt10 更新学习速率： TtNINTtNcc10更新拓扑邻域： 判断迭代次数t是否大于或等于T，若是则结束，否则转

20、向26竞争学习算法竞争学习算法算法的几点说明：算法的几点说明： t tNcl学习常数 和领域 大小要在学习的过程中调整 t对 而言，在迭代的前期，取值约为1，然后逐渐减少，建议用 Nttt11其中，t为迭代数，N为迭代总数。接近收敛阶段，应取0.01小数（细调）。 tNc tNc对 而言，领域可取方形或六角形。开始时， 较大，可包含全部节点。然后逐渐减少，建议用： NttNtNcc1int1最后收敛到只含中心本身。l 归一化处理：对输入向量和权向量归一化，以确保通过欧氏距离最小条件选取的获胜神经元具有最大输出。 tXtXtX tWtWtWjjj27SOFM模型模型竞争层神经元（100个）排列成

21、1010的二维矩阵。二维输入矢量 以均匀概率均匀概率分布在正方形平面。特征映射图： 随机初始权向量经过50次迭代后的权向量分布28经过100次迭代后的权向量分布经过10000次迭代后的权向量分布SOFM模型模型29SOFM模型模型如果输入均匀分布在三角形区域，网络经充分训练后，可得到如右的拓扑映射图。 如果把1010的二维矩阵改变成1001的一维结构，则得到右图的拓扑映射图。 30SOFM的优缺点的优缺点优点优点:- excellent for classification problems- can greatly reduce computational complexity- high

22、sensitivity to frequent inputs- new ways of associating related data- no need of supervised learning rulesSOFM模型模型31缺点缺点:- system is a black box- error rate may be unacceptable no guarantee of network convergence for higher dimension networks- many problems cant be effectively represented by a SOFM-

23、 a large training set may be required- for large classification problems, training can be lengthySOFM模型模型32学习矢量量化学习矢量量化LVQ(Learning Vector Quantization)33概述概述 矢量量化是标量量化概念的扩展，适用于高维矢量量化是标量量化概念的扩展，适用于高维数据。把高维数据离散化，邻近区域看作同一量数据。把高维数据离散化，邻近区域看作同一量化等级，用其中心值代表。其算法可视为一种逐化等级，用其中心值代表。其算法可视为一种逐次聚类的算法，聚类中心是该类的代表

24、（称为码次聚类的算法，聚类中心是该类的代表（称为码字）。字）。 如果如果SOFMSOFM算法中不考虑邻域，即邻域只包含算法中不考虑邻域，即邻域只包含节点节点c c本身，则有本身，则有 tWtWtXttwtWjjjj1 cjcj34 SOFM SOFM与与LVQLVQ有共同之处，即都能用少量的聚类有共同之处，即都能用少量的聚类中心表示原数据，从而起到数据压缩作用。不同中心表示原数据，从而起到数据压缩作用。不同之处在于之处在于SOFMSOFM的各聚类中心（输出阵列中的神经的各聚类中心（输出阵列中的神经元）的排列是有结构性的，即相邻中心点对应的元）的排列是有结构性的，即相邻中心点对应的输入数据中的某

25、些特征是相似的，而输入数据中的某些特征是相似的，而VQVQ的中心没的中心没有这种排序功能。有这种排序功能。 自组织映射可以起到类似聚类的作用，但不能自组织映射可以起到类似聚类的作用，但不能直接用于分类或识别。为此，可增加监督学习。直接用于分类或识别。为此，可增加监督学习。 19891989年，年，KohonenKohonen提出了提出了LVQLVQ网络模型。该模型将网络模型。该模型将竞争学习和有监督学习结合，在学习中允许对输竞争学习和有监督学习结合，在学习中允许对输入被分到哪一类进行指定，即给出了分类的教师入被分到哪一类进行指定，即给出了分类的教师信息。信息。35网络结构网络结构类别类别K类别

26、类别1类别类别21xnx输入层（输入层（N N个神经元）个神经元）输出层（输出层（M M个神经元）个神经元）输出神经元输出神经元j j的输出为：的输出为： jjiNijiTjufOxwXWu1 f f为神经元激励函数，一般取线为神经元激励函数，一般取线性函数性函数 输出神经元被预先指定了类别，输出神经元被预先指定了类别，输出神经元被分为输出神经元被分为k k组即组即k k个类别个类别 36学习算法学习算法 初始化权重和学习率 从样本集中随机选取输入向量X 找到赢者神经元c( 最小欧氏距离)： tXtWtXtWjcminj=1,2,M 设X所属类别为T, 而c所属类别为S,则： tWtXttWt

27、Wccc1 tWtXttWtWccc1 tWtWjj1ST ST cj if if if 调整 t go to 树立质量法制观念、提高全员质量意识。22.4.2322.4.23Saturday, April 23, 2022人生得意须尽欢，莫使金樽空对月。9:04:309:04:309:044/23/2022 9:04:30 AM安全象只弓，不拉它就松，要想保安全，常把弓弦绷。22.4.239:04:309:04Apr-2223-Apr-22加强交通建设管理，确保工程建设质量。9:04:309:04:309:04Saturday, April 23, 2022安全在于心细，事故出在麻痹。22.

28、4.2322.4.239:04:309:04:30April 23, 2022踏实肯干，努力奋斗。2022年4月23日上午9时4分22.4.2322.4.23追求至善凭技术开拓市场，凭管理增创效益，凭服务树立形象。2022年4月23日星期六上午9时4分30秒9:04:3022.4.23按章操作莫乱改，合理建议提出来。2022年4月上午9时4分22.4.239:04April 23, 2022作业标准记得牢，驾轻就熟除烦恼。2022年4月23日星期六9时04分30秒9:04:3023 April 2022好的事情马上就会到来，一切都是最好的安排。上午9时4分30秒上午9时4分9:04:3022.

29、4.23一马当先，全员举绩，梅开二度，业绩保底。22.4.2322.4.239:049:04:309:04:30Apr-22牢记安全之责，善谋安全之策，力务安全之实。2022年4月23日星期六9时04分30秒Saturday, April 23, 2022创新突破稳定品质，落实管理提高效率。22.4.232022年4月23日星期六9时04分30秒22.4.23谢谢大家！谢谢大家！树立质量法制观念、提高全员质量意识。22.4.2322.4.23Saturday, April 23, 2022人生得意须尽欢，莫使金樽空对月。9:04:319:04:319:044/23/2022 9:04:31 A

30、M安全象只弓，不拉它就松，要想保安全，常把弓弦绷。22.4.239:04:319:04Apr-2223-Apr-22加强交通建设管理，确保工程建设质量。9:04:319:04:319:04Saturday, April 23, 2022安全在于心细，事故出在麻痹。22.4.2322.4.239:04:319:04:31April 23, 2022踏实肯干，努力奋斗。2022年4月23日上午9时4分22.4.2322.4.23追求至善凭技术开拓市场，凭管理增创效益，凭服务树立形象。2022年4月23日星期六上午9时4分31秒9:04:3122.4.23按章操作莫乱改，合理建议提出来。2022年4

31、月上午9时4分22.4.239:04April 23, 2022作业标准记得牢，驾轻就熟除烦恼。2022年4月23日星期六9时04分31秒9:04:3123 April 2022好的事情马上就会到来，一切都是最好的安排。上午9时4分31秒上午9时4分9:04:3122.4.23一马当先，全员举绩，梅开二度，业绩保底。22.4.2322.4.239:049:04:319:04:31Apr-22牢记安全之责，善谋安全之策，力务安全之实。2022年4月23日星期六9时04分31秒Saturday, April 23, 2022创新突破稳定品质，落实管理提高效率。22.4.232022年4月23日星期六9时04分31秒22.4.23谢谢大家！谢谢大家！