《6-自组织神经网络(SOM).pptx》由会员分享，可在线阅读，更多相关《6-自组织神经网络(SOM).pptx（45页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、竞争学习神经网络竞争学习神经网络自组织神经网络的典型结构自组织神经网络的典型结构*1自组织神经网络自组织神经网络*2自组织学习自组织学习(self-organized learning)：通过自动寻找样本中的内在规律和本通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数质属性，自组织、自适应地改变网络参数与结构。与结构。自组织网络的自组织功能是通过自组织网络的自组织功能是通过竞争竞争学习学习（competitive learning）实现的。）实现的。1 1 竞争学习的概念与原理竞争学习的概念与原理1.1 基本概念基本概念分类分类分类是在类别知识等导师信号的分类是在类别知识等
2、导师信号的指导下，将待识别的输入模式分配到各自指导下，将待识别的输入模式分配到各自的模式类中去。的模式类中去。聚类聚类无导师指导的分类称为聚类，聚无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，类的目的是将相似的模式样本划归一类，而将不相似的分离开而将不相似的分离开。*3 相似性测量相似性测量欧式距离法欧式距离法*41.1 基本概念基本概念同一类内各个模式向量间的欧式距离不同一类内各个模式向量间的欧式距离不允许超过某一最大值允许超过某一最大值*5 相似性测量相似性测量余弦法余弦法1.1 基本概念基本概念余弦法适合模式向量相同或模式特征余弦法适合模式向量相同或模式特征只与向量方向
3、相关的相似性测量只与向量方向相关的相似性测量同一类内同一类内各个模式各个模式向量间的向量间的夹角不允夹角不允许超过某许超过某一最大夹一最大夹角角T T*61.2 竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被网络的输出神经元之间相互竞争以求被激活或点火，结果在每一时刻只有一个输激活或点火，结果在每一时刻只有一个输出神经元被激活或点火。这个被激活的神出神经元被激活或点火。这个被激活的神经元称为竞争获胜神经元，而其它神经元经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为的状态被抑制，故称为Winner Take All。*
4、7竞争学习规则竞争学习规则Winner-Take-All1.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X X和竞争层中各神经元对应的内星向量和竞争层中各神经元对应的内星向量W Wj j 全全部进行归一化处理；部进行归一化处理；(j=1,2,(j=1,2,m),m)*8原始向量原始向量*9归一化后的向量归一化后的向量*10竞争学习原理竞争学习原理竞争学习规则竞争学习规则竞争学习规则竞争学习规则Winner-Take-AllWinner-Take-All2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向量时，当网络得到一个输入模式向量时，竞争层的所有神经元对
5、应的内星权向量均与其进行相竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神似性比较，并将最相似的内星权向量判为竞争获胜神经元。经元。*11 从上式可以看出，欲使两单位向量的欧式距离从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：最小，须使两向量的点积最大。即：竞争学习规则竞争学习规则竞争学习规则竞争学习规则Winner-Take-AllWinner-Take-All*12竞争学习规则竞争学习规则胜者为王胜者为王(Winner-Take-All)3.3.网络输出与权值调整网络输出与权值调整 j j j*j*步骤步骤3 3完成后回
6、到步骤完成后回到步骤1 1继续训练，直到学习率继续训练，直到学习率衰减到衰减到0 0。获胜神经元输出获胜神经元输出为为1 1，其余为，其余为0 0j=j*之外的j*13竞争学习的几何意义竞争学习的几何意义*14竞争学习的几何意义竞争学习的几何意义*15例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：上式中，上式中，X1=X1=（x,yx,y）T T*16*17*18*19*20*
7、21*22*23*24*25*262 自组织特征映射网自组织特征映射网 （Self-Organizing feature MapSelf-Organizing feature Map）19811981年芬兰年芬兰HelsinkHelsink大学的大学的T.KohonenT.Kohonen教授提出一教授提出一种自组织特征映射网，简称种自组织特征映射网，简称SOMSOM网网，又称，又称KohonenKohonen网网。KohonenKohonen认为：一个神经网络接受外界输入模式时，认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不将会分为不同的对应区域，各区域对
8、输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。的自组织特性相类似。SOMSOM网的生物学基础网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是神经元的组织原理是有序排列有序排列。因此当人脑通过感。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的官接受外界的特定时空信息时，大脑皮层的特定特定区区域域兴奋兴奋，而且类似的外界信息在对应区域是，而且类似的外界
9、信息在对应区域是连续映连续映象象的。的。对于某一图形或某一频率的特定兴奋过程，神对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。织特征映射网中竞争机制的生物学基础。*27SOMSOM网的拓扑结构网的拓扑结构 SOMSOM网共有两层，输入层模拟感知外界输入信网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。息的视网膜，输出层模拟做出响应的大脑皮层。*28SOMSOM网的权值调整域网的权值调整域 SOMSOM网的获胜神经元对其邻近神经元的网的获胜神经元对其
10、邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，影响是由近及远，由兴奋逐渐转变为抑制，因此因此其学习算法中不仅获胜神经元本身要调其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。程度不同地调整权向量。这种调整可用三种这种调整可用三种函数表示：函数表示：*29*30SOMSOM网的权值调整域网的权值调整域 以获胜神经元为中心设定一个邻域半径，该以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为半径圈定的范围称为优胜邻域优胜邻域。在。在SOMSOM网学习算法网学习算法中，优胜邻域内的所有神经元均按其离开获胜神
11、中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，优胜邻域开始定得很大，但其大小随着训练但其大小随着训练次数的增加不断收缩，最终收缩到半径为零次数的增加不断收缩，最终收缩到半径为零。*31SOMSOM网的运行原理网的运行原理训练阶段训练阶段*32 w1 w2 w3 w4 w5SOMSOM网的运行原理网的运行原理工作阶段工作阶段*33SOMSOM网的学习算法网的学习算法Kohonen Kohonen 学习算法学习算法(1)初初始始化化 对对输输出出层层各各权权向向量量赋赋小小随随机机数数并并进进行行归归一一化化处处
12、理理，得得到到 ，j=1,2,j=1,2,m m；建立初始优胜邻域；建立初始优胜邻域N Nj*j*(0)(0)；学习率；学习率 赋初始值。赋初始值。(2)接接受受输输入入 从从训训练练集集中中随随机机选选取取一一个个输输入入模模式式并并进进行行归归一一化化处处理理，得到得到 ，p p 1,2,1,2,P,P。(3)寻寻找找获获胜胜节节点点 计计算算 与与 的的点点积积，j=1,2,j=1,2,m m，从从中中选选出出点点积积最大的获胜节点最大的获胜节点j*j*。(4)定定义义优优胜胜邻邻域域N Nj*j*(t t)以以j j*为为中中心心确确定定t t 时时刻刻的的权权值值调调整整域域，一一般
13、般初始邻域初始邻域N Nj*j*(0)(0)较大，训练过程中较大，训练过程中N Nj*j*(t t)随训练时间逐渐收缩。随训练时间逐渐收缩。*34SOMSOM网的学习算法网的学习算法KohonenKohonen学习算法学习算法*35SOMSOM网的学习算法网的学习算法(5)调整权值调整权值 对优胜邻域对优胜邻域N Nj*j*(t t)内的所有节点调整权值：内的所有节点调整权值：i=1,2,i=1,2,n n j j N Nj*j*(t t)式式中中，是是训训练练时时间间t t 和和邻邻域域内内第第j j 个个神神经经元元与与获获胜胜神神经经元元 j*j*之之间间的的拓拓扑扑距距离离N N 的的
14、函函数数，该该函函数数一一般般有以下规律：有以下规律：*36KohonenKohonen学习算法学习算法SOMSOM网的学习算法网的学习算法(5)调整权值调整权值*37(6)结束检查结束检查 学习率是否衰减到零或某个预定的正学习率是否衰减到零或某个预定的正小数？小数？KohonenKohonen学习算法学习算法*38K Ko oh ho on ne en n学学 习习 算算 法法 程程 序序 流流 程程 SOM网络的功能网络的功能SOM网络的功能特点之一是：保序映射，即能将网络的功能特点之一是：保序映射，即能将输入空间的样本模式类有序地映射在输出层上。输入空间的样本模式类有序地映射在输出层上。
15、例例 动物属性特征映射动物属性特征映射1989年年Kohonen给出一个给出一个SOM网的著名应用实例，网的著名应用实例，即把不同的动物按其属性映射到二维输出平面上，即把不同的动物按其属性映射到二维输出平面上，使属性相似的动物在使属性相似的动物在SOM网输出平面上的位置也网输出平面上的位置也相近。相近。训练集选了训练集选了16种动物，每种动物用一个种动物，每种动物用一个29维向量维向量来表示。前来表示。前16个分量构成符号向量（不同的动物个分量构成符号向量（不同的动物进行进行16取取1编码），后编码），后13个分量构成属性向量，描个分量构成属性向量，描述动物的述动物的13种属性的有或无（用种属
16、性的有或无（用1或或0表示）。表示）。16种动物的属性向量（种动物的属性向量（29维向量的后维向量的后13个分量）个分量）动物动物属性属性鸽鸽子子母母鸡鸡鸭鸭 鹅鹅 猫猫头头鹰鹰隼隼鹰鹰狐狐狸狸狗狗狼狼猫猫虎虎狮狮马马斑斑马马牛牛小小1111110000100000中中0000001111000000大大00000000000111112只只腿腿11111110000000004只只腿腿0000000111111111毛毛0000000111111111蹄蹄0000000000000111 动物动物属性属性鸽鸽子子母母鸡鸡鸭鸭 鹅鹅 猫猫头头鹰鹰隼隼鹰鹰狐狐狸狸狗狗狼狼猫猫虎虎狮狮马马斑斑马马
17、牛牛鬃毛鬃毛0000000000000110羽毛羽毛1111111000000000猎猎0000111101111000跑跑0000000011011110飞飞1001111000000000泳泳0011000000000000 SOM网输出平面上有网输出平面上有1010个神经元，个神经元，16个动物模式轮番个动物模式轮番输入训练，最后输出平面呈现输入训练，最后输出平面呈现16种动物属性特征映射，属性相种动物属性特征映射，属性相似的挨在一起，实现了特征的有序分布。似的挨在一起，实现了特征的有序分布。1010神神经元元X向量（向量（29维）维）前前16个分量个分量（16取取1，表达，表达动物种类
18、。）动物种类。）后后13个分量（表达动物属性）个分量（表达动物属性）鸭鸭鹅鹅鸽鸽母鸡母鸡马马斑马斑马牛牛隼隼狼狼虎虎狮狮猫猫狗狗狐狐猫头鹰猫头鹰鹰鹰动物属性特征映射动物属性特征映射 SOM网的功能特点之二是数据压缩。网的功能特点之二是数据压缩。将高维空间的样本在保持拓扑结构不变的条件下投影到低将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。如上例中输入样本空间为维空间。如上例中输入样本空间为29维，通过维，通过SOM网后压缩网后压缩为二维平面的数据。为二维平面的数据。SOM网的功能特点之三是特征抽取。（规律的发现）网的功能特点之三是特征抽取。（规律的发现）在高维模式空间，很多模式的分
19、布具有复杂的结构，从数在高维模式空间，很多模式的分布具有复杂的结构，从数据观察很难发现其内在规律。当通过据观察很难发现其内在规律。当通过SOM网映射到低维输出网映射到低维输出空间后，其规律往往一目了然，实现某种特征抽取的映射。即空间后，其规律往往一目了然，实现某种特征抽取的映射。即高维空间的向量经过特征抽取后可以在低维特征空间更加清晰高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达，因此映射的意义不仅仅是单纯的数据压缩，更是一种地表达，因此映射的意义不仅仅是单纯的数据压缩，更是一种规律发现。如上例规律发现。如上例29维映射到二维后，相近属性的动物实现了维映射到二维后，相近属性的动物
20、实现了聚类分布的特点。聚类分布的特点。SOM网有许多应用实例：如的听写打字机（声音识别），网有许多应用实例：如的听写打字机（声音识别），解决旅行商最优路经问题，皮革外观效果分类等。解决旅行商最优路经问题，皮革外观效果分类等。应用实例应用实例无线车辆自组网中用SOM自动组网*44吴怡;杨琼;吴庆祥;沈连丰;林潇;基于自组织映射神经网络的VANET组网算法，：通信学报2011年第12期，第136-145页 No.1 sg1 Group 6 26.0763 119.311 26.0708 119.353 348.75 90 No.2 sg2 Group 2 26.0762 119.311 26.09
21、43 119.313 348.75 348.75 No.3 sg3 Group 6 26.0761 119.311 26.0693 119.359 348.75 90 No.4 sg4 Group 2 26.076 119.311 26.106 119.292 348.75 348.75 No.5 sg5 Group 2 26.0763 119.311 26.1103 119.32 348.75 348.75 No.6 sg6 Group 6 26.0762 119.311 26.063 119.367 348.75 90 No.7 sg7 Group 2 26.0761 119.311 26
22、.0975 119.283 348.75 348.75 No.8 sg8 Group 2 26.076 119.311 26.0855 119.245 348.75 348.75 No.9 sy1 Group 3 26.0763 119.311 26.0382 119.309 168.75 168.75 No.10 sy2 Group 3 26.0762 119.311 25.7656 119.293 168.75 168.75 No.11 sy3 Group 3 26.0761 119.311 25.8232 119.522 168.75 168.75 输入数据输出分组9、静夜四无邻，荒居旧
23、业贫。12月-2312月-23Sunday,December 3,202310、雨中黄叶树，灯下白头人。17:56:4617:56:4617:5612/3/2023 5:56:46 PM11、以我独沈久，愧君相见频。12月-2317:56:4617:56Dec-2303-Dec-2312、故人江海别，几度隔山川。17:56:4717:56:4717:56Sunday,December 3,202313、乍见翻疑梦，相悲各问年。12月-2312月-2317:56:4717:56:47December 3,202314、他乡生白发，旧国见青山。03 十二月 20235:56:47 下午17:56:
24、4712月-2315、比不了得就不比，得不到的就不要。十二月 235:56 下午12月-2317:56December 3,202316、行动出成果，工作出财富。2023/12/3 17:56:4717:56:4703 December 202317、做前，能够环视四周；做时，你只能或者最好沿着以脚为起点的射线向前。5:56:47 下午5:56 下午17:56:4712月-239、没有失败，只有暂时停止成功！。12月-2312月-23Sunday,December 3,202310、很多事情努力了未必有结果，但是不努力却什么改变也没有。17:56:4717:56:4717:5612/3/202
25、3 5:56:47 PM11、成功就是日复一日那一点点小小努力的积累。12月-2317:56:4717:56Dec-2303-Dec-2312、世间成事，不求其绝对圆满，留一份不足，可得无限完美。17:56:4717:56:4717:56Sunday,December 3,202313、不知香积寺，数里入云峰。12月-2312月-2317:56:4717:56:47December 3,202314、意志坚强的人能把世界放在手中像泥块一样任意揉捏。03 十二月 20235:56:47 下午17:56:4712月-2315、楚塞三湘接，荆门九派通。十二月 235:56 下午12月-2317:56
26、December 3,202316、少年十五二十时，步行夺得胡马骑。2023/12/3 17:56:4717:56:4703 December 202317、空山新雨后，天气晚来秋。5:56:47 下午5:56 下午17:56:4712月-239、杨柳散和风，青山澹吾虑。12月-2312月-23Sunday,December 3,202310、阅读一切好书如同和过去最杰出的人谈话。17:56:4717:56:4717:5612/3/2023 5:56:47 PM11、越是没有本领的就越加自命不凡。12月-2317:56:4717:56Dec-2303-Dec-2312、越是无能的人，越喜欢挑剔
27、别人的错儿。17:56:4717:56:4717:56Sunday,December 3,202313、知人者智，自知者明。胜人者有力，自胜者强。12月-2312月-2317:56:4717:56:47December 3,202314、意志坚强的人能把世界放在手中像泥块一样任意揉捏。03 十二月 20235:56:47 下午17:56:4712月-2315、最具挑战性的挑战莫过于提升自我。十二月 235:56 下午12月-2317:56December 3,202316、业余生活要有意义，不要越轨。2023/12/3 17:56:4717:56:4703 December 202317、一个人即使已登上顶峰，也仍要自强不息。5:56:47 下午5:56 下午17:56:4712月-23MOMODA POWERPOINTLorem ipsum dolor sit,eleifend nulla ac,fringilla purus.Nulla iaculis tempor felis amet,consectetur adipiscing elit.Fusce id urna blanditut cursus.感感 谢谢 您您 的的 下下 载载 观观 看看专家告诉