《随机神经网络课件.ppt》由会员分享，可在线阅读，更多相关《随机神经网络课件.ppt（24页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、随机神经网络第1页，此课件共24页哦内容提要k 模拟退火算法k Boltzmann机第2页，此课件共24页哦第一节模拟退火算法第3页，此课件共24页哦神经计算中面临的问题 利用神经网络进行计算时，我们总是期望能通过系统状态的改变，使系统的能量函数E朝其减小的方向递减，然而这个递减过程最终所达到的一个稳定状态，往往是能量函数E的一个局部极小点，而达不到全局最优。如果利用神经网络计算求解具有多个限制条件的组合优化问题时，这个局部极小点所能满足的只是其中一些限制条件，只是达到了局部最优而不是全局最优，这当然不是我们所期望的结果，但是我们又怎样才能寻求到满足多数限制条件的全局最优点（或次优点）呢？第4
2、页，此课件共24页哦物理中的退火过程 在物理学中，对固体物质进行退火处理时，通常先将它加温溶化，使其中的粒子可自由地运动，然后随着物质温度的下降，粒子也形成了低能态的晶格。若在凝结点附近的温度下降速度足够慢，则固体物质一定会形成最低能量的基态。对于组合优化问题来说，它也有类似的过程，也就是说物理中固体物质的退火过程与组合优化问题具有相似性。组合优化问题也是在解空间寻求花费函数最小（或最大）的解。第5页，此课件共24页哦模拟退火算法的直观解释能量曲线AB全局极小局部极小第6页，此课件共24页哦模拟退火算法基本思想 在神经网络系统中，设系统所有可能状态为V=1，v2，vn，与系统相对应有一能量E，
3、它是系统状态的函数，即E(V)。设控制参数为温度，我们的目的便是找到某一系统状态V*，使：第7页，此课件共24页哦模拟退火算法的基本思想u模拟退火思想是：让T从一个足够高的值慢慢下降，对每个T，用Metropolis抽样法在计算机上模拟该系统在此下的热平衡状态，即对当前状态Vi经过随机扰动产生一个新状态Vj，计算系统的能量增量:E=E（Vj）-E（Vi），并以概率接受Vj作为新的当前状态。当重复地如此随机扰动数次后，状态Vi又重新作为当前状态的概率将服从Boltzmann分布。第8页，此课件共24页哦模拟退火算法的基本思想其中：k为Boltzmann常数。第9页，此课件共24页哦模拟退火算法基
4、本思想 若下降足够慢，且T,从上式可知，系统所处的当前状态Vi将具有最小的能量值E(Vi)。第10页，此课件共24页哦模拟退火算法描述1、初始化。任给一初始状态V0，Vi=V0，计算E(V0)，将参数置一初始温度值。2、产生一随机扰动V，按下式计算E：3、若E,则转5,否则在(0,1)区间上产生一个均匀分布的随机数。第11页，此课件共24页哦模拟退火算法描述4、若 ,则转2。5、用Vi+V来取代原来的Vi，并令E=E+E。6、在该T下,检验系统是否稳定，若不稳定则转2。7、以某一方式取T*T，令T=T*。8、退火过程是否基本结束,是就停止,不是则转2。第12页，此课件共24页哦对模拟退火算法的
5、一些说明 在上述过程中，模拟退火是否能达到能量E的最小值，取决于T0是否足够高和T下降得是否充分慢，以及对每个T时系统是否稳定。第13页，此课件共24页哦对模拟退火算法的一些说明uT0初始选取1、均匀地随机抽样V，取E(V)的方差为T0。2、在所有可能状态下，选取两个状态Vi和Vj，使差EE(Vi)-E(Vj)最大，取T0为该量大值的若干倍。3、由经验给出。第14页，此课件共24页哦对模拟退火算法的一些说明u检验系统是否稳定的方法1、检查E的均值是否稳定。2、检查是否连续若干步中E的变化都比较小。3、按一固定步数抽样。第15页，此课件共24页哦对模拟退火算法的一些说明uT减小方式 令T=T，常
6、数0.8，0.99。u算法终止方式1、取t小于某一阈值。2、检验系统的熵是否已达最小。第16页，此课件共24页哦第二节Boltzmann机第17页，此课件共24页哦Boltzmann机简介 Boltzmann机是由Hinton和Sejnowski提出来的一种统计神经网络模型，是在Hopfield网络基础之上引入了随机性机制而形成的。与Hopfield神经网络不同的是Boltzmann机具有学习能力，即其权值通过学习来调整，而不是预先设置。Boltzmann机是一种约束满足神经网络模型。第18页，此课件共24页哦Boltzmann机的结构第19页，此课件共24页哦Boltzmann机的学习 当样
7、本送入Boltzmann机的可见单元后，Boltzmann机就开始学习。Boltzmann机中的隐含单元是用来形成内部表示，以描述输入样本的规律。由于内部表达的构造过程是在无任何附加信息的状态下完成的，因而这个学习过程也称为无监督学习。设所有的权值初始值都为0。第20页，此课件共24页哦Boltzmann机的学习过程描述u输入期 学习样本送入Boltzmann机的可见神经元，并且对每一个输入样本使用当前权值建立平衡。也就是说，从训练集合中随机挑选一样本送入可见神经元，然后让隐含神经元自由动作，这时，如果两个神经元的状态同时为1，统计它们之间连接的权值活跃的次数L1。第21页，此课件共24页哦Boltzmann机的学习过程描述u自由运行期 这时Boltzmann机中所有的神经元都自由地调整它们的状态，采用模拟退火算法达到一个平衡态，统计神经元之间连接权值活跃的次数L2。第22页，此课件共24页哦Boltzmann机的学习过程描述u调整连接权值 按下式进行连接权值调整：第23页，此课件共24页哦Boltzmann机的应用u数字编码问题第24页，此课件共24页哦