《第六讲有监督和神经网络.ppt》由会员分享，可在线阅读，更多相关《第六讲有监督和神经网络.ppt（16页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第六讲有监督和神经网络现在学习的是第1页，共16页神经元网络的简化模型现在学习的是第2页，共16页ai1ai2a inbi1bi2bimwiy1y2y nu1ukum1vix iy i神经元网络的一般模型框架1）加法器2）线性动态系统（SISO）3）静态非线性系统现在学习的是第3页，共16页式中 aij 和bik 为权系数，i,j=1,2,n,k=1,2,m.n 个加法器可以写成向量形式：N维列向量 N维列向量（单元输出）NN维矩阵NM维矩阵 M维列向量（外部输入）M维常向量现在学习的是第4页，共16页 线性动态系统线性动态系统典型的有：静态非线性系统静态非线性系统 典型的有：g(x)g(x)
2、g(x)xxx阈值函数阈值函数Sigmoid函数现在学习的是第5页，共16页（双极型）Sigmoidu1uiiu1uiiy iy iAdline(自适应线性网）单层感知器(Perceptron)不同的部件可以组成不同的网络现在学习的是第6页，共16页Kuiy jyi离散Hopfield网y1y2y3y4u1u2u3u4现在学习的是第7页，共16页yjyiuixi连续的Hopfield网按学习的方法神经元网络可分成二类：1）有监督的学习网络：感知器 误差反传网络（BP）小脑模型连接控制器（CMAC）模块（组合）网络 增强学习网络现在学习的是第8页，共16页 有监督的神经网络1）感知器网络感知器是
3、前馈(正向传输)网络,所有节点都是线性的.x1x2xnb1b2bm权向量W2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM）Boltzman机现在学习的是第9页，共16页输入与输出的关系：权矩阵可以按下式求解：学习规则：代表输入与输出的差别。是学习因子这学习规则即是著名的 学习规则。随着学习迭代次数随着学习迭代次数k k的增加，的增加，保证网络的收敛。保证网络的收敛。反传（BP）网络误差反传（学习算法）（BP）网络与感知器的主要差别在于：（BP）网络的节点是非线性的。采用广义 学习规则。现在学习的是第10页，共16页 反传（BP）网络的结构图 一个
4、输入层，一个输出层，多个隐层。jpp1xp1x pnt pkt pmOp1O pnOp2隐层wj1wjn输入层输入层隐层隐层输出层输出层信息流pm现在学习的是第11页，共16页隐层节点j输出和输入节点p的关系：输出节点k和隐层输出节点p的关系：学习过程：定义输出误差现在学习的是第12页，共16页学习的目的是要使以下定义的误差平方和最小：因此，要求以下的偏导，最后得到二个权值改变的重要公式：现在学习的是第13页，共16页 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值 改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy现在学习的是第14页，共16页重要结论 具有至少一个隐层的多层前馈网络，如果隐层单元足够多，那么，利用扁平激励函数和线性多项式集成函数，可以对任意感兴趣的函数逼成到任意精度。扁平激励函数定义：f:R 0,1 或-1,1是非减函数,扁平激励函数的参数.理论证明:多层前馈网络是一种通用逼近器 现在学习的是第15页，共16页讨论讨论1)隐层的数目和节点的数目,何谓合适?2)是否收敛到全局最优?(涉及多维误差曲面的不确定性)3)收敛的速度问题。(涉及隐层节点输出的相互耦合和梯度下降法本身的缺点）现在学习的是第16页，共16页