线性神经网络精品文稿.ppt

上传人:石*** 文档编号:52881965 上传时间:2022-10-24 格式:PPT 页数:17 大小:2.90MB
返回 下载 相关 举报
线性神经网络精品文稿.ppt_第1页
第1页 / 共17页
线性神经网络精品文稿.ppt_第2页
第2页 / 共17页
点击查看更多>>
资源描述

《线性神经网络精品文稿.ppt》由会员分享,可在线阅读,更多相关《线性神经网络精品文稿.ppt(17页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、线性神经网络线性神经网络第1页,本讲稿共17页2.3.1 线性神经元网络模型p线性神经元模型线性神经元模型它与感知器的主要不同之处在于其神经元有一个线性激活函数,这允许输出可以是任意值,而不仅仅只是像感知器中那样只能取0或1。第2页,本讲稿共17页2.3.1 线性神经元网络模型p线性神经元激活函数线性神经元激活函数第3页,本讲稿共17页2.3.1 线性神经元网络模型p线性神经元网络分类图示双输入输出如下式所示第4页,本讲稿共17页2.3.1 线性神经元网络模型p线性神经网络的结构线性神经网络的结构 第5页,本讲稿共17页2.3.2 线性神经网络的学习算法pWidrow-HoffWidrow-H

2、off学习规则学习规则又称为最小均方误差LMS(Least Mean Square Error)学习算法,由Widrow-Hoff提出,属于有导师学习算法LMS学习规则定义如下:目标是通过调节权值,使是通过调节权值,使msemse从误差空间的某点开始,沿着从误差空间的某点开始,沿着msemse的斜的斜面向下滑行面向下滑行,最终使最终使msemse达到最小值。达到最小值。Bernard WidrowBernard Widrow第6页,本讲稿共17页2.3.2 线性神经网络的学习算法p算法实现步骤第一步:初始化给各个连接赋一个较小的随机值第二步:输入一个样本,计算连接权值的调整量第7页,本讲稿共1

3、7页2.3.2 线性神经网络的学习算法其中其中 表示第表示第 次循环中的第个输入向量。则有:次循环中的第个输入向量。则有:第三步:调整连接权值根据负梯度下降的原则,网络权值和阈值修正公式如下根据负梯度下降的原则,网络权值和阈值修正公式如下式中式中 为学习率为学习率,当其取较大值时,可以加快网络的训练速度,但是当其取较大值时,可以加快网络的训练速度,但是如果其值太大,会导致网络稳定性的降低和训练误差的增加。所以,如果其值太大,会导致网络稳定性的降低和训练误差的增加。所以,为了保证网络进行稳定的训练,学习率的值必须选择一个合适的值。为了保证网络进行稳定的训练,学习率的值必须选择一个合适的值。第8页

4、,本讲稿共17页2.3.2 线性神经网络的学习算法第四步:计算均方误差第五步:判断误差是否为零或者是否达到预先设定的要求。如果是,则结束算法,否则输入下一个样本,返回第二步进入下一轮求解过程第9页,本讲稿共17页2.3.3 线性神经网络的MATLAB实现 pMATLABMATLAB中线性神经网络相关的常用函数中线性神经网络相关的常用函数和基本功能和基本功能 函 数 名功 能newlin()新建一个线性层learnwh()Widrow-Hoff的学习函数purelin()线性传输函数mse()最小均方误差性能函数第10页,本讲稿共17页2.3.3 线性神经网络的MATLAB实现pMATLABMA

5、TLAB中线性神经网络相关的常用函数和基本功能中线性神经网络相关的常用函数和基本功能newlin()功能功能 新建一个线性神经网络函数。新建一个线性神经网络函数。格式格式 (1)net=newlin(1)net=newlin (2)net=newlin(PR (2)net=newlin(PR,S S,IDID,LR)LR)说明说明 式式(1)(1)返回一个没有定义结构的空对象,并显示图形用户界面函数返回一个没有定义结构的空对象,并显示图形用户界面函数nntoolnntool的的帮助文字;式帮助文字;式(2)(2)中中netnet为生成的线性神经网络;为生成的线性神经网络;PRPR为网络输入向量

6、中的最为网络输入向量中的最大值和最小值组成的矩阵大值和最小值组成的矩阵PminPmin,PmaxPmax;S S为输出向量的个数;为输出向量的个数;IDID为输入为输入延时向量(可省略);延时向量(可省略);LRLR为学习速率(可省略),默认值为为学习速率(可省略),默认值为0.010.01。learnwh()功能功能 线性神经网络学习函数线性神经网络学习函数格式格式 (1)dW,LS=learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)(1)dW,LS=learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)(2)db,LS=learnwh(b,ones(

7、1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)(2)db,LS=learnwh(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)第11页,本讲稿共17页2.3.3 线性神经网络的MATLAB实现pMATLABMATLAB中线性神经网络相关的常用函数和基本功能中线性神经网络相关的常用函数和基本功能Purelin()功能功能 纯线性传输函数纯线性传输函数格式格式 A=purelin(N)A=purelin(N)说明说明 函数函数purelin(N)purelin(N)为返回网络输入向量为返回网络输入向量N N的输出矩阵的输出矩阵a a;神经元最简;神经元最简单的

8、传输函数是简单地从神经元输入到输出的线性传输函数,单的传输函数是简单地从神经元输入到输出的线性传输函数,输出仅仅被神经元所附加的偏差所修正,输出仅仅被神经元所附加的偏差所修正,newlinnewlin和和newlindnewlind函数建函数建立的网络都可以用该函数做为传递函数。立的网络都可以用该函数做为传递函数。mse()功能功能 均方误差性能函数均方误差性能函数格式格式 perf=mae(Eperf=mae(E,w w,pp)pp)说明说明 perfperf表示均方误差表示均方误差,E,E为误差矩阵或向量为误差矩阵或向量(网络的目标向量与网络的目标向量与输出向量之差输出向量之差),w),w

9、为所有权值和偏值向量为所有权值和偏值向量(可忽略可忽略),pppp为性能参数为性能参数(可可忽略忽略)。第12页,本讲稿共17页2.3.3 线性神经网络的MATLAB实现p例例2-2 2-2 要求设计一个线性神经网络,寻找给定数据之间的线性关系。要求设计一个线性神经网络,寻找给定数据之间的线性关系。P=1.1-1.3;T=0.6 1;%创建一个只有一个输出,输入延时为创建一个只有一个输出,输入延时为0 0,学习速率为,学习速率为0.010.01的线性神经网络,的线性神经网络,minmax(P)minmax(P)表示样表示样%本数据的取值范围本数据的取值范围net=newlin(minmax(P

10、),1,0,0.01);%对创建的线性神经网络进行初始化,设置权值和阈值的初始值对创建的线性神经网络进行初始化,设置权值和阈值的初始值net=init(net);net.trainParam.epochs=500;%设置网络训练后的目标误差为设置网络训练后的目标误差为0.00010.0001net.trainParam.goal=0.0001;net=train(net,P,T);y=sim(net,P)%求解网络的均方误差值求解网络的均方误差值E=mse(y-T)第13页,本讲稿共17页2.3.3 线性神经网络的MATLAB实现p例例2-22-2的输出结果的输出结果%使用使用TRAINBTR

11、AINB作为训练函数,最大训练次数为作为训练函数,最大训练次数为500500,开始训练时的均方误差,开始训练时的均方误差值为值为0.680.68,%目标误差为目标误差为0.00010.0001 TRAINB,Epoch 0/500,MSE 0.68/0.0001.TRAINB,Epoch 200/500,MSE 0.000193748/0.0001.TRAINB,Epoch 217/500,MSE 9.87777e-005/0.0001.%训练到训练到217217次时,达到目标误差要求,结束训练次时,达到目标误差要求,结束训练TRAINB,Performance goal met.y=0.58

12、83 0.9922E=9.8778e-005 第14页,本讲稿共17页2.3.3 线性神经网络的MATLAB实现p例例2-22-2的训练误差曲线的训练误差曲线 第15页,本讲稿共17页2.3.3 线性神经网络的MATLAB实现p原数据关系与线性神经网络逼近关系对比原数据关系与线性神经网络逼近关系对比注:两者仍存在误差,可以通过修改训练步数或精度来减少两者的误差注:两者仍存在误差,可以通过修改训练步数或精度来减少两者的误差第16页,本讲稿共17页小结小结p线性神经网络模型线性神经网络模型p线性神经网络激活函数线性神经网络激活函数p神经网络学习算法神经网络学习算法p线性神经网络的线性神经网络的MATLABMATLAB实现实现p线性神经网络的局限性线性神经网络的局限性第17页,本讲稿共17页

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 教育专区 > 大学资料

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知淘文阁网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号© 2020-2023 www.taowenge.com 淘文阁