《篇神经计算课程学习.pptx》由会员分享，可在线阅读，更多相关《篇神经计算课程学习.pptx（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、会计学1篇神经计算篇神经计算第一页，共52页。4.1人工神经网络基础人工神经网络基础(jch)n n人工神经网络是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互连构成，是一个大规模的非线性自适应系统。n n是一个并行、分布处理结构，它由处理单元及称为(chn wi)连接的无向信号通道互连而成。第1页/共52页第二页，共52页。人工人工(rngng)神经元网络模型神经元网络模型第2页/共52页第三页，共52页。几个几个(j)问题问题n n1）学习能力n n2）普化能力n n3）信息(xnx)的分布存放n n4）适用性第3页/共52页第四页，共52页。学习学习(xux)能力
2、能力n n可以根据所在的环境取改变它的行为。也就是说，人工神经网络可以接受用户提交的样本集合，依照系统给定的算可以根据所在的环境取改变它的行为。也就是说，人工神经网络可以接受用户提交的样本集合，依照系统给定的算法，不断修正用来确定系数行为的神经元之间的连接强度，而且在网络的基本构成确定之后，这种改变是根据其接法，不断修正用来确定系数行为的神经元之间的连接强度，而且在网络的基本构成确定之后，这种改变是根据其接受的样本集合自然进行的。受的样本集合自然进行的。n n在学习过程中，人工神经网络不断从所接受的样本集合中提取该集合所蕴含的基本内容，并将其以神经元之间的连在学习过程中，人工神经网络不断从所接
3、受的样本集合中提取该集合所蕴含的基本内容，并将其以神经元之间的连接权重的形式存放于系统中。接权重的形式存放于系统中。n n对于对于(duy)(duy)不同的人工神经网络模型来说，有不同的学习不同的人工神经网络模型来说，有不同的学习/训练算法，有事，同种结构的网络拥有不同的算法，以训练算法，有事，同种结构的网络拥有不同的算法，以适应不同的应用要求。对一个网络模型来说，其学习适应不同的应用要求。对一个网络模型来说，其学习/训练算法是非常重要的。训练算法是非常重要的。第4页/共52页第五页，共52页。普化普化(p hu)能力能力n n由于其运算的不精确性，人工神经网络在被训练后，对输入的微小变化是不
4、反应(fnyng)的。与事物的两面性相对应，虽然在要求高精度计算时，这种不精确性是一个缺陷，但是，有些场合又可以利用这一点获取系统的良好性能。例如，可以使这种不精确性表现成“去噪声，容残缺”的能力，而这对模式识别有时恰好是非常重要的。第5页/共52页第六页，共52页。适用性适用性n n人工神经网络擅长于处理适用(shyng)形象思维的问题。主要包括两个方面：n n1）对大量的数据进行分类，并且只有较少的几种情况。n n2）必须学习一个复杂的非线性映射。第6页/共52页第七页，共52页。ANN类型类型(lixng)与功能与功能计算功能计算功能ANN模型代表模型代表数学近似映射，如模式识别，分类，
5、函数逼近BP CPN RBF Elamn概率密度函数估计SOM CPN从二进制数据基中提取相关信息BSB（脑中盒模型）形成拓扑连续及统计意义上的同构映射SOM,Kohonen最近相邻模式分类BP,BM(玻尔兹曼机)，CPN,Hopfield，BAM,ART,Kohonen数据聚类ART最优化 BM Hopfield第7页/共52页第八页，共52页。人工人工(rngng)神经元模型神经元模型n n基本(jbn)构成n n激活函数n nM-P模型第8页/共52页第九页，共52页。基本基本(jbn)构成构成第9页/共52页第十页，共52页。激活激活(j hu)函数函数n n神经元在获得网络输入后，它
6、应该神经元在获得网络输入后，它应该(ynggi)(ynggi)给出适当的输出。按照生物神经元的特性，每个神经给出适当的输出。按照生物神经元的特性，每个神经元有一个阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发态；否则，应元有一个阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发态；否则，应该该(ynggi)(ynggi)处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函用来
7、执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函数，用数，用f f表示：表示：n n式中，式中，o o是该神经元的输出。由此式可以看出，此函数同时也用来将神经元的输出进行放大处理或是该神经元的输出。由此式可以看出，此函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内。典型的激活函数有线性函数、非线性斜面函数、阶跃函数和限制在一个适当的范围内。典型的激活函数有线性函数、非线性斜面函数、阶跃函数和S S形函数等形函数等4 4种。种。第10页/共52页第十一页，共52页。第11页/共52页第十二页，共52页。M-P模型模型(mxng)第12页/共52页
8、第十三页，共52页。网络拓扑结构网络拓扑结构(jigu)n n单级网n n多级网n n循环(xnhun)网第13页/共52页第十四页，共52页。简单简单(jindn)单级网单级网第14页/共52页第十五页，共52页。多级前馈网多级前馈网第15页/共52页第十六页，共52页。人工神经网络的训练人工神经网络的训练(xnlin)n n人工神经网络最具有吸引力的特点人工神经网络最具有吸引力的特点(tdi(tdi n)n)是其学习能力。是其学习能力。n n人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量构成的样本
9、集合（简称为样本集、训练集）输入到人工神经网络的过程中，按照构成的样本集合（简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的连接权，使得网络能将样本集的内涵以连接权矩一定的方式去调整神经元之间的连接权，使得网络能将样本集的内涵以连接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。n n从学习的形式来看，一种是有导师学习，另一种是无导师学习，后者较为低级。从学习的形式来看，一种是有导师学习，另一种是无导师学习，后者较为低级。第16页/共52页第十七页，共52页。无导师无导师(do
10、sh)学习学习第17页/共52页第十八页，共52页。有导师有导师(dosh)学习学习第18页/共52页第十九页，共52页。4.2 感知器感知器n n感知器是最早被设计并被实现的人工神经网络。n n学习算法(sun f)n n线性不可分问题第19页/共52页第二十页，共52页。感知器结构图感知器结构图第20页/共52页第二十一页，共52页。学习学习(xux)算法算法n n离散单输出感知器训练(xnlin)算法n n离散多输出感知器训练(xnlin)算法n n连续多输出感知器训练(xnlin)算法第21页/共52页第二十二页，共52页。离散离散(lsn)单输出感知器训练单输出感知器训练算法算法第2
11、2页/共52页第二十三页，共52页。离散多输出离散多输出(shch)感知器训练感知器训练算法算法第23页/共52页第二十四页，共52页。连续连续(linx)多输出感知器训练多输出感知器训练算法算法第24页/共52页第二十五页，共52页。4.3 BP神经网络神经网络n nRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的误差反向后传网络的误差反向后传BP(Back Propagation)BP(Back Propagation)学习算法学习算法n nBPBP算法基本原理算法基本原理n n利用输出后的误差来估计输出层的直
12、接前导层的误差，再用这个误差估计更前一层的误差，利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得如此一层一层的反传下去，就获得(hud)(hud)了所有其他各层的误差估计。了所有其他各层的误差估计。David Rumelhart J.McClelland 第25页/共52页第二十六页，共52页。神经网络模型神经网络模型(mxng)n n三层三层BPBP网络网络(w(w nglu)nglu)第26页/共52页第二十七页，共52页。神经网络模型神经网络模型(mxng)n n激活函数n n必须处处可导n n一般(ybn)都使用S型函数 n
13、 n使用S型激活函数时BP网络输入与输出关系n n输入n n输出第27页/共52页第二十八页，共52页。神经网络模型神经网络模型(mxng)n n输出(shch)的导数根据根据S S型激活函数的图形可知型激活函数的图形可知(k zh),(k zh),对神经网络进行训练，应该将对神经网络进行训练，应该将netnet的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内 第28页/共52页第二十九页，共52页。网络的标准网络的标准网络的标准网络的标准(biozh(biozh n)n)学习算法学习算法学习算法学习算法n n学习的过程：学习的过程：n n神经网络在外界输入样本的刺激下不断改变
14、网神经网络在外界输入样本的刺激下不断改变网络的连接权值络的连接权值,以使网络的输出不断地接近期望以使网络的输出不断地接近期望的输出。的输出。n n学习的本质：学习的本质：n n对各连接权值的动态调整对各连接权值的动态调整n n学习规则学习规则(guz)(guz)：n n权值调整规则权值调整规则(guz)(guz)，即在学习过程中网络中，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规各神经元的连接权变化所依据的一定的调整规则则(guz)(guz)。第29页/共52页第三十页，共52页。网络的标准网络的标准网络的标准网络的标准(biozh(biozh n)n)学习算法学习算法学习算法
15、学习算法-算法思想算法思想算法思想算法思想n n学习的类型：有导师学习学习的类型：有导师学习n n核心思想：核心思想：n n将输出将输出(shch)(shch)误差以某种形式通过隐层向输入误差以某种形式通过隐层向输入层逐层反传层逐层反传n n学习的过程：学习的过程：n n信号的正向传播信号的正向传播 误差的反向传播误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有(suyu)单元各层单元各层单元的误差信号单元的误差信号修正各单元权修正各单元权值值第30页/共52页第三十一页，共52页。网络的标准学习网络的标准学习网络的标准学习网络的标准学习(xux)(xux)算法算法算法算法-学习学习
16、学习学习(xux)(xux)过程过程过程过程n n正向传播：正向传播：n n输入样本输入层各隐层输出层输入样本输入层各隐层输出层n n判断是否转入反向传播阶段：判断是否转入反向传播阶段：n n若输出层的实际输出与期望的输出（教师信号）不符若输出层的实际输出与期望的输出（教师信号）不符(bf)(bf)n n误差反传误差反传n n误差以某种形式在各层表示修正各层单元的权误差以某种形式在各层表示修正各层单元的权值值n n网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度n n进行到预先设定的学习次数为止进行到预先设定的学习次数为止第31页/共52页第三十二页，共52页。网络网络(wng
17、lu)的标准学习算法的标准学习算法 n n网络结构网络结构n n输入层有输入层有n n个神经元，隐含层有个神经元，隐含层有p p个神经元个神经元,n n 输出层有输出层有q q个神经元个神经元n n变量定义变量定义n n输入向量输入向量(xingling);(xingling);n n隐含层输入向量隐含层输入向量(xingling)(xingling)；n n隐含层输出向量隐含层输出向量(xingling);(xingling);n n输出层输入向量输出层输入向量(xingling);(xingling);n n输出层输出向量输出层输出向量(xingling);(xingling);n n期望
18、输出向量期望输出向量(xingling);(xingling);第32页/共52页第三十三页，共52页。网络的标准学习网络的标准学习(xux)算法算法n n输入层与中间层的连接权值:n n隐含层与输出层的连接权值:n n隐含层各神经元的阈值:n n输出层各神经元的阈值:n n样本数据个数:n n激活(j hu)函数:n n误差函数：第33页/共52页第三十四页，共52页。网络的标准网络的标准(biozhn)学习算法学习算法n n第一步，网络初始化 n n给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。n n第二步,随机选取第 个输入样本及对应
19、(duyng)期望输出 第34页/共52页第三十五页，共52页。网络的标准学习网络的标准学习(xux)算法算法n n第三步，计算(j sun)隐含层各神经元的输入和输出第35页/共52页第三十六页，共52页。网络网络(wnglu)的标准学习算法的标准学习算法n n第四步，利用网络期望(qwng)输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。第36页/共52页第三十七页，共52页。网络的标准学习网络的标准学习(xux)算法算法p第五步，利用隐含层到输出层的连接权值、第五步，利用隐含层到输出层的连接权值、输出层的输出层的 和隐含层的输出计算误差函数和隐含层的输出计算误差函数(hnsh)
20、(hnsh)对隐含层各神经元的偏导数对隐含层各神经元的偏导数 。第37页/共52页第三十八页，共52页。网络的标准网络的标准(biozhn)学习算法学习算法第38页/共52页第三十九页，共52页。网络的标准网络的标准(biozhn)学习算法学习算法n n第六步，利用输出(shch)层各神经元的 和隐含层各神经元的输出(shch)来修正连接权值 。第39页/共52页第四十页，共52页。网络网络(wnglu)的标准学习算法的标准学习算法n n第七步，利用隐含(yn hn)层各神经元的 和输入层各神经元的输入修正连接权。第40页/共52页第四十一页，共52页。网络网络(wnglu)的标准学习算法的标
21、准学习算法n n第八步，计算全局误差第八步，计算全局误差n n第九步，判断网络误差是否满足要求。当误第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进样本及对应的期望输出，返回到第三步，进入入(jnr)(jnr)下一轮学习。下一轮学习。第41页/共52页第四十二页，共52页。网络网络(wnglu)的标准学习算法的标准学习算法n nBP算法直观解释n n情况一直观表达n n 当误差对权值的偏n n导数大于零时，权值n n
22、调整(tiozhng)量为负，实际输n n出大于期望输出，n n权值向减少方向调整(tiozhng)，n n使得实际输出与期望n n输出的差减少。whoe0，此时，此时who0第42页/共52页第四十三页，共52页。网络的标准学习网络的标准学习(xux)算法算法n nBP算法直解释n n情况二直观表达n n当误差对权值的偏导数n n小于零时，权值调整量n n为正，实际(shj)输出少于期n n望输出，权值向增大方向n n调整，使得实际(shj)输出与期n n望输出的差减少。e0who第43页/共52页第四十四页，共52页。神经网络学习神经网络学习神经网络学习神经网络学习(xux)(xux)算法
23、的算法的算法的算法的MATLABMATLAB实现实现实现实现 n nMATLAB中BP神经网络的重要(zhngyo)函数和基本功能 函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数第44页/共52页第四十五页，共52页。神经网络学习算法神经网络学习算法神经网络学习算法神经网络学习算法(sun f(sun f)的的的的MATLABMATLAB实现实现实现实现n nM
24、ATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能n nnewff()newff()n n功能功能 建立一个前向建立一个前向BPBP网络网络n n格式格式 net=newff(PR net=newff(PR，S1 S2.SN1S1 S2.SN1，TF1 TF1 TF2.TFN1TF2.TFN1，BTFBTF，BLFBLF，PF)PF)n n说明说明 net net为创建的新为创建的新BPBP神经网络；神经网络；PRPR为网络输入为网络输入取向量取值范围的矩阵；取向量取值范围的矩阵；S1 S2SNlS1 S2SNl表示网络隐表示网络隐含层和输出层神经元的个
25、数；含层和输出层神经元的个数；TFl TF2TFN1TFl TF2TFN1表示网络隐含层和输出层的传输表示网络隐含层和输出层的传输(chun sh)(chun sh)函数，函数，默认为默认为tansigtansig；BTFBTF表示网络的训练函数，默认为表示网络的训练函数，默认为trainlmtrainlm；BLFBLF表示网络的权值学习函数，默认为表示网络的权值学习函数，默认为learngdmlearngdm；PFPF表示性能数，默认为表示性能数，默认为msemse。第45页/共52页第四十六页，共52页。神经网络学习神经网络学习神经网络学习神经网络学习(xux)(xux)算法的算法的算法的
26、算法的MATLABMATLAB实现实现实现实现n nMATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能n ntansig()tansig()n n功能功能 正切正切sigmoidsigmoid激活函数激活函数n n格式格式 a=tansig(n)a=tansig(n)n n说明说明 双曲正切双曲正切SigmoidSigmoid函数把神经元的输入函数把神经元的输入(shr)(shr)范围范围从从(-(-，+)+)映射到映射到(-1(-1，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训训练的神经元。练的神经元。n nlogsig()logs
27、ig()n n功能功能 对数对数SigmoidSigmoid激活函数激活函数n n格式格式 a=logsig(N)a=logsig(N)n n说明对数说明对数SigmoidSigmoid函数把神经元的输入函数把神经元的输入(shr)(shr)范围从范围从(-(-，+)+)映射到映射到(0(0，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神训练的神经元。经元。第46页/共52页第四十七页，共52页。神经网络学习神经网络学习神经网络学习神经网络学习(xux)(xux)算法的算法的算法的算法的MATLABMATLAB实现实现实现实现n n例例2-32-3，下表为某药品的销售情况
28、，现构建一个如下的三层，下表为某药品的销售情况，现构建一个如下的三层BPBP神经网神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5 5，隐含层的激活隐含层的激活(j hu)(j hu)函数为函数为tansigtansig；输出层结点数为；输出层结点数为1 1个，输出层的个，输出层的激活激活(j hu)(j hu)函数为函数为logsiglogsig，并利用此网络对药品的销售量进行预测，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个预测方法采用滚动预测方式，即用前三个月的销售量
29、来预测第四个月的销售量，如用月的销售量，如用1 1、2 2、3 3月的销售量为输入预测第月的销售量为输入预测第4 4个月的销售量，个月的销售量，用用2 2、3 3、4 4月的销售量为输入预测第月的销售量为输入预测第5 5个月的销售量个月的销售量.如此反复直至满如此反复直至满足预测精度要求为止。足预测精度要求为止。月份月份123456销量销量205623952600229816341600月份月份789101112销量销量187314781900150020461556第47页/共52页第四十八页，共52页。神经网络学习神经网络学习神经网络学习神经网络学习(xux)(xux)算法的算法的算法的算
30、法的MATLABMATLAB实现实现实现实现n n%以每三个月的销售量经归一化处理后作为输入以每三个月的销售量经归一化处理后作为输入n nP=0.5152P=0.51520.81730.81731.0000;1.0000;n n 0.8173 0.81731.00001.00000.7308;0.7308;n n 1.0000 1.00000.73080.73080.1390;0.1390;n n 0.7308 0.73080.13900.13900.1087;0.1087;n n 0.1390 0.13900.10870.10870.3520;0.3520;n n 0.1087 0.1087
31、0.35200.35200.0000;0.0000;n n%以第四个月的销售量归一化处理后作为目标向量以第四个月的销售量归一化处理后作为目标向量(xingling)(xingling)n nT=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;n n%创建一个创建一个BPBP神经网络，每一个输入向量神经网络，每一个输入向量(xingling)(xingling)的取值范围为的取值范围为0,10,1，隐含层有，隐含层有5 5个神个神经经%元，输出层有一个神经元，隐含层的激活函
32、数为元，输出层有一个神经元，隐含层的激活函数为tansigtansig，输出层的激活函数为，输出层的激活函数为%logsig%logsig，训练函数为梯度下降函数，即节中所描述的标准学习算法，训练函数为梯度下降函数，即节中所描述的标准学习算法n nnet=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);n n%设置学习速率为设置学习速率为0.10.1n nLP.lr=0.1;LP.lr=0.1;n nnet=train(net,P,T);net=train
33、(net,P,T);第48页/共52页第四十九页，共52页。神经网络学习算法神经网络学习算法神经网络学习算法神经网络学习算法(sun f(sun f)的的的的MATLABMATLAB实现实现实现实现n nBP网络应用于药品预测对比图n n由对比图可以看出预测效果与实际存在一定误差(wch)，此误差(wch)可以通过增加运行步数和提高预设误差(wch)精度业进一步缩小第49页/共52页第五十页，共52页。BP神经网络的特点神经网络的特点(tdin)n n非线性映射能力n n能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习
34、训练，它便能完成由n维输入空间到m维输出空间的非线性映射。n n泛化能力n n当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确(zhngqu)映射。这种能力称为泛化能力。n n容错能力n n输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。n n 第50页/共52页第五十一页，共52页。小结小结(xioji)n nBPBP算法背景算法背景n nBPBP神经网络模型神经网络模型(mxng)(mxng)n nBPBP算法算法n n基本思想基本思想n n推导过程推导过程n n实现实现n nBPBP神经网络的神经网络的MATLABMATLAB函数函数n nBPBP神经网络的应用实例神经网络的应用实例n nBPBP神经网络与感知器神经网络的对比神经网络与感知器神经网络的对比第51页/共52页第五十二页，共52页。