《BP神经网络在分类与预测中的应用.ppt》由会员分享,可在线阅读,更多相关《BP神经网络在分类与预测中的应用.ppt(86页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、一、一、BP神经网络神经网络二、二、徽章的分类徽章的分类三、三、光催化臭氧氧化处理自来水光催化臭氧氧化处理自来水BP神经网络在分类与预测中的应用BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的 利用机器模仿人类的智能是长期以来人们认识自然、利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。改造自然和认识自身的理想。(1)探索和模拟人的感觉、思维和行为的规律,设探索和模拟人的感觉、思维和行为的规律,设计具有
2、人类智能的计算机系统。计具有人类智能的计算机系统。(2)探讨人脑的智能活动,用物化了的智能来考察探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的物质过程及其规律。和研究人脑智能的物质过程及其规律。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法(1)(1)生生理结构的模拟理结构的模拟 用仿生学观点,探索人脑的生理结构,把对人脑的用仿生学观点,探索人脑的生理结构,把对人脑的微观结构及其智
3、能行为的研究结合起来即人工神经网络微观结构及其智能行为的研究结合起来即人工神经网络(Artificial Neural Netwroks,简称,简称ANN)方法。)方法。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法(1)(1)生生理结构的模拟理结构的模拟(2)(2)宏观功能的模拟宏观功能的模拟 从人的思维活动和智能行为的心理学特性出发,利从人的思维活动和智能行为的心理学特性出发,利用计算机
4、系统来对人脑智能进行宏观功能的模拟,即符用计算机系统来对人脑智能进行宏观功能的模拟,即符号处理方法。号处理方法。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容(1)(1)理理论研究论研究 ANN模型及其学习算法,试图从数学上描述模型及其学习算法,试图从数学上描述ANN的动力学过程,建立相应的的动力学过程,建立相应的ANN模型,在该模型的基础模型,在该模型
5、的基础上,对于给定的学习样本,找出一种能以较快的速度和上,对于给定的学习样本,找出一种能以较快的速度和较高的精度调整神经元间互连权值,使系统达到稳定状较高的精度调整神经元间互连权值,使系统达到稳定状态,满足学习要求的算法。态,满足学习要求的算法。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容(1)(1)理理论研究论研究(2)(2)实现技术的研究实现技术的
6、研究 探讨利用电子、光学、生物等技术实现神经计算机探讨利用电子、光学、生物等技术实现神经计算机的途径。的途径。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容(1)(1)理理论研究论研究(2)(2)实现技术的研究实现技术的研究(3)(3)应用的研究应用的研究 探讨如何应用探讨如何应用ANN解决实际问题,如模式识别、故解决实际问题,如模式识别、故障检测、智能
7、机器人等。障检测、智能机器人等。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容1.1.4 人工神经网络概述人工神经网络概述 人工神经网络是由具有适应性简单的单元组成的广人工神经网络是由具有适应性简单的单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对泛并行互连的网络,它的组织能够模拟生物神经系统对真实物体所作出的交互作用。真实物体所作出的交互作
8、用。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征(1)(1)巨量并行性巨量并行性(2)(2)信息处理和存储单元的有机结合信息处理和存储单元的有机结合(3)(3)自组织自学习功能自组织自学习功能 1.1.6 ANN研究的目的和意义研究的目的和意义BP神经网络
9、在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (1)通过揭示物理平面与认知平面之间的映射通过揭示物理平面与认知平面之间的映射,了解了解它们相互联系和相互作用的机理它们相互联系和相互作用的机理,揭示思维的本质,探揭示思维的本质,探索智能的本源。索智能的本源。1.1.6
10、ANN研究的目的和意义研究的目的和意义BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (2)争取构造出尽可能与人脑具有相似功能的计算争取构造出尽可能与人脑具有相似功能的计算机,即机,即ANN计算机。计算机。1.1.6 ANN研究的目的和意义研究的目的和意义B
11、P神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (3)研究仿照脑神经系统的人工神经网络研究仿照脑神经系统的人工神经网络,将在模式将在模式识别、组合优化和决策判断等方面取得传统计算机所难识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。以达到的效果。
12、1.1.6 ANN研究的目的和意义研究的目的和意义1.1.7 神经网络研究的发展神经网络研究的发展BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (1)第一次热潮第一次热潮(40-60年代未年代未)1943年,美国心理学家年,美国心理学家W.McCulloc
13、h和数学家和数学家W.Pitts在提出了一个简单的神经元模型在提出了一个简单的神经元模型,即即MP模型模型.1958年,年,F.Rosenblatt等研制出了感知机等研制出了感知机(Perceptron)。1.1.6 ANN研究的目的和意义研究的目的和意义1.1.7 神经网络研究的发展神经网络研究的发展BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 研究研究ANN目的目的1.1.2 研究研究ANN方法方法1.1.3 ANN的研究内容的研究内容1.1
14、.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (2)低潮低潮(70-80年代初年代初)(3)第二次热潮第二次热潮 1982年,美国物理学家年,美国物理学家J.J.Hopfield提出提出Hopfield模型,它是一个互联的非线性动力学网络,模型,它是一个互联的非线性动力学网络,他解决问他解决问题的方法是一种反复运算的动态过程题的方法是一种反复运算的动态过程,这是符号逻辑处这是符号逻辑处理方法所不具备的性质。理方法所不具备的性质。1987年首届国际年首届国际ANN大会在大会在圣地亚哥召开圣地亚哥召开,国际国际ANN联合会成立,创办了多种联合会成立,
15、创办了多种ANN国际刊物。国际刊物。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1.9 人工神经网络研究的局限性人工神经网络研究的局限性1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型(1 1)ANN研究受到脑科学研究成果的限制研究
16、受到脑科学研究成果的限制(2 2)ANN缺少一个完整、成熟的理论体系缺少一个完整、成熟的理论体系(3 3)ANN研究带有浓厚的策略和经验色彩研究带有浓厚的策略和经验色彩(4 4)ANN与传统技术的接口不成熟与传统技术的接口不成熟BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1.9 人工神经网络研究的局限性人工神经网络研究的局限性1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型黑箱BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络
17、神经网络1.1.9 人工神经网络研究的局限性人工神经网络研究的局限性1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型黑箱 一般而言一般而言,ANN与经典计算方法相比并非优越与经典计算方法相比并非优越,只只有当常规方法解决不了或效果不佳时有当常规方法解决不了或效果不佳时ANN方法才能显示方法才能显示出其优越性出其优越性.尤其对问题的机理不甚了解或不能用数学尤其对问题的机理不甚了解或不能用数学模型表示的系统模型表示的系统,如故障诊断如故障诊断,特征提取和预测等问题特征提取和预测等问题,ANN往往是最有利的工
18、具往往是最有利的工具.另一方面另一方面,ANN对处理大量对处理大量原始数据而不能用规则或公式描述的问题原始数据而不能用规则或公式描述的问题,表现出极大表现出极大的灵活性和自适应性。的灵活性和自适应性。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络 人工神经网络以其具有自学习、自组织、较好的容人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力,受到众多领域学者的关错性和优良的非线性逼近能力,受到众多领域学者的关注
19、。在实际应用中,注。在实际应用中,80%80%90%90%的人工神经网络模型是采的人工神经网络模型是采用用误差反传算法或其变化形式的网络模型误差反传算法或其变化形式的网络模型(简称简称BPBP网络网络),),目前主要应用于函数逼近、模式识别、分类和数据压目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。缩或数据挖掘。BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络 Rumelhart,Mc Clelland于于1985年提
20、出了年提出了BP网网络的误差反向后传络的误差反向后传BP(Back Propagation)学习算法学习算法J.Mc Clelland David Rumelhart 1.2.1 BP神经网络概述神经网络概述BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络 BPBP算法基本原理算法基本原理 利用输出后的误差来估计输出层利用输出后的误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误的直接前导层的误差,再用这个误差估计更前
21、一层的误差,如此一层一层的反传下去,就获得了所有其他各层差,如此一层一层的反传下去,就获得了所有其他各层的误差估计。的误差估计。1.2.1 BP神经网络概述神经网络概述BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点神经网络能以任意精度逼神经网络能以任意精度逼近任何非线性连续函数。近任何非线性连续函数。在建模过程中的许多问题在建模过程中的许多问题正是具有
22、高度的非线性。正是具有高度的非线性。(1)(1)非非线性映射能力线性映射能力BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点在神经网络中信息是分布在神经网络中信息是分布储存和并行处理的,这使储存和并行处理的,这使它具有很强的容错性和很它具有很强的容错性和很快的处理速度。快的处理速度。(2)(2)并行分布处理方式并行分布处理方式(1)(1)非非线性映射能力
23、线性映射能力BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点神经网络在训练时,能从神经网络在训练时,能从输入、输出的数据中提取输入、输出的数据中提取出规律性的知识,记忆于出规律性的知识,记忆于网络的权值中,并具有泛网络的权值中,并具有泛化能力,即将这组权值应化能力,即将这组权值应用于一般情形的能力。神用于一般情形的能力。神经网络的学习也可以在线经网络的学
24、习也可以在线进行。进行。(2)(2)并行分布处理方式并行分布处理方式(3)(3)自学习和自适应能力自学习和自适应能力(1)(1)非非线性映射能力线性映射能力BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点神经网络可以同时处理定神经网络可以同时处理定量信息和定性信息,因此量信息和定性信息,因此它可以利用传统的工程技它可以利用传统的工程技术(数值运算)和人工
25、智术(数值运算)和人工智能技术(符号处理)能技术(符号处理)(2)(2)并行分布处理方式并行分布处理方式(3)(3)自学习和自适应能力自学习和自适应能力(4)(4)数据融合的能力数据融合的能力(1)(1)非非线性映射能力线性映射能力BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点(2)(2)并行分布处理方式并行分布处理方式(3)(3)自学习和自适应能力自
26、学习和自适应能力神经网络的输入和输出变神经网络的输入和输出变量的数目是任意的,对单量的数目是任意的,对单变量系统与多变量系统提变量系统与多变量系统提供了一种通用的描述方式供了一种通用的描述方式,不必考虑各子系统间的解不必考虑各子系统间的解耦问题。耦问题。(4)(4)数据融合的能力数据融合的能力(5)(5)多变量系统多变量系统(1)(1)非非线性映射能力线性映射能力BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网
27、络概述神经网络概述1.2.2 BP神经网络特点神经网络特点1.2.3 BP神经网络模型神经网络模型三层三层BP网络的拓扑结构网络的拓扑结构1.2.3 BP神经网络模型神经网络模型(1)(1)激活函数激活函数激活函数激活函数(传输函数)传输函数)传输函数)传输函数)必须处处可导必须处处可导必须处处可导必须处处可导 一般都使用一般都使用一般都使用一般都使用S S型函数型函数型函数型函数 Sigmoid函数函数对数对数Sigmoid函数函数1.2.3 BP神经网络模型神经网络模型(2)(2)使用使用使用使用S S型激活函数时型激活函数时型激活函数时型激活函数时BPBP网络输入与输出关系网络输入与输出
28、关系网络输入与输出关系网络输入与输出关系1.2.3 BP神经网络模型神经网络模型传输函数传输函数输入输入输入输入输出输出输出输出(2)(2)使用使用使用使用S S型激活函数时型激活函数时型激活函数时型激活函数时BPBP网络输入与输出关系网络输入与输出关系网络输入与输出关系网络输入与输出关系1.2.3 BP神经网络模型神经网络模型输出的导数输出的导数输出的导数输出的导数根据根据根据根据S S型激活函数的图形可型激活函数的图形可型激活函数的图形可型激活函数的图形可知知知知,对神经网络进行训练,对神经网络进行训练,对神经网络进行训练,对神经网络进行训练,应该将应该将应该将应该将netnet的值尽量控
29、制在的值尽量控制在的值尽量控制在的值尽量控制在收敛比较快的范围内收敛比较快的范围内收敛比较快的范围内收敛比较快的范围内.输入输入输入输入输出输出输出输出BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点1.2.3 BP神经网络模型神经网络模型1.2.4 BP神经网络神经网络的标准学习算法的标准学习算法1.2.4 BP网络的标准学习算法网络的标准学习算法(1
30、)(1)学习的过程学习的过程学习的过程学习的过程在外界输入样本的刺激下,不断改变网络连接的权在外界输入样本的刺激下,不断改变网络连接的权在外界输入样本的刺激下,不断改变网络连接的权在外界输入样本的刺激下,不断改变网络连接的权值,以使网络的输出不断地接近期望的输出。值,以使网络的输出不断地接近期望的输出。值,以使网络的输出不断地接近期望的输出。值,以使网络的输出不断地接近期望的输出。(2)(2)学习的本质学习的本质学习的本质学习的本质 对各连接权值的动态调整对各连接权值的动态调整对各连接权值的动态调整对各连接权值的动态调整(3)(3)学习规则学习规则学习规则学习规则权值调整规则,即在学习过程中网
31、络各神经元的连权值调整规则,即在学习过程中网络各神经元的连权值调整规则,即在学习过程中网络各神经元的连权值调整规则,即在学习过程中网络各神经元的连接权值变化所依据的一定调整规则。接权值变化所依据的一定调整规则。接权值变化所依据的一定调整规则。接权值变化所依据的一定调整规则。1.2.4 BP网络的标准学习算法网络的标准学习算法将误差分摊给各层的所将误差分摊给各层的所有单元有单元-各层单元的各层单元的误差信号误差信号修正各单元权值修正各单元权值 C.C.学习的过程:学习的过程:学习的过程:学习的过程:信号的正向传播信号的正向传播信号的正向传播信号的正向传播 误差的反向传播误差的反向传播误差的反向传
32、播误差的反向传播(4)(4)算法思想算法思想算法思想算法思想 A.A.学习的类型学习的类型学习的类型学习的类型 有导师学习有导师学习有导师学习有导师学习 B.B.核心思想核心思想核心思想核心思想 将输出误差将输出误差将输出误差将输出误差以某种形式以某种形式以某种形式以某种形式通过隐层向输入层逐层通过隐层向输入层逐层通过隐层向输入层逐层通过隐层向输入层逐层反传反传反传反传 A.A.正向传播正向传播正向传播正向传播 输入样本输入样本输入样本输入样本输入层输入层输入层输入层各隐层各隐层各隐层各隐层输出层输出层输出层输出层 B.B.判断是否转入反向传播阶段判断是否转入反向传播阶段判断是否转入反向传播阶
33、段判断是否转入反向传播阶段 若输出层的实际输出与期望的输出(教师信号)若输出层的实际输出与期望的输出(教师信号)若输出层的实际输出与期望的输出(教师信号)若输出层的实际输出与期望的输出(教师信号)不符不符不符不符.C.C.误差反传误差反传误差反传误差反传 误差以某种形式在各层表示误差以某种形式在各层表示误差以某种形式在各层表示误差以某种形式在各层表示修正各层单元修正各层单元修正各层单元修正各层单元的权值的权值的权值的权值.D.D.网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止进行到预
34、先设定的学习次数为止进行到预先设定的学习次数为止进行到预先设定的学习次数为止1.2.4 BP网络的标准学习算法网络的标准学习算法(5)(5)算法核心算法核心算法核心算法核心(6)(6)网络结构网络结构网络结构网络结构 输入层有输入层有输入层有输入层有n n个神经元,隐含层有个神经元,隐含层有个神经元,隐含层有个神经元,隐含层有p p个神经元个神经元个神经元个神经元,输出输出输出输出层有层有层有层有q q个神经元个神经元个神经元个神经元(7)(7)变量定义变量定义变量定义变量定义 1.2.4 BP网络的标准学习算法网络的标准学习算法输入向量输入向量输入向量输入向量隐含层输入向量隐含层输入向量隐含
35、层输入向量隐含层输入向量隐含层输出向量隐含层输出向量隐含层输出向量隐含层输出向量输出层输入向量输出层输入向量输出层输入向量输出层输入向量输出层输出向量输出层输出向量输出层输出向量输出层输出向量1.2.4 BP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值输入层与中间层的连接权值输入层与中间层的连接权值输入层与中间层的连接权值隐含层与输出层的连接权值隐含层与输出层的连接权值隐含层与输出层的连接权值隐含层与输出层的连接权值隐含层各神经元的阈值隐含层各神经元的阈值隐含层各神经元的阈值隐含层各神经元的阈值输出层各神经元的阈值输出层各神经元的阈值输出层各神经元的阈值输出层各神经元的阈值样本
36、数据个数样本数据个数样本数据个数样本数据个数激活函数激活函数激活函数激活函数误差函数误差函数误差函数误差函数期望输出向量期望输出向量期望输出向量期望输出向量(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法 第一步,网络初始化第一步,网络初始化第一步,网络初始化第一步,网络初始化 给各连接权值分别赋一个区间给各连接权值分别赋一个区间给各连接权值分别赋一个区间给各连接权值分别赋一个区间(-1(-1,1)1)内的随机数内的随机数内的随机数内的随机数,设定误差函数设定误差函数设定误差函数设定误差函数e e,给定计算精度值,给定计算精度值,给定计算精度值,
37、给定计算精度值 和最大学习次数和最大学习次数和最大学习次数和最大学习次数MM。第二步,随机选取第第二步,随机选取第第二步,随机选取第第二步,随机选取第k k个输入样本及对应期望输出个输入样本及对应期望输出个输入样本及对应期望输出个输入样本及对应期望输出 (8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法第三步,计算隐含层各神经元的输入和输出第三步,计算隐含层各神经元的输入和输出第三步,计算隐含层各神经元的输入和输出第三步,计算隐含层各神经元的输入和输出(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法
38、第四步,利用网络期望输出和实际输出,计算误差第四步,利用网络期望输出和实际输出,计算误差第四步,利用网络期望输出和实际输出,计算误差第四步,利用网络期望输出和实际输出,计算误差函数对输出层的各神经元的偏导数函数对输出层的各神经元的偏导数函数对输出层的各神经元的偏导数函数对输出层的各神经元的偏导数 。第五步,第五步,第五步,第五步,利用隐含层到输出层的连接权值、利用隐含层到输出层的连接权值、利用隐含层到输出层的连接权值、利用隐含层到输出层的连接权值、输出输出输出输出层的层的层的层的 和隐含层的输出计算误差函数对隐含层各神和隐含层的输出计算误差函数对隐含层各神和隐含层的输出计算误差函数对隐含层各神
39、和隐含层的输出计算误差函数对隐含层各神经元的偏导数经元的偏导数经元的偏导数经元的偏导数 。(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法 第六步,利用输出层各神经元的第六步,利用输出层各神经元的第六步,利用输出层各神经元的第六步,利用输出层各神经元的 和隐含层各神经和隐含层各神经和隐含层各神经和隐含层各神经元的输出来修正连接权值元的输出来修正连接权值元的输出来修正连接权值元的输出来修正连接权值 。(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4
40、 BP网络的标准学习算法网络的标准学习算法 第七步,利用隐含层各神经元的第七步,利用隐含层各神经元的第七步,利用隐含层各神经元的第七步,利用隐含层各神经元的 和输入层各和输入层各和输入层各和输入层各神经元的输入修正连接权。神经元的输入修正连接权。神经元的输入修正连接权。神经元的输入修正连接权。(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法 第八步,计算全局误差第八步,计算全局误差第八步,计算全局误差第八步,计算全局误差 第九步,判断网络误差是否满足要求。当误差达第九步,判断网络误差是否满足要求。当误差达第九步,判断网络误差是否满足要求。当误差达
41、第九步,判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数,则结束到预设精度或学习次数大于设定的最大次数,则结束到预设精度或学习次数大于设定的最大次数,则结束到预设精度或学习次数大于设定的最大次数,则结束算法。否则,选取下一个学习样本及对应的期望输出,算法。否则,选取下一个学习样本及对应的期望输出,算法。否则,选取下一个学习样本及对应的期望输出,算法。否则,选取下一个学习样本及对应的期望输出,返回到第三步,进入下一轮学习。返回到第三步,进入下一轮学习。返回到第三步,进入下一轮学习。返回到第三步,进入下一轮学习。(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网
42、络的标准学习算法网络的标准学习算法whoe0,此时此时who01.2.4 BP网络的标准学习算法网络的标准学习算法 情况一直观表达情况一直观表达情况一直观表达情况一直观表达 当误差对权值的偏导数当误差对权值的偏导数当误差对权值的偏导数当误差对权值的偏导数大于零时,权值调整量为负大于零时,权值调整量为负大于零时,权值调整量为负大于零时,权值调整量为负,实际输出大于期望输出,权实际输出大于期望输出,权实际输出大于期望输出,权实际输出大于期望输出,权值向减少方向调整,使得实值向减少方向调整,使得实值向减少方向调整,使得实值向减少方向调整,使得实际输出与期望输出的差减少。际输出与期望输出的差减少。际输
43、出与期望输出的差减少。际输出与期望输出的差减少。(9)(9)BPBP算法直观解释算法直观解释算法直观解释算法直观解释e0who(9)(9)BPBP算法直观解释算法直观解释算法直观解释算法直观解释1.2.4 BP网络的标准学习算法网络的标准学习算法 情况二直观表达情况二直观表达情况二直观表达情况二直观表达 误差对权值的偏导数小误差对权值的偏导数小误差对权值的偏导数小误差对权值的偏导数小于零时,权值调整量为正,于零时,权值调整量为正,于零时,权值调整量为正,于零时,权值调整量为正,实际输出少于期望输出,权实际输出少于期望输出,权实际输出少于期望输出,权实际输出少于期望输出,权值向增大方向调整,使得
44、实值向增大方向调整,使得实值向增大方向调整,使得实值向增大方向调整,使得实际输出与期望输出的差减少际输出与期望输出的差减少际输出与期望输出的差减少际输出与期望输出的差减少BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点1.2.3 BP神经网络模型神经网络模型1.2.4 BP神经网络神经网络的标准学习算法的标准学习算法1.2.5 BP神经网络神经网络的学习
45、算法的的学习算法的MATLAB实现实现 函函函函 数数数数 名名名名功功功功 能能能能newffnewff()()生成一个前生成一个前生成一个前生成一个前馈馈馈馈BPBP网网网网络络络络tansigtansig()()双曲正切双曲正切双曲正切双曲正切S S型型型型(Tan-Sigmoid)(Tan-Sigmoid)传输传输传输传输函数函数函数函数logsiglogsig()()对对对对数数数数S S型型型型(Log-Sigmoid)(Log-Sigmoid)传输传输传输传输函数函数函数函数traingdtraingd()()梯度下降梯度下降梯度下降梯度下降BPBP训练训练训练训练函数函数函数函
46、数1.2.4 BP网络学习算法的网络学习算法的MATLAB实现实现(1)(1)MATLAB MATLAB中中中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经网络的重要函数和基本功能1.2.4 BP网络学习算法的网络学习算法的MATLAB实现实现 newffnewff()()功能功能功能功能 建立一个前向建立一个前向建立一个前向建立一个前向BPBP网络网络网络网络格式格式格式格式 net=net=newff(PRnewff(PR,S1 S2.SN1S1 S2.SN1,TF1 TF2.TFN1TF1 TF2.TFN1,BTFBTF,BLFBLF,
47、PF)PF)说明说明说明说明 netnet为创建的新为创建的新为创建的新为创建的新BPBP神经网络;神经网络;神经网络;神经网络;PRPR为网络输入向量的为网络输入向量的为网络输入向量的为网络输入向量的取值范围的矩阵;取值范围的矩阵;取值范围的矩阵;取值范围的矩阵;S1 S2S1 S2SNlSNl 表示网络隐含层和输出层表示网络隐含层和输出层表示网络隐含层和输出层表示网络隐含层和输出层神经元的个数;神经元的个数;神经元的个数;神经元的个数;TFlTFl TF2TFN1 TF2TFN1 表示网络隐含层和输表示网络隐含层和输表示网络隐含层和输表示网络隐含层和输出层的传输函数,出层的传输函数,出层的
48、传输函数,出层的传输函数,默认为默认为默认为默认为 tansigtansig;BTFBTF表示网络的表示网络的表示网络的表示网络的训练函数,默认为训练函数,默认为训练函数,默认为训练函数,默认为 trainlm;BLFtrainlm;BLF表示网络的权值学习表示网络的权值学习表示网络的权值学习表示网络的权值学习函数函数函数函数,默认为默认为默认为默认为 learngdmlearngdm;PFPF表示性能数,默认为表示性能数,默认为表示性能数,默认为表示性能数,默认为 msemse。(1)(1)MATLAB MATLAB中中中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经
49、网络的重要函数和基本功能神经网络的重要函数和基本功能tansigtansig()()功能功能功能功能 正切正切正切正切sigmoidsigmoid激活函数激活函数激活函数激活函数格式格式格式格式 a=a=tansig(ntansig(n)说明说明说明说明 双曲正切双曲正切双曲正切双曲正切SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从(-(-,+)+)映射到映射到映射到映射到(-1(-1,1)1)。它是可导函数,适用于。它是可导函数,适用于。它是可导函数,适用于。它是可导函数,适用于BPBP训练的神经元。训练的神经元。
50、训练的神经元。训练的神经元。logsiglogsig()()功能功能功能功能 对数对数对数对数SigmoidSigmoid激活函数激活函数激活函数激活函数格式格式格式格式 a=a=logsig(nlogsig(n)说明说明说明说明 对数对数对数对数SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从(-(-,+)+)映射映射映射映射到到到到(0(0,1)1)。它是可导函数,适用于。它是可导函数,适用于。它是可导函数,适用于。它是可导函数,适用于BPBP训练的神经元。训练的神经元。训练的神经元。训练的神经元。1.2.4 BP