《bp网络训练1.ppt》由会员分享，可在线阅读，更多相关《bp网络训练1.ppt（41页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、基本基本BP网络的拓扑结构网络的拓扑结构BP网络网络基本基本BP网络的拓扑结构网络的拓扑结构BP网络网络基本BP算法neti=x1w1i+x2w2i+xnwni在实际应用中，在实际应用中，80%80%90%90%的人工神经网络模型是的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简采用误差反传算法或其变化形式的网络模型（简称称BPBP网络），目前主要应用于函数逼近、模式识网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。别、分类和数据压缩或数据挖掘。BP网络训练过程（1）样本样本权初始化权初始化向前传播阶段向前传播阶段Op=Fn(F2(F1(XpW(1)W(2)W
2、(n)误差测度误差测度输入输出变量的确定一、曲线拟合问题一、曲线拟合问题 建立一个建立一个BP网络，对神经网络进行训练，网络，对神经网络进行训练，实现对函数实现对函数 y=e-xsin（x）的逼近，并计算出）的逼近，并计算出各种学习方法训练网络时所使用的时间。各种学习方法训练网络时所使用的时间。输入输出变量的确定二、模式识别问题二、模式识别问题用于字符显示的矩阵格点用于字符显示的矩阵格点输入输出变量的确定三、数据挖掘问题三、数据挖掘问题例子：扫雷机例子：扫雷机扫雷机的控制扫雷机的控制确定输出变量：确定输出变量：确定输入变量：确定输入变量：u扫雷机的位置扫雷机的位置(x1,y1)u与扫雷机最靠近
3、的地雷的位置与扫雷机最靠近的地雷的位置(x2,y2)u代表扫雷机前进方向的向量代表扫雷机前进方向的向量(x3,y3)输入变量的简化：输入变量的简化：隐藏的神经细胞的确定：隐藏的神经细胞的确定：没有一种确切的规则可用来计算。没有一种确切的规则可用来计算。权值的确定p随机取值型随机取值型p非随机取值型非随机取值型权值的确定权值分类：权值分类：一、随机取值型一、随机取值型权值的确定一般情况下，给权值初值赋以较小的随机数。一般情况下，给权值初值赋以较小的随机数。弊端：弊端：使网络的输出在一定范围内变化缓慢，使网使网络的输出在一定范围内变化缓慢，使网络的训练速度很慢络的训练速度很慢二、非随机取值型二、非
4、随机取值型权值的确定基于样本特征提取基于样本特征提取遗传和免疫遗传和免疫均匀设计均匀设计记忆式记忆式感受野型等算法感受野型等算法BP网络建模特点：网络建模特点：非线性映照能力非线性映照能力：神经网络能以任意精度逼近任何非线性连续：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。函数。在建模过程中的许多问题正是具有高度的非线性。并行分布处理方式：并行分布处理方式：在神经网络中信息是分布储存和并行处在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。理的，这使它具有很强的容错性和很快的处理速度。自学习和自适应能力：自学习和自适应能
5、力：神经网络在训练时，能从输入、输出神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。也可以在线进行。数据融合的能力：数据融合的能力：神经网络可以同时处理定量信息和定神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。工智能技术（符号处理）。多变量系统：多变量系统：神经
6、网络的输入和输出变量的数目是任意神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。不必考虑各子系统间的解耦问题。1.样本数据样本数据1.1 收集和整理分组收集和整理分组 采用采用BP神经网络方法建模的首要和前提条件是有神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。而且，为监控训练足够多典型性好和精度高的样本。而且，为监控训练（学习）过程使之不发生（学习）过程使之不发生“过拟合过拟合”和评价建立的网和评价建立的网络模型的性能和泛化能力，必须将收集到的数据
7、随机络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（分成训练样本、检验样本（10%以上）和测试样本以上）和测试样本（10%以上）以上）3部分。此外，数据分组时还应尽可能部分。此外，数据分组时还应尽可能考虑样本模式间的平衡。考虑样本模式间的平衡。2 输入输入/输出变量的确定及其数据的预处理输出变量的确定及其数据的预处理 一般地，一般地，BP网络的输入变量即为待分析系统的内生网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专业知识确定。变量（影响因子或自变量）数，一般根据专业知识确定。若输入变量较多，一般可通过主成份分析方法压减输入若输入变量较多，一般可
8、通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。一般将一个具有多个输出的网络一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。训练也更方便。由于由于BP神经网络的隐层一般采用神经网络的隐层一般采用Sigmo
9、id转换函数，转换函数，为提高训练速度和灵敏性以及有效避开为提高训练速度和灵敏性以及有效避开Sigmoid函数的函数的饱和区，一般要求输入数据的值在饱和区，一般要求输入数据的值在01之间。因此，要之间。因此，要对输入数据进行预处理。一般要求对不同变量分别进对输入数据进行预处理。一般要求对不同变量分别进行预处理，也可以对类似性质的变量进行统一的预处行预处理，也可以对类似性质的变量进行统一的预处理。如果输出层节点也采用理。如果输出层节点也采用Sigmoid转换函数，输出变转换函数，输出变量也必须作相应的预处理，否则，输出变量也可以不量也必须作相应的预处理，否则，输出变量也可以不做预处理。做预处理。
10、神经网络拓扑结构的确定神经网络拓扑结构的确定1 隐层数隐层数 一般认为，增加隐层数可以降低网络误差，提高精一般认为，增加隐层数可以降低网络误差，提高精度，但也使网络复杂化，从而增加了网络的训练时间和度，但也使网络复杂化，从而增加了网络的训练时间和出现出现“过拟合过拟合”的倾向。的倾向。Hornik等早已证明：若输入层和输出层采用线性转等早已证明：若输入层和输出层采用线性转换函数，隐层采用换函数，隐层采用Sigmoid转换函数，则含一个隐层的转换函数，则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。网络能够以任意精度逼近任何有理函数。一般地，靠增加隐层节点数来获得较低的误一般地，靠增加隐
11、层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。差，其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型，实际上就是一对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。因此，一般认线性转换函数型式）回归模型。因此，一般认为，应将不含隐层的网络模型归入回归分析中。为，应将不含隐层的网络模型归入回归分析中。2 隐层节点数隐层节点数 在在BP 网络中，隐层节点数的选择非常重要，它不仅对建网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现立
12、的神经网络模型的性能影响很大，而且是训练时出现“过拟过拟合合”的直接原因，但是目前理论上还没有一种科学的和普遍的的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。确定方法。事实上，各种计算公式得到的隐层节点数有时相差几事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现倍甚至上百倍。为尽可能避免训练时出现“过拟合过拟合”现象，现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点
13、数。构，即取尽可能少的隐层节点数。隐层节点数不仅与输入隐层节点数不仅与输入/输出层的节点数有关，更与输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。的特性等因素有关。在确定隐层节点数时必须满足下列条件：在确定隐层节点数时必须满足下列条件：(1)隐层节点数必须小于隐层节点数必须小于N-1（其中（其中N为训练样本数）为训练样本数），否则，网络模型的系统误差与训练样本的特性，否则，网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络模型没有泛化能力，无关而趋于零，即建立的网络模型没有泛化能力，也没有
14、任何实用价值。同理可推得：输入层的节也没有任何实用价值。同理可推得：输入层的节点数（变量数）必须小于点数（变量数）必须小于N-1。(2)训练样本数必须多于网络模型的连接权数，训练样本数必须多于网络模型的连接权数，一般为一般为210倍，否则，样本必须分成几部分倍，否则，样本必须分成几部分并采用并采用“轮流训练轮流训练”的方法才可能得到可靠的方法才可能得到可靠的神经网络模型。的神经网络模型。若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使若隐层节点数太多，虽然可使网络的系统误差减小，
15、但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现到最优点，也是训练时出现“过拟合过拟合”的内在原因。因此，合理的内在原因。因此，合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。用节点删除法和扩张法确定。总结：总结：3.神经网络的训练神经网络的训练 BP网络的训练就是通过应用误差反传原理不断调整网网络的训练就是通过应用误差反传原理不断调整网络权值使网络模型输出值与已知的训练样本输出值之间的误络权值使网络模型
16、输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。虽然理论上早已经证差平方和达到最小或小于某一期望值。虽然理论上早已经证明：具有明：具有1个隐层（采用个隐层（采用Sigmoid转换函数）的转换函数）的BP网络可实网络可实现对任意函数的任意逼近。但遗憾的是，迄今为止还没有构现对任意函数的任意逼近。但遗憾的是，迄今为止还没有构造性结论。目前在很大程度上还需要依靠经验知识和设计者造性结论。目前在很大程度上还需要依靠经验知识和设计者的经验。的经验。由于由于BP网络采用误差反传算法，其实质是一个无约束的非网络采用误差反传算法，其实质是一个无约束的非线性最优化计算过程，在网络结构较大时
17、不仅计算时间长，而线性最优化计算过程，在网络结构较大时不仅计算时间长，而且很容易限入局部极小点而得不到最优结果。且很容易限入局部极小点而得不到最优结果。目前虽已有改进目前虽已有改进BP法、遗传算法（法、遗传算法（GA）和模拟退火算法）和模拟退火算法等多种优化方法用于等多种优化方法用于BP网络的训练网络的训练(这些方法从原理上讲可通过这些方法从原理上讲可通过调整某些参数求得全局极小点调整某些参数求得全局极小点)，但在应用中，这些参数的调整，但在应用中，这些参数的调整往往因问题不同而异，较难求得全局极小点。这些方法中应用往往因问题不同而异，较难求得全局极小点。这些方法中应用最广的是增加了冲量（动量
18、）项的改进最广的是增加了冲量（动量）项的改进BP算法。算法。4 网络的初始连接权值网络的初始连接权值 BP算法决定了误差函数一般存在（很）多个局部极小算法决定了误差函数一般存在（很）多个局部极小点，不同的网络初始权值直接决定了点，不同的网络初始权值直接决定了BP算法收敛于哪个局算法收敛于哪个局部极小点或是全局极小点。因此，要求计算程序必须能够部极小点或是全局极小点。因此，要求计算程序必须能够自由改变网络初始连接权值。由于自由改变网络初始连接权值。由于Sigmoid转换函数的特性，转换函数的特性，一般要求初始权值分布在一般要求初始权值分布在-0.50.5之间比较有效。之间比较有效。5.网络模型的
19、性能和泛化能力网络模型的性能和泛化能力 训训练练神神经经网网络络的的首首要要和和根根本本任任务务是是确确保保训训练练好好的的网网络络模模型型对对非非训训练练样样本本具具有有好好的的泛泛化化能能力力（推推广广性性），即即有有效效逼逼近近样样本本蕴蕴含含的的内内在在规规律律，而而不不是是看看网网络络模模型型对对训训练练样样本本的的拟拟合合能能力力。因因此此，仅仅给给出出训训练练样样本本误误差差（通通常常是是指指均均方方根根误误差差RSME或或均均方方误误差差、AAE或或MAPE等等）的的大大小小而而不不给给出出非训练样本误差的大小是没有任何意义的。非训练样本误差的大小是没有任何意义的。要分析建立的
20、网络模型对样本所蕴含的规要分析建立的网络模型对样本所蕴含的规律的逼近情况（能力），即泛化能力，应该也律的逼近情况（能力），即泛化能力，应该也必须用非训练样本（检验样本和测试样本）误必须用非训练样本（检验样本和测试样本）误差的大小来表示和评价，这也是之所以必须将差的大小来表示和评价，这也是之所以必须将总样本分成训练样本和非训练样本而绝不能将总样本分成训练样本和非训练样本而绝不能将全部样本用于网络训练的主要原因之一。全部样本用于网络训练的主要原因之一。判断建立的模型是否已有效逼近样本所蕴含的规律判断建立的模型是否已有效逼近样本所蕴含的规律,最直最直接和客观的指标是从总样本中随机抽取的非训练样本（检
21、验接和客观的指标是从总样本中随机抽取的非训练样本（检验样本和测试样本）误差是否和训练样本的误差一样小或稍大。样本和测试样本）误差是否和训练样本的误差一样小或稍大。非训练样本误差很接近训练样本误差或比其小，一般可认为非训练样本误差很接近训练样本误差或比其小，一般可认为建立的网络模型已有效逼近训练样本所蕴含的规律，否则，建立的网络模型已有效逼近训练样本所蕴含的规律，否则，若相差很多（如几倍、几十倍甚至上千倍）就说明建立的网若相差很多（如几倍、几十倍甚至上千倍）就说明建立的网络模型并没有有效逼近训练样本所蕴含的规律，而只是在这络模型并没有有效逼近训练样本所蕴含的规律，而只是在这些训练样本点上逼近而已
22、，而建立的网络模型是对训练样本些训练样本点上逼近而已，而建立的网络模型是对训练样本所蕴含规律的错误反映。所蕴含规律的错误反映。因为训练样本的误差可以达到很小，因此，用从因为训练样本的误差可以达到很小，因此，用从总样本中随机抽取的一部分测试样本的误差表示网络总样本中随机抽取的一部分测试样本的误差表示网络模型计算和预测所具有的精度（网络性能）是合理的模型计算和预测所具有的精度（网络性能）是合理的和可靠的。和可靠的。判断网络模型泛化能力的好坏，主要不是看测判断网络模型泛化能力的好坏，主要不是看测试样本误差大小的本身，而是要看测试样本的误差是试样本误差大小的本身，而是要看测试样本的误差是否接近于训练样
23、本和检验样本的误差。否接近于训练样本和检验样本的误差。6.合理网络模型的确定合理网络模型的确定 对同一结构的网络，由于对同一结构的网络，由于BP算法存在算法存在（很）多个局部极小点，因此，必须通过多次（很）多个局部极小点，因此，必须通过多次（通常是几十次）改变网络初始连接权值求得（通常是几十次）改变网络初始连接权值求得相应的极小点，才能通过比较这些极小点的网相应的极小点，才能通过比较这些极小点的网络误差的大小，确定全局极小点，从而得到该络误差的大小，确定全局极小点，从而得到该网络结构的最佳网络连接权值。网络结构的最佳网络连接权值。必须注意的是，神经网络的训练过程本质上是必须注意的是，神经网络的
24、训练过程本质上是求非线性函数的极小点问题，因此，在全局极小点求非线性函数的极小点问题，因此，在全局极小点邻域内（即使网络误差相同），各个网络连接权值邻域内（即使网络误差相同），各个网络连接权值也可能有较大的差异，这有时也会使各个输入变量也可能有较大的差异，这有时也会使各个输入变量的重要性发生变化，但这与具有多个零极小点（一的重要性发生变化，但这与具有多个零极小点（一般称为多模式现象）（如训练样本数少于连接权数般称为多模式现象）（如训练样本数少于连接权数时）的情况是截然不同的。时）的情况是截然不同的。此外，在不满足隐层节点数条件时，也可以此外，在不满足隐层节点数条件时，也可以求得训练样本误差很小
25、或为零的极小点，但此时求得训练样本误差很小或为零的极小点，但此时检验样本和测试样本的误差可能要大得多；若改检验样本和测试样本的误差可能要大得多；若改变网络连接权初始值，检验样本和测试样本的网变网络连接权初始值，检验样本和测试样本的网络计算结果会产生很大变化，即多模式现象。络计算结果会产生很大变化，即多模式现象。对于不同的网络结构，网络模型的误差或对于不同的网络结构，网络模型的误差或性能和泛化能力也不一样。因此，还必须比较性能和泛化能力也不一样。因此，还必须比较不同网络结构的模型的优劣。一般地，随着网不同网络结构的模型的优劣。一般地，随着网络结构的变大，误差变小。通常，在网络结构络结构的变大，误
26、差变小。通常，在网络结构扩大（隐层节点数增加）的过程中，网络误差扩大（隐层节点数增加）的过程中，网络误差会出现迅速减小然后趋于稳定的一个阶段，因会出现迅速减小然后趋于稳定的一个阶段，因此，合理隐层节点数应取误差迅速减小后基本此，合理隐层节点数应取误差迅速减小后基本稳定时的隐层节点数。稳定时的隐层节点数。总之，合理网络模型是必须在具有合理隐层总之，合理网络模型是必须在具有合理隐层节点数、训练时没有发生节点数、训练时没有发生“过拟合过拟合”现象、求现象、求得全局极小点和同时考虑网络结构复杂程度和得全局极小点和同时考虑网络结构复杂程度和误差大小的综合结果。设计合理误差大小的综合结果。设计合理BP网络
27、模型的网络模型的过程是一个不断调整参数的过程，也是一个不过程是一个不断调整参数的过程，也是一个不断对比结果的过程，比较复杂且有时还带有经断对比结果的过程，比较复杂且有时还带有经验性。验性。虽然神经网络的类型很多，建立神经网络模型时，根据研虽然神经网络的类型很多，建立神经网络模型时，根据研究对象的特点，可以考虑不同的神经网络模型。究对象的特点，可以考虑不同的神经网络模型。前馈型前馈型BP网络网络即误差逆传播神经网络是最常用、最流行的神经网络。即误差逆传播神经网络是最常用、最流行的神经网络。BP网络网络的输入和输出关系可以看成是一种映射关系，即每一组输入对的输入和输出关系可以看成是一种映射关系，即每一组输入对应一组输出。由于网络中神经元作用函数的非线性，网络实现应一组输出。由于网络中神经元作用函数的非线性，网络实现是复杂的非线性映射。是复杂的非线性映射。