《BP神经网络原理.ppt》由会员分享，可在线阅读，更多相关《BP神经网络原理.ppt（19页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、BP神经网络原理神经网络原理 BP网络模型处理信息的基本原理是：输入信网络模型处理信息的基本原理是：输入信号号Xi通过中间节点（隐层点）作用于输出节通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号点，经过非线形变换，产生输出信号Yk，网，网络训练的每个样本包括络训练的每个样本包括X输入向量和期望输出输入向量和期望输出量量t，网络输出值，网络输出值Y与期望输出值与期望输出值t之间的偏差，之间的偏差，通过调整输入节点与隐层节点的联接强度取通过调整输入节点与隐层节点的联接强度取值和隐层节点与输出节点之间的联接强度值和隐层节点与输出节点之间的联接强度Tjk以及阈值，使误差沿梯度方向下
2、降，经过反以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形信息，自行处理输出误差最小的经过非线形转换的信息。转换的信息。BP神经网络模型神经网络模型BPBP网络模型包括其输入输出模型、作用函数模型、网络模型包括其输入输出模型、作用函数模型、网络模型包括其输入输出模型、作用函数模型、网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习
3、模型。误差计算模型和自学习模型。误差计算模型和自学习模型。误差计算模型和自学习模型。（1 1）节点输出模型）节点输出模型）节点输出模型）节点输出模型隐节点输出模型：隐节点输出模型：隐节点输出模型：隐节点输出模型：OOj j=f(W=f(Wij ijXXi i-q-qj j)(1)(1)输出节点输出模型：输出节点输出模型：输出节点输出模型：输出节点输出模型：Y Yk k=f(T=f(TjkjkOOj j-q-qk k)(2)(2)f-f-非线形作用函数；非线形作用函数；非线形作用函数；非线形作用函数；q-q-神经单元阈值。神经单元阈值。神经单元阈值。神经单元阈值。2 2作用函数模型作用函数模型作
4、用函数模型作用函数模型作用函数是反映下层输入对上层节点刺激脉冲作用函数是反映下层输入对上层节点刺激脉冲作用函数是反映下层输入对上层节点刺激脉冲作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为强度的函数又称刺激函数，一般取为强度的函数又称刺激函数，一般取为强度的函数又称刺激函数，一般取为(0,1)(0,1)内连续内连续内连续内连续取值取值取值取值SigmoidSigmoid函数：函数：函数：函数：f(x)=1/(1+e-x)f(x)=1/(1+e-x)（3 3）误差计算模型）误差计算模型）误差计算模型）误差计算模型误差计算模型是反映神经网络期望输出与计算输出误差计算模型是
5、反映神经网络期望输出与计算输出误差计算模型是反映神经网络期望输出与计算输出误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：之间误差大小的函数：之间误差大小的函数：之间误差大小的函数：E Ep p=1/2(t=1/2(tpipi-O-Opipi)2)2t tpipi-i-i节点的期望输出值；节点的期望输出值；节点的期望输出值；节点的期望输出值；OOpipi-i-i节点计算输出值。节点计算输出值。节点计算输出值。节点计算输出值。（4 4）自学习模型）自学习模型）自学习模型）自学习模型神经网络的学习过程，即连接下层节点和上层节点神经网络的学习过程，即连接下层节点和上层节点神经网络的学
6、习过程，即连接下层节点和上层节点神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵之间的权重拒阵之间的权重拒阵之间的权重拒阵WWij ij的设定和误差修正过程。的设定和误差修正过程。的设定和误差修正过程。的设定和误差修正过程。BPBP网网网网络有师学习方式络有师学习方式络有师学习方式络有师学习方式-需要设定期望值和无师学习方式需要设定期望值和无师学习方式需要设定期望值和无师学习方式需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为只需输入模式之分。自学习模型为只需输入模式之分。自学习模型为只需输入模式之分。自学习模型为WWij ij(n+1)=hiO(n+1)=hiOj j+
7、a+a WWij ij(n)(n)h-h-学习因子；学习因子；学习因子；学习因子；i-i-输出节点输出节点输出节点输出节点i i的计算误差；的计算误差；的计算误差；的计算误差；OOj j-输出节输出节输出节输出节点点点点j j的计算输出；的计算输出；的计算输出；的计算输出；a-a-动量因子。动量因子。动量因子。动量因子。BP网络模型的缺陷分析及优化策略网络模型的缺陷分析及优化策略（1 1）学习因子）学习因子）学习因子）学习因子hh的优化的优化的优化的优化采用变步长法根据输出误差大小自动调整学习因子，来减少采用变步长法根据输出误差大小自动调整学习因子，来减少采用变步长法根据输出误差大小自动调整学
8、习因子，来减少采用变步长法根据输出误差大小自动调整学习因子，来减少迭代次数和加快收敛速度。迭代次数和加快收敛速度。迭代次数和加快收敛速度。迭代次数和加快收敛速度。h=h+a(Eh=h+a(Ep p(n)-E(n)-Ep p(n-1)/E(n-1)/Ep p(n)(n)a a为调整步长，为调整步长，为调整步长，为调整步长，0101之间取值之间取值之间取值之间取值（2 2）隐层节点数的优化）隐层节点数的优化）隐层节点数的优化）隐层节点数的优化隐节点数的多少对网络性能的影响较大，当隐节点数太多时，隐节点数的多少对网络性能的影响较大，当隐节点数太多时，隐节点数的多少对网络性能的影响较大，当隐节点数太多
9、时，隐节点数的多少对网络性能的影响较大，当隐节点数太多时，会导致网络学习时间过长，甚至不能收敛；而当隐节点数过会导致网络学习时间过长，甚至不能收敛；而当隐节点数过会导致网络学习时间过长，甚至不能收敛；而当隐节点数过会导致网络学习时间过长，甚至不能收敛；而当隐节点数过小时，网络的容错能力差。利用逐步回归分析小时，网络的容错能力差。利用逐步回归分析小时，网络的容错能力差。利用逐步回归分析小时，网络的容错能力差。利用逐步回归分析 法并进行参数法并进行参数法并进行参数法并进行参数的显著性检验来动态删除一些线形相关的隐节点，节点删除的显著性检验来动态删除一些线形相关的隐节点，节点删除的显著性检验来动态删
10、除一些线形相关的隐节点，节点删除的显著性检验来动态删除一些线形相关的隐节点，节点删除标准：当由该节点出发指向下一层节点的所有权值和阈值均标准：当由该节点出发指向下一层节点的所有权值和阈值均标准：当由该节点出发指向下一层节点的所有权值和阈值均标准：当由该节点出发指向下一层节点的所有权值和阈值均落于死区（通常取落于死区（通常取落于死区（通常取落于死区（通常取0.10.1、0.050.05等区间）之中，则该节点可等区间）之中，则该节点可等区间）之中，则该节点可等区间）之中，则该节点可删除。最佳隐节点数删除。最佳隐节点数删除。最佳隐节点数删除。最佳隐节点数L L可参考下面公式计算：可参考下面公式计算：
11、可参考下面公式计算：可参考下面公式计算：L=(m+n)L=(m+n)1/21/2+c(7)+c(7)m-m-输入节点数；输入节点数；输入节点数；输入节点数；n-n-输出节点数；输出节点数；输出节点数；输出节点数；c-c-介于介于介于介于1 11010的常数。的常数。的常数。的常数。（3）输入和输出神经元的确定）输入和输出神经元的确定利用多元回归分析法对神经网络的输入参数利用多元回归分析法对神经网络的输入参数进行处理，删除相关性强的输入参数，来减进行处理，删除相关性强的输入参数，来减少输入节点数。少输入节点数。（4）算法优化）算法优化由于由于BP算法采用的是剃度下降法，因而易陷算法采用的是剃度下
12、降法，因而易陷于局部最小并且训练时间较长。用基于生物于局部最小并且训练时间较长。用基于生物免疫机制地既能全局搜索又能避免未成熟收免疫机制地既能全局搜索又能避免未成熟收敛的免疫遗传算法敛的免疫遗传算法IGA取代传统取代传统BP算法来克算法来克服此缺点。服此缺点。优化优化BP神经网络在系统安全评价中的应用神经网络在系统安全评价中的应用 系统安全评价包括系统固有危险性评价、系系统安全评价包括系统固有危险性评价、系统安全管理现状评价和系统现实危险性评价统安全管理现状评价和系统现实危险性评价三方面内容。其中固有危险性评价指标有物三方面内容。其中固有危险性评价指标有物质火灾爆炸危险性、工艺危险性、设备装置
13、质火灾爆炸危险性、工艺危险性、设备装置危险性、环境危险性以及人的不可靠性。危险性、环境危险性以及人的不可靠性。基于优化基于优化BP神经网络的系统安全评价模型神经网络的系统安全评价模型 BP神经网络在系统安全评价中的应用实现神经网络在系统安全评价中的应用实现(1)(1)确定网络的拓扑结构，包括中间隐层的层数，输入层、输确定网络的拓扑结构，包括中间隐层的层数，输入层、输确定网络的拓扑结构，包括中间隐层的层数，输入层、输确定网络的拓扑结构，包括中间隐层的层数，输入层、输出层和隐层的节点数。出层和隐层的节点数。出层和隐层的节点数。出层和隐层的节点数。(2)(2)确定被评价系统的指标体系包括特征参数和状
14、态参数确定被评价系统的指标体系包括特征参数和状态参数确定被评价系统的指标体系包括特征参数和状态参数确定被评价系统的指标体系包括特征参数和状态参数运用神经网络进行安全评价时，首先必须确定评价系统的运用神经网络进行安全评价时，首先必须确定评价系统的运用神经网络进行安全评价时，首先必须确定评价系统的运用神经网络进行安全评价时，首先必须确定评价系统的内部构成和外部环境，确定能够正确反映被评价对象安全状内部构成和外部环境，确定能够正确反映被评价对象安全状内部构成和外部环境，确定能够正确反映被评价对象安全状内部构成和外部环境，确定能够正确反映被评价对象安全状态的主要特征参数（输入节点数，各节点实际含义及其
15、表达态的主要特征参数（输入节点数，各节点实际含义及其表达态的主要特征参数（输入节点数，各节点实际含义及其表达态的主要特征参数（输入节点数，各节点实际含义及其表达形式等），以及这些参数下系统的状态（输出节点数，各节形式等），以及这些参数下系统的状态（输出节点数，各节形式等），以及这些参数下系统的状态（输出节点数，各节形式等），以及这些参数下系统的状态（输出节点数，各节点实际含义及其表达方式等）。点实际含义及其表达方式等）。点实际含义及其表达方式等）。点实际含义及其表达方式等）。(3)(3)选择学习样本，供神经网络学习选择学习样本，供神经网络学习选择学习样本，供神经网络学习选择学习样本，供神经网络
16、学习选取多组对应系统不同状态参数值时的特征参数值作为学选取多组对应系统不同状态参数值时的特征参数值作为学选取多组对应系统不同状态参数值时的特征参数值作为学选取多组对应系统不同状态参数值时的特征参数值作为学习样本，供网络系统学习。这些样本应尽可能地反映各种安习样本，供网络系统学习。这些样本应尽可能地反映各种安习样本，供网络系统学习。这些样本应尽可能地反映各种安习样本，供网络系统学习。这些样本应尽可能地反映各种安全状态。其中对系统特征参数进行全状态。其中对系统特征参数进行全状态。其中对系统特征参数进行全状态。其中对系统特征参数进行(-,)(-,)区间地预处理，对区间地预处理，对区间地预处理，对区间
17、地预处理，对系统参数应进行系统参数应进行系统参数应进行系统参数应进行(0,1)(0,1)区间地预处理。神经网络的学习过程即区间地预处理。神经网络的学习过程即区间地预处理。神经网络的学习过程即区间地预处理。神经网络的学习过程即根据样本确定网络的联接权值和误差反复修正的过程。根据样本确定网络的联接权值和误差反复修正的过程。根据样本确定网络的联接权值和误差反复修正的过程。根据样本确定网络的联接权值和误差反复修正的过程。(4)(4)确定作用函数，通常选择非线形确定作用函数，通常选择非线形确定作用函数，通常选择非线形确定作用函数，通常选择非线形S S型函数型函数型函数型函数(5)(5)建立系统安全评价知
18、识库建立系统安全评价知识库建立系统安全评价知识库建立系统安全评价知识库通过网络学习确认的网络结构包括：输入、输出通过网络学习确认的网络结构包括：输入、输出通过网络学习确认的网络结构包括：输入、输出通过网络学习确认的网络结构包括：输入、输出和隐节点数以及反映其间关联度的网络权值的组合；和隐节点数以及反映其间关联度的网络权值的组合；和隐节点数以及反映其间关联度的网络权值的组合；和隐节点数以及反映其间关联度的网络权值的组合；即为具有推理机制的被评价系统的安全评价知识库。即为具有推理机制的被评价系统的安全评价知识库。即为具有推理机制的被评价系统的安全评价知识库。即为具有推理机制的被评价系统的安全评价知
19、识库。(6)(6)进行实际系统的安全评价进行实际系统的安全评价进行实际系统的安全评价进行实际系统的安全评价经过训练的神经网络将实际评价系统的特征值转经过训练的神经网络将实际评价系统的特征值转经过训练的神经网络将实际评价系统的特征值转经过训练的神经网络将实际评价系统的特征值转换后输入到已具有推理功能的神经网络中，运用系换后输入到已具有推理功能的神经网络中，运用系换后输入到已具有推理功能的神经网络中，运用系换后输入到已具有推理功能的神经网络中，运用系统安全评价知识库处理后得到评价实际系统的安全统安全评价知识库处理后得到评价实际系统的安全统安全评价知识库处理后得到评价实际系统的安全统安全评价知识库处
20、理后得到评价实际系统的安全状态的评价结果。实际系统的评价结果又作为新的状态的评价结果。实际系统的评价结果又作为新的状态的评价结果。实际系统的评价结果又作为新的状态的评价结果。实际系统的评价结果又作为新的学习样本输入神经网络，使系统安全评价知识库进学习样本输入神经网络，使系统安全评价知识库进学习样本输入神经网络，使系统安全评价知识库进学习样本输入神经网络，使系统安全评价知识库进一步充实。一步充实。一步充实。一步充实。BP神经网络理论应用于系统安全评价中的优点神经网络理论应用于系统安全评价中的优点（1 1）利用神经网络并行结构和并行处理的特征，通）利用神经网络并行结构和并行处理的特征，通）利用神经
21、网络并行结构和并行处理的特征，通）利用神经网络并行结构和并行处理的特征，通过适当选择评价项目，能克服安全评价的片面性，过适当选择评价项目，能克服安全评价的片面性，过适当选择评价项目，能克服安全评价的片面性，过适当选择评价项目，能克服安全评价的片面性，可以全面评价系统的安全状况和多因数共同作用下可以全面评价系统的安全状况和多因数共同作用下可以全面评价系统的安全状况和多因数共同作用下可以全面评价系统的安全状况和多因数共同作用下的安全状态。的安全状态。的安全状态。的安全状态。（2 2）运用神经网络知识存储和自适应特征，通过适）运用神经网络知识存储和自适应特征，通过适）运用神经网络知识存储和自适应特征
22、，通过适）运用神经网络知识存储和自适应特征，通过适应补充学习样本，可以实现历史经验与新知识完满应补充学习样本，可以实现历史经验与新知识完满应补充学习样本，可以实现历史经验与新知识完满应补充学习样本，可以实现历史经验与新知识完满结合，在发展过程中动态地评价系统的安全状态。结合，在发展过程中动态地评价系统的安全状态。结合，在发展过程中动态地评价系统的安全状态。结合，在发展过程中动态地评价系统的安全状态。（3 3）利用神经网络理论的容错特征，通过选取适当）利用神经网络理论的容错特征，通过选取适当）利用神经网络理论的容错特征，通过选取适当）利用神经网络理论的容错特征，通过选取适当的作用函数和数据结构，
23、可以处理各种非数值性指的作用函数和数据结构，可以处理各种非数值性指的作用函数和数据结构，可以处理各种非数值性指的作用函数和数据结构，可以处理各种非数值性指标，实现对系统安全状态的模糊评价。标，实现对系统安全状态的模糊评价。标，实现对系统安全状态的模糊评价。标，实现对系统安全状态的模糊评价。BP神经网络收敛速度神经网络收敛速度 阈值、学习率、隐层层数、隐层节点个数等对神阈值、学习率、隐层层数、隐层节点个数等对神阈值、学习率、隐层层数、隐层节点个数等对神阈值、学习率、隐层层数、隐层节点个数等对神经网络的学习速度经网络的学习速度经网络的学习速度经网络的学习速度(收敛速度收敛速度收敛速度收敛速度)都有
24、较大的影响。本都有较大的影响。本都有较大的影响。本都有较大的影响。本文在文在文在文在BPBP网络的基础上网络的基础上网络的基础上网络的基础上,研究讨论了各个参数对收敛研究讨论了各个参数对收敛研究讨论了各个参数对收敛研究讨论了各个参数对收敛速度的影响速度的影响速度的影响速度的影响,以减小选取网络结构和决定各参数值的以减小选取网络结构和决定各参数值的以减小选取网络结构和决定各参数值的以减小选取网络结构和决定各参数值的盲目性盲目性盲目性盲目性,达到提高收敛速度的目的。达到提高收敛速度的目的。达到提高收敛速度的目的。达到提高收敛速度的目的。(1)(1)初始权值和阈值对收敛速度的影响初始权值和阈值对收敛
25、速度的影响初始权值和阈值对收敛速度的影响初始权值和阈值对收敛速度的影响初始权值和阈值要选得小一些。选择隐层节点数的初始权值和阈值要选得小一些。选择隐层节点数的初始权值和阈值要选得小一些。选择隐层节点数的初始权值和阈值要选得小一些。选择隐层节点数的原则是尽量使网络结构简单原则是尽量使网络结构简单原则是尽量使网络结构简单原则是尽量使网络结构简单,运算量小。从实验数据运算量小。从实验数据运算量小。从实验数据运算量小。从实验数据分析可知分析可知分析可知分析可知:当节点数太少时当节点数太少时当节点数太少时当节点数太少时,每个节点负担过重每个节点负担过重每个节点负担过重每个节点负担过重,迭代迭代迭代迭代而
26、有的选择却要迭代几千次而有的选择却要迭代几千次而有的选择却要迭代几千次而有的选择却要迭代几千次,或者更多或者更多或者更多或者更多,甚至不收敛。甚至不收敛。甚至不收敛。甚至不收敛。(2)(2)学习率对收敛速度的影响学习率对收敛速度的影响学习率对收敛速度的影响学习率对收敛速度的影响学习率的设置对学习率的设置对学习率的设置对学习率的设置对BPBP算法的收敛性有很大的影响。算法的收敛性有很大的影响。算法的收敛性有很大的影响。算法的收敛性有很大的影响。学习率过小学习率过小学习率过小学习率过小,误差波动小误差波动小误差波动小误差波动小,但学习速度慢但学习速度慢但学习速度慢但学习速度慢,往往由于训往往由于训
27、往往由于训往往由于训练时间的限制而得不到满意解练时间的限制而得不到满意解练时间的限制而得不到满意解练时间的限制而得不到满意解;学习率过大学习率过大学习率过大学习率过大,学习速度学习速度学习速度学习速度加快加快加快加快,会引起网络出现摆动现象会引起网络出现摆动现象会引起网络出现摆动现象会引起网络出现摆动现象,导致不收敛的危险。导致不收敛的危险。导致不收敛的危险。导致不收敛的危险。因此因此因此因此,选择一个合适的学习率是选择一个合适的学习率是选择一个合适的学习率是选择一个合适的学习率是BPBP算法的一个较关算法的一个较关算法的一个较关算法的一个较关键的问题。学习率的主要作用是调整权值、阈值的键的问
28、题。学习率的主要作用是调整权值、阈值的键的问题。学习率的主要作用是调整权值、阈值的键的问题。学习率的主要作用是调整权值、阈值的修正量修正量修正量修正量.(3)(3)隐层层数的选择对收敛速度的影响隐层层数的选择对收敛速度的影响隐层层数的选择对收敛速度的影响隐层层数的选择对收敛速度的影响通过实验发现通过实验发现通过实验发现通过实验发现,用两个隐层比用一个隐层的收敛速用两个隐层比用一个隐层的收敛速用两个隐层比用一个隐层的收敛速用两个隐层比用一个隐层的收敛速度还要慢。度还要慢。度还要慢。度还要慢。(4)(4)隐层节点数对收敛速度的影响隐层节点数对收敛速度的影响隐层节点数对收敛速度的影响隐层节点数对收敛
29、速度的影响目前目前目前目前,对隐层节点数的设定缺乏理论指导对隐层节点数的设定缺乏理论指导对隐层节点数的设定缺乏理论指导对隐层节点数的设定缺乏理论指导,但是实验但是实验但是实验但是实验研究表明研究表明研究表明研究表明,隐含节点数增加会影响收敛速度。隐含节点数增加会影响收敛速度。隐含节点数增加会影响收敛速度。隐含节点数增加会影响收敛速度。BP神经网络设计步骤神经网络设计步骤 BPBP网络的设计主要包括输入层网络的设计主要包括输入层网络的设计主要包括输入层网络的设计主要包括输入层,隐层隐层隐层隐层,输出层及各层之间的输出层及各层之间的输出层及各层之间的输出层及各层之间的传输函数几个方面。传输函数几个
30、方面。传输函数几个方面。传输函数几个方面。(1)(1)网络层数网络层数网络层数网络层数大多数通用的神经网络都预先预定了网络的层数大多数通用的神经网络都预先预定了网络的层数大多数通用的神经网络都预先预定了网络的层数大多数通用的神经网络都预先预定了网络的层数,而而而而BPBP网网网网络可以包含不同的隐层。对多层络可以包含不同的隐层。对多层络可以包含不同的隐层。对多层络可以包含不同的隐层。对多层BPBP神经网络，隐层层数至少神经网络，隐层层数至少神经网络，隐层层数至少神经网络，隐层层数至少为为为为1 1层或层或层或层或1 1层以上，每个隐层的神经元个数至少为层以上，每个隐层的神经元个数至少为层以上，
31、每个隐层的神经元个数至少为层以上，每个隐层的神经元个数至少为1 1个或个或个或个或1 1个以个以个以个以上，否则与多层网络的命题矛盾而不成立。上，否则与多层网络的命题矛盾而不成立。上，否则与多层网络的命题矛盾而不成立。上，否则与多层网络的命题矛盾而不成立。(2)(2)输入层的节点数输入层的节点数输入层的节点数输入层的节点数网络的输入个数应等于应用问题的输入数网络的输入个数应等于应用问题的输入数网络的输入个数应等于应用问题的输入数网络的输入个数应等于应用问题的输入数,MATLAB,MATLAB的的的的BPBP网络的建立是通过函数网络的建立是通过函数网络的建立是通过函数网络的建立是通过函数newf
32、fnewff或或或或newcfnewcf实现的实现的实现的实现的.(3)(3)网络数据的预处理网络数据的预处理网络数据的预处理网络数据的预处理预处理方法有归一化处理、标准化处理和主成分分析。常预处理方法有归一化处理、标准化处理和主成分分析。常预处理方法有归一化处理、标准化处理和主成分分析。常预处理方法有归一化处理、标准化处理和主成分分析。常采用的是归一化处理采用的是归一化处理采用的是归一化处理采用的是归一化处理,即将输入、输出数据映射到即将输入、输出数据映射到即将输入、输出数据映射到即将输入、输出数据映射到-1,1-1,1范围范围范围范围内内内内,训练结束后再反映射到原数据范围。训练结束后再反
33、映射到原数据范围。训练结束后再反映射到原数据范围。训练结束后再反映射到原数据范围。(4)(4)输出层的节点数输出层的节点数输出层的节点数输出层的节点数输出层节点数取决于两个方面输出层节点数取决于两个方面输出层节点数取决于两个方面输出层节点数取决于两个方面,输出数据类型和表示该类型输出数据类型和表示该类型输出数据类型和表示该类型输出数据类型和表示该类型所需要的数据大小。所需要的数据大小。所需要的数据大小。所需要的数据大小。5隐层的节点数隐层的节点数i.根据经验根据经验,可以参考以下公式进行设计可以参考以下公式进行设计:n=sqrp(ni+n0)+a或者或者n=sqrt(nl)式中式中:n为隐层节
34、点数为隐层节点数;ni为输入节点数为输入节点数;n0为为输出节点数输出节点数;a为为110之间的常数。之间的常数。ii.改变改变n,用同一样本集训练用同一样本集训练,从中确定网络误从中确定网络误差最小时对应的隐层节点数。差最小时对应的隐层节点数。6传输函数传输函数BP网络中传输函数常采用网络中传输函数常采用S(sigmoid)型函型函数数.在某些特定情况下在某些特定情况下,还可能采用纯线性还可能采用纯线性(Pureline)函数函数.(7)(7)训练方法及其参数选择训练方法及其参数选择训练方法及其参数选择训练方法及其参数选择net.trainParam.show=.net.trainParam
35、.show=.；%显示训练结果的间隔步显示训练结果的间隔步显示训练结果的间隔步显示训练结果的间隔步数数数数.；最大训练步数最大训练步数最大训练步数最大训练步数.；%训练目标误差训练目标误差训练目标误差训练目标误差net.trainParam.mu=.net.trainParam.mu=.；%学习系数的初始值，学习系数的初始值，学习系数的初始值，学习系数的初始值，MarquardtMarquardt调整参数调整参数调整参数调整参数net.trainParam.mu_dec=.net.trainParam.mu_dec=.；%学习系数的下降因子学习系数的下降因子学习系数的下降因子学习系数的下降因子
36、net.trainParam.mu_inc=.net.trainParam.mu_inc=.；%学习系数的上升因子学习系数的上升因子学习系数的上升因子学习系数的上升因子net.trainParam.mu_max=.net.trainParam.mu_max=.；%学习系数的最大值学习系数的最大值学习系数的最大值学习系数的最大值net.trainParam.min_grad=.net.trainParam.min_grad=.；%训练中最小允许梯训练中最小允许梯训练中最小允许梯训练中最小允许梯度值度值度值度值(8)初始权值的设计初始权值的设计通常使用如下两种方法通常使用如下两种方法:i.取足够小的初始权值取足够小的初始权值ii.使初始值为使初始值为+1和和-1的权值数相等。的权值数相等。