《BP神经网络基本原理简介.pptx》由会员分享，可在线阅读，更多相关《BP神经网络基本原理简介.pptx（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、BPBP神经网络基本原理简介神经网络基本原理简介智能优化算法课程展示人工神经网络基本原理简介x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn一个神经网络的典型结构：一个神经网络的典型结构：人工神经网络基本原理简介人工神经元的模型人工神经元的模型激活函数激活函数网络模型网络模型工作方式工作方式人工神经元的模型作为神经网络的基本元素，神经元的作为神经网络的基本元素，神经元的模型模型如下：如下：x1xn是从其他神是从其他神经元元传来的来的输入信号入信号wij表示表示从神表示表示从神经元元j到神到神经元元i的的连接接权值表示一个表示一个阈值(threshold)，或称，或称为偏置偏置(bi
2、as)。人工神经元的模型若用若用X X表示输入向量，用表示输入向量，用W W表示权重向量：表示权重向量：则则神经元的输出与输入的关系为：神经元的输出与输入的关系为：净激活量净激活量激活函数激活函数激活函数激活函数是对净激活量与输出进行映射的函数。激活函数是对净激活量与输出进行映射的函数。一些常用的激活函数一些常用的激活函数线性函数线性函数S S形函数形函数阈值函数阈值函数 双极双极S S形函数形函数激活函数S S形和双极形和双极S S形函数图像为：形函数图像为：S S形和双形和双极极S S形函数的导形函数的导函数均为连续函数均为连续函数。函数。网络模型根据网络中神经元的互联方式的不同，网络模型
3、根据网络中神经元的互联方式的不同，网络模型分为：分为：前馈神经网络前馈神经网络只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号反馈神经网络反馈神经网络从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多自组织网络自组织网络通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。网络模型前馈神经网络反馈神经网络自组织网络工作状态神经网络的工作状态分为学习和工作学习和工作两种状态学习学习利用学习算法来调整神经元间的连接权重，使得网络输出更符合实际工作工作神经元间的连接权值不变，可以作为分类器或者预测数据之用。工作状态学习
4、分为有导师学习与无导师学习有导师学习与无导师学习有有导师导师学习学习将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权例如：BP算法无导师无导师学习学习抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。例如：Hebb学习率BP算法(Back Propagation)采用BP学习算法的前馈神经网络称为BP神经网络BP算法(Back Propagation)BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。信号的信号的正向传播正向传播&误差的反向传播误差的反
5、向传播BP算法(Back Propagation)正向传播：正向传播：输入样本输入层各隐层输出层输入样本输入层各隐层输出层判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出不符若输出层的实际输出与期望的输出不符误差反传误差反传误差以某种形式在各层表示修正各层单元的误差以某种形式在各层表示修正各层单元的权值权值网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止BP算法(Back Propagation)假设输入层有假设输入层有n n个神经元，隐含层有个神经元，隐含层有p p个神经元个神经元，输出
6、层有输出层有q q个神经元个神经元符号定义符号定义输入向量输入向量;隐含层输入向量；隐含层输入向量；隐含层输出向量隐含层输出向量;输出层输入向量输出层输入向量;输出层输出向量输出层输出向量;期望输出向量期望输出向量;误差函数误差函数BP算法(Back Propagation)首先，计算各层神经元的输入和输出首先，计算各层神经元的输入和输出BP算法(Back Propagation)第二步利用网络期望输出和实际输出，第二步利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏计算误差函数对输出层的各神经元的偏导数。导数。BP算法(Back Propagation)第三步：利用第三步：利用
7、隐含层到输出层的连接权值、隐含层到输出层的连接权值、输出层的输出层的 和隐含层的输出计算误差函和隐含层的输出计算误差函数对隐含层各神经元的数对隐含层各神经元的偏导数偏导数 。BP算法(Back Propagation)BP算法(Back Propagation)第四步，利用输出层各神经元的第四步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值和隐含层各神经元的输出来修正连接权值 。是设置的学习率。是设置的学习率。BP算法(Back Propagation)第五步，利用隐含层各神经元的第五步，利用隐含层各神经元的 和和输入层各神经元的输入修正连接权。输入层各神经元的输入修正连接权。B
8、P算法(Back Propagation)第六步，计算全局误差第六步，计算全局误差第七步，判断网络误差是否满足要求。当误差第七步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对则结束算法。否则，选取下一个学习样本及对应的期望输出，返回进入下一轮学习。应的期望输出，返回进入下一轮学习。参考资料：参考资料：1Richard 1Richard O.Duda,Peter E.Hart and David G.O.Duda,Peter E.Hart and David G.Stork.Stork.模式分类模式分类.机械工业出版社机械工业出版社.2010.42010.422神经网络编程神经网络编程入门入门.http:/谢谢！谢谢！