神经网络控制及其应用精.ppt

《神经网络控制及其应用精.ppt》由会员分享，可在线阅读，更多相关《神经网络控制及其应用精.ppt（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、神经网络控制及其应用第1页，本讲稿共40页实际是自动控制理论在机械制造领域的应用的一部分，最为热门和实际是自动控制理论在机械制造领域的应用的一部分，最为热门和广泛应用的一部分广泛应用的一部分 自动控制自动控制是在没有人直接参与的情况下，通过控制系统是被控对象自动地按照预是在没有人直接参与的情况下，通过控制系统是被控对象自动地按照预定规律运行的控制过程。定规律运行的控制过程。自动控制系统自动控制系统是由相互联系、相互依赖、相互作用的若干部分组成，具是由相互联系、相互依赖、相互作用的若干部分组成，具有控制功能的有机整体。有控制功能的有机整体。被控对象被控对象是指工作状态需要给以控制的装置、设备和过

2、程。是指工作状态需要给以控制的装置、设备和过程。给定量给定量也称控制量，表征被控量的希望运行规律，也是系统的输入量。也称控制量，表征被控量的希望运行规律，也是系统的输入量。扰动量扰动量也称干扰量，是引起被控量偏离预定运行规律的量。也称干扰量，是引起被控量偏离预定运行规律的量。从控制理论上而不是控制方法上说控制理论主要分两大类从控制理论上而不是控制方法上说控制理论主要分两大类经典控制理论经典控制理论和和现代控制理论。现代控制理论。经典控制理论经典控制理论是以传递函数为理论基础，解决单输入、单输出的线性控是以传递函数为理论基础，解决单输入、单输出的线性控制系统的分析与设计问题。制系统的分析与设计问

3、题。现代控制理论现代控制理论主要是以状态方程或模糊数学、神经网络等为理论基础，主要是以状态方程或模糊数学、神经网络等为理论基础，解决多输入多输出的非线性时变控制系统的分析与设计问题。解决多输入多输出的非线性时变控制系统的分析与设计问题。基本概念基本概念第2页，本讲稿共40页 时变系统时变系统是指其方程的系数是时间的函数，如宇宙飞船是指其方程的系数是时间的函数，如宇宙飞船的控制系统，因为飞船的然联消耗和引力的变化都是时间的的控制系统，因为飞船的然联消耗和引力的变化都是时间的函数。函数。系统系统是由相互联系、相互依赖、相互制约和相互作用的是由相互联系、相互依赖、相互制约和相互作用的若干部分组成，具

4、有某种若干部分组成，具有某种特定特定功能的有机整体。功能的有机整体。控制系统控制系统是由相互联系、相互依赖、相互制约和相互是由相互联系、相互依赖、相互制约和相互作用的若干部分组成，具有某种作用的若干部分组成，具有某种控制控制功能的有机整体。功能的有机整体。第3页，本讲稿共40页自动控制系统的分类自动控制系统的分类按系统组成的物理性质分按系统组成的物理性质分电气控制系统；机械控制系统；流体控制系统；电气电气控制系统；机械控制系统；流体控制系统；电气流体控制系统流体控制系统按系统的数学模型（微分方程）的性质分按系统的数学模型（微分方程）的性质分 线性定常系统；线性定常系统；线性时变系统；线性时变系

5、统；按给定量的变化规律分按给定量的变化规律分恒值控制系统；程序控制系统；随动控制系统恒值控制系统；程序控制系统；随动控制系统按输入、输出信号连续性分按输入、输出信号连续性分连续系统；离散系统连续系统；离散系统按控制量参数的性质分按控制量参数的性质分速度控制；位置控制；力和力矩控制；混合变量控制等系统速度控制；位置控制；力和力矩控制；混合变量控制等系统按系统有无反馈信号分按系统有无反馈信号分开环系统；闭环系统开环系统；闭环系统线性系统线性系统非线性系统非线性系统第4页，本讲稿共40页 神经网络控制及其应用神经网络控制及其应用1 1 神经网络控制产生的背景神经网络控制产生的背景 自动控制面临着两个

6、方面的技术问题自动控制面临着两个方面的技术问题（1）控制对象）控制对象越来越复杂越来越复杂，存在着多种不确定（随机性）和难，存在着多种不确定（随机性）和难以确切描述的以确切描述的非线性非线性。（2）对控制系统的要求）对控制系统的要求越来越高越来越高，迫切要求提高控，迫切要求提高控 制系统的制系统的智智能化能化水平，即系统具有水平，即系统具有逻辑思维和推理判断逻辑思维和推理判断的能力。的能力。神经网络为处理和解决上述问题提供了一条新的途径神经网络为处理和解决上述问题提供了一条新的途径（1）神经网络源于）神经网络源于对脑神经的模拟对脑神经的模拟，所以具有很强的适应，所以具有很强的适应于复杂环境和多

7、目标控制要求的于复杂环境和多目标控制要求的自学习能力自学习能力。（2）具有以）具有以任意精度逼近任意非线性连续函数任意精度逼近任意非线性连续函数的特性。的特性。第5页，本讲稿共40页神经网络的应用神经网络的应用航空航空:高性能飞行器自动驾驶、飞行路径模拟、高性能飞行器自动驾驶、飞行路径模拟、飞行部件模拟、飞行部件故障检测飞行部件模拟、飞行部件故障检测汽车汽车:汽车自动导航仪汽车自动导航仪 国防国防:武器操纵、目标跟踪、面部识别、雷达武器操纵、目标跟踪、面部识别、雷达 和和图像信号处理、新型传感器、声纳图像信号处理、新型传感器、声纳 制造：制造：生产流程控制、过程和机器诊断、机器生产流程控制、过

8、程和机器诊断、机器性能分析、化工流程动态建模、项目投标性能分析、化工流程动态建模、项目投标 机器人：机器人：轨道控制、操作手控制、视觉系统轨道控制、操作手控制、视觉系统 语音：语音：语音识别、语音压缩语音识别、语音压缩 还有还有金融、保险、银行、医疗、交通、电讯、电子、金融、保险、银行、医疗、交通、电讯、电子、石油天然气、有价证券、娱乐等行业。石油天然气、有价证券、娱乐等行业。第6页，本讲稿共40页3 生物学的启示生物学的启示 轴突轴突突触突触细胞体细胞体树树突突图图1 生物神经元的简图生物神经元的简图 4 人工神经元人工神经元 j=1,2mi=1,2nyjQjXnX2fX1图图2 单神经元结

9、构图单神经元结构图 输入输入 输出输出 轴突轴突细胞体细胞体树突树突树树突突第7页，本讲稿共40页为简便起见，也可把网络的阈值以连接数值的形式表示出来，即为简便起见，也可把网络的阈值以连接数值的形式表示出来，即令，则令，则 式中式中 为其它神经元传至本神经元的输入信号，为其它神经元传至本神经元的输入信号，神经元神经元j的阈值，此阈值决定了该神经元的兴奋与否；的阈值，此阈值决定了该神经元的兴奋与否；表示从神经元表示从神经元i到神经元到神经元j的连接权值；的连接权值；称为激励函数（也有称为响应函数或传输函数）。称为激励函数（也有称为响应函数或传输函数）。权值权值表示相邻的神经元相互连接的程度表示相

10、邻的神经元相互连接的程度阈值阈值即决定神经元的兴奋与否，决定兴奋与抑制即决定神经元的兴奋与否，决定兴奋与抑制激励函数激励函数可为线性函数也可为非线性函数。它是用来实可为线性函数也可为非线性函数。它是用来实现输入对输出函数关系的静态映射，它决定了神经元的现输入对输出函数关系的静态映射，它决定了神经元的单元特性。单元特性。第8页，本讲稿共40页常用的神经元非线性函数常用的神经元非线性函数x10f(x)图图3 阶跃函数阶跃函数f(x)x11图图4 sgn函数函数 1=1f(x)0 x=0.2=5图图5 S状函数状函数（1）阶跃函数）阶跃函数（2）Sgn函数函数（3）S状函数状函数 第9页，本讲稿共4

11、0页4 神经网络模型的组成神经网络模型的组成 4.1神经网络连接的结构形式神经网络连接的结构形式 输输出出层层输输入入层层隐含层隐含层神经元神经元yny2y1XnX2X1图图6 前向网络前向网络 神经元神经元网络中神经元是分层排列，每个神经元只与网络中神经元是分层排列，每个神经元只与前一层的神经元相连接，分为前一层的神经元相连接，分为输入层输入层，隐含层隐含层（一（一层或多层）和层或多层）和输出层输出层。（1）前向网络）前向网络第10页，本讲稿共40页（2）反馈前向网络）反馈前向网络 网络本身是前向型，但从输出到输入有反馈。网络本身是前向型，但从输出到输入有反馈。yny2y1XnX2X1图图7

12、 反馈前向网络反馈前向网络 图图8 互连网络互连网络（3）互连网络）互连网络 任意两个神经元之间都可能有连接，因此输入信号任意两个神经元之间都可能有连接，因此输入信号要在神经元之间反复往返传递。要在神经元之间反复往返传递。第11页，本讲稿共40页4.2BP网络的结构网络的结构 BP网络网络是一单向传播的多层是一单向传播的多层前向网络前向网络，其结构图如图，其结构图如图6所示所示BP网络可看成是一从网络可看成是一从输入到输出的高度非线性映射输入到输出的高度非线性映射网络网络。（1）输入层神经元数）输入层神经元数（2）隐含层神经元数）隐含层神经元数（3）隐含层数的确定）隐含层数的确定（4）输出层神

13、经元数的确定）输出层神经元数的确定 BP网络各层的神经元数（即节点数）及隐含层层网络各层的神经元数（即节点数）及隐含层层数的确定如下：数的确定如下：第12页，本讲稿共40页5 神经网络的学习神经网络的学习 当神经网络的结构确定之后，关键问题是设计当神经网络的结构确定之后，关键问题是设计一个学习速度快，收敛性好的一个学习速度快，收敛性好的学习算法学习算法。要求网络本身必须具有学习功能，即能够从示要求网络本身必须具有学习功能，即能够从示教模式的学习中逐渐教模式的学习中逐渐调整权值调整权值，使网络整体具有近，使网络整体具有近似函数或处理信息的功能。似函数或处理信息的功能。（1）有教师学习）有教师学习

14、（2）无教师学习）无教师学习 5.1网络学习方式网络学习方式第13页，本讲稿共40页广泛应用的有教师学习的算法广泛应用的有教师学习的算法BP（Back Propagation）算法）算法 BP算法即是误差反向传播算法算法即是误差反向传播算法，该方法已成为神经网络学习中最常用的方法之一。，该方法已成为神经网络学习中最常用的方法之一。BP算法一算法一般是应用梯度下降原理，般是应用梯度下降原理，样本输入信号样本输入信号在神经网络中在神经网络中正向传播正向传播，应用了多层前向神经，应用了多层前向神经网络具有网络具有的的以任意精度逼近非线性函数以任意精度逼近非线性函数的能力的能力。而而网络输出与样本给定

15、输出值之差（误差）网络输出与样本给定输出值之差（误差）在网络中在网络中是反向传播，用于网络的权值的训练。是反向传播，用于网络的权值的训练。输出层输出层LC隐含层隐含层LB输入层输入层LAWpqWpjWp1WiqWijWi1W1qW1jVnpVniVn1VhpVhiVh1V1pV1iW11V11a1ahanb1bibpc1cjcq图图9 基本基本BP网络的拓扑结构网络的拓扑结构 第14页，本讲稿共40页5.2网络的计算网络的计算 对对BP控制网络进行控制网络进行训练训练时，首先要提供时，首先要提供训练样本训练样本，样本，样本可以形式化为可以形式化为样本对样本对或称或称模式对模式对()其中其中Ak

16、为第为第k个样本的输入模式个样本的输入模式()Ck为希望输出模式为希望输出模式()它们分别对应于它们分别对应于LA层的层的n个神经元和个神经元和Lc层的层的q个神经元。个神经元。当当网网络络的的实实际际输输出出与与希希望望输输出出一一致致时时，学学习习过过程程结结束束。否否则则学学习习系系统统将将根根据据实实际际输输出出和和希希望望输输出出之之间间的的误误差差，通通过过调整连接权值调整连接权值使网络的实际输出趋向于希望输出。使网络的实际输出趋向于希望输出。第15页，本讲稿共40页 BP网络样本输入学习算法程序框图如图网络样本输入学习算法程序框图如图10所示。所示。并以图并以图11三层（三层（L

17、A，LB，LC）BP神经网络为例进行神经网络为例进行学习过程的演示学习过程的演示。结束结束输入学习样本输入学习样本求隐含层、输出层神经元的输出求隐含层、输出层神经元的输出计算实际输出值与目标值的误差计算实际输出值与目标值的误差误差满足误差满足要求？要求？反向计算调整权值和阈值反向计算调整权值和阈值YN初始化初始化第16页，本讲稿共40页 三层三层BP神经网络拓扑结构神经网络拓扑结构 W11V11b1W12W32W31W22W21V23V22V21V13V12U2=1U1=1a1a2b2b3c1c20404图图11 三层三层BP神经网络拓扑结构神经网络拓扑结构 第17页，本讲稿共40页BP三层神

18、经网络学习算法各种参数及计算公式见表三层神经网络学习算法各种参数及计算公式见表1。层名第18页，本讲稿共40页学习训练步骤如下：学习训练步骤如下：第第1步：网络初始化步：网络初始化输入层输入层LA到隐含层到隐含层LB的权值矩阵为的权值矩阵为 隐含层隐含层LB到输出层到输出层LC权值矩阵为权值矩阵为 隐含层隐含层LB各神经元阈值为各神经元阈值为 第19页，本讲稿共40页输出层输出层LC各神经元阈值为各神经元阈值为 以一个样本对即以一个样本对即k=1为例，样本输入为例，样本输入 ，样本输出样本输出 。第第2步：样本正向输入，进行前向计算步：样本正向输入，进行前向计算 输入样本为输入样本为 ,其输入

19、层的输出为其输入层的输出为a1和和a2。对于输入层，给定每个神经元的权值对于输入层，给定每个神经元的权值 为为1，阈值阈值为为0，其激励函数为，其激励函数为S型函数，则型函数，则第20页，本讲稿共40页第第1个神经元的输出值为个神经元的输出值为 则则 根据（根据（8）式计算网络）式计算网络LB层某一神经的加权输入为层某一神经的加权输入为 第21页，本讲稿共40页bi的实际输出根据（的实际输出根据（9）式和（）式和（26）式为）式为 根据（根据（7）式求激励函数为）式求激励函数为S型情况下的型情况下的b值为值为 则则 第22页，本讲稿共40页根据（根据（5）式）式 计算第计算第k=1k=1样本对

20、样本对L LC C层神经元层神经元的加权输入为的加权输入为 根据（根据（6）式）式 求求L LC C层神经元的实际输层神经元的实际输出值出值 则则 第23页，本讲稿共40页第第3步：进行误差计算步：进行误差计算根据（根据（14）式）式 和样本期量值和样本期量值进行输出层进行输出层L LC C误差计算误差计算 则则 通过给定的精度系数可判断输出层通过给定的精度系数可判断输出层LC的误差值的误差值d是否满足要是否满足要求，如果不满足，则需进行反向传播计算，通过修正权值和求，如果不满足，则需进行反向传播计算，通过修正权值和阈值使其逼近给定精度系数。阈值使其逼近给定精度系数。第24页，本讲稿共40页

21、第第4步：反向传播计算步：反向传播计算（1 1）隐含层）隐含层L LB B一般化误差的计算一般化误差的计算根据（根据（1919）式）式 计算隐含层计算隐含层L LB B一般化一般化误差为误差为 则则 第25页，本讲稿共40页（2）隐含层）隐含层Lb和输出层和输出层Lc权值的调整权值的调整根据（根据（20）式）式 调整其调整其LB至至LC权值，则按学权值，则按学习步长（也称学习率）的范围：习步长（也称学习率）的范围：给定给定 。则则 第26页，本讲稿共40页根据（根据（21）式）式 调整调整LA至至LB权值权值,则则 按步长范围：按步长范围：,给定给定 则则 第27页，本讲稿共40页（3）网络输

22、出层）网络输出层Lc和隐含层和隐含层Lb阈值的调整值计算阈值的调整值计算根据（根据（22）式）式 调整调整L Lc c层阈值层阈值 则则 根据（根据（23）式）式 调整调整LB层阈值为层阈值为 第28页，本讲稿共40页 则则（4 4）计算调整后的权值和阈值）计算调整后的权值和阈值隐含层隐含层LBLB至输出层至输出层LCLC的权值，由（的权值，由（2525）和（）和（3434）式得）式得第29页，本讲稿共40页 输入层输入层L LA A至隐含层至隐含层L LB B的权值，由（的权值，由（2424）和（）和（3535）式得）式得输出层输出层LC阈值根据（阈值根据（27）和（）和（36）式得）式得

23、第30页，本讲稿共40页 隐含层隐含层LB阈值，根据（阈值，根据（26）和（）和（37）式得）式得 经过上述计算在输出层经过上述计算在输出层LC的误差值的误差值d未满足精度要求的情未满足精度要求的情况下，完成了第况下，完成了第1次权值和阈值的调整训练。经反向计算调次权值和阈值的调整训练。经反向计算调整后需按程序框图整后需按程序框图12的流程和上述计算方法再计算输出层的流程和上述计算方法再计算输出层LC误差值误差值d，其运算过程不再全部列出，只是直接给出将，其运算过程不再全部列出，只是直接给出将调整后调整后LB层和层和LC层的输出值和误差值层的输出值和误差值。第31页，本讲稿共40页 LB层的输

24、出值层的输出值 LB层的误差值层的误差值 LC层的输出值层的输出值 LC层的误差值层的误差值 第32页，本讲稿共40页在此根据在此根据LC层的误差值层的误差值d判断是否满足给定的精度系数，判断是否满足给定的精度系数，如果不满足再进行第如果不满足再进行第2次的循环调整，再从第次的循环调整，再从第2步开始步开始运行，以后为了简化只给出调整结果。运行，以后为了简化只给出调整结果。第第2次循环调整次循环调整 LC层至层至LB层的权值调整层的权值调整 LB层至层至LA层的权值调整层的权值调整 第33页，本讲稿共40页LC层阈值的调整层阈值的调整 LB层阈值的调整层阈值的调整 LB层的输出值层的输出值 L

25、B层的误差值层的误差值 第34页，本讲稿共40页第第3次循环调整次循环调整 LC层至层至LB层的权值调整层的权值调整 LB层至层至LA层的权值调整层的权值调整 第35页，本讲稿共40页LC层阈值的调整层阈值的调整 LB层阈值的调整层阈值的调整 LB层的输出值层的输出值 LB层的误差值层的误差值 第36页，本讲稿共40页LC层的输出值层的输出值 LC层的误差值层的误差值 第第999次循环调整次循环调整 LC层至层至LB层的权值调整层的权值调整 LB层至层至LA层的权值调整层的权值调整 第37页，本讲稿共40页LC层的阈值为层的阈值为 LB层的阈值为层的阈值为 LB层的输出值层的输出值 LB层的误

26、差值层的误差值 LC层的输出值层的输出值 LC层的误差值层的误差值 第38页，本讲稿共40页 BP神经网络样本神经网络样本输入信号正向传播输入信号正向传播和和误差反向传误差反向传播播的过程，就是在的过程，就是在不断地调整权值和阈值不断地调整权值和阈值的过程，的过程，可以可以使网络以任意精度逼近任意非线性函数使网络以任意精度逼近任意非线性函数，也就也就是随着循环调整次数的增加是随着循环调整次数的增加，其，其输出层的误差值输出层的误差值d在不断地减小，直至趋近于零在不断地减小，直至趋近于零，这是总的趋势，这是总的趋势，但不排除在训练过程中出现但不排除在训练过程中出现d值增大的现象，特值增大的现象，特别是前些次调整，本例的最初几次调整别是前些次调整，本例的最初几次调整,d值可能值可能有所增大。产生这种现象的原因是网络学习训练过有所增大。产生这种现象的原因是网络学习训练过程中出现振荡现象。这与学习率程中出现振荡现象。这与学习率 和和 的取值有关，的取值有关，和和 的值取的过大就会出现振荡现象。的值取的过大就会出现振荡现象。第39页，本讲稿共40页6基于基于BP神经网络线切割加工质量及效率控制神经网络线切割加工质量及效率控制 图图12 线切割加工质量及效率控制神经网络拓扑结构线切割加工质量及效率控制神经网络拓扑结构 第40页，本讲稿共40页