《人工神经网络算法(基础精讲)ppt课件.pptx》由会员分享，可在线阅读，更多相关《人工神经网络算法(基础精讲)ppt课件.pptx（67页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。人工神经网络人工神经网络二二一五年一五年十二月十二月“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支
2、撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。目目 录录2 2一、人工神经网络的基本概念一、人工神经网络的基本概念二、人工神经网络的学习方法二、人工神经网络的学习方法三、前向式神经网络与算法三、前向式神经网络与算法四、神经网络的应用举例（四、神经网络的应用举例（matlabmatlab）“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全
3、视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。一一、人工神经网络的人工神经网络的 基本概念基本概念3 3“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。一、一、人工神经网络的人工神经网络的 基本概念基本概念4 4 人工神经网络（人工神经网络（Artificial Neural NetworkArtifi
4、cial Neural Network，即，即ANNANN）可以概）可以概括的定义为：括的定义为： 由大量具有适应性的处理元素（神经元）组成的广泛并行互联由大量具有适应性的处理元素（神经元）组成的广泛并行互联网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应，是模拟人工智能的一条重要途径。互反应，是模拟人工智能的一条重要途径。人工神经网络与人脑相人工神经网络与人脑相似性主要表现在：似性主要表现在： 神经网络获取的知识是从外界环境学习得来的；神经网络获取的知识是从外界环境学习得来的； 各神经元的连接权，即突触权值，用于储存获
5、取的知识。各神经元的连接权，即突触权值，用于储存获取的知识。 神经元神经元是神经网络的基本处理单元，它是神经网络的设计基础。是神经网络的基本处理单元，它是神经网络的设计基础。神经元是以生物的神经系统的神经细胞为基础的生物模型。在人们神经元是以生物的神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。因此，要了解人工神经模型就学化，从而产生了神经元数学模型。因此，要了解人工神经模型就必须先了解生物神经元模型。必须先了解生物神经元模型。“雪亮工程雪亮工程是以区（
6、县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。1.11.1人工神经网络发展简史人工神经网络发展简史5 5 u最早的研究可以追溯到最早的研究可以追溯到2020世纪世纪4040年代。年代。19431943年，心理学家年，心理学家McCullochMcCulloch和数学家和数学家PittsPitts合作提出了形式神经元的数学模型。这一合作提出了形式神
7、经元的数学模型。这一模型一般被简称模型一般被简称M-PM-P神经网络模型神经网络模型，至今仍在应用，可以说，人工，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。神经网络的研究时代，就由此开始了。u19491949年，心理学家年，心理学家HebbHebb提出神经系统的学习规则，为神经网络的提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为学习算法奠定了基础。现在，这个规则被称为HebbHebb规则，许多人工规则，许多人工神经网络的学习还遵循这一规则。神经网络的学习还遵循这一规则。 u19571957年，年，F.RosenblattF.Rosenblatt提
8、出提出“感知器感知器”(Perceptron)(Perceptron)模型，第一模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。经网络研究的第一次高潮。“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。1.11.1人工神经网
9、络发展简史人工神经网络发展简史6 6u2020世纪世纪6060年代以后，数字计算机的发展达到全盛时期，人们误以年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对松了对“感知器感知器”的研究。于是，从的研究。于是，从2020世纪世纪6060年代末期起，人工神年代末期起，人工神经网络的研究进入了低潮。经网络的研究进入了低潮。u19821982年，美国加州工学院物理学家年，美国加州工学院物理学家HopfieldHopfield提出了离散的神经网提出了离散的神经网络模型，标志着神经网
10、络的研究又进入了一个新高潮。络模型，标志着神经网络的研究又进入了一个新高潮。19841984年，年，HopfieldHopfield又提出连续神经网络模型，开拓了计算机应用神经网络的又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。新途径。u19861986年，年，RumelhartRumelhart和和MeclellandMeclelland提出多层网络的误差反传提出多层网络的误差反传(back (back propagation)propagation)学习算法，简称学习算法，简称BPBP算法算法。BPBP算法是目前最为重要、应算法是目前最为重要、应用最广的人工神经网络算法之一。用
11、最广的人工神经网络算法之一。 “雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。1.21.2生物神经元结构生物神经元结构7 7生物神经元结构生物神经元结构（1 1）细胞体）细胞体: : 细胞核、细胞质和细胞膜。细胞核、细胞质和细胞膜。（2 2）树突：胞体短而多分枝的突起。相当于神经元的输入端。）树突：胞体短而多分枝的突起。相
12、当于神经元的输入端。（3 3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。经末稍传出神经冲动。 “雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。1.21.2生物神经元结构生物神经元结构 （4 4）突触：神经元间的连接接口，每个神经元约有）突触
13、：神经元间的连接接口，每个神经元约有1 1万万1010万个突万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。神经元间联接的柔性，称为结构的可塑性。突触结构示意图突触结构示意图“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为
14、指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。1.31.3生物神经元的信息处理机理生物神经元的信息处理机理9 9神经元的兴奋与抑制神经元的兴奋与抑制 当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。为
15、抑制状态，不产生神经冲动。细胞体突触轴突树突图12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。延时性传递延时性传递生物神经元的特点生物神经元的特点单向性传递单向性传递阈值特性阈值特性生物神经元的特点：生物神经元的特点：1.41.4生物神经元的特点生物神经元的特点“雪
16、亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。1.51.5人工神经元模型人工神经元模型11 11 神经元模型神经元模型 从神经元的特性和功能可以知道，神经元相当于一个多输入单从神经元的特性和功能可以知道，神经元相当于一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的，人工神输出的信息处理单元，而且，它对信息的处理
17、是非线性的，人工神经元的模型如图所示：经元的模型如图所示：神经元的神经元的n n个输入个输入对应的连接权值对应的连接权值net=net=iiwx阈值阈值输出输出激活函数激活函数“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。12 12 上面的神经元模型可以用一个数学表达式进行抽象与概括，从上面的神经元模型可以用一个数学表达
18、式进行抽象与概括，从而得到神经元的数学模型：而得到神经元的数学模型：1.51.5人工神经元模型人工神经元模型1njjjofw x神经元的网络输入记为神经元的网络输入记为netnet，即，即 net= net= 1njjjw x“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。13 13 有时为了方便起见，常把有时为了方便起见
19、，常把- -也看成是恒等于也看成是恒等于1 1的输入的输入X X0 0 的权的权值，这时上面的数学模型可以写成：值，这时上面的数学模型可以写成：1.51.5人工神经元模型人工神经元模型0njjjofw x其中，其中， W W0 0=-=- ； x x0 0=1 =1 “雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。14 1
20、4神经元的模型具有以下特点：神经元的模型具有以下特点：神经元是一个多输入、单输出单元。神经元是一个多输入、单输出单元。它具有非线性的输入、输出特性。它具有非线性的输入、输出特性。它具有可塑性，反应在新突触的产生和现有的神经突触的调整上，它具有可塑性，反应在新突触的产生和现有的神经突触的调整上，其塑性变化的部分主要是权值其塑性变化的部分主要是权值w w的变化，这相当于生物神经元的突的变化，这相当于生物神经元的突出部分的变化，对于激发状态，出部分的变化，对于激发状态，w w取正直，对于抑制状态，取正直，对于抑制状态，w w取负值。取负值。神经元的输出和响应是个输入值的综合作用的结果。神经元的输出和
21、响应是个输入值的综合作用的结果。兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动；当膜电位低于阈值时，细胞进入抑制状态。状态，产生神经冲动；当膜电位低于阈值时，细胞进入抑制状态。1.51.5人工神经元模型人工神经元模型“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工
22、程群众性治安防控工程”。1.61.6激活函数激活函数15 15 神经元的描述有多种，其区别在于采用了不同的激活函数，不神经元的描述有多种，其区别在于采用了不同的激活函数，不同的激活函数决定神经元的不同输出特性，常用的激活函数有如下同的激活函数决定神经元的不同输出特性，常用的激活函数有如下几种类型：几种类型：1.1.阈值型阈值型2.S2.S型型3.3.分段线性分段线性4.4.概率型概率型“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综
23、治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。16 161.1.阈值型激活函数阈值型激活函数 阈值型激活函数是最简单的，前面提到的阈值型激活函数是最简单的，前面提到的M-PM-P模型就属于这一类。模型就属于这一类。其输出状态取二值（其输出状态取二值（1 1、0 0或或+1+1、-1-1），分别代表神经元的兴奋和抑），分别代表神经元的兴奋和抑制。制。1.61.6激活函数激活函数当当f f（x x）取）取0 0或或1 1时，时，0001)(xxxf，若，若“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以
24、综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。17 17当当f f（x x）取）取1 1或或-1-1时，时，f f（x x）为下图所示的）为下图所示的sgnsgn（符号）函数（符号）函数sgnsgn（x x）= =10( )0 xf xx， 若-1，若1.61.6激活函数激活函数“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公
25、共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。18 181.61.6激活函数激活函数2.S2.S型激活函数型激活函数 神经元的状态与输入级之间的关系是在（神经元的状态与输入级之间的关系是在（0,10,1）内连续取值的单）内连续取值的单调可微函数，称为调可微函数，称为S S型函数。型函数。双极性双极性S S型函数：型函数：x21 e( )1=11xxf xee1( )1xf xe单极性单极性S S型函数：型函数：“雪亮工程雪亮工程是以区（县
26、）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。19 193.3.分段线性激活函数分段线性激活函数分段线性激活函数的定义为：分段线性激活函数的定义为：1.61.6激活函数激活函数10( )1110 xf xxxx ，若，若，若“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全
27、视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。20204.4.概率型激活函数概率型激活函数 概率型激活函数的神经元模型输入和输出的关系是不确定的，概率型激活函数的神经元模型输入和输出的关系是不确定的，需要一种随机函数来描述输出状态为需要一种随机函数来描述输出状态为1 1或为或为0 0的概率，设神经元输出的概率，设神经元输出（状态）为（状态）为1 1的概率为：的概率为：1.61.6激活函数激活函数x/T1P=1e（1）（其中，（其中，T T为温度
28、函数）为温度函数）“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。21 21激活函数的基本作用表现在激活函数的基本作用表现在: :1.61.6激活函数激活函数控制输入对输出控制输入对输出 的激活作用的激活作用将可能无限域的输将可能无限域的输入变换成指定的有入变换成指定的有限范围内的输出限范围内的输出对输入、输出进行函数转换
29、对输入、输出进行函数转换“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。2222 神经网络是由许多神经元互相在一起所组成的神经结构。把神神经网络是由许多神经元互相在一起所组成的神经结构。把神经元之间相互作用关系进行数学模型化就可以得到人工神经网络模经元之间相互作用关系进行数学模型化就可以得到人工神经网络模型。型。 神经元和
30、神经网络的关系是神经元和神经网络的关系是元素与整体元素与整体的关系。的关系。 人工神经网络中的神经元常称为节点或处理单元，每个节点均人工神经网络中的神经元常称为节点或处理单元，每个节点均具有相同的结构，其动作在时间和空间上均同步。具有相同的结构，其动作在时间和空间上均同步。1.71.7人工神经网络模型人工神经网络模型人工神经网络模型人工神经网络模型“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以
31、公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。2323人工神经网络的基本属性人工神经网络的基本属性1.71.7人工神经网络模型人工神经网络模型1 1）非线性）非线性 2 2）非局域性）非局域性3 3）非定常性）非定常性4 4）非凸性）非凸性“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。2424
32、神经网络模型神经网络模型 神经元的连接方式不同，网络的拓扑结构也不同，人工神经网神经元的连接方式不同，网络的拓扑结构也不同，人工神经网络的拓扑结构是决定人工神经网络特征的第二要素，根据神经元之络的拓扑结构是决定人工神经网络特征的第二要素，根据神经元之间连接的拓扑结构不同，可将人工神经网络分成两类，即间连接的拓扑结构不同，可将人工神经网络分成两类，即分层网络分层网络和和相互连接型网络。相互连接型网络。1.71.7人工神经网络模型人工神经网络模型人工神经网络人工神经网络分层型网络分层型网络相互连接型网络相互连接型网络“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治
33、信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。2525分层网络分层网络 分层网络将一个神经网络中的所有神经元按功能分为若干层，分层网络将一个神经网络中的所有神经元按功能分为若干层，一般有输入层、中间层（隐藏层）和输出层。一般有输入层、中间层（隐藏层）和输出层。 分层网络按照信息的传递方向可分为分层网络按照信息的传递方向可分为前向式网络（如图前向式网络（如图a a）和和反馈网络（如图反馈网络（如图b b
34、、c c）。1.71.7人工神经网络模型人工神经网络模型“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。2626相互连接型网络相互连接型网络 相互连接型网络是指网络中任意单元之间都是可以相互双向相互连接型网络是指网络中任意单元之间都是可以相互双向连接的。连接的。1.71.7人工神经网络模型人工神经网络模型 上述的分类方法是
35、对目前常见的神经网络结构的概括和抽象，上述的分类方法是对目前常见的神经网络结构的概括和抽象，实际应用的神经网络可能同时兼有其中的一种或几种形式。实际应用的神经网络可能同时兼有其中的一种或几种形式。“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。2727二二、人工神经网络的人工神经网络的 学习方法学习方法“雪亮工程雪亮工程是
36、以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。28282.12.1学习机理学习机理学习机理学习机理 人工神经网络信息处理可以用数学过程来说明，这个过程可以人工神经网络信息处理可以用数学过程来说明，这个过程可以分为两个阶段：执行阶段和学习阶段。分为两个阶段：执行阶段和学习阶段。 学习是智能的基本特征之一，人工神经网络最具有吸引力的特学习是智能
37、的基本特征之一，人工神经网络最具有吸引力的特点是它能从环境中学习的能力，并通过改变权值达到预期的目的。点是它能从环境中学习的能力，并通过改变权值达到预期的目的。神经网络通过施加于它的权值和阈值调节的交互过程来学习它的环神经网络通过施加于它的权值和阈值调节的交互过程来学习它的环境，人工神经网络具有近似于与人类的学习能力，是其关键的方面境，人工神经网络具有近似于与人类的学习能力，是其关键的方面之一。之一。 “雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中
38、心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。29292.22.2学习方法学习方法学习方法学习方法 按照广泛采用的分类方法，可以将神经网络的学习方法归为按照广泛采用的分类方法，可以将神经网络的学习方法归为三类：三类： 无导师无导师学习学习灌输式灌输式学习学习有导师有导师学习学习“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管
39、理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。30302.22.2学习方法学习方法有导师学习有导师学习 有导师学习又称为有监督学习，在学习时需要给出导师信号有导师学习又称为有监督学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看或称为期望输出。神经网络对外部环境是未知的，但可以将导师看做对外部环境的了解，由输入做对外部环境的了解，由输入- -输出样本集合来表示。导师信号或输出样本集合来表示。导师信号或期望响应代表了神经网络执行情况的最佳效果，即对于网络输入调期望响应代表了神经网络执行情况的最佳效果，即对于网络输入调整
40、权值，使得网络输出逼近导师信号或期望输出。整权值，使得网络输出逼近导师信号或期望输出。 “雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。31 312.22.2学习方法学习方法无导师学习无导师学习 无导师学习也称无监督学习。在学习过程中，需要不断地给网无导师学习也称无监督学习。在学习过程中，需要不断地给网络提供动态输入信息（
41、学习样本），而不提供理想的输出，网络根络提供动态输入信息（学习样本），而不提供理想的输出，网络根据特有的据特有的学习规则学习规则，在输入信息流中发现任何可能存在的模式和规，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入调整权值。律，同时能根据网络的功能和输入调整权值。 灌输式学习灌输式学习 灌输式学习是指将网络设计成记忆特别的例子，以后当给定有灌输式学习是指将网络设计成记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权权
42、值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值一旦设计好，即一次性值一旦设计好，即一次性“灌输给神经网络不再变动，因此网络对灌输给神经网络不再变动，因此网络对权值的权值的”“”“学习学习”是是“死记硬背死记硬背”式的，而不是训练式的。式的，而不是训练式的。“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。2.32
43、.3学习规则学习规则学习规则学习规则 在神经网络的学习中，各神经元的连接权值需按一定的规则在神经网络的学习中，各神经元的连接权值需按一定的规则调整，这种权值调整规则称为学习规则。下面介绍几种常见的学习调整，这种权值调整规则称为学习规则。下面介绍几种常见的学习规则。规则。 1.Hebb1.Hebb学习规则学习规则2.Delta2.Delta（ ）学习规则）学习规则3.LMS3.LMS学习规则学习规则4.4.胜者为王学习规则胜者为王学习规则5.Kohonen5.Kohonen学习规则学习规则6.6.概率式学习规则概率式学习规则“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平
44、台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。33332.32.3学习规则学习规则1.Hebb1.Hebb学习规则学习规则 当神经元当神经元i i与神经元与神经元j j同时处于兴奋状态时，在神经网络中表同时处于兴奋状态时，在神经网络中表现为连接权增加现为连接权增加 。根据该假设定义权值调整的方法，称为。根据该假设定义权值调整的方法，称为HebbHebb学学习规则。习规则。HebbHebb学习
45、规则的数学描述：学习规则的数学描述： 假设假设oi（n）和）和oj（n）是神经元是神经元i i和和j j在时刻在时刻n n的状态反应，的状态反应，W Wijij（n n）表示时刻）表示时刻n n时，连接神经元时，连接神经元i i和神经元和神经元j j的权值，的权值，W Wijij（n n）表）表示从时刻示从时刻n n到时刻到时刻n+1n+1时连接神经元时连接神经元i i和神经元和神经元j j权值的改变量，则权值的改变量，则 ijijo n on=wnwn+1w=wnnijijij（） （ ）+（ ）（ ） （ ）（ ） 其中，其中，是正常数，它决定了在学习过程中从一个步骤到另一个步骤的学习是正
46、常数，它决定了在学习过程中从一个步骤到另一个步骤的学习速率，称为速率，称为学习效率学习效率“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。34342.32.3学习规则学习规则2.Delta2.Delta（ ）学习规则）学习规则 DeltaDelta学习规则是最常用的学习规则，其要点是通过改变神经学习规则是最常用的学习规则，
47、其要点是通过改变神经元之间的连接权来减小系统实际输出与理想输出的误差。假设元之间的连接权来减小系统实际输出与理想输出的误差。假设n n时时刻输出误差准则函数如下：刻输出误差准则函数如下： 2Kkkk = 11E =yon2（- （） ) 其中，其中， O Ok k=f=f（netnetk k）为实际输出；）为实际输出；y yk k代表理想输出；代表理想输出；W W是网络的所有权值组是网络的所有权值组成权矩阵成权矩阵W=W=（w wijij）；）；K K为输出个数。为输出个数。 使用使用梯度下降法梯度下降法调整权值调整权值W W，使误差准则函数最小，得到，使误差准则函数最小，得到W W的修的修正
48、正DeltaDelta规则为：规则为：ijijjiwn+1 =wno注：注：DeltaDelta学习规则只适用于线性可分函数，无法用于多层网络学习规则只适用于线性可分函数，无法用于多层网络“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。35352.32.3学习规则学习规则3.LMS3.LMS学习规则学习规则 LMSLMS学
49、习规则又称为最小均方差规则，其学习规则为：学习规则又称为最小均方差规则，其学习规则为： ijijiw=yoo注：注：LMSLMS学习规则可以看成是学习规则可以看成是DeltaDelta学习规则的一个特殊情况。学习规则的一个特殊情况。 该学习规则具有学习速度快和精度高的特点，权值可以初始化该学习规则具有学习速度快和精度高的特点，权值可以初始化为任何值。为任何值。“雪亮工程雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管
50、理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程群众性治安防控工程”。36362.32.3学习规则学习规则4.4.胜者为王学习规则胜者为王学习规则 胜者为王（胜者为王（Winner-Take-AllWinner-Take-All）学习规则是一种竞争学习规则，）学习规则是一种竞争学习规则，用于无导师学习。一般将网络的某一层确定为竞争层，对于一个特用于无导师学习。一般将网络的某一层确定为竞争层，对于一个特定的输入定的输入X X，竞争层的，竞争层的K K个神经元均有输出响应，其中响应值最大的个神经元均有输出响应，其中响应值最大的神经元神经元j j* *为竞争中获胜的神经元，即为竞争中