《神经网络第二章精品文稿.ppt》由会员分享，可在线阅读，更多相关《神经网络第二章精品文稿.ppt（48页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、神经网络第二章第1页，本讲稿共48页2.1 人工神经网络的生物学基础人工神经网络的生物学基础人人类类大大脑脑大大约约包包含含有有1.4 1011个个神神经经元元，每每个个神神经经元元与与大大约约10103 310105 5个个其其它它神神经经元元相相连连接接，构构成成一一个个极极为为庞庞大大而而复复杂杂的的网网络络，即即生生物物神神经网络。经网络。神神经经生生理理学学和和神神经经解解剖剖学学的的研研究究结结果果表表明明，神神经经元元(Neuron)(Neuron)是是脑脑组组织织的的基基本本单单元元，是是人人脑信息处理系统的最小单元。脑信息处理系统的最小单元。2第2页，本讲稿共48页生物神经元
2、的主要内容生物神经元的主要内容生物神经元的结构生物神经元的结构生物神经元信息处理机制生物神经元信息处理机制信息的产生信息的产生信息的传递和接受信息的传递和接受信息的整合信息的整合3第3页，本讲稿共48页2.1.1 生物神经元的结构生物神经元的结构 生物神经元在结构上由生物神经元在结构上由 细胞体细胞体(Cell body)树突树突(Dendrite):接受输入信号接受输入信号 轴突轴突(Axon)：传出信号传出信号 突触突触(Synapse)：输入输出接口输入输出接口 四部分组成。用来完成神经元间信息的四部分组成。用来完成神经元间信息的接收、传递和处理。接收、传递和处理。4第4页，本讲稿共48
3、页细胞体细胞体5第5页，本讲稿共48页6第6页，本讲稿共48页2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理一、信息的产生一、信息的产生 神神经经元元间间信信息息的的产产生生、传传递递和和处处理理是是一种电化学活动。一种电化学活动。7第7页，本讲稿共48页静息静息静息静息:无信息输入时，神经元细胞膜内外因离子浓度差无信息输入时，神经元细胞膜内外因离子浓度差无信息输入时，神经元细胞膜内外因离子浓度差无信息输入时，神经元细胞膜内外因离子浓度差而造成的电位差为而造成的电位差为而造成的电位差为而造成的电位差为-70mV-70mV（内负外正）左右，（内负外正）左右，（内负外正）左右，（内负
4、外正）左右，称为静息电位，此时细胞膜的状态称为称为静息电位，此时细胞膜的状态称为称为静息电位，此时细胞膜的状态称为称为静息电位，此时细胞膜的状态称为极化状态极化状态极化状态极化状态，神经元的状态称为神经元的状态称为神经元的状态称为神经元的状态称为静息状态静息状态静息状态静息状态。兴奋：兴奋：兴奋：兴奋：当神经元受到外界刺激时，如果膜电位从当神经元受到外界刺激时，如果膜电位从当神经元受到外界刺激时，如果膜电位从当神经元受到外界刺激时，如果膜电位从静息电位向正偏移，称为静息电位向正偏移，称为静息电位向正偏移，称为静息电位向正偏移，称为 去极化去极化去极化去极化，此时神经元，此时神经元，此时神经元，
5、此时神经元处于处于处于处于兴奋状态兴奋状态兴奋状态兴奋状态；抑制：抑制：抑制：抑制：如果膜电位从静息电位向负偏移，称为如果膜电位从静息电位向负偏移，称为如果膜电位从静息电位向负偏移，称为如果膜电位从静息电位向负偏移，称为 超级化超级化超级化超级化，此时神经元处于，此时神经元处于，此时神经元处于，此时神经元处于抑制状态抑制状态抑制状态抑制状态。8神经元的状态神经元的状态神经元的状态神经元的状态第8页，本讲稿共48页9第9页，本讲稿共48页二、信息的传递与接收二、信息的传递与接收10第10页，本讲稿共48页三、信息的整合三、信息的整合空间整合：空间整合：同一时刻产生的刺激所引起同一时刻产生的刺激所
6、引起的膜电位变化，大致等于各单独刺激引的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。起的膜电位变化的代数和。11时间整合时间整合：各各输入脉冲输入脉冲抵达神经元的时间抵达神经元的时间先后不一样。先后不一样。总的突触后膜电位为一段时总的突触后膜电位为一段时间内的累积。间内的累积。第11页，本讲稿共48页四、四、生物神经网络生物神经网络 由多个生物神经元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成相互连接即形成生物神经网络生物神经网络。生物神经网络的功能生物神经网络的功能不是单个神经元信息不是单个神经元信息 处理功能的简单叠加。处理功能的简单叠加。神经元之间
7、的神经元之间的突触连接方式突触连接方式和和连接强度连接强度不不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。12第12页，本讲稿共48页 神经元及其突触是神经网络的基本器件。神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物因此，模拟生物神经网络应首先模拟生物神经元神经元 人工神经元人工神经元(节点节点)从三个方面进行模拟从三个方面进行模拟:节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)相互连接的强
8、度相互连接的强度(通过学习来调整通过学习来调整)2.2 神经元的人工模型神经元的人工模型13第13页，本讲稿共48页(1)(1)每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2)(2)神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6)(6)神经元本身神经元本身是非时变的是非时变的，即其突触时延和突触强度，即其突触时延和突触强度 均为常数。均为常数。(3)(3)神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞,主要
9、取决于突触延搁；主要取决于突触延搁；(5)(5)忽略忽略时间整合作用和不应期；时间整合作用和不应期；模型的六点假设：模型的六点假设：2.2.1 神经元的建模神经元的建模14第14页，本讲稿共48页假设假设1 1：多输入单输出：多输入单输出：多输入单输出：多输入单输出图图(a)表明，正如生物神经元有许多激励输入一样，人表明，正如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号，图中每个输入的工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值大小用确定数值xi表示，它们同时输入神经元表示，它们同时输入神经元j，神经元，神经元的单输出用的单输出用oj表示。表示。15第15页，
10、本讲稿共48页假设假设2：兴奋性和抑制性输入：兴奋性和抑制性输入生物神经元具有不同的突触性质和突触强度，使有些输入在神经元产生生物神经元具有不同的突触性质和突触强度，使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。脉冲输出过程中所起的作用比另外一些输入更为重要。图图(b)中对神经中对神经元的每一个输入都有一个加权系数元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强，其大小则代表了突触的不同连接强度。度。16第16页，本讲稿共48页假设假设3：空间
11、整合特性和阈值特性：空间整合特性和阈值特性作为作为ANN的基本处理单元，必须对全部输入信号进行整的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图合，以确定各类输入的作用总效果，图(c)表示组合输人表示组合输人信号的信号的“总和值总和值”，相应于生物神经元的膜电位。神经元激，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即活与否取决于某一阈值电平，即只有当其输入总和超过阈只有当其输入总和超过阈值时值时,神经元才被激活而发放脉冲神经元才被激活而发放脉冲,否则神经元不会产生输否则神经元不会产生输出信号。出信号。17第17页，本讲稿共48页神经元的输出神经元的输
12、出图图(d)人人工工神神经经元元的的输输出出也也同同生生物物神神经经元元一一样样仅仅有有一一个个，如如用用oj表表示示神神经经元元输输出出，则则输输出出与与输输入入之之间间的的对对应应关关系系可可用用图图(d)中中的的某某种种非线性函数来表示，这种函数一般都是非线性的。非线性函数来表示，这种函数一般都是非线性的。18第18页，本讲稿共48页神经元模型示意图神经元模型示意图19第19页，本讲稿共48页2.2.2 神经元的数学模型神经元的数学模型ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称
13、 权重值；权重值；f()神经元转移函数。神经元转移函数。用一个数学表达式进行抽象与概括：用一个数学表达式进行抽象与概括：20为简便，将突触时延取为单位时间，得为简便，将突触时延取为单位时间，得第20页，本讲稿共48页(2.3)net netj j=W Wj jT TX X W Wj j=(=(w1j,w2j,wnj)T T X=X=(x1 x2 xn)T(2.4)2.2.2 神经元的数学模型神经元的数学模型“输入总和输入总和”常称为神经元在常称为神经元在t时刻的净输入，用下面的式子表示时刻的净输入，用下面的式子表示21第21页，本讲稿共48页2.2.2 神经元的数学模型神经元的数学模型(2.5
14、)oj=f(netj)=f(W Wj jT TX X)(2.6)净输入与阈值之差可表达为净输入与阈值之差可表达为净输入改写为净输入改写为netj，与原来的区别是包含了阈值，与原来的区别是包含了阈值(2.4)中列向量中列向量Wj和和X的第一个分量的下标均从的第一个分量的下标均从1开始，而式开始，而式(2.5)中则从中则从0开始开始 令令 x0=-1，w0j=Tj，则有则有 -Tj=x0w0j22第22页，本讲稿共48页2.2.3 神经元的转移函数神经元的转移函数 神经元各种不同数学模型的主要区别神经元各种不同数学模型的主要区别在于采用了不同的在于采用了不同的转移函数转移函数，从而使神经，从而使神
15、经元具有不同的信息处理特性。神经元的信元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能息处理特性是决定人工神经网络整体性能的的三大要素之一三大要素之一，反映了神经元输出与其，反映了神经元输出与其激活状态之间的关系，最常用的转移函数激活状态之间的关系，最常用的转移函数有有4种形式。种形式。23第23页，本讲稿共48页2.2.3 神经元的转移函数神经元的转移函数(1)阈值型转移函数阈值型转移函数(单位阶跃函数，又称为硬限幅函数单位阶跃函数，又称为硬限幅函数)1 x0f(x)=(2.7)0 x024第24页，本讲稿共48页(2)非线性转移函数非线性转移函数(实数域实数域R到到
16、0,1闭集的非减连续函数，代表了状态连续型神闭集的非减连续函数，代表了状态连续型神经元模型经元模型,函数本身及其导数都是连续的，便于处理函数本身及其导数都是连续的，便于处理)双极性单极性25第25页，本讲稿共48页(3)分段线性转移函数（分段线性转移函数（一定区间内满足线性关系，模拟了实际系统中的饱和特性。一定区间内满足线性关系，模拟了实际系统中的饱和特性。）0 x0f(x)=cx 0 0 xxc (2.9)1 xc x 26第26页，本讲稿共48页(4)概率型转移函数（概率型转移函数（输入与输出之间的关系是不确定的，需用一个随机函数输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状
17、态为来描述输出状态为1或为或为0的概率的概率）设神经元输出为设神经元输出为1的概率为：的概率为：温度参数温度参数温度参数温度参数由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（Boltzmann）分布相类）分布相类似，因此这种神经元模型也称为热力学模型。似，因此这种神经元模型也称为热力学模型。27第27页，本讲稿共48页2.3 人工神经网络模型人工神经网络模型分类：分类：按网络连接的拓扑结构分类按网络连接的拓扑结构分类按网络连接的拓扑结构分类按网络连接的拓扑结构分类层次型结构层次型结构互连型网络结构互连型网络结构按网络内部
18、的信息流向分类按网络内部的信息流向分类按网络内部的信息流向分类按网络内部的信息流向分类 前馈型网络前馈型网络前馈型网络前馈型网络 反馈型网络反馈型网络反馈型网络反馈型网络28第28页，本讲稿共48页2.3.1 网络拓扑结构类型网络拓扑结构类型 互互连连型型网网络络结结构构：网网络络中中任任意意两两个个节节点点之之间间都都可可能能存存在在连连接接路路径径，根根据据网网络络中中节点的互连程度将它细分为三种情况：节点的互连程度将它细分为三种情况：全互连型结构全互连型结构局部互连型网络结构局部互连型网络结构稀疏连接型稀疏连接型 层层次次型型结结构构：将将神神经经元元按按功功能能分分成成若若干干层层，如
19、如输输入入层层、中中间间层层（隐隐层层）和输出层，各层和输出层，各层顺序顺序相连。有相连。有3种典型结合方式：种典型结合方式：单纯层次型结构单纯层次型结构输出层到输入层有连接输出层到输入层有连接层内有连接层次型结构层内有连接层次型结构29第29页，本讲稿共48页2.3.1 网络拓扑结构类型（层次型结构）网络拓扑结构类型（层次型结构）单单纯纯层层次次型型结结构构30第30页，本讲稿共48页2.3.1 网络拓扑结构类型（层次型结构）网络拓扑结构类型（层次型结构）输输出出层层到到输输入入层层有有连连接接31第31页，本讲稿共48页2.3.1 网络拓扑结构类型（层次型结构）网络拓扑结构类型（层次型结构
20、）层层内内有有连连接接层层次次型型结结构构32第32页，本讲稿共48页2.3.1 网络拓扑结构类型（互连型结构）网络拓扑结构类型（互连型结构）全互连型结构全互连型结构33第33页，本讲稿共48页局局部部互互连连型型网网络络结结构构2.3.1 网络拓扑结构类型（互连型结构）网络拓扑结构类型（互连型结构）34第34页，本讲稿共48页2.3.2 网络信息流向类型网络信息流向类型前馈型网络前馈型网络前馈前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行网络信息处理的方向是从输入层到各隐层再到输出层逐层进行反馈型网络反馈型网络在在反反馈馈网网络络中中所所有有节节点点都都具具有有信信息息处处理理
21、功功能能，而而且且每每个个节节点点既可以从外界接收输入，同时又可以向外界输出。既可以从外界接收输入，同时又可以向外界输出。35第35页，本讲稿共48页前馈型网络前馈型网络输入节点输入节点:只负责从外界引入信息后向前传递给第一隐层；只负责从外界引入信息后向前传递给第一隐层；具有处理能力的节点具有处理能力的节点:包括各隐层和输出层节点。包括各隐层和输出层节点。前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。行的方向性，一般不存在反馈环路。36第36页，本讲稿共48页反馈型网络反馈型网络所有节点都
22、具有信息处理功能，而且每个节点既可以从外界接收输所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出入，同时又可以向外界输出37第37页，本讲稿共48页神经网络的拓扑结构神经网络的拓扑结构是决定神经网络特性的是决定神经网络特性的第第二大要素二大要素，其特点可归纳为分布式存储与分布，其特点可归纳为分布式存储与分布式信息处理、高度互连性、高度并行性和结构式信息处理、高度互连性、高度并行性和结构可塑性。可塑性。38第38页，本讲稿共48页2.4 神经网络学习神经网络学习v学学习习的的定定义义：“根根据据与与环环境境的的相相互互作作用用而而发发生生的的行行为为改改变变，其
23、其结结果果导导致致对对外外界界刺刺激激产产生生反反应应的的新新模式的建立模式的建立”。v神神经经网网络络能能够够通通过过对对样样本本的的学学习习训训练练，不不断断改改变变网网络络的的连连接接权权值值以以及及拓拓扑扑结结构构，以以使使网网络络的的输输出出不断地接近期望的输出。不断地接近期望的输出。v这这一一过过程程称称为为神神经经网网络络的的学学习习或或训训练练，其其本本质质是是可变权值的动态调整可变权值的动态调整。39第39页，本讲稿共48页神经网络的学习方式神经网络的学习方式是决定神经网络信息处理性是决定神经网络信息处理性能的能的第三大要素第三大要素，因为有关学习的研究在神经网，因为有关学习
24、的研究在神经网络研究中具有重要的地位。络研究中具有重要的地位。三三大大要要素素神经网络的学习方式神经网络的学习方式神经网络的拓扑结构神经网络的拓扑结构转移函数转移函数2.4 神经网络学习神经网络学习40第40页，本讲稿共48页人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络最具有吸引力的特点是它的学习能力。概念：概念：改变权值的规则称为学习规则或学习算法（亦称改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法）。训练规则或训练算法）。神经网络的学习类型：神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)灌输式学习灌输
25、式学习(一开始就设定好权值，不再改变一开始就设定好权值，不再改变)41第41页，本讲稿共48页学习的过程（权值调整的一般情况）通用学习规则：通用学习规则：权向量 在 t 时刻的调整量 与t 时刻的输入向量 和学习信号r 的乘积成正比。42第42页，本讲稿共48页43 Outstar 有导师第43页，本讲稿共48页例例2.1 设有设有4输入单输出神经元网络，其阈值输入单输出神经元网络，其阈值T=0,学习学习率率=1,=1,三个输入样本向量和初始权向量分别为三个输入样本向量和初始权向量分别为 转移函数为符号函数，试用转移函数为符号函数，试用HebbHebb学习规则调整该网学习规则调整该网络。若将转
26、移函数改用双极性连续函数，试比较两络。若将转移函数改用双极性连续函数，试比较两种权值调整的结果。种权值调整的结果。44第44页，本讲稿共48页画出网络结构图：解：(1)输入第一个样本X1第45页，本讲稿共48页例例2.2 设有设有3输入单输出神经元网络，将阈值含于权向输入单输出神经元网络，将阈值含于权向量内，故有量内，故有 学习率学习率 三个输入向量和三个输入向量和初始权分量分别为初始权分量分别为 试用试用学习规则调整该网络，转移函数双极性连续函学习规则调整该网络，转移函数双极性连续函数数.46第46页，本讲稿共48页第二章小结 重点介绍了生物神经元的结构及其信息处理机制、人工神重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。方式是决定神经网络信息处理性能的三大要素。(1)生物神经元的信息处理(2)人工神经元模型(3)人工神经网络模型(4)神经网络学习47第47页，本讲稿共48页作业作业P372.4（1）2.52.748第48页，本讲稿共48页