《神经网络基础知识精.ppt》由会员分享，可在线阅读，更多相关《神经网络基础知识精.ppt（45页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、神经网络基础知识第1页，本讲稿共45页2.1 人工人工神经网络的生物基础 神经元(Neuron)也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。2.1.1 生物神经元结构生物神经元结构 每个神经元都包括四个部分：细胞体(cell body)、树突(dendrite)和轴突(axon)和突触(synapse)。每个神经元大约有1000100000个突触。若干神经元以突触相连构成神经网络。第2页，本讲稿共45页 (a)简单神经元网络图 c)简化后的网络示意图 图2.1 简单神经元网络及其简化结构图b)突触结构图第3页，本讲稿共45页2.1
2、.2 生物神经元的信息处理机理生物神经元的信息处理机理一、信息的产生一、信息的产生 研研究究认认为为，神神经经元元间间信信息息的的产产生生、传传递递和和处处理理是是一一种种电化学活动。由膜内外离子浓度决定。电化学活动。由膜内外离子浓度决定。神经元状态：神经元状态：静息静息兴奋兴奋抑制抑制 膜电位：膜电位：极极 化化polarizationpolarization去极化去极化depolarizationdepolarization超极化超极化hypeypolarizationhypeypolarization第4页，本讲稿共45页膜电位变化图第5页，本讲稿共45页神经元对信息的传递与接收通过突触
3、进行。二二 信息的传递与接收信息的传递与接收神经电脉冲神经质产生神经质释放结合过程电生理反应突触信息传递过程突触信息传递过程第6页，本讲稿共45页三、信息的整合三、信息的整合空间整合：空间整合：同一时刻产生的刺激所引起的膜同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电电位变化，大致等于各单独刺激引起的膜电位变化的代数和。位变化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间先后抵达神经元的时间先后不一样。不一样。总的突触后膜电位为一段时间内的累总的突触后膜电位为一段时间内的累积。积。四、生物神经网络四、生物神经网络 以确定方式和拓扑结构互连而成，完成信以确
4、定方式和拓扑结构互连而成，完成信息采集、存储、综合处理等功能息采集、存储、综合处理等功能。人类社会关系亦如此。人类社会关系亦如此。第7页，本讲稿共45页 2.2 人工神经元模型 2.2.1 神经元的建模神经元的建模 最早提出且影响巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6点假设：(1)每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6)神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度
5、 均为常数。均为常数。(3)神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞神经元输入与输出间有固定的时滞,主要取决于突触主要取决于突触 延搁；延搁；(5)忽略时间整合作用和不应期；忽略时间整合作用和不应期；第8页，本讲稿共45页(a)表明人工神经元有许多输入信息，一个输出信息；表明人工神经元有许多输入信息，一个输出信息；(b)表示突触强度和性质不同，导致作用不同，即权重不同；表示突触强度和性质不同，导致作用不同，即权重不同；(c)表明信号整合；表明信号整合；(d)总和超过阈值时，神经元被激活。总和超过阈值时，神经元被激活。第9页，本讲稿
6、共45页2.2.2 神经元的数学模型神经元的数学模型 令xi(t)表示t时刻神经元j接收的来自神经元i的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可用如下数学式表示：ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。(2.1)第10页，本讲稿共45页若取突触时延为单位时间，则若取突触时延为单位时间，则式(2.2)全面表达了神经元模型的6点假设。令：(2.2)(2.3)上式是神经元j在t时刻的净输入，体现了神经元j
7、的空间整合特性，但未考虑时间整合。第11页，本讲稿共45页利用矩阵表示如下：netnetj j=W Wj jT TX X其中：其中：W Wj j=(=(w1,w2,wn)T T X=X=(x1,x2,xn)T T(2.4)(2.5)oj=f(netj)=f(W Wj jT TX X)(2.6)令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0第12页，本讲稿共45页2.2.3神经元的转移函数神经元的转移函数主要区别为转移函数，常用的有四种：主要区别为转移函数，常用的有四种：(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(2.7)0 x0M-P模型属于此类。模型属于此类。单极性阈值
8、函数 双极性阈值函数 第13页，本讲稿共45页(2)非线性转移函数非线性转移函数 单极性S型函数 双极性S型函数 第14页，本讲稿共45页(3)分段线性转移函数分段线性转移函数 0 x0f(x)=cx 0 0 xxc (2.9)1 xc x 第15页，本讲稿共45页(4)概率型转移函数概率型转移函数温度参数温度参数玻尔兹曼热力学模型玻尔兹曼热力学模型第16页，本讲稿共45页人工神经元信息处理单元第17页，本讲稿共45页人工神经元信息处理单元信息输入信息输入第18页，本讲稿共45页人工神经元信息处理单元信息传播与处理：加权求和信息传播与处理：加权求和第19页，本讲稿共45页人工神经元信息处理单元
9、信息传播信息传播第20页，本讲稿共45页人工神经元信息处理单元信息传播与处理：非线性信息传播与处理：非线性第21页，本讲稿共45页人工神经元信息处理单元信息输出信息输出转换函数是神经网络特征的第一大要素。第22页，本讲稿共45页单单纯纯层层次次型型结结构构2.3 人工神经网络模型人工神经网络模型两种分类方法：拓扑结构、信息流向两种分类方法：拓扑结构、信息流向2.3.1网络拓扑结构类型网络拓扑结构类型 1、层次型结构：、层次型结构：3种种第23页，本讲稿共45页输输出出层层到到输输入入层层有有连连接接第24页，本讲稿共45页层层内内有有连连接接层层次次型型结结构构第25页，本讲稿共45页2、互连
10、型结构互连型结构互连型结构互连型结构全互连型结构全互连型结构第26页，本讲稿共45页局局部部互互连连型型网网络络结结构构还有一种稀疏连接型第27页，本讲稿共45页2.3.2网络信息流向类型：网络信息流向类型：2种种前前馈馈型型网网络络第28页，本讲稿共45页 拓扑结构是神经网络特征的第二大要素拓扑结构是神经网络特征的第二大要素反反馈馈型型网网络络第29页，本讲稿共45页2.4 神经网络学习神经网络学习 神经网络能够通过对样本的学习训练，不神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称络
11、的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值为神经网络的学习或训练，其本质是可变权值的动态调整。的动态调整。第30页，本讲稿共45页神经网络的学习类型：神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督、自组织无监督、自组织)死记式学习死记式学习(灌输式灌输式)第31页，本讲稿共45页 日本学者Amari在1990年提出了一种神经网络权值调整的通用学习规则，如下图：通用学习规则：权向量Wj在t时刻的调整量Wj(t)与t时刻的输入X(t)和学习信号r的乘积成正比，即：第32页，本讲稿共45页 2.4.1 Hebb学习规则
12、学习规则学习信号：权调整公式：权分量调整公式：要求：使用小的随机数初始化权值要求：使用小的随机数初始化权值特点：前馈、无导师学习特点：前馈、无导师学习第33页，本讲稿共45页例2.1 设有4个输入和1个输出的神经网络，阈值T=0，学习率=1，三个样本为：X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,初始权：W(0)=(1,-1,0,0.5)T。利用Hebb学习法计算权值。解：设转换函数为符号函数f(x)=sgn(net)(1)(2)(3)第34页，本讲稿共45页 2.4.2 Perceptron学习规则学习规则学习信号：权调整公式
13、：权分量调整公式：由于采用符号函数，符合期望时不调整，否则，权值由于采用符号函数，符合期望时不调整，否则，权值特征公式为：特征公式为：要求：只适应二进制神经元要求：只适应二进制神经元特点：有导师学习特点：有导师学习第35页，本讲稿共45页 2.4.3 学习规则学习规则学习信号：权调整公式：权分量调整公式：要求：转换函数连续可导要求：转换函数连续可导特点：多层前馈，有导师学习特点：多层前馈，有导师学习第36页，本讲稿共45页例2.2 设有4个输入1个输出的神经网络，阈值内含，学习率=0.1，三个样本为：X1=(-1,1,-2,0)T，X2=(-1,0,1.5,-0.5)T,X3=(-1,-1,1
14、,0.5)T,初始权：W(0)=(0.5,1,-1,0)T，期望输出：d1=-1，d2=-1，d3=1。利用学习学习法计算权值。解：设转换函数为：(1)第37页，本讲稿共45页(2)第38页，本讲稿共45页(3)第39页，本讲稿共45页 2.4.4 LMS学习规则学习规则(最小均方最小均方)学习信号：权调整公式：权分量调整公式：LMS是是学习规则的特例学习规则的特例特点：有导师学习特点：有导师学习第40页，本讲稿共45页 2.4.5 Correlation（相关）学习规则（相关）学习规则学习信号：权调整公式：权分量调整公式：要求：权值初始化为要求：权值初始化为 0特点：有导师学习特点：有导师学习第41页，本讲稿共45页 2.4.6 Winner-Take-All学习规则学习规则学习信号：权调整公式：权分量调整公式：要求：权值归一化要求：权值归一化特点：胜者为王、无导师学习特点：胜者为王、无导师学习第42页，本讲稿共45页 2.4.4 Outstar学习规则学习规则权调整公式：权分量调整公式：要求：转换函数连续要求：转换函数连续特点：有导师学习特点：有导师学习第43页，本讲稿共45页第44页，本讲稿共45页本章完本章完第45页，本讲稿共45页