《人工神经网络简介(共5页).doc》由会员分享，可在线阅读，更多相关《人工神经网络简介(共5页).doc（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精选优质文档-倾情为你奉上第1章 人工神经网络简介1.1 引言现代计算机有很强的计算和信息处理能力，但是它对于模式识别、感知和在复杂环境中作决策等问题的处理能力却远远不如人，特别是它只能按人事先编好的程序机械地执行，缺乏向环境学习、适应环境的能力。人们早已知道人脑的工作方式与现在的计算机是不同的，人脑是由极大量基本单元（神经元，见图2.1）经过复杂的互相连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统。单个神经元的反应速度比计算机的基本单元逻辑门低56个数量级。由于人脑的神经元数量巨大，每个神经元可与几千个其他神经元连接，对许多问题的处理速度比计算机快得多。图1.1 神经元构成示意图
2、因此，人们利用大脑的组织结构和运行机制的特点，从模仿人脑智能的角度出发，来探寻新的信息表示、存储和处理方式，设计全新的计算机处理结构模型，构造了一种更接近人类智能的信息处理系统，即人们目前正在研究的人工神经网络（Artificial Neural Networks，简称NN）系统。简而言之，所谓NN就是模仿人脑工作方式而设计的一种机器，它可用电子或光电元件实现，也可用软件进行计算机仿真。自从上世纪40年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达,提出了二值神经元模型以来，人们对神经网络进行了大量的研究。其中经历了40年代末心理学家Hebb提出著名的
3、Hebb学习规则1，50年代Rosenblatt提出的感知机模型(Perceptron)2，60年代神经网络的研究的低潮，80年代提出的一种新的神经网络HNN3和Boltzmann机4等一系列的过程。目前，神经网络的发展非常迅速，从理论上对它的计算能力、对任意连续函数的逼近能力、学习理论以及动态网络的稳定性分析上都取得了丰硕的成果。特别是在应用上已迅速扩展到许多重要领域5, 6。如模式识别与图像处理中的手写体字符识别，语音识别，人脸识别，基因序列分析，医学疾病的识别，油气藏检测，加速器故障检测，电机故障检测，图像压缩和还原；控制及优化方面的化工过程控制，机械手运动控制，运载体轨迹控制等；金融中
4、的股票市场预测，有价证券管理，借贷风险管理，信用卡欺骗检测；通信中的回声抵消，路由选择，自适应均衡，导航等方面。1.2 人工神经网络1.2.1 人工神经元模型下面的图2.2表示了作为NN的基本单元的神经元模型，它有三个基本要素：激活函数求和输 入 信 号输出图1.2 基本神经元模型（1）一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。（2）一个求和单元，用于求取个输入信号的加权和（线性组合）。（3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定的范围之内。常见的激活函数有阈值函数、分段线性函数和sigmoid函数等此外还有一个阈值（或偏置）。1.2.2
5、 网络结构及工作方式除单元特性外，网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。（1）前馈型网络。各个神经元接受前一层的输入，并输出给下一层，没有反馈。节点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出。通常前馈网络可分为不同的层，第层的输入只与第层的输出相连，输入和输出节点与外界相连，而其他中间层则称为隐层。（2）反馈型网络。所有节点都是计算单元，同时也可接收输入，并向外界输出，其中每个连接弧都是双向的。若总单元数为，则每一个节点有个输入和一个输出。NN的工作过程主要分为两个阶段：第一个阶段是学习期，此时各个计算单元状态不变，各连线上的权值可通
6、过学习来修改；第二个阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。从作用效果来看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点均其作用，这一类主要用作各种亮相存储器；第二类只利用全局极小点，它主要用于求解最优化问题。1.3 人工神经网络的学习通过向环境学习获取知识并改进自身性能是NN的一个重要特点，在一般情况下，性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的。在本章中我们重点介绍神经网络的学习规则。 常见的学习规则算法有如下三种：1.3.1 误差纠正学习（delta
7、规则）7令为输入时神经元在时刻的实际输出，表示相应的应有输出，则误差信号可写为 （1.1）误差纠正学习的最终目的是使某一基于的目标函数达到最小，以使网络中每一输出单元的实际输出在某种统计意义上最逼近于应有输出。一旦选定了目标函数的形式，误差纠正学习就成立一个典型的最优化问题，常用的目标函数是均方差判据，定义为 （1.2）其中为求期望算子。由于直接用作为目标函数时，需要指导整个过程的统计特性，为解决这一困难通常用在时刻的瞬时值代替，即 （1.3）利用最速梯度下降算法可得 （1.4）其中为学习步长。这种学习规则成功应用的神经网络模型非常广泛，如最简单的感知器学习算法2，这也是神经网络的最原始的应用
8、。而最经典的应用是反向传播学习算法8 ，也称BP算法。关于反向传播学习算法，目前有许多改进的算法，具体可见参考文献9,10。1.3.2 Hebb学习1神经心理学家Hebb提出的学习规则可归结为“当某以突触（连接）两端的神经元的激活同步（同为激活或同为抑制）时，该连接的强度应增强，反之应减弱”。用数学模型可描述为 （1.5）式中分别为两端神经元的状态，其中最常用的一种情况为 （1.6）由于与的相关成比例，有时称之为相关学习规则。这种学习规则的具体应用有离散Hopfield网络和连续Hopfield网络，具体的论述可参见3,11。1.3.3 竞争（Competitive）学习12,13在竞争学习时
9、网络各输出单元互相竞争，最后达到只有一个最强者激活。最常见的一种情况是输出神经元之间有侧向抑制性连接，这样众多输出单元中如有某一单元较强，则它将获胜并抑制其他单元，最后只有比较强者处于激活状态。最常用的竞争学习规则可写为 （1.7）当学习系统所处环境平稳（统计特征不随时间变化），从理论上说通过监督学习可以学到环境的统计特征，这些统计特征可被神经网络作为经验记住。如果环境是非平稳的，通常的监督学习没有能力跟踪这种变化，为解决此问题需要网络有一定的自适应能力，此时对每一个不同的输入都作为一个新的例子对待，此时NN被当作一个预测器，基于前一时刻输出和模型在时刻的参数，它估计出时刻的输出，与实际值比较
10、，其差值称为“新息”，如新息为零则不修正模型参数，否则应修正模型参数以便跟踪环境的变化。1.4 小结与展望虽然人工神经网络在最近几十年来已经取得了长足的发展，特别是它在一些具体问题的应用，如TSP问题14等，解决了以往经典学科的许多NP-hard问题。但是，就目前而言，神经网络这一学科的研究仍处在方兴未艾的进程中，越来越多的专业人士正投入其中，许多新型的神经网络模型正在建立，如Fir-NN15等，而且这些模型的稳定性、抗扰性等也在进一步的讨论之中。也有越来越多的各行各业的学者正在给神经网络创造更多的应用方面，例如盲信号分离技术等。可以断言，几年乃至几十年后，神经网络的理论和应用必然会上一个新的台阶。专心-专注-专业