《地球物理资料非线性反演方法讲座五人工神经网络反演法.pdf》由会员分享，可在线阅读，更多相关《地球物理资料非线性反演方法讲座五人工神经网络反演法.pdf（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第5 卷第3 期2 0 0 8 年6 月工程灿球物理号赧C H I N E S EJ O U R N A L0 FE N G I N E E R I N GG E O P H Y S I C SV 0 1 5 N o 3J u n，2 0 0 8文章编号：1 6 7 2 7 9 4 0(2 0 0 8)0 3 0 2 5 5 1 1地球物理资料非线性反演方法讲座(五)人工神经网络反演法王家映(中国地质大学地球物理与空间信息学院，武汉4 3 0 0 7 4)摘要：木文概要地介绍了近年来发展起来的一种强有力的地球物理资料非线性反演的方法人工神经元法(A N N)。比较系统地介绍了A N N 的基本
2、知识和两种基于不同原理的A N N 反演方法。基于模式识别和基于最小方差的A N N 反演方法。列举了这两种方法在地球物理资料反演中的一些应用实例、指出了该方法的存在问题和发展方向。关键词：非线性反演方法；人工神经元法；B P 回传网络；H o p f i e l d 网络中图分类号：P 6 3 1文献标识码：A收稿日期：2 0 0 8 一0 3 1 9L e c t u r eo nN o n L i n e a rI n v e r s eM e t h o d si nG e o p h y s i c a lD a t a(5)T h eA r t i f i c i a lN e u
3、 r a lN e t w o r kM e t h o dW a n gJi a y i n g(I n s t i t u t eo fG e o p h y s i c s&G e o m a t i c s，C h i n aU n i v e r s i t yo fG e o s c i e n c e s，W u h a n4 3 0 0 7 4，C h i n a)A b s t r a c t：I nt h i sp a p e rw eb r i e f l yi n t r o d u c e dt h em o s tp o w e r f u ln o n l i n
4、 e a ri n v e r s em e t h o d 一a r t i f i c i a ln e u r a ln e t w o r k。w h i c hh a sb e e nd e v e l o p e da n du s e ds u c c e s s f u l l yi ng e o p h y s i c a ld a t ai n v e r s i o ni nl a s tt w od e c a d e s W en o to n l yi n t r o d u c e ds o m eb a s i ck n o w l e d g eo fA N
5、N。b u ta l s oa n a l y z e dt w ok i n d so fi n v e r s em e t h o d s，f o u n d e di np u b l i c a t i o n s，b a s e do np a t t e r nr e c o g n i t i o na n dm i n i m u mv a r i a n c e W ea l s od e s c r i b e dt h ea p p l i c a t i o no ft h et w om e t h o d si ng e o p h y s i c a ld a
6、t a F i n a l l y，w ep o i n t e do u tt h ep r o b l e mo ft h em e t h o d sa n df u t u r ed e v e l o p m e n t K e yw o r d s：n o n l i n e a ri n v e r s em e t h o d；a r t i f i c i a ln e u r a ln e t w o r k；B Pn e t w o r k s；H o p f i e l dn e t w o r k s1引言天生物，人最灵。灵就灵在人有一个结构精密，机理奥妙，功能完善的
7、大脑。正由于有了大脑，人才能通过视觉、听觉、嗅觉、触觉等接收外部的信息，并由大脑分析，判断，做出采取进一步行动的决定。大脑是人的神经中枢，对人的思想和行动起作控制作用，因而很早就引起了人们的重视，科学家们对它的结构和原理进行了长期的、深入的研究，并在许多学科的理论研究和实际应用方面，如模式识别、信号处理、决策判断、组合优化作者简介：王家映(1 9 3 7 一)，男，教授，博士生导师主要研究方向为电磁法和地球物理反演理论。E m a i l：j Y w a n g c u g e d u c n 2 5 6工程地球物理学报(C h i n e s eJ o u r n a lo fE n g i
8、 n e e r i n gG e o p h y s i c s)第5 卷和工程应用，都取得了重要的成果L 1 。虽然，对大脑的研究至今已有近半个世纪的历程，但是，由于实验手段的局限性和人脑的特殊性，建立大脑模型，即人工神经网络(A r t i f i c i a lN e u r a lN e t w o r k，A N N，简称“神经网络”)，仍然是目前研究大脑神经行之有效的方法和手段。实践已经证明，A N N 是一项具有广阔前景，有着巨大理论价值和应用价值的新理论、新技术。A N N 在地球物理学中的应用，始于2 0 世纪的8 0 年代。开始阶段，主要研究A N N 在模式识别上的应用
9、，如亮点的识别，地震波初至的拾取，同相轴的追踪，位场特征的识别，电磁法曲线的分类，储层预测，烃源岩的测井评价 2 7 1 3 3 21；近年来，用A N N 求取地震波速度，用于直流电阻率法，大地电磁法，测井资料的解释和地震模型参数的反演方面也取得了骄人的成绩C s-l z ，发表了成百篇论文。可以说，今天A N N 已犹如天空升起的一个新星，受到地球物理学家的广泛关注。2 人工神经网络的基本知识人的大脑是由大量神经元按一定的结构连结而成的并行处理系统。而A N N，是对人脑的某种模拟、抽象和简化。具有高度的非线性映射能力、自组织和自适应能力、记忆联想能力等，能够进行复杂的逻辑操作和非线性映射
10、。它由三个基本要素组成：即神经元，网络结构和学习规则 1 矗2|。2 1 简单神经元模型神经元是构成神经网络的基本单位，也是神经网络的一个结点。它既是信息的储存器，也是信息的处理器。它对外界信息实行加工、处理、联想记忆、分类识别和储存。储存和处理方式不同，模型就不同。最常用的有M P 模型和连续模型。1)M P 神经元模型。M P 模型是M c c u l-l o c h P i t t s1 9 4 3 年提出来的，它是一个多输入单输出的非线性系统(见图1)。设某一神经元的输入为：工1=L 工l，X 2，z。j(1)它们相应的权值为：丁=山1，2，叫。若神经元的阀值为口，则输出Y 可表示为：
11、Y=1(E J z j 一口)=1(7 工一口)(2)J=l式中“1”表示单位函数，即图1 简单人工神经元的M-P 模型F i g 1M Ps t r u c t u r e0 fn e u r a lc e l l1(“)：1(“o(3)1 0(“O)可见M P 模型的特点是：多输入，单输出；阀值作用；输入与输出均为两态，0 和1(抑制、兴奋)；每个输入通过权值来表征它对神经元之耦合程度(若无耦合可取c c，i 一0)。2)连续神经元模型(图2)。“)贝H)ll。一F 一“J“。(a)阶跃函数(b)分段线性函数月H)1：歹一。一“贝)ID“(c)S 函数(d)恒等函数图2 连续神经元模型F
12、i g 2M o d e l so fc o n t i n u o u sn e u r a lc e l l反映神经元状态参数连续变化的情况，常用一阶非线性微分方程来模拟生物神经元膜电位随时间变化的规律，即r d T u(t)一础)+骞峨(4)l y()=f E u(t)3式中：r 为时间常数，口为静止膜电位，(“)为输入输出函数。它有4 种可能形式，如图2 所示，即一f1U 0，厂(“)一 o“乏oj 迅JXZ 第3 期王家映：地球物理资料非线性反演方法讲座(五)人工神经网络反演法2 5 7f1“M o厂(“)2j 删+bU l“U 0(5)10U “1厂(“)。干i 未i 而，(“)=
13、U2 2 人工神经网络结构网络结构是多个神经元按一定的规则，通过权重联结在一起的拓扑结构。不同的连接方式，构成了不同的网络结构模型，如回传(B a c kP r o p-a g a t i o n，B P)网络、前馈(f e e d f o r w a r d)神经网络(感知机)、自组织映射网络(S O M 网络)，H o p f i l d 网络，和随机网络等几十种各不相同的模型。其中最常用的是B P 网络。隐糸赧5k 硼曰f 1躐粼虿V?y 时黟n飞_ f石、图3 简单的人工神经网络结构F i g 3S t r u c t u r eo fs i m p l eA N N输入层中间层输出层
14、常用的神经网络，一般由输入层、中间层和输出层组成，如图3 所示。中间层又称隐层，隐层可以是一层也可以是多层。每层神经元的个数，完全由输入、输出数据的大小、精度和问题的性质而决定的。图4 是A N N 的几种常见的互连模式。其中(a)是双层侧抑制连接模式；(b)是多层前向反馈连接模式；(c)层内有互连的多层前向传播连接模式；(d)多层全互连接合型连接模式。显然，不同的连接模式就构成不同的神经网络。2 3 神经网络的学习规则人类只有通过学习，才会获得知识，增加才干。见多才能识广。同样，人工神经网络也是通过学习来调整网络之间的权系数，达到获取知识，增加才干，见多识广的目的的。因此，人工神经网络的学习
15、规则，实际上就是网络连接权的调整规则。神经网络的学习规则有多种，但几乎所有的学习规则都是由赫布(H e b b)学习规则演变而来的。1)赫布型学习规则(相关规则)；2)误差修正型学习规则；3)随机型学习规则；4)竞争型学习规则。不同的网络结构，有不同的学习规则，解决同一个问题也可以用不同的学习规则。在地球物理反演中最常用的是误差修正型(含回传(B a c kP r o p a g a t i o n)学习。由此看来，神经网络是一个高度复杂的非线性系统。虽然，每一个神经元的结构和功能都十分简单，但由大量神经元按一定规则所构成、并按一定的学习规则训练过后的神经网络系统却有着十分强大的自适应、非线性
16、、并行性的信息处理功能，能完成常规的计算机所不能完成的复杂的任务。其主要特征如下：1)信息处理的高度并行性；输出层输出层输出层输出层输入层(a)间层输入层输入层输入层(b)(c)(d)图4 人工神经网络的互连接构F i g 4C o-a d j a c e n tp a t t e r no fA N N中间层 2 5 8工程地球物理学报(C h i n e s eJ o u r n a lo fE n g i n e e r i n gG e o p h y s i c s)第5 卷2)信息处理和信息存储合二为一；3)能接受和处理模拟的、模糊的和随机的信息；4)具自组织和自学习能力；5)求的
17、是满意解而不是精确解。神经网络和常规计算机在处理对象和应用领域也是有区别的。从处理对象上看，神经网络适合于处理连续的、模糊的、随机的信息。从应用领域看，神经网络则主要应用于图象处理，语音识别，模糊判识，自适应控制，组合优化等方面。3人工神经网络在地球物理资料反演中的应用大家知道，地球物理反演实际上是将地球物理观测数据映射为模型参数的一种运算。这种映射既可以用模式识别的方式实现、也可以用数字的方式定量的实现。人工神经网络在反演中的应用，大多数是基于模式识别的原理，但近年来，也有学者从定量映射的角度将神经网络引入地球物理反演，并取得了成功。下面将要讲的基于B P回传理论和H o p f i e l
18、 d 网络而建立起来的反演模式，就是这两者的代表。3 1回传理论及其在地球物理资料反演中的应用1 1,3 3 1最基本B P 网络是如图5 所示的三层前馈网络，即输入层L A，隐含层L B 和输出层c 之间前向连接。通常B P 网络可以有多个隐含层，可以跨层连接，可以有单元自身的反馈连接，也可以有层内单元横向连接。图5三层前馈网络F i g 5D i a g r a mo ft h r e el a y e r sf e e d f o r w a r dn e t w o r k s设(A t，G)是第k 个输入、输出模式对(k=1，2，3，m)。其中，AI=(口，a ，口：)代表输入的观测
19、数据向量，C。=(c：，f!，c：)代表输出的模型参数向量，B。=(6 ，酏，醵)代表中间数据向量。L A 中有r t 个分量；而L。中有p 个分量；L c 中有譬个分量。从输入层到中间层的连接权为_ I，=，i=1，2，7 z；一1，2，户；从中间层到输出层的连接权为=，i=1，2，户；歹一1，2，q。和常规反演一样，基于B P 回传理论建立起来的反演方法，也要有目标函数。此时的目标函数定义为所有输入模式对上输出单元之希望输出与实际输出之误差的平方和。1J LE=音：(“一y。)2(6)正五其中E 为均方差，是网络的能量函数。C。为第k 个实际输出，Y。为第k 个期望输出。和常规的反演不同，
20、基于B P 回传理论，可将反演过程分为学习(训练)和反演(测试)两个阶段。先学习后反演。学习就是对网络进行训练。见多才能识广就是这个道理。在B P 回传学习过程中，又有正传和反传之分。首先，由输入(即观测值)和预先给定的连结权计算实际输出(即模型参数)，此即正传。如实际输出和理论输出一致，则学习终止；否则进入第二阶段，计算希望输出(即希望的模型参数)与实际输出之偏差，并将此偏差归结为连接权的“过错”，逐层向输入层方向逆向传播，将此偏差分摊给各层单元，并以此为依据调整相应的连接权。如此反复，直至希望输出与实际输出之偏差符合要求为止，这就完成了一次学习训练。根据在训练的过程中误差回传的方式方法不同
21、，回传又可分为：在线(O n l i n e)回传、批次(B a t c h)回传、D B D(D e l t a-b a r d e l t a)回传、快速(Q u i c k)回传和弹性(R e s i l i e n t)回传(R P R O P)等。用于训练的输入、输出模式对(如，C I)，是=I，2，m 越多，网络用于“测试”或反演的技能越高，效果越好。可见，基于回传理论，反演所需的大部分时间耗费在学习上，只要学好了，反演就费时很少。上面我们讨论了B P 回传学习的基本原理，下面我们再来研究利用B P 回传原理进行地球物理资料反演的基本步骤和必须注意的几个问题：1)结构设计。确定输入
22、层、输出层中神经元k 卜Lh 卜L 第3 期王家映：地球物理资料非线性反演方法讲座(五)人工神经网络反演法2 5 9(节点)的数目和类型；隐层的层数、类型、内部连接方式。一般采用三层模式：即输入、隐层、和输出三层。当然，设计者也可以根据要解决的问题的复杂程度、精度要求，以及设计人员的经验提出网络的设计。必须指出，在神经网络中，各神经元均采用0，1 编码形式。所以模型的参数(如速度，厚度等)以及观测数据(如振幅，时间等)都必须二进制化。把通常使用的十进制的数值，化为二进制编码；或者对它们归一化，以最大的参数或观测数据对相应参数或观测数据进行归一。使它们均处于 一1，1-之间。在归一化时，应该注意
23、各种物理量的量纲不同。2)训练。在B P 神经网络中，每一个节点的传递函数和与其它节点的连接方式都是设计者预先规定的，但是连接任意两个节点的连接权是未知的。就B P 网络而言，为使正传得以实施，必须从任意连接权的假设开始。所谓学习或训练，就是根据期望输出和实际输出之误差去调整输入层和输出层之间的各个连接权，以使期望输出和实际输出之间的差异达到最小。由于训练是使用模式对集的数据，训练结束后，必然有的模式对效果好，有的效果差。为了提高“反演”精度，有时还必须对网络进行再学习，或者在教师的指导、监督下学习。3)检查网络的可信度。用含有误差的数据输人神经网络，检查网络的实际输出和期望输出之间的偏离，来
24、估计可信度。4)推广应用，即反演。下面，我们将举例说明B P 网络在地球物理资料反演中的应用。例一、一维电测深曲线(V E S)的反演n4 1。选择几层网络，决定于所解决问题的复杂程度，和最终结果的要求精度。这里，对一维电测深曲线，我们选择只有一个隐层，1 8 个结点的三层网络，先用4 0 个6 层电测深曲线作为样本，对网络进行训练；训练好后，用1 0 个反演(即测试)样本、对网络进行测试，最后用1 7 个实测样本对网络进行反演。训练时，用批次回传法进行学习。图6 是迭代6 3 0 0 次的均方差图。可见，在迭代2 0 0 0 次以后，误差就变化不大了。图7 是4 0 个训练样本，1 0 个测
25、试样本和1 7 条实测曲线的均方误差图。从图7 可以看出，在训练时，除此而外3 7、3 8、3 9、4 0、几个样本外，其它样本的均方差大多数都小于0 0 1 5；而测试的误差，1 0 个样本都小于0 1 2；对实测曲线的反演，误差要大些，1 7 个样本，误差都在0 3 左右。为了让读者定量的了解用A N N 的反演结果，笔者绘制了图8，将A N N和常规反演方法的结果作了一个比较。图6 批次回传误差收敛情况F i g 6Ac o n v e r g i n gm a po fb a t c hf e e d b a c kn e t w o r k s(a)0 0 2 50 0 2 0gO
26、们5幽0 0 1 00 0 0 50 0 0 0(b)0 3 0O 2 49 0 1 8岫0 1 20 0 60 0 0(e)1 0 0O 8 00 6 0o七0 4 0【口1 II i II l I I lI l l16I I1 62 12 63 t3 6 4 0训练样本一I _ lt T rI 一-r r反演样本一III,IIIiII,i 一币I 一 2 6 0工程地球物理学报(C h i n e s eJ o u r n a lo fE n g i n e e r i n gG e o p h y s i c s)第5 卷V E Sc u r v eN Ni n v e r s i o
27、nr a n x e n t i o n a ln V e r S I O#；-：1：羹：；：k：ti；i；j，：，ZX_，一一7、L f：i饕2t!：j 一：l1 0l O O1 0 0 0E l e c t r o d es e p a r a t i o n m图8A N N 和常规反演方法反演结果对比AC o m p a r i s o nB e t w e e nA N Na n dC o n v e n t i o n a lI n v e r s i o n sI t e r a t i o n sI t e r a t i o n sI t c r a t i o n s图9
28、含不同隐层的神经网络训练均方误差(M S E)随遮代次数的变化(a)单隐层含4 0 0 个节点I(b)双隐含层分别含3 0 0，2 0 0 个节点j(c)三隐含层分别含2 0 0 1 6 0，2 0 0 个节点F i g。9T r a i n i n ge r r o r s(M S E)V Si t e r a t i o n sf o rn e u r a ln e t w o r k sw i t hd i f f e r e n th i d d e nl a y e r s(a)o n eh i d d e nl a y e rw i t h4 0 0N o d e s；(b)t w
29、 oh i d d e nl a y e r sw i t h3 0 0，2 0 0n o d e sr e s p e c t i v e l y(c)t h r e eh i d d e nl a y e rw i t h2 0 0，1 6 0 2 0 0n o d e sr e s p e c t i v e l y例二、用A N N 解释二维高密度电法资料 15。这里，对网络进行训练、测试的资料，均来源于二维有限单元的正演计算。文中计算了各种二维的块体、层状和断层模型的高密度视电阻率法数据。测量用了4 5 个(极距2 m)，单极一单极视电阻率数据为9 0 0 个，区域剖分为1 1 9x
30、1 0 的矩形网格，反演的参数为1 0 6 2 个。用于网络训练有来自1 5 4 个不同模型的数据集，测试集7 个。测试数据均未参加训练。图9(a)、(b)、(c)分别是一、二、三个隐层的网络的训练误差图。相对一维而言，二维地电断面要复杂一些，所以我们选用三层、四层和五层网络进行试验。其中三层网络中间隐层为4 0 0 个结点，四层和五层网络中间隐层分别为3 0 0、2 0 0，和2 0 0、1 6 0、2 0 0个结点。从图9 可以看出，三个隐层的网络比单隐层和双隐层网络的均方误差(M S E)要小、效果好，所以文中选定三个隐层的网络进行训练。一般说来，隐层愈多，训练的效果愈好，当然，所需训练
31、时间也愈长。大量的试验表明，R P R O P 训练算法好、收敛快、精度高，因此本文电阻率二维神经网络反演选择R P R O P 训练算法。选择了网络及训练算法便可对网络进行训练，图l O 是网络训练误差随迭代次数的变化，训练6 6 4 次收敛至目标精度误差为6 1 0，运行耗时约2 6 m i n(P e n t i u m41 5 GP C)。|j=j|I：=i 王_ 一一_ 第3 期王家映：地球物理资料非线性反演方法讲座(五)人工神经网络反演法2 6 1为了验证网络的训练效果，我们用了7 个没有参加过训练的，二维模型数据样本对之进行检验，图1 1 是检验的结果。在7 个样本中仅有一个的均
32、方差达到0 0 5 2，其它均在此期间0 0 2 1 以下，最小可达0 0 0 3 说明神经网络反演的训练效果良好。l O、oI t c r a t l o n s图i 0 电阻率二维反演网络训练误差收敛结果目标精度误差为6 i 0 4F i g 1 0T r a i n i n ge r r o r(M S E)o fn e u r a ln e t w o r kf o r2 一Dr e s i s t i v i t yi n v e r s i o nV Si t e r a t i o n sc o n v e r g e n c ec r i t e r i o ni s6 1 0
33、 4为进一步说明神经网络反演电阻率数据的效果，用两个模型合成数据对训练好的网络进行测试，并与传统的最小二乘法反演(反演软件R F S 2 D I N V)结果进行对比。图1 17 组测试样本经训练好的网络测试后的均方误差F i g 11M e a ns q u a r ee r r o r so ft h et r a i n e dn e t w o r kf o r7t e s ts e t s模型A、图1 2(a)为地下存在一个高阻和一个低阻异常体模型，大小均为l O m l O m，顶部埋深5 m。用该模型的合成视电阻率数据作为测试图1 2 地下存在一个高阻和一个低阻异常体模型示意图及
34、两种方法反演结果(a)模型示意图，(b)神经网络反演结果#(c)传统方法反演结果F i g 1 2S u b s u r f a c em o d e lw i t ht w oi n h o m o g e n e i t i e sa n di n v e r s i o nr e s u l t sb yt W Om e t h o d s(a)m o d e l I(b)r e s u l to fn e u r a ln e t w o r km e t h o d；(c)r e s u l to ft r a d i t i o n a lm e t h o dmm苫 2 6 2工
35、程地球物理学报(C h i n e s eJ o u r n a lo fE n g i n e e r i n gG e o p h y s i c s)第5 卷图1 3 组合模型示意图及两种方法反演结果(a)模型示意图；(b)神经网络反演结果，(c)传统方法反演结果F i g 1 3S u b s u r f a c ec o m b i n e dm o d e la n di n v e r s i o nr e s u l t sb yt W Om e t h o d s(a)m o d e l；(b)r e s u l to fn e u r a ln e t w o r km e
36、 t h o d；(c)r e s u l to ft r a d i t i o n a lm e t h o d集输入，对网络进行测试，网络输出的反演结果如图1 2(b)所示。可以看出，高、低阻异常体的位置、形态和电阻率值与实际模型非常接近，与传统反演方法结果(图1 2(c)比较，神经网络方法反演效果更好。模型B、图1 3(a)为一个6 m 6 m、顶部埋深5 m 的低阻异常体和垂直断层组合模型示意图，断层位于z 一4 m 处，从z 一7 m 延深到z 一1 2 m。用神经网络方法和传统最小一乘法反演该模型的合成数据，结果如图1 3(b)，1 3(c)。其中，图1 3(c)对浅部低阻异常体
37、的勾画非常模糊，断层结构则反映为斜坡。而神经网络方法能得到较精细结构，低阻异常体及断层构造反映明显。这里需要特别提到的是，在神经网络训练集中没有类似的组合模型，只有块体、层状模型和断层模型。该模型的反演结果说明，通过足够多简单模型的数据集训练，网络能够反映更为复杂模型与其合成数据之间的非线性映射关系。这对实际数据的神经网络反演非常重要。因为实际地下结构总是比想象的要复杂。和所有反演问题一样，基于回传理论的反演方法，也有收敛于局部极小的问题。将B P 网络应用于反演的最大优点是网络一旦训练成功，就可以一劳永逸，既能解决各种复杂的非线性问题，又能有效地克服了常规反演方法之不足。为了确保学习过程既收
38、敛也省时，有的学者 3 叩将其它反演方法，如梯度法、吉洪洛夫的正则化算法、遗传算法、模拟退火法等应用于学习过程，较好的实现了全局寻优。3H o p f i e l d 网络及其在地球物理资料反演中应用1 9 8 5 年，霍普菲尔德(J J H o p f i e l d)和塔克(D W T a n k)建立了互相连接型神经网络模型m 1 1。15 1 6 。在H o p f i e l d 网络中，每一个神经元都和其它神经元相连接，所以又称为全互连接网，神经元之间的连接权满足i=0(i=1，2，N)目=i(i，J=1，2，N)(7)式中：N 是神经元的个数。在离散H o p f i e l d
39、 网络中，如图1 4 所示，口，口：，u N 为神经元i 的输入，它们对第i 个神经元的影响程度用连接权硼d，硼，硼w 来表征 第3 期王家映：地球物理资料非线性反演方法讲座(五)人工神经网络反演法2 6 3图1 4 离散型H o p f i e l d 网络中神经元工作原理F i g 1 4AP r i n c i p l eD i a g r a mo fN e u r a lC e l lf o rD i g i t a lH o p f i e l dN e t w o r k夙为神经元的阈值，7，为其输出，则有：N让=s g n(硼#口，一良)=s g n(D t(f)莓j这里，用于
40、一维、而且可以应用于二维和三维，不仅可用于解决线性、而且可以解决非线性问题。能否将H o p f i e l d 网络的能量函数和地球物理最优化问题的目标函数联系起来，找到地球物理反演问题中的模型(优i，i 一1，2，N)、核函数G(i=1，2，M，J 一1，2，N)在神经元稳定输出状态下，和神经元诸要素(如神经元的输入、输出和它们之问的连接权等)之关系，是H o p f i e l d 网络能应用于最优化的关键。H o p f i e l d 网络的能否在地球物理反演中应用的另一重要问题是，如何将十进制形式表达的地球物理的模型参数表示为适应H o p f i e l d 网络运算的需要(比如
41、说二进制)的形式。为明了起见，而又不失一般性，下面，我们将以前面几章中讲述的线性反演问题为例，对上述两个，。、问题加以说明。设有目标函数：ND i()=硼F 口，一只(9)篆；显然，H o p f i e l d 网络是一个多输入、单输出、带阈值的二态非线性动力系统。且v i(t)5 oD i 一 姜0n 定义H o p f i e l d 网络的能量函数为：一N NNE=一万1 叫口。口+只口。(1 1)_i=1j=】i=1i j则其变化量为：-，Nz a E i=一兰口j=u i(一硼d 口+谚)(1 2)d 口i、：=7j如设口f 一让()一让(一1)。这里O i(一1)为前一时刻之输出
42、，U i(f)为此时之输出。由(8)式不难看出 O i 只能为0 或1。若血i O，就意味着让(一1)=0，而让()=1。由(1 0)式可知，此时D 0，根据(1 2)式必然有E j 0。结论是，在H o p f i e l d 网络迭代过程中，总有E i 0，网络总会收敛到能量极小的状态。换言之，计算能量总是不断地随第i 个神经元状态的变化而下降。同理，可对其它神经元的状态变化作类似的分析。研究表明，H o p f i e l d 网络可以成功的应用于解决科学和工程中的最优化问题。不仅可以j I 一丢(巩一瓯优，)2_=Ii=1一一丢妻妻I-妻瓯G 丘 优m。扣1 锚净1一妻I-万1 M 皖
43、优i+M 瓯d。lm i+告斫(1 3)如果模型n i(i 一1，2，N)是由0 和1 组成的序列，将式(1 1)和式(1 3)L-t；较，就可发现：如设，矾2m i疗=一l 一告皖优i+皖d。J一=1=1(i 一1，2，N)(1 4)rM蛳=L 一瓯G。j；1一M除常数项百1 斫外，则二式完全相似。而常一k=1数项在微分的运算中是不起作用的。如果模型参数已是用0 和1 表示的随机的或确定的二进制序列，则可对(1 3)式极小，直接求得 v i，即,i。如果模型参数是十进制表达式，则在反演之前，还必需将十进制表达形式的模型参数加以改变，变为二进制表达式，即Um i=2 J B d 一2 u B(
44、i=1，2，N)(1 5)式中：B i=0；D 和【，是分别取决于模型参数的精度和大小的整数；而B 在数值上等于1。方程 2 6 4工程地球物理学报(C h i n e s eJ o u r n a lo fE n g i n e e r i n gG e o p h y s i c s)第5 卷(1 5)式，可以看成模型m i(i=1，2，N)拥有D+U+1 位字长的二进制表达式。将(1 5)式代人(1 3)式，则得：NUNU 广M1乒=一告【一2 晌G 瓯j。i=1m=一DJ 一1 p D=1NU厂M既B，一【一告(2”G 茸)2 B。f=1 州=一D_I=1MM f+(2”G 茸)巩+(
45、2 批。G 茸)t；1；1j=11BJ B。+口(1 6)式中口是与模型无关的常数项。比较(1 6)式和(1 1)式可以看出，除口以外，两式具有相同的形式。如果设口妇=B 妇(1 7)MT j。=一2 酬G,i G 酊(1 8)LI=l一MM0。一一卜专2“G 毛B。+(2 4 G 矗)以L。I=1h=1MM+(2 删瓯G 蚵)B(1 9)=1j=1一式中，当(i，m)=(歹，刀)时，L 加=0。在这种条件下，(1 1)式变为：NUNUE 一一丢T 叫。口钿口加。i=lm=一D j=1 p DNU+v。0。(2 0)j=1 P D到此为止，我们已详细地论述了在地球物理反问题中应用H o p f
46、 i e l d 网络的所遇到的两个关键问题。下面，让我们分析一下，利用H o p f i e l d网络进行线性反演的主要步骤。第一步，根据已知地质、地球物理信息，确定地球物理模型参数(如厚度、速度、密度、电阻率等)之可能变化范围，并根据初始模型参数的变化范围和精度，确定表征它们的U，B，B i，(i=1，2，N；f=1，2，(D+N)和B。第二步，根据初始模型计算的核函数瓯(i=1，2，M；j=1，2，。N)和上一步骤确定的U，D，B。按(1 7)(1 9)式计算第i 个模型参数相应的(D+U)个神经元之输人口西(i=1，2，N，砣=1，2，(己，+D)，神经元之间的连结权T 面抽(i，J
47、=1，2，N；m，7 =1，2，(【，+D)，以及阈值(i=1，2，N，m=1，2，(U+D)等进行H o p f i e l d 网络运算。计算每个模型参数，m i，(i=1，2，N)对应的(U+D)个神经元之输出(i 一1，2，N；m 一1，2，(U+D)。第三步，根据计算的输出口。，按(1 7)式求出B。，再由已经得到的U，D 和B 计算第i 个参数之值。第四步，按(1 6)式计算拟合方差，I 的值，如j l值小于给定的某一正数e，则将第三步求得的模型参数作为反演结果，否则重复第一到第三步运算，直至符合要求为止。1 D M TA N N 反演图1 5C O P R O D IM T 资料
48、A N N 反演法和其它三种方法效果之比较F i g 15Ac o m p a r i s o nm a pf o rr e s u l t sf r o mC O P R O D M Td a t ai n v e r s i o nb yu s i n gA N Na n do t h e rt h r e ed i f f e r e n tm e t h o d s图1 5 是用H o p f i e l d 神经网络反演C O P R O D IM T 资料的结果 27|。图中列出了四种一维反演方法(N e u r a lN e t w o r k 法，M i n i m u mC
49、r o s s E n t r o p y(M C E)法，B o s t i c k 法和J o n e sa n dH u t t o n 法)反演同一条M T 曲线的对比结果。可见，A N N 法结果还是比较令人满意的。用H o p f i e l d 网络进行地球物理资料反演时，虽然它能确保收敛，但和常规反演一样，也会遇到收敛于目标函数局部极小的问题。因此，初始模型的选择对反演结果关系很大，应该尽量使初始模型逼近待求的真实模型，这样既可以减少计算时间，又可避免陷入局部极小。当然，也可以用按Y Z h a n g 2 7 和W a n g 2 8 引人正则化H o p f i e l d
50、 网络的思路，克服了这一缺陷。Y Z h a n g 和W a n g并将它应用于地震反褶积和1 d、2 d，甚至M T 资料的反演，取得了成功。由此可见，将H o p f i e l d网络用于最优化还有着巨大的潜力。参考文献：D 3 靳蕃，范俊波，谭永东神经网络与神经计算机原理应用 M 3 成都：西南交通大学出版杜。1 9 9 7 第3 期王家映：地球物理资料非线性反演方法讲座(五)人工神经网络反演法2 6 5 2 杨斌肖慈询，王斌，等基于神经模糊系统的储层参数反演口 石油与天然气地质，2 0 0 0，2 1(2)：1 7 3 1 7 6 3 刘争平，何永富人工神经网络在测井解释中的应用