《电力燃料生产精确控制的研究和开发.pdf》由会员分享，可在线阅读，更多相关《电力燃料生产精确控制的研究和开发.pdf（165页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、同济大学软件学院硕士学位论文电力燃料生产精确控制的研究和开发姓名：钟泉华申请学位级别：硕士专业：软件工程指导教师：穆斌;金伟祖20070301摘要火电厂是我国的主要能源行业之一，在我国现有的能源体系结构中，占据了7 嗍以上的份额。降低火电厂燃料的消耗量，不但能有效地减少生产成本，还能极大地改善环境。对于正在以节约环保型为建设目标的中国社会而言，意义尤具重大。一本课题立足于现有火电生产控制系统，研究电力燃料生产的精确控制。现有电力生产控制技术的最大弊端是控制粗糙，按照经验，依赖人工进行生产控制；研究工作力图在生产中加强控制的反馈检测机制，并通过对已有数据的分析，引入神经网络学习机制，针对不同的检
2、测指标，采取相应的控制步长，实现控制的精细化和自动化。本项目实施以来，已为电力生产企业获得了可观的经济和社会效益本文从分析介绍当前我国火电生产的现状出发，总结出燃料燃烧的本质，紧紧抓住锅炉燃烧这个核心环节，实现控制方式的转变，提出了有效的优化燃料控制模型，将检测和控制限制在少数几个核心参数上，使得模型具有极好的工程实施性。根据生产精确控制的流程，分别详细介绍了生产数据的采集、生产状况的检测和生产控制的设计。重点介绍了生产调度监测服务器如何利用数据采集器采集到的电站锅炉实时工作数据进行分析判断，从而优化电力生产控制，实现了对电力燃料的生产精确控制。同时本文还试图通过创建企业小型数据仓库，利用数据
3、挖掘技术为企业的经营决策提供有益的帮助。在代码实现部分，详细介绍了数据采集的通讯控制方法，相关业务流程的算法。关键词：电力生产，数据采集，小型数据仓库，数据挖掘A b s t r a c tF i r ec l c e t r i e i t yf a c t o r yi so n eo ft h el e a d i n gc n e r g yS O U l r C ei n d u s t r i e si nC h i n a I th o l d sm o r et h a n7 0 q u o t i e n ti nt l a cc u a 枷e n e r g yS O l
4、t l l r C Ci l f f 傩l r u e t u r c R e d u c i n gt l a ec o n s u m p t i o no ft h ef u e li nf i r ee l e c t r i c i t yf a c t o r yC a l ln o to n l yr e d u c et h ep r o d u c t i o nC O S tc f f c e t i v e l y,b u ta l s og r e a t l yi m p r o v ct l a ec m,i r o n m e n t T h i si n l l
5、 k c sg r e a ts c n s ce s p e c i a l l yt oC h i n as i n c eO U rs o c i e t yi sa i m i n g 砒d e v e l o p i n gf r u g a l l ya n dp r o t e c t i n ge n v i r o n m e n t T h i s 飘I b j e c ti se s t a b l i s h e di nt h ec u r r e n tf i r ee l e c t r i c i t yp r o d u c t i o nc o n t r
6、o l$y s I c l r e s e a r c h e st h ea c c u r a t ec o n t r o lf o rt h ee l e c t r i cp O W C l rf u e lp r o d u c t i o n T h cb i g g e s ts h o r t c o m i n gf o rp r e s e n tc l e c t r i ep O W C l rp r o d u c t i o ne o a t a o lt e e l m o l o g yi st h er o u g hc o n t r o l，m a n
7、u a lc o n t r o l,d e p e n d i n go ne x p e r i e n c e T h i ss u b j e c tr e s e a r c hw o r k st h ef e e d b a c kd e t e c t i o nm e c h a n i s mf o rr e i n f o r c i n gc o n t r o li nt h ep r o d u c t i o n A n dt h e nt h r o u g ht h ea n a l y s i so fe x i s td a t a,i m p o r t
8、 st h eN Nl e a r n i n gm e c h a n i s m，a i m sa td i f f e r e n te x a m i n ei n d e x，a d o p t sr e l a t e de o n l r o ls t e p f i n a l l yr c a I j z c st h er e f i n e da n da u t o m a t i cc o n t r 0 1 I th a sg o tr e m a r k a b l cb e n e f i tf o rb o t he c o n o m ya n ds o c
9、 i e t yi nt l a cc l c e t r i ep O W C：I p r o d u c t i o ni n d u s t r ys i n c et h i sp r o j e c tb r o u g h ti n t oe f f e c t T h i s 弘l P 贸S l a l l Sf r o mt l a ca n a l y s i sa n di n t r o d u c t i o no ft h ec u r r e n tf i r ec l e e t t i e i t yp r o d u c t i o ns i t u a t
10、i o ni n0 1 1 1 e o t m t r y,s u m s 印t h eb u r n i n gR a t U l o ft h ef u e l f i r m l yc a t c h e sh o 埘o ft l a ch a r d e o r c8 Sb o i l e rb u r n i n g,r 醐t l i T e St h et r a n s f e ro fe o n l z o lm e c h a n i s m I t p u t sf o r w a r de f f e c t i v em o d e lf o ro p t i m i
11、z i n gf i l c lc o n t r o l,t h a tm c a l l s,l i m i tt h ed c t e c t i O na n dc o n t r o lw i t h i n 蕾唧c o t ep a r a m c t c r s,t o 舶l a I【et h em o d e lb e t t e rf o rp r o j e c ti m p l e m e n t A e c o r c l i n gt ot h ep r o d u c t i o na c o l r a t ec o n t r o lp r o c e s s,
12、t h i sp a p e rs e p a r a t e l yi n t r o d u c e sp r o d u c t i o nd a t ac o l l e c t i o n,p r o d u c t i o ns i t u a t i o nd e t e c t i o na n dp r o d u c t i o ne o n 舡j o ld e s i g ni nd e t a i l I tm a k e sap o i n to fi n t r o d u c t i o nh o wp r o d u c t i o ns c h e d u l
13、 ed e t e c t i o ns c l r v c l ri 1 1 s e st h ec l e e l r i es t a t i o nb o i l e rr e a lt i m ed a t ac o l l e c t e db yt h ei n s l m m e n to fd a t ag a t l a c rt oa n a l y z ca n d 髓缸m a t c，t h e r e f o r eo p t i m i z ec l c e t r i cp O W c l rp r o d t m i o ns y s t e ma n dr
14、e a l i z et h ep r o d u c t i o na c c u r a t ec o n t r o lf o re l e c t r i cf u e l A tt h es a m ct i m e,t h i sp a p e ra l s o缸j 髓l om a k el 辩0 fd a t am i n i n gl e c h n o l o g yt h r o e g he s t a b l i s h m e n to fe n t e r p r 曲s m a l ld a t aw a r e h o u s ei no r d e r 幻p r
15、 o v i d ep r o f i t a b l eh e l pf o re n t e r p r i s e sm a n a g e m e n la n dd e d s i o n I nt h ep r o g r a mi m p l e m e n tp a r t,i n t r o d u c e st h ed a t ac o l l e c t i o n sc o m m u n i c a t i o nc o n t r o lm e t h o da n dt h ea l g o r i t h mf o rt h er e l a t e db u
16、 s i n e s s K e yW o r d s：P r o d u c ee l e c t r i c i t y,d a t ac o l l e c t,m i n i t y p eD a t aW a r e h o u s e，d a t am i n i n gH I学位论文版权使用授权书本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如卜各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、手l 描、数字化或其它手段保存论文；学校有权提供目录榆索以及提供-本学位论文全文或者部分的阅览服务；学校有权按有关
17、规定向困家有关部l、J 或者机构送交论文的复印件和电子版；在不以赢利为l j 的的前提F，学校呵以适当复制论文的部分或全部内容用于学术活动。学位论文作者签名：红晦q 4五曰年7 月7 口经指导教师同意，本学位论文属于保密，在年解密后适J f j本授权书。指导教师签名：年月日学位论文作者签名：；7，毒彳川年7 月7 曰同济大学学位论文原创性声明本人郧再声明：所呈交的学位论文，是本人在导师指导卜，进行研究：1：作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明
18、确方式标明。本学位论文原创性声明的法律责任山本人承担。签名：年月日第l 章绪论1 1 论文背景第1 章绪论电力工业足一个刚家的基础工业和公共事业，它在困民经济中占彳_ 批常霞婴的地位。在过去的3 0 年日J，全球电力生产的规模扩大了两倍，国际能源机构(I E A)预计在未来3 0 年全球电力生产将进一步翻番。尤其在发展中嗣家电力乍产增长的速度更快，其中包括我国在内的亚太地区电力，七产将娃著加快。其中火电I 据了伞球电力，皇产的一半左右，而火电又以燃煤发电为毛，即使到了2 0 3 0 年燃煤发电仍将占4 0(见文献 1 )。就我 日大陆地区而苦：2 0 0 5 年火电占令因电力的比重高达8 1
19、5；2 0 0 5 年F 包力一L：业耗煤约l l 亿吨，占全幽煤炭产量的5 0 以上，而我国电力：【：业r-均供f 乜煤耗与1 9 9 9 年世界先进水平相蓐约5 0 9 K W h(见文献 2 )。又以2 0 0 6 年为例，我 目发电虢的8 3 是火电，7 7 装机容量是火电(见文献 3 )。由此I 叮见，火电棒能人f f I 叮为火电生，舡足将煤、石油、天然气等能肇转换为电能的过程。这种能f t =的转换构成了火f 乜厂，t z 产和经营的一E 要内容。山于火电生产的主要原料是燃料，W此燃料的供应年符理就构成火电生产的霍婴环竹，b 日时义凼其消耗f I t 丈、费用岛而成为I 乜力氽业
20、牛产经营管理的一个重要组成部分。本文只就其中的电力燃料生产的精确控制部分进行研究。1 2 火电生产自动化发展历史我困自1 9 5 3 年丌始第一个矗年计划建设至今，矗十年来，我因火电技术的发展和进步非常快。以火电厂主机组束说，2 0 世纪5 0 年代初，从我国制造出第一台中温中压(4 M P a、4 5 0 C)的6 1 4 W 汽轮发电机组丌始，在原苏联技术的支持F。不断创新!E 产出高温高压(1 0 1 4 M P a、5 5 0)的5 0 M W、I O O M W、2 0 0 M W 汽轮发电机组；8 0 年代又在美国技术的支持下，生产出亚l 临界(1 7 M P a、5 5 0)的3
21、 0 0 M W、6 0 0 M W 汽轮发电机组；进入2 I 世纪以来，在与国外厂商技术合作的第l 章绪论前提下，生产出超临界(2 4 M P a、5 5 0 5 7 0)的6 0 0 M W 汽轮发电机组。同时还成套进r 1 了9 0 0 1 0 0 0 M W 的汽轮发电机组的电厂(见文献 4 )。随着t 机组技术的发展火电厂自动化技术也取得了巨大的发展。纵观整圈内整个外火电控制系统的发展历程，主要经历了以下几个阶段：1 模拟仪表控制系统。它在六七f 年代占差导地位。其显著缺点足：模拟信号精度低，易受干扰。现在它在工业控制领域已基本被淘汰。2 集I l 式数字控制系统。它在七八十年代占了
22、主导地位。它采用罄片机、P I,C、S 1 c 或微机作为控制器，控制器内部传输的数字信号，系统的抗十扰能力彳J 所提-茼。其优点是易于根掘哞=局情况进行控制计算和判断，在摔制方式、控制H 寸机的选择上=t 叮以统。调度和安排：不足的是对控制器本身要求很高，必须县有足够的处理能力和极高的町靠性，当系统任务增加时，控制器的效率和呵锥性将急剧F 降。3 集散拧制系统(I)C S)。它于八九干年代I 吁主导地位。其核心思想足集巾管理、分散控制，即管理和控制褶分离，上 =机用j：集中监视管理功能，若F机卜放分别实现分布式控制，各七F 位机之f J 用控制嘲络U 连以实现榭J：之f H J的信息传递。冈
23、此，它克服了集巾式数字控制系统中埘控制器处删能力和l U 铝性要求衙的缺陷。在集散控制系统中，分布式拧制思想的实现得菔：网络技术的心川和发腱，f 才i 同的I)C S 厂家为达到肇断经营的 l 的而对其控制通讯I 叫络采J H 备f 妒崩的封闭形式，不同J 家的I)c s 系统之间及D c s 与卜导f n t r a n e t、In t e r n e t 信息网络之问难以实现网络，f 联和信息共事。它是一个由过程控制级和过程监控级组成的以通信网络为纽带的多级计算机系统，综合了计算机、通讯、显示和控制等4 c 技术，其基本思怨是分散控制、集中操作、分级管理、配置灵活、组态方便。I)C S
24、具钉以卜特点：商町靠性、J 1：放性，灵活性、易于维护、控制功能齐伞。从功能I：看，流程工业C I M S 中的生产自动化系统、动态监控系统和在线质毓控制鄙町以山I)C S 实现。从流程：亡业C I M S 的层次结构看，I)C S 主要担负过程控制和过程优化任务，有哆生产调度和生产管理工作也可在I)C S 上完成。4，现场总线控制系统(F C S)。它现存刚刚兴起不久，它脚现场总线这一。J r放的，具有町。，1：操作的网络将现场和各控制器及仪器设备，t 连，构成现场总线控制系统，同时控制功能彻底F 放到现场，降低了安装成本和维护费用。叫此，它是种厅放的、具有可操作性的、彻底分散的分钷式控制系
25、统，有翅成为将2第1 章绪论来控制系统的王流，2 品(见文献 5 3)。1 3 研究内容I 乜力燃料生，电精确控制系统是江谣省电力燃料综合管理信息系统的一。个曛婴组成f；l；分，它以计铎机嘲络为依托，以信息体化为准则，以 i i：I!t i I 乜嘲发供电氽、I k i 1。1 7 机管理信息系统总体设计与数据规划舰范、电力企业计算机僻理信息系统建设导i j l,l、江西省电力企业管理信息系统 标准、i l：眄省F 乜力调度通信局管理信息系统总体设计方案、江西省电力燃料公r d 天+j：对各火电实行燃料随供的方案、火电，一燃料概况等业务需求为壤擗 ，以江西省电力公司管理信息系统为不同平台应用系
26、统的数掷：为璀础，个过私i I 【控|1 常电力乍产的全过程，实时进行电力牛产的燃料控制、过程监控、顶臀提示、I 4 动调整为 _|标，通过对电力生产过程的卡日关要索进iJ 分析验b F，达N I P,i 控、预警和调整的全面自动化的目的，从向实现电力，E 产过程I I I 燃料铃爿!的J l,i f l l l 化。一本文的 标是，结合电力，卜产的现状和业务需求，设计一个较为合理的I U力燃料乍J“i；i 确控制系统，利用数捌采集的相关技术对火电锅炉I：作状态的实时：I：f 控，斤充分利用采集到的q c j“历史数据进彳j：数据挖掘为领导决策摊蚀合理的科学依捌。本文卜要介绍以下儿部分：1 1
27、 U 力燃i：l l-：k 二精确控制系统使刚的相关技术2 电力燃料乍产精确控制系统的研究内容3 电力燃料生产精确拧制系统的设计4 电力燃i=H-：产精确控制系统的实现5 f 乜力燃料生产精确控制系统的关键技术与算法1 4 文章组织本文的组织结构如F：第章，介绍系统的研究背景、历史发展状况、研发内容和文章的组织等。第一章，介绍本系统所用到的相关技术。包括数掘采集技术，数据仓库技术，数据挖掬l 技术、数据挖掘算法、网络通讯技术、生产控制技术的榭_ 父理论3第l 章绪论j l I 谚。第一i 奄，介绍电力燃料生产精确控制的研究内容。包括电力b 产的原理、电力乍产I f l l f 笳的卜要问题、火
28、电生产的基础控制、系统功能闩标。第叫章，根搠q k 务需求对电力燃料，七产精确控制进行设计。包括燃烧模J 矬的建证、系统结构的设计、各桐应+作予系统的设计及数扣：层的设计。第f 1 搴，介绍系统如何具体实现的过程。包括数据采集、生产调度髓测，卜J“控制、辅助决策等功能的实现。第八蕊，对系统实现的关键技术与算法进行必要的描述，说明符业务系统中十H 应过程实现的父键技术与算法、数据抽取一I：具的选取、公用组件的，r 发等。筇七章，结论和进一步的I：作。1 5 本章小结本章卜要介绍了课题背景，电力，1 i 产控制技术发展的历史发鹱过程，奉文研究的内锌，涉及的技术及义章的组织等。4第2 章相芙技术2
29、1 数据采集技术概述第2 章相关技术数掘采集，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数掘采集系统是结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。在计算机广泛应用的今天，数据采集的重要件是t 分显著的。它是计算机与外部物理世界连接的桥梁。各种类型信号采集的难易程度差别很大。实际采集时，噪卢也可能带来一些麻烦。1 数据采集原理数捌采集主要有采样频率、抗混叠滤波器和样本数等采集参数。假设现存对一个模拟信号x(t)每隔t 时f H J 采样次。时f H J 问隔At 被称为采样H J 隔或者采样周期。它的倒数1 At 被称为采样频率，单位足采样数每秒。
30、t=O，A t，2 t，3 A t 等等，x(t)的数值就被称为采样值。所仃x(0)，x A t)，x(2 A t)都是采样值。下图显示了一个模拟信号和它采样后的采样值。样I I J 隔足t，注意，采样点在时域上足离散的。如图2 1：r 弋够掣l幽2 1 模拟信号币I 采样显示如果对信号x(t)采集N 个采样点，那么x(t)就可以用下面这个数列表示：x(0)，X(A t)。X(2 A t)，X(3 t)，x(k t)，这个数列被称为信号X(t)的数字化显示或者采样显示。注意这个数列中仅仪用下标变量编制索引，而不含有任何关于采样率(或At)的信息。所以如果只5第2 章相父技术知道该信哆的采样值，
31、并不能知道它的采样率，缺少了时f B J 尺度，也不町能知道信号x(L)的频率。根据采样定理，最低采样频率必须是信号频率的两倍。反过来说，如聚给定了采样频率，那么能够l F 确碌示信号而不发q 畸变的最大频率叫做恩夸斯特频率，它是采样频率的一半。如果信号中包含频率高于条李斯特频率的成分信哆将存汽流和恩奄斯特频率之日J 畸变。图2 2 和图2 3 显示了个信号分别j 1 合适的采样率和过低的采样率进，采样的结果。采样率过低的结果足还原的信号的频率看上去与原始信号不同。这种倍弓畸变叫做混叠(a li a s)。出现的混频偏差(a l i a sf r e q u e n c y)是输入信号的频率和
32、最辖近的采样率鹅数倍的差的绝对值。A d e q u a t e l ys a m p l e ds l g n a，7 V V 么7 V、：淤A h a s e c ls i g n a ld u et ou 1 1,d e r s a n i p h r l g幽2 2 不同采样率的采样坌i l i 果A d e q u a t e l ys a m p l e ds I g n a l夕咖V 加汰A h a s e ds t|g n a ld u et ou n d e r s a m p h n g倒2 3 不阿采样率的采样结果图2 3 给出了一个例子。假设采样频率f s 足I O O
33、 B Z，信号中含有2 5、7 L，1 6 0、和5 i O t l z 的成分。6舭第2 章相关技术N y q u i s tF r e q u e n c yS a m p l i n gF r e c l u e n c y幽2 4 说明混叠的例子采样的结果将会是低于奈奎斯特频率(f s 2=5 0H z)的信号可以被币确采样。酊频率高于5 0 t l Z 的信号成分采样时会发生畸变。分别产生了3 0、4 0 和l oH z 的畸变频-率I?2，F 3 和F 4。计算混频偏筹的公式是：混频偏蔗=A B s(采样频率的最近整数倍一输入频率)其巾A B S 表示“绝)时值”，例如：混频偏蔗F
34、 2=l1 0 0 7 0 =3 0H z混频偏麓F 3=|(2)1 0 0 1 6 0 I=4 0H z混频偏蔗F 4=l(5)1 0 0 5 1 0 I=l OH z为了避免这种情况的发生，通常在信号被采集(a o)之前，经过一个低通滤波器，将信 寸中高于奈套斯特频率的信号成分滤去。在蹦2 4 的例子中，_ 这个滤波器的截I ：频率自然足2 5 t l z。这个滤波器称为抗混覆滤波器。采样频率应当怎样设置呢?也许你町能会首先考虑用采集忙支持的最人频率。但是，较长时间使用很高的采样率可能会导致没有足够的内存或者硬盘存 f 数掷：太慢。理论上设置采样频率为被采集信号最高频率成分的2 倍就够了，
35、实际l：j 翟中选用5 l O 倍，有时为了较好地还原波形，甚至更高一蝗。通常。信号采集后都要做适当的信号处理，例如F F T 等。这!B 对样本数义有一个要求，一般不能只提供一个信号周期的数掘样本，希望有5 1 0 个胤期，共伞更多的样奉。并且希望所提供的样本总数是整周期个数的。这罩义发7 E 个困难，有时我们并不知道，或不确切知道被采信号的频率，因此不彳采样率不：定是信号频率的整倍数，也不能保证提供整周期数的样本。我们所有的仅仅足一个时问序列的离散的函数X(n)和采样频率。这是测量与分析的唯一依戤。7第2 章相关技术N y q u i s tF r e l u e n c y0 0幽2 5
36、 数据采集系统结构图2 5 表示了数据采集的结构。在数据采集之I j ，程序将对采集板卡初始化，板卡I：和内存中的B u f f e r 是数据采集存储的中间环节。需要注意的眄个问邀足：足行使用B u f f e r?是否使用外触发启动、停止或M 步个操作?2 数掘采集设备根捌数粥采集原理，设计制造的一种数据采集设备，主要功能是通过通信端I j 传感器进行连接，将传感器采集到的模拟信号，通过A D 转换为数信号，从而实现数捌采集功能的一种设备。一般情况下数掘采集卡的使用还需要肿1 应的应用软件实现其数掘采集处理助能。在本系统r -我们利用多串口数据采集卡对牛产过程的数拂：进行实时数掘采集，J
37、f=j|过 二化机把电力生产数捌采集到尘产调度服务器的数撕：库中。通过任，卜产调度服务器I 二安装多串r 设备，服务器上运行多串 数据采集软件，通过多串l _ 1 直接采集现场多套D C S 生产过程数据，实现了生产过程中电力燃料数捌的实时采集。2 2 数据仓库技术概述2 2 1 数据仓库的概念采集数据不是最终的t 作日标，而是作为一个监测手段。对于。个系统而i i，在生产过程中时时刻刻都会产生一砦新的数据，长年累月下来那么其数据量镀然足非常巨大的。如何充分有效地组织和管理这些数据就成为了一个问题，这就需要用到数据仓库技术。日酊，数据仓库一词尚没有一个统一的定义，著名的数据仓库号家8第2 章相
38、芙技术w H In m o n 在其著作(B u i1d ir i gt h eD a t aW a r e h o u s e 一书中给予如下描述：数掘仓库(D a t aW a r e h o u s e)是一个面向主题的(S u b j e c tO r i e n t e d)、集成的(J n t e g r a t e)、相对稳定的(N o n V o l a t il e)、反映历史变化(T i m eV a r a n t)的数据集合，用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析璀数据处理，它不同于氽业现仃的操作喇数掘库；其
39、次。数掘仓库是对多个异构的数据源有效集成，集成后按照t 题进行了重组，并包含历史数据。而且存放在数据仓库中的数据。般不阿修改。根据数据仓库概念的含义，数掘仓库拥有以下四个特点：l、晤向 题。操作型数据库的数据组织画向事务处理任务，各个业务系统之n q 各自分离，而数据仓库中的数据是按照一定的主题域进行组织。一t 题足一个抽蒙的概念，是指用户使用数掘仓库进行决策时所关心的晕点疗晒，一个毛题通常j 多个操作璎信息系统相关。种2、集成的。面向缸务处理的操作型数捌库通常与某些特定的应用十H 天，数据库之H J 牛H I：独立，并且往往是异构的。m i 数据仓库中的数据是在对原行分跨虹*的数据库数搠抽取
40、、清理的摹础上经过系统加工、汇总和整理得到的，必须消除源数捌q，的小一致性，以保证数掘仓库内的信息足关卡整个企业的敛F J 令硒信息。接，3、榭时稳定的。操作犁数掘库中的数锕通常实时更新，数掘根掘需要及时发乍变化。数据仓库的数据t 要供企业决策分析之用，所涉及的数就；操作卜要足数据霞洵，一旦某个数掘进入数据仓库以后，一般情况下将被长期保尉也就足数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常j 需要定期的加载、刷新。、4、反映历史变化。操作型数据库丰要关心当前某一个时日J 段内的数据。丽数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如丌始麻J l】数掘仓库的时点)到
41、H|j 的各个阶段的信息，通过这些信息，可以对食q k 的发展历程和未来趋势做出定量分析和预测。t企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为旗础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息j。能发挥作用。信息j 有意义。瓶把信息加以整理归纳和重组，并及时提供给褶应的管理决策人员，是数捌仓库的9第2 章相关技术根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。栏个数据仓库系统是一个包含四个层次的体系结构，具体山图2 6 表示。I 6 2 6 数据仓库体系结构幽说明：数掘源：足数据仓库系统的琏础，是整
42、个系统的数掘源泉。通常包括氽业内部信息和外部信息。内部信息包括存放于R D B M S 中的再种q k 务处理数捌和各类文档数击I T：。外部信息包括箨类法律法规、市场信息和竞争对手的信息等等；数掘的存储j 钤理：足整个数掘仓库系统的核心。数据仓库的真I f i 关键是数拥的存储和管理。数据仓库的组织箭理方式决定了它有别干传统数掘庠。h d时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建靛数据仓库的核心，则需要从数掘仓库的技术特点着手分析。针对现有各业务系统的数捌，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数撕的覆盏范围可以分为企业级数据仓库和部门级数据仓库(通常
43、称为数掘集I I r)。0 L A P 服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：R O I A P、M O I，A P和H O I A P。R O L A P 基本数掘和聚合数掘均存放在R D B M S 之中；M O I。A P 基本数掘和聚合数掘均存放予多维数据库中；H O I。A P 基本数攒存放于R D B 骼之中，聚合数掘存放f 多维数据库中。前端 I j 具：毛要包括各种报表工具、查询工具、数据分析工具、数拼挖掘二L 具以及各种基于数据仓库或数据集市的应用丌发工具。其中数掘分析l：其蔓第2 章相关技术要
44、针对0【A P 服务器。报表工具、数掘挖掘工具主要针对数据仓库。2。2。2 数据仓库的实施数掘仓库是一个解决方案，而不是一个可以买到的产品，因此数据仓阼需要进行J r 发。丌发数据仓库的流程t 要包括以下几步：稿动：I：程：建它，r 发数据仓库工程的F 标及制定工程计划。计划包括数拊范l 嗣、提供者、技术没备、资源，技能、组员培训、责任、方式方法、：J：丰I a 跟踪及详细一【程调度。建立技术环境：选择实现数掘仓库的软硬件资源，包括丌发平台、D B M S，嘲络通信、开发L 缺、终端访闯工具及建立服务水平目标(可用性、装载、维护及盘询性能)等。确定 i 题进行仓库结构设计：因为数薪i：仓库是面
45、向决策支持的，它具r 彳J 数搀谴人f|f 巫新不频繁等特点所以必须对数据仓库进行精心设。能满足数据醍快速增加而查询性能并不下降的要求。数抓仓库的物理库设计：基于用户的需求着眼于某个七题，丌发数拆1 仓炸t I I 数引的物理仃储结构。数抓抽驳、精练、分布：根掘数据仓库的设计，实现从源数戢i I 抽取数铄、清理数槲、综合数射和装载数据。对数搠仓库的O L A P 访问：建屯数抓仓库的F 1 的是要为决策支持服务，所以需要各种能对数掘仓库进行访问分析的工其集，包括优化在询工其、统汁分析t 其，C S：E 具及数据挖掘工具，通过分析T 具实现决策支持需要。数据仓库的管理：数据仓库必须象其他系统一样
46、进行管理，使数据仓库I F常运行。射外，在实施数掂仓库对，还应注意以下问题：与传统业务系统不同，数据仓库是面向管理决策层应用的，必须有系统自身的最终用户企业决策层的参与。数据仓库应用本身并不足q k 务流程的再现，i f i f 是基f 数掘分析的管理模式的体现。在这个层次上，数据仓库对。J 二食业决策层的意义茸先不是信息技术和产品上的，而是企业经营管理模式一J：的。数据仓库的实旌者需要在商业智能化如何能够帮助企业获得巾场竞争力：F：犬，提供切实有效的系统实施目标和规划，使得企业决策层充分认识到数掘仓第2 章相关技术J 牢足他们自己所需要的系统，在投入和配合上给予充分的支持。I l J f 数
47、据仓库的访问和查询往往能够通过：】=具来提供，阒此数据仓库的功能取决f 系统的规划和设计。在了解数据仓库应用需求的时候，主要的对象应该是企业的决策部门和管理部门，而不是信息系统郜门。了解应用的需求必须从企业如何利用信息进行管理的角度出发，需要有丰富的行业经验。存这个阶段，对于冈内数据仓库应用来说，可以将复杂的数据分析需求分解成符一r 专题，这此号题在行业内往往具有一定的普遍性，有现成的设计模式以借箍。数搀；仓库的设计实施也宣逐个击破，每个阶段都能满足。部分用户的需求，最后获得全面的成功。在对待原始数据的廿J 题上，我们需要峰持个原则，就足小拘泥：q k 务系统的现状。I 于数据仓库是独立于业务
48、系统的，数掘仓库的实施将以管理层需要的分析决策为l 三线，在设计巾町以为小确定数据预留窄问。埘J：数捌的完整性和质转J u J 题町通过如卜方式处理：利用多种方式加载数掘，町以设计争fJ的输入接r l 收集数据，如获取客户的个人资料；放宽数捌的时效性，在分析中标明个别数掘的有效时H j：在系统中标识f 低质馈的数据，规范q k 务系统。数抓的抽取、转换和装载是颂技术含鞋不商f f l 上u F 常烦琐的1：作，稃：系统实施过程。I J 建议由专门小组或人员负责数据抽取的f：作，将其纳入统的钱弹和设计。不仅考虑原始数猁源的类型，还必须考虑抽取的时f I j J 和斤式。一个数扣：仓库系统往往r
49、寸时存在多种数据抽取方式以适应原始数掘的多样性，闪此讨沦单一抽取。具的选璎是没有意义的，原则只能有一个：简便、快捷、易维护。用户对数据仓库的认识常常从报表起步，但数据仓库并不是为业务报农而设计。需要指出的是，数据仓库的分析-1：具在固定格式的报表再现上有时小如争门定制的程序。因此，以解决撤表问题作为建直数掘仓库的L j 的一。般都会以用户的失钽告终。数据仓库的强项在于提供联机的业务分析下段，一凼为数荆仓库的使用，j 使管理人员逐步摆脱对固定撤表的依赖，取而代之地以丰富、动态的联机查询和分析束了解企业和市场的动态。系统的实施需要明确的计划和时问表，新的技术和产品可以分阶段加入，但要避免无休止的测
50、试和选型。因为数据仓库的价值在于使用，如果让一蝗没有必要的信息去指导决策，那么数据仓库将永远停留在投资阶段。在定义实施讨划时，需要明确系统的使用范围、用户的应用模式等与选择具体产品相关的第2 章栩天技术承耍f u j 题。从应瑁角度来看，我们采用的是小型数据仓库技术，在本系统中我们充分利川数捌挖掘I：具对采集剑的数据进行深入挖掘、提炼，并产，卜自价值的螳f I i 息和榭火业务撤表，如：资会周转率，燃料合理库存率等信息。2 3 数据挖掘技术概述数捌挖掘技术是建诳在数据仓库之上：的数据分析技术。数据挖掘就是从人毓的数捌中抽墩出潜在的、不为人知的有用信息、模式和趋势。数锯挖拥f 的H的：提高r l