《硕士论文-数据压缩算法在实时交通信号系统中的应用.pdf》由会员分享，可在线阅读，更多相关《硕士论文-数据压缩算法在实时交通信号系统中的应用.pdf（60页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大连理工大学硕士学位论文数据压缩算法在实时交通信号系统中的应用姓名：王树春申请学位级别：硕士专业：软件工程指导教师：姚琳20060617大连理工大学专业学位硕士学位论文摘要随着我国经济发展，城市路网老化严重，城市交通负荷与日俱增，越来越多的学者和科技人员开始把目光投向以智能交通为主的可持续交通领域。作为智能交通系统以及其它一些工业自控系统中的关键技术实时数据库及其核心技术之一的实时数据压缩技术也随着自身突破了传统的强针对性凭借着市场对其巨大的需求逐渐成为学术界和工业应用领域科研的热点方向。近些年来，国内外很多学者、团体对实时数据库技术、实时数据压缩技术以及相关的实时数据库理念在智能交通中的应用
2、等方面做了深入的研究，也涌现出一些知名的实时数据库系统和融入了实时数据库理念的城市交通管理系统。然而，其中很大一部分产品或是研究成果没有在实时数据的在线压缩和历史存储上有实质性的突破。历史数据存储的重要性，历史数据压缩解压缩的数据质量控制的重要性没有被充分地重视。而这其中有一部分观点是在传统算法完美论的基础上建立的。还有部分观点则是盲目的独辟蹊径，其结果往往是和实时数据压缩理念产生了偏差或是完全的背离。本文以实时数据库技术在智能交通系统中的应用为选题背景，着眼于提高实时数据压缩和历史数据解压后的数据的整体质量的控制，力图通过逆向思维的方法寻找出一个能够满足要求的解决方案，并用以工程实践之中。为
3、此，我们首先分析了智能交通系统对实时数据库技术的需求，然后详细介绍了已有的算法和技术，并总结已有算法的不足，重点从数据的压缩和解压缩环节入手，通过用经典数学理论中统计学相关知识对我们算法思想的出发点进行的准确推导和合理演绎，采用一种合理的解决方案，并在智能交通系统中加以应用，最后通过大量的实验分析及归纳，与传统算法进行公正的评测，然后得出结论本文所采用的算法不仅对解压缩数据的均方差和绝对误差的控制上较比传统算法有着显著的优势，而且在提高压缩率，增强算法的抗噪性能等方面也有不俗的表现。本文在研究智能交通系统中实时数据库技术的设计和实现时，采用了性能较为优良的实时数据压缩算法更多的考虑了对数据整体
4、质量的控制，选取了一种高效的利用物理资源的解决方法。同时对数据质量的整体把握也使得实时数据库在实时决策分析方向上的应用更具有准确性和长效性，因此，本文在工程实践和理论研究上都具有较高的现实意义。关键词：实时数据库；智能交通系统：数据压缩；旋转门算法实时数据压缩算法在交通信号系统中的应用T h eA p p l i c a t i o no f D a t aC o m p r e s s i o nA l g o r i t h mi nR e a l t i m eT r a f f i cS i g n a lC o n t r o lS y s t e mA b s t r a c tW
5、 i t ht h ed e v e l o p m e n to fo u rc o u n t r y se c o n o m y，t h ec i t yr o a dn e t w o r ka g i n gi sv e r ys e r i o u s，t h em u n i c i p a lt r a n s p o r t a t i o nl o a dg r o w sd a yb yd a y，m o r ea n dm o r es c h o l a r sa n dt h et e c h n i c a lp e r s o n n e ls t a r t
6、t h e i rv i s i o nt og ot ob yt h ei n t e l l i g e n tt r a n s p o r t a t i o np r i m a r i l ys u s t a i n a b l et r a n s p o r t a t i o nd o m a i n A st h ee s s e n t i a lt e c h n i c a li nI T S(I n t e l l i g e n tT r a n s p o r t a t i o nS y s t e m s)a sw e l la so t h e rs o
7、 m ei n d u s t r i e sa u t o m a t i cc o n t r o ls y s t e m r e a l-t i m ed a t a b a s ea n di t sc o r et e c h n o l o g i e so far e a l-t i m ed a t ac o m p r e s s i o nt e c h n o l o g ya l s ob r o k et h r o u 曲t r a d i t i o n a lh a b i t sa l o n gw i t ho n e s e l f p o i n t
8、e dt or e l yo nt h em a r k e tt ob e c o m et h ea c a d e m i cc i r c l e sa n dt h ei n d u s t r i a la p p l i c a t i o nd o m a i ns c i e n t i f i cr e s e a r c hh o ts p o td i r e c t i o ng r a d u a l l yt oi t sh u g ed e m a n d R e c e n ty e a r,m a n yd o m e s t i ca n df o r e
9、 i g ns c h o l a r s，t h ea s s o c i a t i o nh a v ead e e pr e s e a r c hi nt h er e a l-t i m ed a t a b a s et e c h n o l o g y，t h er e a l-t i m ed a t ac o m p r e s s i o nt e c h n o l o g ya sw e l la st h ec o r r e l a t i o nr e a l t i m ed a t a b a s ei d e ai ni n t e l l i g e
10、n ti nt r a n s p o r t a t i o na s p e c t,a l s oe m e r g e ds o m ew e l l-k n o w nr e a l-t i m ed a t a b a s es y s t e m sa n dt h er e a l-t i m ed a t a b a s ei d e am u n i c i p a lt r a n s p o r t a t i o nm a n a g e m e n ts y s t e mm a n a g e m e n ts y s t e m H o w e v e r，v
11、e r yb i gp a r to fp r o d u c t sp e r h a p st h er e s e a r c hr e s u l t sa l ln o ts a v ei nt h er e a l-t i m ed a t ao n-l i n ec o m p r e s s i o na n dh a v en ot h es u b s t a n t i v eb r e a k t h r o u g hi nh i s t o r y 1 1 1 ei m p o r t a n c eo fh i s t o r yd a t as t o r a
12、g ea n dt h ei m p o r t a n c eo f t h eh i s t o r yd a t ac o m p r e s s i o ns o l u t i o nc o m p r e s s i o nd a t aq u a l i t yc o n t r o lh a sn o tb e e nt a k e no u tf i l l l y，B u ts o m ep a r to fv i e w p o i n t si se s t a b l i s h e di nt h ef o u n d a t i o nw h i c ht h e
13、t r a d i t i o n a la l g o r i t h mp e r f e c t l yd i s c u s s e s。A l s os o m eo t h e rp a r to fv i e w p o i n t sa r eb l i n dd e v e l o p i n go n e sp e r s o n a ls t y l e i t sr e s u l to f t e nw a sl e a d i n gt ot h ee r r o rw i t ht h er e a l t i m ed a t ac o m p r e s s
14、i o ni d e ah a sh a dt h ed e v i a t i o np e r h a p sc o m p l e t ed e p a r t i n gf r o m T K sa r t i c l eb a s e so nt h ea p p l i c a t i o no fr e a l t i m ed a t a b a s et e c h n o l o g yi nI T S f o c u s e sa f t e rt h ee n h a n c e m e n tr e a l-t i m ed a t ac o m p r e s s
15、i o na n dt h eM s t o f i c a ld a t ad e c o m p r e s s i o nd a t ao v e r a l lq u a i t yc o n t r o l，t r i e sh a r dt os e e kt h es o l u t i o nt h r o u g ht h en e g a t i v et h i n k i n gm e t h o dM i l c hc a na n s w e rt h ep u r p o s e H a di nt h ed e t a i l e da n a l y s i
16、st h ea l g o r i t h ma n di nt h et e c h n i c a lf o u n d a t i o n，s u m m a r i z e st h ea l g o r i t h mi n s u f f i c i e n c y，t h ea b s o r p t i o nh a di nt h et e c h n o l o g yt ot h er e a l i s t i cp r o j e c ta p p l i c a t i o nb e n e f i c i a lt e c h n o l o g yt h o u
17、 g h t O b t a i n sf r o mt h ed a t as o l u t i o nc o m p r e s s i o nl i n k,t h r o u g ht ot h ec l a s s i c a lm a t h e m a t i c st h e o r yC e n t r a lB u r e a uo fI n v e s t i g a t i o na n dS t a t i s t i c se c o n o m i c sc o r r e l a t i o nk n o w l e d g ea c c u r a t ei
18、 n f e r e n t i a lr e a s o n i n ga n dt h er e a s o n a b l ed e d u c t i o n,p r o m u l g a t e st h er e a l t i m ed a t ac o m p r e s s i o na n dt h es o l u t i o nc o m p r e s s i o ni n t e n s em u t u a lf u n c t i o n，a n ds i m p l yi sm e l t i n gt h ec o m p r e s s i o na l
19、 g o r i t h mi nt h e大连理工大学专业学位硕士学位论文f o u n d a t i o nt os e e ko n ek i n db a s e do nt h em e a n s q u a r ed e v i a t i o nc o n t r o lt h o u g h tr e a l-t i m ed a t ac o m p r e s s i o na l g o r i t h m A n da n a l y z e st h r o u g ht h em a s s i v ee x p e r i m e n t sa n di n
20、d u c e s，c a r r i e so nt h ef a i re v a l u a t i o na f t e rt h et r a d i t i o n a la l g o r i t h mt od r a wt h ec o n c l u s i o n：1 1 1 en e wa l g o r i t h mn o to n l yc o m p a r a t i v e l yt h et r a d i t i o n a la l g o r i t h mh a st ot h es o l u t i o nc o m p r e s s i o
21、 nd a t am e a n s q u a r ed e v i a t i o na n di nt h ea b s o l u t ee r r o rc o n t r o lt h er e m a r k a b l es u p e r i o r i t y，m o r e o v e ri se n h a n c i n gt h ec o m p r e s s i o nr a t i o，e n h a l c e m e n ta l g o d t h ma s p e c ta n dS Oo na n t i c h i r pp e r f o r m
22、 a n c ea l s oh a sn o tt h ev u l g a rp e r f o r m a n c e F i n a l l y，i nv i e wo ft h i s a r t i c l er e s e a r c hb a c k g r o u n d，h a sp r o d u c e dt h en e wa l g o r i t h mt h o u g h ti nt h em u n i c i p a lt r a n s p o r t a t i o ns i g n a lc o n t r o ls y s t e mt h ea
23、p p l i c a t i o no n er e a l i z a t i o nw a y T h i sa r t i c l ep r o p o s e dr e c e n tr e a l-t i m ed a t ac o m p r e s s i o na l g o r i t h mm o r ec o n s i d e r a t i o n st ot h ed a t ao v e r a l lq u a l i t yc o n t r o l，h a v ep r o v i d e do n es o l u t i o nf o rt h eh
24、i g h l ye f f e c t i v eu s ep h y s i c sr e s o u r c e s M e a n w h i l eg r a s p st ot h ed a t aq u a l i t yw h o l ea l s oe n a b l e st h er e a l-t i m ed a t a b a s et oh a v et h ea c c u r a c yi nt h er e a l t i m ed e c i s i o na n a l y s i sd i r e c t i o na p p l i c a t i
25、o na n dt h ep e r s i s t e n te f f e c t，t h e r e f o r e，t h i sa r t i c l ea l lh a st h eh i g hp r a c t i c a ls i g n i f i c a n c ei nt h ep r o j o c tp r a c t i c ea n dt h ef u n d a m e n t a lr e s e a r c h K e yW o r d s：R T D B；r r S：D a t aC o m p r e s s i o n；S w i n g i n g
26、-D o o r独创性说明作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理工大学或者其他单位韵学位或证书所使用过的材料。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。作者签名：丝瞩趔：l大连理工大学硕士研究生学位论文大连理工大学学位论文版权使用授权书本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授
27、权大连理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名：丝鳖导师签名：然叠童翌年厶月旦日大连理工大学专业学位硕士学位论文1 绪论1 1 选题背景随着经济的飞速发展，我国作为一个发展中的人口大国，交通的供需矛盾目益突出。一方面，交通基础设旖的建设速度难以适应交通需求的增长；另一方面，城市人中口不断的增长，特别是流动人口的急剧膨胀使交通出行量大幅度增加，而以个人购车为主的机动车的增加、城市居民出行方式结构不合理则进一步加剧了城市交能的紧张【1 1。交通运输需要大量的能源，全世界所生产的全部能源中，2 0 以上用于交通运输
28、，其中6 0 一7 0 用于客运，其余用于货运，在经济与合作发展组织(O E C D-O r g a n i s a t i o nf o rE c o n o m i cC o o p e r a t i o na n dD e v e l o p m e m)国家中交通用了更大份额的能源。汽车在交通中占统治地位，交通部门消耗全球石油的一半左右【2 。与此同时汽车的尾气排放成了城市大气污染的首要来源，而对石油资源的依赖和消耗进一步加剧了我国能源供给的结构性矛盾。在这种前提下，可持续性交通概念产生了，而作为可持续交通的个重要环节，智能交通系统以其节约能源、提高交通质量、改善环境的功效对我国的城
29、市交通发展有着重要的指导意义。智能交通系统(I T S-I n t e l l i g e n tT r a n s p o r t a t i o nS y s t e m s)是在关键基础理论模型研究的前提下，把先进的信息技术、数据通信技术、电子控制技术及计算机处理技术等有效地综合运用于地面交通管理体系，从而建立起一种大范围、全方位发挥作用、实时、准确、高效的交通运输管理体系”。其目的是充分有效地利用道路以及交通基础设旌，减轻出行者的负担，从而保障安全，提高效率，改善环境，节省能源和培育I T S 新产业，其主要特点是：(1)信息化、数字化、智能化I T S 所需要信息多种多样，涉及与交通
30、有关的各个领域，并将这些信息进行检测和识别，成为数据化信息，从而实施智能化管理。f 2)系统化、集成化、一体化I T S 是由各个子系统构成，采取人工智能方法和系统工程方法，对系统本身以及系统之间进行技术和方案的集成，并实施各种交通方式之间以及整个运行系统的集成，从而实施信息共享及一体化的交通综合管理【4 。在I T S 系统中信息的采集与处理贯串始终。交通信息有静态信息和动态信息之分，静态信息(路网规模、质量、通行能力、设施分布等)易于获得且维护工作量小，而动态信息(路网的交通流量、行驶车速、行程时间、拥挤程度及停车场利用情况等)的采实时数据压缩算法在交通信号系统中的应用集、检测、处理、预测
31、和发布的难度较大，但对交通管理部门和出行者具有更重要的指导意义。因而是城市交通智能化的重要基础和核心内容【5 1。很多先进交通诱导控制算法也是建立在对信息采集的多样性、实时性、准确性的基础上的。准确的交通控制方案不仅能增加城市交通的运行能力，更有利于节能和环保。为确保控制算法可以及时有效的执行，在瞬息万变的路网情况中第一时间做出最优的判断和决策，笔者将对实时信息与控制算法间一个重要的中间环节实时数据库进行讨论，引入已经广泛应用于流程工业控制领域内的实时数据库概念，并且针对实时数据库的核心技术之一实时压缩算法进行深入的研究。1 2 国内外技术分析目前在全球交通领域中的比较著名的交通信号控制系统有
32、，英国运输研究所(T R L-T r a n s p o r tR e s e a r c hL a b o r a t o r y)研制的S C O O T 系统(S p l i tC y c l eO f f s e tO p t i m i z a t i o nT e c h n i q u e：绿信比、周期和相位差优化技术)和澳大利亚悉尼为应用背景开发的S C A T S系统(S y d n e yC o o r d i n a t e dA d a p t i v eT r a f f i cS y s t e m：悉尼交通信号协调自适应系统)以及日本的京三控制系统和西班牙的圣科(
33、s A I N c O)控制系统。目前国内应用最多的是S C O O T 和S C A T S，它们是动态的实时自适应控制系统的早期代表，也是未来个时期交通信号控制系统智能化发展的开发基础，然而交通信号控制系统是一个非线性的复杂巨系统，因此，像S C O O T 和S C A T 系统那样以精确的数学模型或预设方案为基础进行交通信号控制有时效果不尽如人意。而交通信号控制又影响着整个交通信号系统的运行，所以国内外学者都纷纷采用各种方法来优化交通信号控制方案。然而建模所需的数据量的实时性和多样性一直困扰着广大学者，因此给应用于交通信号控制系统的实时数据库技术的开发一个广阔的空间和强劲的需求动力。作
34、为实时数据库的核心技术之一实时数据压缩技术也随着实时数据库的应用和需求凭借其重要的地位逐渐成为数据压缩领域又一热点方向。目前世界上比较成熟的实时数据库系统有由O S IS o f t w a r eI n c 开发的、著名的P 卜_ P l a ml n f o r m a t i O i l 系统及由A s p e nT e c h n o l o g yI n c 开发的l n f o P l u s 系统。随着实时数据库技术研究的深入，国内的实时数据库产品也在一定的领域内，凭借其价格和技术支持的优势占领着一部分市场，这其中比较著名的产品有北京三维力控科技有限公司推出的三维力控p S p
35、a c e 实时数据库系统及北京中科启信软件技术有限公司推出的A g i l o r 分布式实时数据库系统。在实时数据压缩技术中，P I 系统凭借其开发的旋转门算法成为实时压缩技术方面的先锋，并且O S IS o R w a r e 公司将其数据压缩的主要算法在其文档中公开，这也使得很多同类型产品大连理工大学专业学位硕士学位论文也采用这一项数据压缩技术，中科启信的A g i l o r 采用的就是旋转门算法。而上面提到的三维力控则采用的是时间变化压缩方法，即当数据变化时才进行保存。1 3 本文结构本文以实时数据库技术在交通信号控制系统的应用为背景，讨论实时数据库的概念和技术，着重对旋转门算法进
36、行分析，据此引出笔者改进后的基于均方差控制的实时数据压缩算法，并将对此算法其算法相关的仿真进行详尽的阐述，最后给出算法在实际工程中的一个应用，由此划定本文结构如下：第一章为绪论，主要介绍课题的研究背景和意义，国内外的研究现状和本文研究方向的概述。第二章为实时数据库技术及压缩算法的研究，介绍实时数据库技术的发展概况，及其主要特点和技术问题，介绍数据压缩技术的基本概念，并对以旋转门算法为代表的实时数据压缩技术进行解释和讨论。第三章为需求分析和模块设计。对工程中具体案例的应用进行相关的需求分析，并对模块的结构及主要子功能的实现给出设计方案。第四章为算法设计，主要阐述笔者所采用的基于均方差控制的实时数
37、据压缩算法的思想引入及相关的数学意义并根据算法的数学意义给出实现步骤，第五章为性能测试与模块实现，主要对实时数据压缩模块在城市交通信号控制系统中的应用给出实现的相关信息，并着重对模块的数据压缩性能进行评测与分析。实时数据压缩算法在交通信号系统中的应用2 实时数据库技术及压缩算法研究2 1 实时数据库2 1 1 实时数据库的产生与发展数据库技术产生于2 0 世纪6 0 年代中期，在数据库产生之前，计算机在硬件方面已经有了磁盘、磁鼓等直接存取存储设备；软件方面，操作系统中已经有了专门的数据管理软件，一般称为文件系统。人们利用计算机对数据进行管理主要是通过文件系统来实现的。进行计算所需要的各种数据存
38、放在各自的文件里面，当要使用这些数据的时候，将文件打开，读取文件中的数据到内存中。当计算完毕后，将计算结果仍旧写入到文件中去。然而，利用文件系统进行数据管理的不足之处是非常明显的，主要有这么几个方面：f 1 1 数据的共享性差。冗余度大。在文件系统中，一个文件基本上对应于一个应用程序，当不同的应用程序具有部分相同的数据时，也必须建立各自的文件，因此数据的冗余度大，浪费存储空间。(2)数据独立性差。数据与程序之间缺乏独立性，文件结构的每一处修改都将导致应用程序的修改，从而使得应用程序的维护工作量特别大。(3)不具并发性。计算机操作系统中的文件系统一般不支持对文件的并发访问。而在现代计算机系统中，
39、为了充分发挥计算机系统的资源使用效率，一般都允许多个程序“同时”运行，即并发性。对数据库系统同样有并发性的要求，这样可以充分利用数据库服务器的软、硬件资源，避免浪费。(4)管理混乱。由于基于文件系统的数据管理缺乏整体性、统一性，在数据的结构、编码、表示格式等诸多方面不能做到标准化、规范化，不同的操作系统有风格迥异的表示方式，因此在一定程度上造成了数据管理的混乱。随着计算机用于管理的规模越来越大，应用越来越广泛，数据量急剧增长，同时多种应用、多种语言相互覆盖地共享数据集合的要求越来越强烈，以文件系统作为数据管大连理工大学专业学位硕士学位论文理手段已经不能满足应用的需求，于是为解决多用户、多应用共
40、享数据的需求，使数据为尽可能多的应用服务，数据库技术便应运而生了。数据库理论与技术的发展极其迅速，其应用日益广泛，在当今的信息社会中，它几乎无所不在。以关系型为代表的三大经典(层次、网状、关系)型数据库在传统的(商务和管理的事务型)应用领域获得了极大成功，然而它们在现代的(非传统)工程和时间关键型应用面前却显得软弱无力，面临着新的严峻的挑战，由此而导致了实时数据库的产生和发展。然而近年来，实时数据库的研究相对发展较为缓慢，主要是实时问题有很强的专用性和针对性，传统自动化系统对运行信息的处理多以本地报表，历史数据保存为目标，但面对实时系统所产生的大量的实时数据，对数据时间一致性强性要求，传统数据
41、库的吞吐能力望望难以应付。国际上从2 0 世纪8 0 年代后期开始较系统地发表有关实时数据库的论文。9 0 年代中期，爱尔兰的R h o d e 大学以及美国麻省理工学院开始重点研究实时S Q L 语言，在商品化的实时数据库产品的开发上，澳大利亚的M o t h e r w e l lI n f o r m a t i o nS y s t e m 公司于1 9 8 2年较早地推出了M a c r o V i e w 产品，美国的O S IS o t t w a r e 公司于8 0 年代中期推出了P l a n tI n f o r m a t i o n S y s t e m，简称p I
42、 产品，另外，还有美国A s p e n T e c h 公司的I n f o P l u s 2 1 产品，美国H o n e y w e l l 公司的U n i f o r w a n e e(P H D)产品，英国W o n d e r w a r e 公司的I n d u s t r i a lS Q LS e r v e 产品，上述产品一般归为工程类实时数据库，而被国外理论界认为严格满足实时要求的实时数据库产品有1 9 9 4 年D B x 公司发布的z i p R T D B M S 和1 9 9 5 年M a r t i nM a r i e t a 公司发布的E a g l
43、eS p e e d R T D B M S。从2 0 世纪7 0 年代末开始，国内开始引进D C S 技术和产品，到8 0 年代末期，达到高峰，到9 0 年代初，随着国内工业界对D C S 的大量引进和应用，国内科技教育界开始率先研究实时数据库理论。与此同时，国内相继孕育出了一批D C S 生产商和实时数据库生产商，这其中在实时数据库产品生产方面有代表性的是中国国家电力公司自动化研究院于1 9 9 2 年开发的N S I S 石油化工生产实时数据库产品，中国大庆金桥信息技术工程有限公司开发的C o n R T D B 实时数据库产品，中国北京时林电脑公司开发的S L R S 实时数据库产品，
44、中国北京和利时系统工程股份有限公司开发的R e a l M I S 实时数据库产品，北京三维力控科技有限公司推出的三维力控p S p a e e 实时数据库系统及北京中科启信软件技术有限公司推出的A g i l o r 分布式实时数据库系统 6 1。2 1 2 实时数据库的主要特性为了提高控制系统的运行效果，增强控制系统的鲁棒性和开放性，先进的监控系统必须有一个实时数据库系统，为整个系统的数据处理、组织和管理提供支持【7 。而实时实时数据压缩算法在交通信号系统中的应用数据库不是数据库和实时系统的简单结合，它需要在数据模型、体系结构、事务处理模式、数据存储方式等诸多方面重新进行研究和开发【8】。
45、由此可知实时数据库在设计和实现时需要注重以下几个方面：(1)实时性。R T D B S 作为外部系统的一个客观反映，它表示了外部系统的当前状态，只有数据与外部系统的实际情况相吻合时，数据才有意义。所以要求R T D B S 必须高效，能够实现实时反应。(2)容错性。由于工业控制现场的情况复杂，各种干扰较为常见，可能导致采集的数据被污染。这就要求R T D B S 须具备一定的容错性，防止出现数据败坏(D a t aC o r r u p t)。(3)稳定性。任何数据库系统都要求稳定性，但由于现实中直接基于R T D B S 的应用往往一样强调实时性(基于R T D B S 的典型应用如先进控制
46、软件和在线实时数据优化等)，所以系统的稳定性被提到了更高的高度，R T D B S 是绝对不能轻易重启动的。(4)鲁棒性。过程控制应用中，R T D B S 多应用于分布式环境与多个数据源连接，工业现场的环境容易导致个别数据源出现数据流波蜂或者通信受阻。因此R T D B S 必须能承受数据流量冲击保证系统的实时性和稳定性【9-l”。实时数据库为了保证鲁棒性和稳定性，采用类似操作系统中内核体系的结构，并将各核心模块尽量独立，即便特定模块出现故障系统也可以自动重新启动该模块并且将系统恢复到故障前的状态。由于将内核模块与直接面向用户的常规业务应用(如流程图、趋势图、系统组态、数据查询和报表等)以及
47、数据采集模块(从底层数据源采集数据，如O P C 接口、D D E 接口、T C P I P 接口、R S 2 3 2 接口等)隔离开来，大大提高了系统的稳定性和鲁棒性。并且内核服务全部注册成系统服务运行，这种方式至少具备以下优点：(1)即便服务器没有完成登录，系统服务已经可以运行，该情况在出现系统由于硬件故障或断电后重启时尤其有用；(2)可以让低级别的用户(如操作员)以非管理员身份在服务器登录并且进行操作而不至于因为登录用户权限不足导致系统无法运行；(3、系统服务只能运行一个实例；(4)系统服务方便管理员进行控制，可以避开常规的C O M 应用计数来控制服务器的启动和停止。事实上采用系统服务
48、方式运行数据库系统核心的做法几乎是所有大型数据库系统(典型的如O r a c l e 和O S IS o f t w a r eP I)的标准方式。内核模块采用被动模式工作，即内核模块本身不主动从数据源读取数据，而是通过数据采集模块完成数据读取并且将数据P u s h 到内核模块中，并且外部应用则通过主动读取内核模块的方式获得数据，内核模块本身不提供主动数据通知服务。同时，将数据采集模块管理功能隔离在独立的内核模块，当某个数据采集模块出现故障时可以自动重大连理工大学专业学位硕士学位论文新启动该采集模块。虽然这种结构存在着降低系统实时性的风险，但是可以将内核模块隔离在复杂的现场环境之外，即便由于
49、数据源本身行为失当导致对应的数据采集模块崩溃也不至于危及到其他数据采集模块以及数据库系统内核服务。图2 1 描述了实时数据库内核体系的详细结构【12 1。图2 1 实时数据库核心服务模块F i g 2 1R T D Bk e r n e ls e r v i c em o d u l e而笔者所关注的实时压缩算法正是出于达到更好的优化这些特性的目的而开始的。在实时数据库中数据的处理占用大多的系统时间，随着点数的增多，数据吞吐量的加大，实时数据库的服务器的承受也一点点的挑战硬件和软件的极限，一个好的压缩算法，不仅仅是一个数据处理方法的改变，更重要的是它可以有效的改善实时数据库的性能，提高服务器的
50、工作效率及相应的存储媒质的利用率。2 2 数据压缩2 2 1 数据压缩的产生和发展数据压缩是把输入数据流(源流或原始数据)转变为另一种较小的数据流(输出流或是压缩流)的过程(流即存储器中的一份文件或是一块缓存)，其主要目的是通过数据压缩手段将住处数据量以压缩形式进行存储和传输。数据压缩起源于二十世纪5 0 年代的信息论，由于数据压缩的宗旨和目的决定，经过多年的发展，数据压缩已成为当今世界数字通信、数字广播、数字存储、数字出版和多媒体娱乐中一项关键性的共性技术，甚至还有人杜撰出“C o m p r e s s i o n i s m”(压缩主义)一词来表达这种共识。数据压缩的经典原理只是信息论中