《电信企业数据仓库建设17670.docx》由会员分享，可在线阅读，更多相关《电信企业数据仓库建设17670.docx（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、邮电规划2003年第5期 数据库 电信企业数据仓库建设贵州省移动通信公司 苟茹辛471 电信企业信息息化现状从上世纪八十年年代开始，我我国电信企业业开始进行大大规模的信息息化建设，在在近二十年的的时间中，电电信企业已全全面实现了生生产及服务过过程信息化。随随着业务不断断趋于多样化化，各电信企企业都针对不不同业务建立立了多个生产产管理系统，如如中国电信建建设的生产系系统就包括了了进行业务受受理、配线配配号、工单管管理的“97”系统；进行行计费、帐务务及欠费处理理的计费系统统；114、1112、1880、1899等专业系统统；201、IIC等卡类管管理系统；基基于互联网信信息管理的数数据业务管理理
2、系统以及交交换、传输、网网管系统等。中中国移动也建建设了综合业业务支撑（BBOSS）系系统；用于梦梦网短信接入入的短信网关关、彩信网关关、GPRSS网关等各专专业管理系统统。目前，电电信企业建设设的项目仍然然以生产支撑撑系统为主。通通过这些支撑撑系统的建设设，规范了电电信企业内部部管理流程，大大大提高了电电信企业的工工作效率，增增强了业务水水平，提高了了企业的竞争争力。随着市场竞争的的不断加剧，对对客户资源的的争夺也进入入了白热化的的阶段，如何何发展新用户户，扩大自己己的用户群；如何设计出出更适合用户户需要的业务务，将用户绑绑定在自己的的网络上；如如何合理地设设定资费在用用户可以接受受的水平；
3、一一个个问题摆摆在了电信运运营商的面前前。在激烈的的市场竞争面面前，要想科科学的决策，离离不开数据的的支持。电信信运营商们在在建立各项系系统的过程中中，也积累了了大量的资料料数据，如用用户的通话记记录，短信发发送记录，用用户上网记录录，用户资料料变更记录，用用户投诉记录录，网络运行行记录等。通通过对这些数数据进行分析析，可以掌握握企业的运营营状况，为企企业科学、准准确的决策提提供依据。但在使用这些数数据的过程中中，也存在以以下几个问题题： 数据量大、数数据来源广,以用户数近近300万的的某电信运营营商为例，每每天产生的仅仅通话话单数数就达数千万万条；这还不不包括其它生生产环节如客客服、网管等等
4、所产生的运运营数据；而而经营管理所所牵涉的数据据除此以外还还包括了内部部管理的人力力、财务、以以及与企业相相关的外部环环境数据。 各业务部门门对数据的理理解存在偏差差，定义不统统一，导致数数据可信度无无法保证。对对单个业务部部门来说可能能是合法的数数据，但由于于缺乏信息的的集成和整合合，导致整个个企业对数据据的含义、数数值及使用方方式产生歧义义。 每个系统都都有独立的报报表系统，随随着需求的变变化和统计项项目的变化，使使得报表的修修改相对比较较困难；尤其其目前很多在在用系统的报报表都固化在在程序中，给给今后的修改改带来诸多不不便。 对于一些需需要跨平台才才能进行的分分析，由于平平台不一致，应应
5、用系统之间间数据定义也也不一致，又又没有实现数数据共享，很很难进行关联联分析；并且且，一个企业业内部，不同同系统平台之之间的数据存存在较大的冗冗余，增加了了维护工作量量，并可能造造成系统资源源的浪费。 在生产系统统上进行统计计分析会影响响到正常生产产系统运转。由由于生产系统统的时效性要要求较高，需需要大量的系系统资源进行行保障，为确确保生产系统统安全稳定运运行，有必要要将统计、分分析等对时效效性要求相对对较低的决策策支持系统从从生产系统分分离。有鉴于此，建立立数据仓库管管理系统已经经成为企业提提高管理水平平的当务之急急。2 数据仓库简介介数据仓库概念是是由号称“数数据仓库之父父”Willlia
6、m HH.Inmoon在上世纪纪80年代中中期撰写的建建立数据仓库库一书中首首次提出，“数据仓库是是一个面向主主题的、集成成的、非易失失性的，随时时间变化的用用来支持管理理人员决策的的数据集合”。面向主题就是指指在数据仓库库中，数据按按照不同的主主题进行组织织，每一个主主题中的数据据都是从各操操作数据库中中抽取出来汇汇集而成，这这些与该主题题相关的所有有历史数据就就形成了相应应的主题域。数据仓库的第二二个显著特点点是集成。数数据来源于不不同的数据源源，通过相应应的规则进行行一致性转换换，最终集成成为一体。数据仓库的第三三个特点是非非易失性。一一旦数据被加加载到数据仓仓库中，数据据的值不会再再发
7、生变化，尽尽管运行系统统中对数据进进行增、删、改改等操作，但但对这些数据据的操作将会会作为新的快快照记录到数数据仓库中，从从而不会影响响到已经进入入到数据仓库库的数据。数据仓库最后一一个特点是它它随时间变化化。数据仓库库中每一个数数据都是在特特定时间的记记录，每个记记录都有着相相应的时间戳戳。3 如何规划和建立立数据仓库环环境3.1 体系结结构图1是数据仓库库体系结构示示意图。数据仓库对外部部数据源和操操作型数据源源的元数据，按按照数据仓库库模式设计要要求进行归类类，并建成元元数据库，相相对应的数据据经过ETLL后加载到数数据仓库中；当信息客户户需要查询数数据时先通过过信息展现系系统了解元数数
8、据或者直接接浏览元数据据库，再发起起数据查询请请求得到所需需数据。图1 数据仓仓库体系结构构图2是一个典型型的企业数据据仓库系统，通常包含数数据源、数据据存储与管理理、数据的访访问三个部分分。图2 企业数据据仓库系统数据源：是指企企业操作型数数据库中的各各种生产运营营数据、办公公管理数据等等内部数据和和一些调查数数据、市场信信息等来自外外环境的数据据总称。这些些数据是构建建数据仓库系系统的基础是是整个系统的的数据源泉。数据的存储与管管理：数据仓仓库的存储主主要由元数据据的存储及数数据的存储两两部分组成。元元数据是关于于数据的数据据，其内容主主要包括数据据仓库的数据据字典、数据据的定义、数数据的
9、抽取规规则、数据的的转换规则、数数据加载频率率等信息。各各操作数据库库中的数据按按照元数据库库中定义的规规则，经过抽抽取、清理、转转换、集成，按按照主题重新新组织，依照照相应的存储储结构进行存存储。也可以以面向应用建建立一些数据据集市，数据据集市可以看看作是数据仓仓库的一个子子集，它含有有较少的主题题域且历史时时间更短数据据量更少，一一般只能为某某个局部范围围内的管理人人员服务，因因此也称之为为部门级数据据仓库。数据的访问：由由OLAP(联机分析处处理)、数据据挖掘、统计计报表、即席席查询等几部部分组成。例例如OLAPP：针对特定定的分析主题题，设计多种种可能的观察察形式，设计计相应的分析析主
10、题结构（即即进行事实表表和维表的设设计），使管管理决策人员员在多维数据据模型的基础础上进行快速速、稳定和交交互性的访问问，并进行各各种复杂的分分析和预测工工作。按照存存储方式来分分，OLAPP可以分成MMOLAP以以及ROLAAP等方式,MOLAPP (Mullti-Diimensiion OLLAP)将OOLAP分析析所需的数据据存放在多维维数据库中。分分析主题的数数据可以形成成一个或多个个多维立方体体。ROLAAP (Reelatioonal OOLAP)将将OLAP分分析所需的数数据存放在关关系型数据库库中。分析主主题的数据以以“事实表-维维表”的星型模式式组织。3.2 数据据仓库环境建
11、建立的过程数据仓库的开发发生命周期不不同于操作型型数据库系统统的开发生命命周期，传统统的系统开发发生命周期（SSDLC）是是由需求驱动动的，首先必必须理解需求求，在进行设设计和开发；而数据仓库库的开发遵循循CLDS,也就是“螺旋式”开发方法，即即由数据开始始，获取数据据后，将数据据进行集成并并检查数据的的准确性，针针对数据进行行编程，但得得到最后结果果后，系统的的需求才得到到理解。因此数据仓库环环境是按照反反复开发方式式建立起来，即即首先建立系系统的一小部部分，然后再再建一部分，一一直按相同的的路径反复进进行开发，以以“总体规划划、分步实施施、步步见效效”为原则。一般来说，建立立数据仓库遵遵循
12、以下四个个步骤：(1) 充分了解企业决决策层的需求求；明确企业业关心的主题题域，并按照照优先级进行行划分；(2) 按数据据仓库方法设设计数据仓库库结构；(3) 实现业业务操作系统统及外部数据据源的数据向向数据仓库的的迁移（ETTL）；(4) 面向应应用建立数据据集市，满足足企业决策需需求；(5) 通过信信息展现工具具以可视化手手段提供给企企业内各级信信息客户使用用。数据仓库的开发发是一个高风风险的项目，在在建设过程中中，可考虑以以数据仓库示示范项目的形形式展开，通通过面向一两两个关键业务务的开发，以以保证建设的的重点突出和和范围适中以以及成功率。一一旦成功地建建设了示范项项目，将增加加技术人员
13、和和业务人员的的信心，为业业务问题和技技术问题之间间达到平衡摸摸索一套经验验，这样有助助于整个项目目在一个可控控制的状态下下实施。同时时示范项目也也是数据仓库库进一步开发发的组成部分分，通过类似似于示范项目目的循环的开开发，有助于于增加功能，减减小风险。3.3 数据据仓库环境建建设的几个注注意事项 主题的确定：由由于逻辑数据据模型的主要要功能是按照照不同的主题题汇聚，也就就是说将描述述某一业务项项目的所有数数据都汇集到到该业务项目目中，因此，对对主题的确定定是十分重要要的。划分主主题的根据主主要来源于以以下几个方面面: 对企业业运营报表的的分析、对企企业业务流程程的分析、对对企业发展战战略的了
14、解、以以企业以往历历史数据的分分析。 确定数据仓库的的分区：分区设计合合理可以使数数据仓库能够够灵活的访问问数据。分区区的设计应该该可以在小的的离散的单元元中进行管理理，应当有利利于数据的转转载，并且使使数据仓库的的索引容易建建立。 数据粒度设计：非常低的粒粒度会导致大大量的数据，增增加系统资源源开销及负荷荷。非常高的的粒度则导致致不能对许多多细节数据进进行分析。因因此，在设计计数据仓库时时对各种分区的数数据以什么尺度作为最细细粒度，将决决定存储的数数据能否满足足信息析的功功能需求，而而粒度的层次次划分以及聚聚合表中粒度度的选择，将将直接影响查查询的响应时时间。 元数据库的建立立：可以考虑虑在
15、建立数据据仓库之前，先先建立一个用用于描述数据据的、用于应用集成的的元数据库，做做好数据仓库库实施的准备备工作，通过过元数据管理理工具,业务务人员能够更更好的了解和和使用数据，也也有利于后续续开发和维护护。4 结束语数据仓库的建设设是一个长期期的过程。数据仓库并不是是一个独立存存在的系统，它它的数据来源源于企业中现现有的业务系系统及外部数数据源，如果果业务系统升升级或改造，或或者企业因为为发展的需要要进行了新的的业务系统建建设，以及一一些外部数据据来源发生变变化，都会需需要数据仓库库作出相应的的调整，以保保证数据的标标准和一致性性。建设数据仓库的的根据目的是是为企业的发发展提供决策策支持，随着
16、着时间的推移移，越来越多多的数据充实实到数据仓库库中，使得数数据仓库的蕴蕴藏的信息越越来越大，可可分析的项目目越来越多，分分析的手段也也越来越多。企业的日益增多多的信息数据据无疑是一个个巨大的聚宝宝盆，通过对对数据的不断断分析研究，挖挖掘出更深层层次的内容找找出更多有价价值的规律，数数据挖掘工作作永无止境。需需要企业各层层面的人员共共同协作，长长期参与。&（上接第37页页）漫游信令网关：具有SCCP功功能，但不进进行应用层(MAP、CCAP)消息息的翻译。它它将从窄带信信令网接收到到的信令消息息传递到图9 R-SG工作原原理 SCCCP,GT翻翻译完成后，把把消息传递到到M3UA,然后根据DDPC+SSSN转发给IIP信令网；同样，来自自IP信令网网的消息传递递到SCCPP，GT翻译译完成后，把把消息传递到到MTP3,再根据DPPC+SSNN转发给窄带带信令网。参考文献：1 “NO77信令与IPP互通的技术术要求” 中华人民民共和国通信信行业标准 &