《在数据交换平台中的实践与应用.docx》由会员分享，可在线阅读，更多相关《在数据交换平台中的实践与应用.docx（3页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、kettle在数据交换平台中的实践与应用张勃摘 要：在当今的大数据时代，数据处理越来越被重视，随着互联网技术的快速发展，越来越多的数据处理工具出现在大家的视野中，如国外的datastage、informatica、kettle（水壶）、ODI、国内的beeload等。经过对以上工具的了解，kettle工具在开源、实用、易用等方面比较突出，特决定使用kettle工具进行研究应用，实现我院数據交换规则的建立与应用。对于一个信息化系统，由于不同部门根据自己部门的实际情况，建设了不同的系统，随着时间的发展，在这些不同的系统之间的数据共享与交换的需求越来越多。公共数据交换平台旨在为这样的综合性的信息化系
2、统中的各类应用系统提供信息共享和数据整合手段，解决因数据库类型各异、开发运行环境各异、网络环境各异而导致的“信息孤岛”问题。1我院信息化建设现状经过多年的信息化建设，我院的信息化有了长足的进步。但在系统建设时期不同、业务模式不同、建设初期缺乏统一的设计标准的情况下，大多数系统都是不同的厂家在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存在大量的“信息孤岛”。为了继续提高信息化水平，就要实现各个系统中数据的交换与共享，开展数据整合。2数据交换系统的结构与交换过程2.1交换系统的总体结构数据交换系统的总体结构，如图1，依托学院网络支持，交换系统总体上是一个树型结构，最高一级是中心数据
3、库，负责存储学院所有数据，即将所有应用系统生产的数据进行统一存储，方便共享和交换。同时向下连接交换平台。交换平台负责进行数据交换、自动交换设置、交换监控、故障分析、日志记录等。其中有两个最主要的功能，第一是按照信息标准，将各业务系统生产的数据按照交换规则写入中心数据库;第二个功能就是对各应用系统提出的交换和共享数据需求，按照信息标准和数据交换规则，从中心数据库中读取，交予应用系统使用。在我院信息化系统中，交换系统为各类应用系统提供数据交换服务。所有应用系统之间的数据交换都必须经过交换系统，而交换的方式则遵循“写、读”的规则，即由数据管理员确定数据的唯一生产者，写入中心数据库，其他的业务系统均为
4、该数据的使用者，需要向交换平台提出申请，读取中心数据库中的该数据。2.2数据交换的过程交换平台运行在中心数据库与各业务系统之间，交换平台为各应用系统提供一个接入平台，一个应用系统要实现和其它应用系统的数据交换，必须首先在交换平台注册，实现和其他应用系统数据的交换与共享。3“kettle”工具在我院的应用“kettle”是开源工具，如果要应用在我院，必须进行应用的研究与建设。“kettle”相当于是一张白纸，需要按照我校的实际情况，在这张白纸上进行绘图。通过在“kettle”中进行适合我校的本土性改造，对已有系统中的数据进行处理、过滤、转换，制定出适合我校的数据交换流程和合理的自动交换规则，实现
5、我校信息系统之间的数据交换和共享，打通重要系统之间的“信息孤岛”。3.1制作简单交换流程进行相关配置后，在“核心对象”下，选择对应的元件进行交换流程配置。最简单的交换流程为“表输入-表输出”。点击对应的组件，进行相关数据库和对应字段的设置，即可实现。3.2制作复杂交换流程上面介绍的交换流程只是最简单的一个交换规则，直接将数据源表中的数据，覆盖写人目标表中。这类规则适合数据量较少，交换频率小的数据表。但实际上，我院涉及最重要、最频繁的交换是学生和教职工的相关数据，数据量大，交换频繁，如：我院教职工数据记录数为800多条，涉及表字段59个;学生数据20000多条记录;学生成绩数据甚至达到77.11
6、万条数据。如果用这种简单交换，由于数据量巨大，会造成服务器压力大，速度慢等弊端。对此，我们项目组经过讨论研究，做了大量测试，设计出一个占用资源较小的交换来进行交换这些数据量大的数据表。如图2：下面，将针对以上交换流程为例，详细介绍这条交换流程的实现。首先应确定数据的提供者和使用者，即数据源表和目标表。结合我院实际情况，从教务系统中提取教职工基本信息数据，目标表为中心数据库中的T_JZG_JBXX。数据表中的字段处理。通过字段选择、排序、合并等组件，将源头表与目标表进行字段筛选与排序，保持内容、顺序完全一致，形成为一张共享表，将工号作为主键，以标志字段flag值进行数据动作决策，进行数据比对。值
7、映射：对共享表中的每一个字段进行flag标志，并对flag标志规则进行设定，如插入、更新、删除、不执行任何操作等。过滤记录。将共享表和目标表按照主键进行对比，依据flag值，进行字段规则执行。当flag值为no，不执行任何操作，用于测试规则连通性;当flag值为add时，根据主键值，将数据源表数据插入到目标表数据，实现数据新增;当flag值为mod时，进行判断。如字段不同，发送true数据，执行数据更新;如所有字段相同，发送false数据，删除flag当前值。以上过程就是“教职工基本数据”的交换规则过程，通过对字段的分块匹配对比，从而使数据更快、更明了执行操作，降低服务器压力，缩短更新时间。3.3配置自动交换新建“作业”，进行作业执行相关设置，即可实现自动交换。4结语通过项目组成员的共同努力，“kettle”工具已应用我院数据交换平台中，且运行正常，满足我院数据交换的正常使用。我们还将在今后的工作中，逐步完善我院数据交换平台，“kettle”工具和相关交换规则会发挥重要作用。参考文献：1李品新，熊桂喜，数据交换系统中交换引擎的设计与实现，计算机与现代化（总第124期），2005（12）.