《数据仓库-ETL开发流程.ppt》由会员分享，可在线阅读，更多相关《数据仓库-ETL开发流程.ppt（14页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、NCR-DW2_ 张雷勇张雷勇 上海天正软件公司上海天正软件公司数据仓库数据仓库-ETL开发流程开发流程 ETL开发 准备工作 ETL开发 SDM设计 ETL开发 脚本开发 ETL开发 脚本自测 ETL开发 流程图议程 ETL开发 提交物议程 ETL上线包示例模板 ETL开发模板统一和规范 ETL开发 依赖关系配置ETL开发流程图ETL开发 准备工作主要任务：主要任务：确定开发所需资源是否具备输入：输入：PDM变更完成，提交 CASENO实体DDL.DDL完备实施方案，提交 CASENO实施方案计划表.doc 输出：输出：无无ETL开发 SDM设计主要任务：主要任务：完成SDM设计开发 按照S
2、DM开发规范，确定实体加载策略，变更内容，变更记录，能够真实准确反应模型设计输入：输入：SPDB-EDW-LDM.ER1(模型设计-逻辑模型成果)变更实体表定义语句(模型设计-物理模型成果)实施方案计划表.doc 输出：输出：SPDB-DW-ETL-数据映射表(SDM)-主题.xlsETL开发 脚本开发主要任务：主要任务：初始脚本开发 周期脚本开发 变更历史数据处理脚本开发 变更相关代码表开发输入：输入：SPDB-DW-ETL-数据映射表(SDM)-主题.xls SPDB-EDW-LDM.ER1 实施方案计划表.doc 实体DDL.DDL输出：输出：初始/周期/数据处理/代码表脚本/SQL P
3、ERL 文件ETL开发 脚本自测主要任务：主要任务：开发人员自测初始脚本 开发人员自测周期脚本 开发人员自测数据处理脚本 开发人员自测代码表脚本 开发人员自测依赖关系脚本输入：输入：初始/周期/数据处理/代码表脚本输出：输出：自测文档.XLS 初始/周期/数据处理/代码表脚本LOG日志文件ETL开发 依赖关系配置主要任务：主要任务：完成 SPDBPDM依赖关系配置 根据依赖关系配置生成知识库变更SQL 填写主要参考：SPDB-依赖关系填写规范.doc输入：输入：CASENO-依赖关系配置.xls输出：输出：CASENO-依赖关系SQL.PL CASENO-依赖关系SQL.LOGETL开发提交物
4、主要任务：主要任务：进行上线资源整合工作输入：输入：初始，周期脚本和数据处理脚本变更视图脚本 view_ddl.pl变更代码表脚本 code_sql.pl变更初始化脚本 init.plSPDBPDM依赖关系配置.xls特殊上线步骤说明输出：输出：CASENO上线包 CASENO上线包上线步骤 CASENO上线包脚本运行LOG日志ETL开发上线包示例主要任务：主要任务：主要介绍上线包结构和实施步骤图示如下：图示如下：实施步骤：实施步骤：上线影响资源备份上线影响资源备份上线知识库变更操作上线知识库变更操作上线初始化上线初始化上线变更操作上线变更操作上线临时资源清理操作上线临时资源清理操作上线回滚操
5、作上线回滚操作ETL开发上线包示例(续)主要任务：主要任务：主要介绍上线包文件组成图示如下：图示如下：ETL开发模板统一和规范主要任务：主要任务：1.统一初始和周期开发脚本模板2.统一数据处理变更脚本模板3.统一应用开发脚本模板4.统一SQL PERL 文件脚本模板5.统一上线资源出口6.统一SDM设计文档模板7.规范SDM填写8.规范数据类型转换9.规范历史数据处理10.规范脚本测试和自测11.规范依赖关系配置说明：说明：统一开发设计模板就是为了杜绝因为文件不统一导致的上线错误，各种规统一开发设计模板就是为了杜绝因为文件不统一导致的上线错误，各种规范主要为了保证开发质量。范主要为了保证开发质量。谢谢聆听！