《大数据中心建设思路13964.pptx》由会员分享，可在线阅读，更多相关《大数据中心建设思路13964.pptx（81页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数据中心建设思路西安美林 杨晓辉国网数据中心概念数据建模设计梳理采集（ETL）数据存储数据服务总线数据中心建设任务数据整合3统一（模型、数据源、口径）综合分析横向分析专业应用纵向关联分析数据共享数据服务、企业总线4数据数据中心目标架构中心目标架构展示层展示层数据分析数据分析应用层应用层数据数据集市层集市层企业数据仓库企业数据仓库(EDW)数据数据存储层存储层数据源层数据源层跨专业综合分析营销分析财务分析生产分析设备分析人力分析计划分析综合统计分析电力市场分析营销生产电力市场综合ERP紧耦合业务应用数据紧耦合业务应用数据营销、生产、综合等业务应用和其它外部数据营销、生产、综合等业务应用和其它外部
2、数据DSOPSAInfoCube物资分析项目分析跨专业跨专业综合集市综合集市企业门户企业门户ODS数据抽取数据整理数据转换数据汇总集中存储数据分析应用方式展现方式源系统5数据中心执行架构批批处处理服理服务务性能与可用性服性能与可用性服务务通用服通用服务务最最终终用用户访问户访问数据抽取数据抽取数据源数据源系统、非系统数据存数据存储储知识发现在线分析查询数据访问报表报表元数据管理服元数据管理服务务技术元数据业务元数据元数据知识库数据数据仓库仓库架构架构数据数据访问访问数据数据访问访问架构架构门户系统数据全域服数据全域服务务任务重启与恢复任务调度监控被拒绝数据管理错误处理异常日志与审核跟踪文件传输
3、帮助数据归档线程管理参数化文档管理服文档管理服务务数据注解应应用用连连接服接服务务中间件连接器抽取转换数据集市数据仓库加载数据缓存ODS排序过滤清洗抽取转换关联更新加载DSO套装软件业务6数据中心物理架构业务系统数据库服务器业务系统数据库服务器心跳线心跳线DSO/DM磁带库光纤交换机光纤交换机磁盘柜存存储储WEB备份服务器BI 应用服务器群应用服务器群ETL/Monitor/AnalysisETLAnalysisHPODSDW/DMBI应用服务器可由多个服务器组成应用集群数据中心建设的终极目标统一且完善的企业信息模型统一数据源、统一数据口径一致的数据出入口（数据服务总线）管控中心（各种专业分析
4、）企业统一数据模型数据边界顶层信息模型实现最终目标的困难数据源不健全、数据质量差模型统一设计工作量大底层建设成效缓慢11网省电力数据应用所面临的挑战网省电力数据应用所面临的挑战业务挑战业务挑战现有分析系统仅提供简单的报表能力，功能单薄领导层无法从企业全局角度出发对企业各个业务条线进行跨业务、多角度、多层次的综合分析业务分析系统多集中于各自专业领域，而跨业务专题的分析应用能力尚不具备存在相同数据多头上报并且上报数据不一致的问题缺乏对现有数据的高级分析应用，没有合理地发挥和利用网省电力业务数据资产的价值技术挑战技术挑战各个业务系统相互独立，业务人员难以进行跨系统业务分析现有分析型系统与相应生产型系
5、统耦合性较强，受到生产型系统影响较大，缺乏对全业务分析的支持数据不一致问题较严重，对于相同业务数据存在多个不同版本各业务系统自行管理数据，业务数据的含义在企业的各个部门内存在不一致的解释各类业务系统内数据质量较低业务因素业务因素数据分析类型划分不够明确缺少统一的报表与指标体系规范缺乏明确的数据认责技术因素技术因素缺乏规范的数据架构缺乏明确的数据定义数据分布不合理数据模型不一致数据管理不规范缺乏企业级整合的数据缺乏有力的系统实施和使用管控机制数据中心的建设策略短期见效、应用驱动展现全局指标数据，早出成果，短期见效，以应用促建设非源头数据直接导入，健全全局类指标数据转移部分业务系统查询功能切断统计
6、途径推动数据中心应用数据中心建设最终是为解决业务部门专业分析能力而服务，在这个逐步推进、不断完善成熟的过程中，应着重解决影响应用实用性不强的如下几点：q好的经验、方法和操作流程是关键，促进信任关系的建立，解决互不信任的局面。q在一套有效的方法的指导下，同时遵照一个好的流程，就容易得到领导支持，得到业务人员的有效参与和技术人员的有力配合 q解决长周期项目中期没有任何产出的现状q消除领导及业务人员对数据中心建设疑虑q建设期间、获取业务人员对实施过程中的认可和支持，从而不断增强他们对项目的信心及应用实用性的肯定q解决企业数据“进口”与“出口”数据统一q切断网省业务人员获取统计数据的其他来源，统一定义
7、从数据中心获取q切断业务应用向总部交换数据的其他途径123业务部门主导过程中不断出成果切断原有数据统计、汇报方式数据中心的建设方式1、自顶向下（追溯法分析应用法）既先分析报表中指标数据，再根据指标的构成进行追溯分析，直至建设粒度到最小的、不可再分的业务细节数据；这种方式有利于梳理统计类指标，分析企业中各统计指标的口径。侧重纵向数据关联。2、自下而上（数据整合法）这种建设思路是先建立企业的概念模型，然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设计、物理模型设计。侧重横向分析和标准建设。3、折中建设建设方法对比方法方法1.1.先数据整合、先数据整合、再构建分析应用再构建分析应用方法方法
8、2.2.先构建分析先构建分析应用、再进行数据整应用、再进行数据整合（或者不进行全局合（或者不进行全局整合）整合）方法方法3.3.边构建分析边构建分析应用、边进行数据整应用、边进行数据整合合优势挑战适用于业务较为简单或业务需求明确数据基础较好有成熟建模经验业务条线复杂、数据基础水平不一、应用需求层次不同要具备成熟的数据标准和数据模型数据整合投入较大，短期内与分析应用收益不能相符可实行有效的数据质量管理可快速进行分析应用的扩展分析应用快速见效数据质量无法保障只能满足部门级使用分析应用快速见效逐步深化的建设方法，兼顾效率和可扩展性调动业务驱动力工作方法的统一一致建设团队的有效分工、协作建议采用方法3
9、进行数据中心数据整合的建设分析应用演进细节数据 单指标分析 综合分析专业分析建设方法17业务驱动力梳理分工协作模式确认建设任务分工实施验证q业务部门专业分析建设驱动力调研q按专业分析建设指导思路，深化业务部门专业分析需求调研q按数据耦合度分工建设q可按源系统接入管理、数据整合管理、分析应用建设管理的方式分工建设q组建专业分析应用建设团队，同数据中心运维团队建立分工协作机制，有效推进数据整合工作q按试点、推广、验证的数据中心建设流程迭代完成数据中心逐条线建设策略的部署18选择合适专业分析应用满足业务部门需要量身定制的业务需求生产分析举例n典型日负荷曲线增长趋势分析n峰谷差分析n责任频率合格率分析
10、n电压合格率分析n变压器负载情况分析安全生产分析举例n人身事故分析n设备事故分析n电网事故分析n电力设施保护分析n设备障碍情况分析避免综合统计查询建设涵盖面广、集中展现指标集合的现象解决数据粒度粗放，业务主题分析不够深入的问题按专业分析条线逐步完成数据整合，有利推动一体化平台数据中心的建立专业分析深入性强实施路线成熟度高分析深入性强，需求定义严谨专业分析内部耦合性强设计结构要求严谨专业分析19数据中心共享演进p继续完善数据交换平台，提升交换效率、性能，足以支持远程大数据传输的实现。p在服务质量保证方面，关注数据交换场所的安全性、可靠性。p构建数据交换接口区数据接口规范，随着数据仓库建设的进度而
11、扩展接口区数据规范。综合数据交换区域营销数据交换区域生产数据交换区域ERP数据交换区域共享数据区域设计总部深化数据获取日报数据总部深化数据获取日报数据细化细化数据深度数据深度提升提升数据共享数据共享性能性能完善优化完善特定业务需求的级联要求基本成型完成基于细粒度历史数据的专业分析数据起步速成完成基于粒度粗放数据的综合指标查询数据 数据中心功能设计21展示层展示层数据分析数据分析应用层应用层数据集市层数据集市层八大业务应用数据和其它外部数据八大业务应用数据和其它外部数据安全生产财务绩效设备生产企业数据仓库企业数据仓库(EDW)数据仓库层数据仓库层数据的抽取数据的抽取/清洗清洗/整合整合数据源层数
12、据源层安全生产分析营销分析财务绩效分析电网运行分析设备生产分析人力资源分析项目分析物资分析综合统计分析电网运行电力市场分析人力资源项目电力市场营销物资综合统计网省电力公司数据仓库逻辑架构网省电力公司数据仓库逻辑架构数据应用分析通过企业级数据仓库及数据集市提供数据支持，并通过前端展示层将分析的结果用合适直观的方法展现给最终用户 22数据仓库能力蓝图数据数据仓库仓库集中整合集中整合信息描述信息描述数据移动数据移动分析展现分析展现质量保障质量保障高级应用高级应用提供多维分析能力，使得用户能够把一个实体的多项重要属性定义为多个维度进行深入分析，并能对不同维度值的数据进行比较；同时，还需具备数据挖掘能力
13、，帮助业务分析人员在现有数据中识别数据的模式，针对整个企业的状况和未来发展作出较完整、合理、准确的分析和预测，从复杂难懂的数据中发掘出指引企业发展需要的路径提供标准的报表和图表功能来帮助不同管理层人员做出正确决策；针对具体分析应用建立数据集市为前端提供高效的数据查询和分析服务为了方便整个数据仓库保存信息的管理，需要具备强大的元数据管理功能，以实现各类技术术语与流程在企业内部的统一定义通过数据仓库，使得数据按照业务主题进行存储，完成对分散数据的整合工作，形成企业内部“唯一事实”提供较强的数据抽取、转换与加载能力：能够高效地将前端业务分析所需要的各类数据移动到数据仓库内，根据预先制定的业务规则对数
14、据进行处理转换使其符合目标数据格式，并根据前端展现需求提供高性能数据加载机制数据仓库应该具备完善的数据质量管理机制，确保企业内部数据的一致性与准确性，提升数据仓库分析结果的可信性23数据应用的业务目标数据应用的业务目标根据对国际先进电力企业的研究，数据应用工作可以通过提高四项能力（即电网安全运营管理、电力营销及服务、财务绩效分析和资源计划及决策）来促进电网的业务发展。数数数数据据据据应应应应用用用用提高电力营销管理及服务电力营销管理及服务能力通过对用电量、电费、电价的分析，提高电量的需求预测能力、价格制定能力全面了解用电户的电力消费和缴费情况，帮助制定相关的用电政策和服务措施.分析营销手段及效
15、果，提升营销策略的有效性提高电网安全运营管理电网安全运营管理能力通过对设备和电网的运行状况、检修、缺陷、事故的及时准确掌握，提高设备和电网的监控管理能力，科学管理电网设备资源；通过对安全人身伤亡事故的分析，提高事故管理和防范能力提高财务绩财务绩效分析效分析能力反映企业单位的财务成果；指导企业单位降低成本和费用，增加收入；充分利用资金，创造好的经济水平员工绩效分析，从组织和个人两个层面为绩效管理提供支撑依据。提高资源计划及决资源计划及决策策能力完善报表管理，为领导及时提供全面的关键业务信息。通过国网业务运行状态的分析和监控，提高信息预测能力，为领导的科学决策提供保证，电网用户前台业务人员后台管理
16、人员决策领导数据分析应用的业务目标 通过构建四项能力来促进网省电力业务的发展24数据分析应用基本涵盖了网省电力所有业务数据范围安全生产分析安全生产分析设备生产分设备生产分析析财务绩效分析财务绩效分析电网运行分析电网运行分析电力市场分析电力市场分析营销分析营销分析人力资源分析人力资源分析物资管理分析物资管理分析项目建设分析项目建设分析业务监控电量电费电价分析销售分析市场开发分析需求预测营销分析线损信息分析客户服务分析机构构成分析定员定岗分析人员组成分析工资分析教育培训分析绩效考核报表与信息查询销售分析物资收入经济分析物资消耗经济分析物资库存经济分析分析预算超时限分析市场信息分析建设情况分析投资情
17、况分析投产效果分析分析与国网公司生产建设过程中发生的各类人身伤亡事故相关的数据统计 设备构成分析设备动态信息分析设备检修分析设备缺陷分析设备试验分析财务指标资金分析成本分析利润和收益分析负荷分析电压质量分析电量平衡分析网损分析无功补偿分析电网保护设备分析交易量分析交易费用分析电力价格分析市场需求预测综合分析综合分析计划统计计划统计生产经营指标分析用电营业指标分析电网运行产品成本、销售收入和利润电网建设安全指标25公司领导公司领导财务人员财务人员生产人员生产人员计划人员计划人员调度人员调度人员人资部门人员人资部门人员项目管理人员项目管理人员科信管理人员科信管理人员物资管理人员物资管理人员营销人员
18、营销人员电力交易人员电力交易人员网省电力各层次用户通过数据分析应用而受益26保证设备综合信息的完保证设备综合信息的完整性和历史性整性和历史性从横向确保完整性：设备运行的情况设备消耗的水、煤、气记录设备运行的可靠性记录记录设备的测试信息。从纵向确保历史性：当期上期历史同期历年情况。设备管理监控人员设备管理监控人员/后台管理人员后台管理人员数据整合支持数据整合支持统一设备视图统一设备视图设备台帐信息 设备检修设备测试设备故障设备运行设备消耗设备事故设备环境设备可靠性其他信息(ODS)数据仓库ODS保障数据的时实可访问性数据仓库保障数据的历史性统一信息视图提供了快速访问主题全面信息的能力某电力设备某
19、电力设备27数据仓库建设策略比较数据仓库建设策略比较l重复的ETL发开和数据整合，人力资源浪费l重复的ETL工具，前端分析工具，数据仓库平台软件的购买。l各自的数据模型设计，集市之与集市之间潜在的新一轮数据整合需求。l无丰富的企业全面业务数据支撑，无法提供跨系统的业务分析能力l集市各自的指标定义，在企业层面，容易出现不一致l不符合一体化平台建设要求l形成企业范围内统一信息视图l建设统一、可重用的ETL流程lETL工具，前端分析工具、数据仓库平台单次采购和开发，有效降低TCOl丰富的企业全面业务数据支撑，领导以及业务人员能够得到更加丰富的数据l各业务部门可根据自身需求在统一数据仓库平台上建设更深
20、层次的高级数据分析应用l建设元数据管理机制实现企业内术语理解一致l建设统一的数据管理机制，提升数据质量推荐推荐实现方法实现方法I业务部门单独建立各自数据集市，业务部门单独建立各自数据集市，无企业层面的统一的规化和协调无企业层面的统一的规化和协调实现方法实现方法II信息部门牵头统一建设企业数据仓库信息部门牵头统一建设企业数据仓库企企业级数据模型建数据模型建设目目标与方法与方法29企业级概念企业级概念数据模型数据模型企业级逻辑企业级逻辑数据模型数据模型企业企业主题主题主题逻辑主题逻辑数数据模型据模型物理物理数据模数据模型型指导指导细化细化概念数据模型概念数据模型逻辑数据模型逻辑数据模型物理数据模型
21、物理数据模型转换转换当前已有成果当前已有成果在相当长的时间内，在相当长的时间内，还需要做的事情还需要做的事情数据模型建立过程30数据集市层数据集市层八大业务应用数据和其它外部数据八大业务应用数据和其它外部数据数据仓库层数据仓库层数据源层数据源层直接满足上层数据分析应用要求查询的高效性和有针对性高度聚合，一般无明细从技术而言是星型模式数据分析模型数据分析模型主题1主题2主题n基于主题域侧重于对企业范围内数据进行整合明细数据与聚合数据共享从技术而言是3NF模式数据仓库模型数据仓库模型数据模型在数据仓库架构中所处的位置数据模型在数据仓库架构中所处的位置31企业级概念数据建模目的主题主题主题主题主题主
22、题主题主题主题主题主题主题主题主题主题主题主题主题业务业务数据数据业务业务数据数据业务业务数据数据业务业务数据数据业务业务数据数据业务业务数据数据业务业务数据数据业务业务数据数据业务业务数据数据数据分类数据分类企业级概念数据建模的目标在于识别网省电力业务主要数据主题并根据各个数据主题间的逻辑关系划分其所属数据主题域数据主题域。数据主题域集中反映了某方面的业务内容，通常是同类或关联关系较为紧密的数据主题的集合（如，设备主题包括了设备台帐、设备运行相关事件等多个数据主题）。数据主题数据主题是任何可以区分的人、地点、事情、事件或概念，信息围绕它来保存。属性是实体的特性或数据字段。数据主题域是数据仓库
23、主题建模的基础，通过细化数据主题域即可建立统一的数据仓库模型。统一数据仓库模型是网省电力公司数据仓库进行数据整合和集成的重要基础。32企业级概念数据建模方法l数据主题梳理数据主题梳理 通过仔细分析网省电力公司各类业务系统详细说明，IT咨询组从中梳理出网省电力公司业务所产生和需要的主要数据并形成数据主题清单，这些数据主要包括主数据和事物数据两部分：主数据是指客户、供应商、设备台帐等，而事务数据是指网省电力具体业务运营所产生的各种事务型数据，例如设备检测数据、调度交易数据等。l数据主题域设计数据主题域设计 根据分析整理得到的数据主题清单，并结合这些数据的特点和网省电力具体业务关注点即可归纳抽像出数
24、据主题域。主题域集中反映了主题相关的所有业务内容，通常是同类或关联关系较为紧密的数据主题集合业务系统详业务系统详细说明细说明数据梳理数据主题清数据主题清单单归纳整理数据主题域数据主题域33数据主题域划分安全安全客户客户产品产品设备设备电网电网财务财务资产资产物资物资项目项目人员与组织人员与组织综合管理综合管理事故信息事故损失安全记录客户基本信息客户信用客户电价客户表计信息客户变更客户消费电能客户帐单客户负荷客户缴费客户产品订购客户服务产品基本信息产品价格产品质量保障服务流程定义设备台帐设备运行设备检修设备测试设备消耗设备环境设备故障设备可靠性电力成本电力价格电网结构电力调度电量交易电力市场预测
25、科目银行凭证会计帐簿财务报表资产卡片资产形成资产租赁资产借用资产变更资产调拨资产报废清产核资资产折旧投融资资产报表物资编码物资分类物资供应库存信息出入库管理项目基本信息项目计划信息项目设计信息项目管理信息设备材料信息竣工决算信息投产成果信息需求信息费用信息合同信息招投标信息业绩信息职位信息调动信息奖惩信息培训信息社保缴纳劳保领用外事信息人员基本信息薪酬福利信息社会保险信息劳动保障信息组织机构信息法律国际任务同业对标审计信息纪检监察计划统计服务质量考核服务绩效分析34数据主题域详细解释安全安全安全主题域用于描述公司运营过程中的人身事故、电网事故和安全损失等信息客户客户客户主题域主要由客户的基本信
26、息、计费缴费信息、客户服务信息等组成产品产品产品主题描述国网公司提供的电能、热能与国网公司所提供服务的描述与价格信息以及与服务质量、服务效果相关的各类记录设备设备设备主数据用于描述企业发电、输电、配电、供电四大类在网运行设备资源、运行和调度信息、测试、破坏和环境等信息电网电网电网主题域包含了市场的电力价格、预测相关信息，网间、电厂电网的交易信息，以及电力调度中设备产生的相关数据财务财务财务主题域描述了财务的核算、预算、固定资产、资金数据以及会计账目等相关数据资产资产资产主题域描述了与国网公司各类有形/无形、金融/非金融资产相关的各类信息物资物资物资主题域描述了与国网公司的物资与物资管理相关的各
27、类信息项目项目项目主数据表达了基建项目、跨区电网项目、投资项目、大修项目、技改项目、科技项目、用户项目和信息化项目的全生命周期的信息人员与组织人员与组织人员与组织主题域用于描述公司业务活动中人和组织结构信息综合管理综合管理综合管理主题域描述同业对标、计划统计、审计、法律、纪检、国际任务信息35概念逻辑模型36主题域概念模型产品产品客户客户安全安全设备设备37主题域概念模型（续1）物资物资电网电网资产资产财务财务38主题域概念模型（续2）综合管理综合管理项目项目人员与组织人员与组织39数据建模一步工作：在概念模型基础上，进行国网公司企业级逻辑数据模型的建设安全安全客户客户企业级逻辑数据模型包含企
28、业级逻辑数据模型包含近千个近千个业务实体及其复杂的关系业务实体及其复杂的关系巨大的挑战！巨大的挑战！企业级概念数据模型企业级概念数据模型细化细化企业级逻辑数据模型企业级逻辑数据模型*企业级逻辑数据模型的建设应该以数据仓库建设为线索，是数据企业级逻辑数据模型的建设应该以数据仓库建设为线索，是数据仓库建设的重要工作之一仓库建设的重要工作之一示例数据中心建设目标和架构41国网数据中心整体建设目标体系电网安全管理能力营销管理与服务能力财务绩效分析能力资源计划决策能力数数据据应应用用安全生产分析安全生产分析财务绩效分析财务绩效分析营销分析营销分析电网运行分析电网运行分析设备生产分析设备生产分析人力资源分
29、析人力资源分析计划统计计划统计物资管理分析物资管理分析电力市场分析电力市场分析项目建设分析项目建设分析42综合决策综合决策 综合国网业务指标综合国网业务指标 建立数学模型，综合预测建立数学模型，综合预测 完善关键绩效指标考核等应用完善关键绩效指标考核等应用 制定策略，指导业务实践制定策略，指导业务实践 综合决策综合决策 套装软件内紧密耦合的专业分析套装软件内紧密耦合的专业分析 通用平台专业分析通用平台专业分析 跨平台的专业分析跨平台的专业分析 .专业分析专业分析绩效绩效预测预测指标指标挖掘挖掘人力人力生产生产财务财务 套装软件业务基础数据整合套装软件业务基础数据整合 在套装软件内部完成在套装软
30、件内部完成 非套装软件业务在通用平台非套装软件业务在通用平台 整合完成整合完成 交换数据交换数据基础数据整合基础数据整合层次层次：决策层：决策层内容内容:指标衡量指标衡量层次层次：管理：管理层层内容内容:专业分析专业分析综合分析综合分析物质物质项目项目设备设备计划计划国际合作国际合作营销营销招投标招投标 营销分析营销分析 生产分析生产分析 人力人力分析分析财务财务分析分析物质物质分析分析项目项目分析分析设备设备分析分析计划计划分析分析数据中心整体建设目标体系在应用架构上的分解数据中心整体建设目标体系在应用架构上的分解43基于通用平台实现套装软件营销系统生产系统 EDW-ODS企业级数据仓库企业
31、级数据仓库通用平台前端通用平台前端集集市市集集市市集集市市集集市市前端集市层数据仓库层ODS源系统lDW中应用国网统一的数据模型和数据标准；l整合后的数据通过开放平台前端进行分析和展现；风险风险可扩展性较好，适应未来应用需求的增长有利于企业级数据模型的建立有利于系统间共享信息的统一信息视图建立44数据中心数据架构数据访问功能和方式46主要数据访问功能名称名称功能功能描述描述报表实现预定义和用户自定义报表功能通过报表工具实现预定义报表的自动生成和分发，并能够灵活的实现用户自定义报表的功能。即席查询进行准实时的业务查询通常即席查询的功能会涉及准实时的业务信息，可以由ODS区提供此类应用，通过即席查
32、询工具，不需要非常专业的SQL知识即可完成业务信息的即席查看。联机分析利用OLAP分析手段实现多维度的交叉分析利用OLAP分析工具，配合设计良好的OLAP数据模型，可以完成业务人员对业务的分析需求。联机分析的手段包括各种图形和表格的表现，以及在其上进行的多维度的交叉分析，帮助用户快速定位和解决问题。知识发现利用数据挖掘等知识发现技术实现特定的分析专题用户获取有用信息的能力体现了数据仓库系统的价值，通过数据挖掘等高级统计分析技术，企业能够将数据源中有价值的信息（知识）识别出来并建立模型，同时通过自动化或半自动化的工具进行分析。知识发现应用根据专题的不同可采用自顶向下或自底向上的方法，分别适应假设
33、验证和知识发现型的应用。47数据访问类型、数据访问复杂度和用户层次三者间的关系复 杂 分析数据访问数据访问复杂度复杂度简 单 分析初 级 用户有经验的用户报表报表数据分析数据分析查询查询知识发现知识发现48数据访问方式有限制的交互有限制的交互灵活的交互灵活的交互客户端通过浏览器客户端通过浏览器访问数据访问数据 静态发布静态发布灵活交互架构是能够提供最丰富功能的最新架构。除了与有限制交互相似的功能外，灵活交互架构能够生成包含嵌入式、可供交互、可执行内容的报表。这些可交互内容允许用户体验到接近于客户端/服务器模式工具开发的图形界面使用感觉有限制的交互架构能够让用户访问实时数据。当用户点击链接来获取
34、报表的时候，系统允许用户在一系列参数中选择自己需要的条件。这些HTML页面（可能是静态形式，也可能是互动形式）将被返回给Web服务器并展现给最终用户静态发布是最直观的数据访问架构形式，用户可以通过点击相关链接得到预先生成的报表。这些报表以HTML文件格式存放在Web服务器内。静态发布的执行架构仅由Web服务器和浏览器两部分组成。报表通常是通过批量处理执行产生的 数据访问的实现方式是选择和评价数据访问工具的重要参考依据,目前市场上主流的数据访问实现方式分为两种：客户端-分析服务-数据存储客户端为IE流览器的数据访问 第二种数据访问方式因为更容易部署和更少的维护成本，被广泛的使用和形成行业标准第二
35、种数据访问方式因为更容易部署和更少的维护成本，被广泛的使用和形成行业标准开发过程组织50网省数据仓库的演进方法是以数据仓库网省数据仓库的演进方法是以数据仓库分析能力和数据整合能力的提高为主线分析能力和数据整合能力的提高为主线索索,提升数据管控能力提升数据管控能力,改进数据质量改进数据质量Quick WinQuick Win（速赢）（速赢）（速赢）（速赢）数据仓库建立及完善数据仓库建立及完善数据仓库建立及完善数据仓库建立及完善 数据仓库优化数据仓库优化数据仓库优化数据仓库优化领导决策能力的提高领导决策能力的提高数据质量的改进数据质量的改进数据管理能力的提升数据管理能力的提升建立领导查询系统挑选重
36、要的主题进行数据仓库建设提供联机分析及综合报表数据仓库基本建成提供更全面的数据分析以及数据展现可以对数据进行更深层次的挖掘网省数据中心建设演进方法网省数据中心建设演进方法51国网数据仓库的总体实施策略是以降低风险为原则，通过试点建设积累经验，验证方法，从而形成国网成熟的统一的数据模型标准，数据管控方法和流程，数据仓库体系架构。然后再大面积推广。这样可以保证整个国网数据中心的建设在控、有序。推广网省试点网省数据模型规划,提供基于业务数据主题的高层数据逻辑模型和细节数据物理模型业务数据标准和代码指标准确的建立设计数据仓库技术架构制定数据标准管理及维护流程制定数据质量管理策略和方法数据按其敏感性、重
37、要性建立一套完整的数据安全分级标准试点的建设试点的建设宣贯推广宣贯推广经验验证经验验证执行督导执行督导典型经验典型经验数据模型标准数据仓库技术架构数据管理标准业务数据标准代码指标标准采用试点先行，典型经验指导的策略实行全国网范围内的数据仓库建设采用试点先行，典型经验指导的策略实行全国网范围内的数据仓库建设52数据仓库开发的人员和组织53数据仓库开发的阶段、任务和流程计划计划分析分析设计设计开发开发测试测试部署部署项目管理项目管理培训及运行支持培训及运行支持复查期望目标复查期望目标定义方案蓝图评估现状能力定义交付策略评估风险定义定义ETL功能、技功能、技术整合术整合设计开发执行运行环境制定ETL
38、、BI产品测试计划制定UAT计划开发BI前台展现组件安装开发执行运行环境部署ETL、BI组件测试计划完成产品测试完成UAT测试评估部署就绪条件完成数据转换发布应用程序完成操作就绪测试完成性能测试ETL高层需求确高层需求确认认TTTTTTETL开发流程定义开发执行运行环境需求定义报表详细规范建立概念数据模型定义终端用户访问技术需求定义数据分析需求性能测试计划建立逻辑数据模型建立物理数据模型完成组件测试在整个数据仓库开发过程中，非常关键的任务。需要设入较多的资源54计划阶段计划阶段计划阶段复查期望目标复查期望目标评估现状能力评估现状能力定义方案蓝图定义方案蓝图定义交付策略定义交付策略回顾愿景及业务
39、目标回顾愿景及业务目标定义方案蓝图定义方案蓝图确认目标业务流程确认目标业务流程定义交付策略定义交付策略TTTT评定当前业务流程评定当前业务流程评定当前的评定当前的 能力、能力、性能、风险性能、风险 评定当前技术架构评定当前技术架构评定当前应用程序评定当前应用程序评定当前组织架构评定当前组织架构评定元数据及数据管控评定元数据及数据管控评定当前支撑能力评定当前支撑能力应用解决方案应用解决方案 技术解决方案技术解决方案 业务流程变更业务流程变更解决方案解决方案 运维解决方案运维解决方案 定义开发策略定义开发策略定义试点策略定义试点策略定义测试策略定义测试策略定义部署策略定义部署策略定义元数据管理定义
40、元数据管理定义数据管控策略定义数据管控策略55分析阶段分析阶段分析阶段复查期望目标复查期望目标定义数据分析需求定义数据分析需求定义定义ETL高层需求高层需求TT建立概念数据模型建立概念数据模型定义开发、执行、运行定义开发、执行、运行环境的具体需求环境的具体需求定义用户对数据访问的定义用户对数据访问的技术需求技术需求制定制定UAT测试计划测试计划制定产品测试计划制定产品测试计划制定性能测试计划制定性能测试计划评估风险评估风险56设计阶段设计阶段设计阶段定义定义ETL功能技术整合功能技术整合方案高层需求方案高层需求定义报表详细规范定义报表详细规范TT建立逻辑数据模型建立逻辑数据模型制定技术架构及组
41、装测制定技术架构及组装测试计划试计划设计开发、执行、运行设计开发、执行、运行环境的准备环境的准备57开发阶段开发阶段开发阶段ETL开发流程开发流程BI前台组件开发前台组件开发TT建立物理数据模型建立物理数据模型ETL、报表组件测试计、报表组件测试计划划开发、执行、运行环境开发、执行、运行环境的准备的准备58测试阶段测试阶段测试阶段组件测试组件测试产品测试产品测试TT性能测试性能测试UAT测试测试确认组件测试周期确认组件测试周期编写组件测试脚本编写组件测试脚本发布组件测试环境发布组件测试环境 更新测试源数据更新测试源数据 执行组件测试，并将测试通报错误及时修复执行组件测试，并将测试通报错误及时修
42、复确认产品测试周期确认产品测试周期编写产品测试脚本编写产品测试脚本发布产品测试环境发布产品测试环境 执行产品测试，并将测试通报错误及时修复执行产品测试，并将测试通报错误及时修复 确认性能测试周期确认性能测试周期编写性能测试脚本编写性能测试脚本发布性能测试环境发布性能测试环境 执行性能测试，并将测试通报错误及时修复执行性能测试，并将测试通报错误及时修复 59部署阶段部署阶段部署阶段评估部署就绪条件评估部署就绪条件 完成数据转换完成数据转换TT完成部署就绪测试完成部署就绪测试发布应用发布应用评估应用程序是否就绪评估技术架构及基础架构是否就绪评估应用程序是否就绪评估技术架构及基础架构是否就绪 评估部
43、署站点是否部署就绪评估部署站点是否部署就绪 评估国家电网最终用户人员是否就绪并已培训完成评估国家电网最终用户人员是否就绪并已培训完成 制定偶发性事件处理机制制定偶发性事件处理机制 列出部署就绪每一阶段检查点列出部署就绪每一阶段检查点 准备数据转换就绪动作准备数据转换就绪动作准备转换所需正式数据；清洗数据；创建数据备份准备转换所需正式数据；清洗数据；创建数据备份执行数据转换动作执行数据转换动作验证转换后的数据验证转换后的数据执行部署测试执行部署测试验证操作结果验证操作结果错误修复；管理及服务支持能力就绪错误修复；管理及服务支持能力就绪确认操作就绪验证完成确认操作就绪验证完成通知部署、开发及上线实
44、施团队通知部署、开发及上线实施团队数据中心功能展示财务杜邦专业分析FI业务管理模块业务管理模块财务ERP业务管理模块总共有7个分析主题；应用到的分析查询共有75个；BW分析模型8个；用到的源系统分为2类：ECC P800和外部平面文件；数据源总共有11个：财务管理ERP高级分析应用ERP业务运行指标杜邦财务分析体系地市公司对标指标总账应收应付固定资产贷款业务量统计凭证错误率分析预制凭证完成情况财务开放记账期间查看包含了13份报表，25个分析查询，2个数据源。杜邦财务分析体系详细地为用户或决策者提供了陕西省电力公司本部、物资公司、信通公司及各地市公司的所有财务状况数据信息的综合性分析平台，用户通
45、过它就可以对各公司的月度财务状况及年度财务总结都有一个全面的掌握.杜邦财务分析体系杜邦财务分析体系 模型结构图模型结构图其他专业分析设备维护成本分析电网发展指标资产状况指标分析财务分析数据质量监控数据质量监控 数据质量监控系统由数据监控看板、数据修正、数据质量分析及数据评测报告等组成。几个功能模块并非独立的，而是以综合查询分析平台为基础以数据修正为纽带紧密的结合起来通过层层推进并迭代的方式，不断促进数据中心的数据质量的提高，同时也帮助各个业务系统提交各自的数据质量。数据中心数据质量提高数据监控板发现数据错误数据修正手动执行ETL数据质量分析分析业务系统数据质量原因及变化趋势 通过数据监控看板发
46、现数据错误，针对错误联系业务系统运维人员或业务部门对业务数据进行纠正。使用数据修正功能对“脏数据”进行处理，可以手动执行ETL程序重新抽取剔除错误数据。每周根据数据监控看板的内容，按业务部门、业务系统、错误类型和质量变化趋势出具数据质量分析报告。以促进数据中心应用为主线，在应用中动态地提高数据质量。数据质量监控 数据中心数据质量提高数据监控板发现数据错误数据修正手动执行ETL数据质量分析分析业务系统数据质量原因及变化趋势 在ETL设计过程，需要针对每个流程设计错误流程并且定义错误类型。每个ETL流程遇到错误时写入容错库中。数据质量监控 数据中心数据质量提高数据监控板发现数据错误数据修正手动执行
47、ETL数据质量分析分析业务系统数据质量原因及变化趋势 数据修正使用使用数据修正使用使用Informactica提供的提供的WebService接接口，通过调用口，通过调用WebService可以在以可以在以Web的形式调用的形式调用ETL程序程序对出错程序进行处理。对出错程序进行处理。数据质量监控 数据中心数据质量提高数据监控板发现数据错误数据修正手动执行ETL数据质量分析分析业务系统数据质量原因及变化趋势 利用利用Cognos展现分析功能，对错误库中展现分析功能，对错误库中的数据按出错时间，出错类型，隶属业务部门，的数据按出错时间，出错类型，隶属业务部门，隶属业务系统等汇总，可以得到数据质量
48、分析隶属业务系统等汇总，可以得到数据质量分析报告。该报告也可以使用报告。该报告也可以使用Cognos的导出功能实的导出功能实现。现。工作任务工作任务工作量数据抽取数据抽取从源系统到分析环境的数据抽取结构复杂且封闭，直接抽取难度大，考虑增量模式抽取需要大量开发工作数据整合数据整合转换、更新规则开发不能通过简单配置方式得到有效数据整合，仍需大量客制开发分析模版分析模版分析模版开发在通用平台上基于业务分析需求单独建立和维护分析模版数据展现数据展现同现有门户集成Cognos接入门户实现方案单点登陆开发通过Cognos单点登陆实现方式运行维护运行维护 运维管控需求变动、系统性能维护牵涉面广，流程复杂，代价较高。总评总评ETL/分析模版等大量工作需要客制化开发，工作量大，且后期运维代价高81紧耦合专业分析建设业务驱动力紧耦合技术路线已明确，紧耦合分析提上建设日程项目财务物资项目-物资分析举例n消耗量分析：按单位，项目性质，项目类型，项目阶段，物资类别，时间等维度，对物资数量，物资金额的计划值，实际使用值进行对比分析。项目财务分析举例n项目投资规模分析n项目资金结构分析n资金执行情况分析n项目资金来源分析物资-财务分析举例n 物资采购金额数量分析套装软件内专业分析成熟度高套装软件提供成熟分析模版电网企业管理分析需求集中，实施成熟度高分析耦合性要求多实施路线成熟度高