《数据治理实施方案(共18页).docx》由会员分享，可在线阅读，更多相关《数据治理实施方案(共18页).docx（18页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精选优质文档-倾情为你奉上数据治理实施方案现代企业日常各项经营活动中积累了大量数据资源，这些数据除了支持企业生产业务流程运转之外，也越来越多地被用于支撑监管报送和信息披露、精准营销、决策支持、风险控制、产品定价、绩效考核等运营管理和决策过程的数据分析需求。 市场正逐渐从卖方市场转变为买方市场，互联网的普及更加推动了这个市场转变的速度。为了适应新的市场环境的生存和发展要求，企业要实现全方位的转型，需要更为科学的决策方式，需要对客户的需求做出更快速的反应，需要不断提高内部的经营效率，需要有效化解瞬息万变的市场带来的风险等等，而这些转型的落地离不开经营管理和决策过程的优化和升级，而现实中企业日常经营
2、管理和决策过程的背后，实质上是相关数据资源的加工和利用过程，从大量原始数据的基础上加工形成支撑各类决策需求的分析型数据，从而帮助各级决策者及时获取做出准确决策所需要的关键信息。 而另外一个方面，虽然当前企业各项经营活动已经积累了大量的数据资源，如果不能对这些数据资源进行有效管理，不能迅速地对这些数据资源进行专业化处理，通过“加工”来实现数据资源的“增值”，其对经营管理和决策过程转型升级的价值就得不到很好体现，甚至会给运营管理和决策带来负面制约作用，阻碍了企业应对市场生存挑战的转型和变革。因此企业需要一把开启数据资源金库大门而实现在互联网时代业务价值倍增的钥匙。 经过多年的信息化建设，当前很多中
3、国企业各项经营活动已经实现了电子化处理，今天很多企业，都会有很多套应用系统支撑支持企业各项生产活动业务流程运转和中后台管理，每一套系统中都存有大量的数据，积累了规模庞大而且内容丰富的数据资源。 可是由于缺乏对现有数据资源统一管控的机制和技术平台，企业目前数据资源的分布很凌乱的局面没有得到有效的直接管控，历史原因的建设的不同步造成新老各类系统在建设过程中根据自己的需求各自为政而形成了数据割据和数据孤岛的存在，表现为数据定义不统一、各系统之间数据不合理冗余，形成多头交叉的局面，特别是使用多年的老旧系统的存量数据所表现出来的数据不完整、数据内容过时失效等质量问题比较严重，这类问题给不少规划建设的新系
4、统的上线运行带来了很大的障碍，客观上严重削弱了多年来企业花大力投入信息化建设的成效和价值体现。而且企业的战略成长需要信息科技应用水平向更高层次的迈进，这样的数据资源局面会随着更多的企业信息披露和监管报送、ECIF、客户关系管理系统（CRM）、内部资金定价（FTP）、绩效考核、风险管理、资产管理等企业级应用系统的陆续建设和投产所暴露出来，而数据质量问题已经成为严重制约企业整体信息科技应用水平和价值提升的障碍，事实上目前大多数中国企业的数据资源也无法为客户营销、精细化管理、风险控制、决策支持等当下企业业务向互联网+转型所必需的工作带来有效助力，因此，如果我们不能通过有效的数据治理工作来扭转这样的局
5、面，不但企业多年信息化建设所形成的信息资产价值得不到很好体现，而且必然会由于跟不上运营管理和决策的数据需求而给企业的战略转型带来负面作用。 企业战略转型急需信息科技扭转这种数据资源管控缺失的局面，为了使这些数据资源“包袱”变成“金矿”，有力支持信息科技工作达到预期的规划目标，通过建设和形成有效的数据治理体系来统一管控好数据资源就变得尤为重要和迫切。二、数据治理平台定位根据国际先进理念，数据治理是一个关注于在执行层面如何让各项数据资源实现业务战略价值需求的体系，成功的数据治理工作的实施是数据管控机制和数据管控领域的有效结合，得到业界普遍共识的数据治理体系架构包含以下内容 与国际普遍认可的成熟的数
6、据治理体系框架模型相对照，很多企业目前虽然也有部分数据治理工作，但整体来看缺失的内容还很多，而且现有的数据治理方面的工作成果和企业的业务运营管理和信息科技建设工作都没能很好地结合起来，目前并没有形成从全企业的角度统筹安排的数据管控机制，也没有一个技术平台支撑包括数据质量管理和数据标准管理的活动，这也让我们应该清醒认识到数据治理是一项意义重大、影响广泛而且任重而道远的系统性长期性的工程。 同时我们要客观分析企业的现实情况，当下很多企业信息化还在大规模集中建设期，各项信息系统的建设和优化升级工作正在如火如荼的开展之中，如前述所述，老旧系统的存量数据质量问题的矛盾非常突出，很多业务创新和市场营销的数
7、据需求远远得不到满足，而新业务系统上线后由于数据质量问题而造成的生产问题也时有发生，摆在企业当前数据治理工作的燃眉之急是尽快解决影响信息系统推广应用效果和业务用户体验问题的各种数据质量问题，时不我待，先构筑一个大而全的成熟数据治理体系再考虑具体问题的解决无疑是不能适应企业迫切的当前发展需要的。 因此，对于企业所要开展的数据治理工作，我提出以解决当前业务所遇到的数据质量问题为抓手，以构建的技术平台支撑各项解决问题的数据治理工作实施的总体策略，参考业界数据治理体系框架模型，在企业最高领导层的统筹安排下，由信息科技部门牵头平台建设和配套的数据治理实施工作，以高效解决当前信息科技成果推广中遇到的数据质
8、量问题为切入点，在实施中整合信息科技部与业务部门的知识和意见，由科技部牵头通过引入成熟的技术支撑平台和实施服务，配套推动能在企业落地执行的数据管控机制和组织建设，形成对企业的信息科技数据资源进行全方位的监管和控制体系，让对数据资源的统一管控在业务部门与信息科技部门达成高度共识和建设性合作机制，以求在解决各系统各项目的实际问题中逐步形成对数据资源的良性治理体系。 因此，我认为首先要明确数据治理体系和系统平台建设工作的定位是管控，对于管控定位的具体体现在以下三个方面。 从职能分工的角度，数据治理平台体现了代表企业战略决策层对于数据资源的统一管控的职能要求定位，数据治理平台侧重在管控层面的计划和控制
9、,具体数据问题的解决通过协调跨部门跨系统的资源予以实施和改进，这样更符合现代公司治理理念的管运分离原则，这样一方面解决目前企业在数据资源管理工作中存在的多头交叉而缺失统筹安排的问题，二方面能从管控的高度治理具体数据问题的时候能协调更大范围内有关资源，治理主体的分工责任更加明确，这样在效率和效果上更加可控； 从范围来讲，数据治理涵盖了企业所有信息资产和数据资源全生命周期的不同形态，从前端生产系统数据来源到后端运营管理和决策的数据分析和输出呈现，形成一个端对端的数据闭环管控体系； 从实施策略的角度，以解决后端数据分析成果输出的数据质量问题给各项业务运营管理和决策带来的困扰为导向，通过建设技术平台有
10、效支撑相应治理过程的管控活动，通过技术手段准确监控造成数据质量问题的来龙去脉和前因后果，以对症把脉辅助具体治理活动背后良好管控机制的形成，形成的相关部门人员通力合作齐抓共管根除数据质量问题的针对性方案，最终通过每项问题的落地解决逐步积累企业开展数据治理工作的成功经验，对照成熟的数据治理体系框架逐步形成高水平的治理能力。三、数据治理目标场景分析为了更好地陈述企业开展数据治理工作的目标场景，我们首先总结一下当前缺乏有效管控而造成的数据乱象，具体表现为： 一是由于很多企业目前还没有明确的数据管控责任主体组织，对数据采集、分布、流转及应用的数据分布、加工、利用缺乏合理规划和控制，数据需求、数据质量、数
11、据应用等问题的管理和解决分散在不同业务和技术部门，没有一个清晰的协调机制和统一的报告渠道，业务部门不能及时、按需获得数据支持；科技部门也不具备把业务需求快速定位到已有的信息资产和数据资源等能力，对于数据需求和数据问题缺乏有效解决的方法和途径，基本靠各系统各项目各自来解决和消化；缺乏规范全面的数据质量治理流程和考核机制，不能及时发现生产源头的数据质量问题，及时要求有关责任部门进行整改； 二是很多企业缺乏统一解决数据质量问题的组织和流程，目前各业务部门遇到质量问题的时候纷纷以新增需求或者变更需求的方式向信息科技部提出申请，把很多管理和业务上需要改进来解决的问题转变成信息科技的技术需求要求解决，这样
12、的做法本身就是治标不治本的，而且这种应急性、临时性的需求提出和满足占用了信息科技部大量的技术资源来配合，而得到的是一些并不规范和难以管理、复用的代码资产，信息科技部又不得不分散了大量的资源来长期维护，一方面的这类的需求层出不穷地涌现，另外一方面这些价值不大的开发成果又浪费了大量的科技资源长期维护，导致企业信息科技投资的回报率偏低，很多的资源投入无法体现出应该有的价值。 三是虽然有些企业已经颁布了企业数据标准，但由于一方面数据标准的定义不完整，常见的缺失是没有完成逻辑模型和物理模型的技术定义，因此不能被各信息系统建设项目在做数据库采集和数据存储设计的时候直接遵照；另外一方面企业数据标准虽然可能提
13、出了数据分类，但并未能把标准中的数据分类和具体的信息科技系统和在建的信息科技项目建立清晰的关系对照，也缺失这个对于数据标准化成果在各信息化建设项目的标准化贯彻实施落地方面的评审检查措施，带来了数据标准化要求管理不到位的问题。这样事实上企业不同信息系统在建设过程中并未遵照统一数据标准要求进行各自的数据模型的设计，未能从设计源头就避免出现数据技术定义割据的问题，由于缺乏统一的技术标准要求，不同系统的数据模型难以逻辑上集成，难以建立全面、准确、完整地反映运营状况的单一数据视图，而面对诸如信息披露和监管报送、客户细分这样的数据利用需求的时候，每次都要根据需求反复开发针对性数据集成的代码，难以做到数据的
14、逻辑整合和加工利用逻辑复用。 从根本上解决这些问题，有待企业级的数据治理平台建成使用以及配套的保障机制逐步建立后，原来头痛医头脚痛医脚的解决方式才能被更合理和高效的方法所取代。l 经过数据治理平台管控的数据已经消除信息错误、缺失、不规范的基础数据，统一监管报送平台完全可以压缩或者取消目前报送前大量的手工数据补录、调整和数据核对工作，实现自动化报送，解放人力资源、提高报送时效性和监管机构对企业的满意度。l 建立统一的技术数据标准以有效管控各系统在数据定义方面的不一致，规范数据来源，统一客户信息标准，经过数据质量平台的多次校验和源数据平台对数据的修正后，各个系统的客户信息会达到一致，ECIF中的客
15、户信息就可以代表各个系统中的客户信息，各个系统中的信息也将同步一致。l 在建项目将来将统一经过数据标准化和数据质量管理后的数据仓库/ODS等作为统一数据来源提供，将不会存在多个系统同时供数、各自有各自标准的情况。四、数据治理平台建设内容建议根据以上分析，数据治理工作是一项影响广大深远而复杂长期的过程，牵一发而动全身，数据治理每项工作都牵扯到跨部门、跨系统的信息传递和资料共享，做好数据的管控工作首先需要大量的沟通和信息流转，没有技术平台来支撑各项数据治理的管控工作等于人体缺了中枢神经系统，举步维艰是必然的。而结合企业常见的数据治理领域重点工作，可以近期首先引入建设数据标准和元数据管理系统和数据质
16、量管理系统，以下是我对这两个系统的建设内容的初步分析，各企业后续在项目建设要求和需求分析阶段还要逐步做更全面的补充。一、数据标准和元数据管理系统：通过建立一整套数据规范、管控流程和技术工具来确保企业各种重要信息资产和数据资源，包括产品、客户、机构、账户等信息在企业内外使用和交换的表达上是一致和准确的,数据标准可分为技术标准和业务标准。针对企业现有情况，针对标准不统一的问题，通过在数据治理平台首先把所有数据资源的图纸-元数据资源集中管起来，然后建立各系统元数据资源和数据标准要求清晰的对照关系，依此扎扎实实地实现数据标准管理功能落到各系统的数据模型设计细节。提供管理业务、技术元数据，支持数据溯源，
17、有效支持企业“数据标准管控委员会”开展工作。对于已建和在建的各系统，通过这个平台汇总的数据模型资料对其设计的数据模型做好数据标准检查工作，针对信息要素中的数据字段比对标准的业务定义，补充完善标准的技术定义，让企业企业数据标准成为一个活学活用的标准，并且在使用中不断完善。以上管理工作可以通过业界成熟的元数据管理管理予以支撑，通过元数据管理工具，不但可以把数据标准以模型的方式形式化，以便于各系统采用，而且也可以对各系统的数据模型文档统一管理起来，也便于后期这些系统根据标准化要求进行整改的设计检查和评审，从设计源头把数据标准管起来和用起来。二、数据质量管理系统，这个系统有四方面的建设内容：一方面要建
18、设企业级数据质量管理，覆盖对企业所有数据的质量管理活动,为所有数据质量治理活动的相关用户提供统一的入口，对数据质量问题做到全程追踪和监控，对数据质量管理流程达成全面支撑；第二方面要建立全企业统一的数据质量检查机制，通过配置和导入数据质量校验规则，执行常态化的数据质量例行检查，生成数据质量报告，辅助数据质量评估和考核，以此从源头推动生产数据的创建者重视采集数据的质量，结合元数据管理中的数据溯源，也有助于分析和反映有关质量问题的影响冲击面，让大家直观看到数据质量问题的危害。第三方面要建立数据质量管理系统与数据标准和元数据管理系统的交互，通过元数据集中管理数据质量规则，并建立数据质量规则与其它元数据
19、的关联关系，使数据质量管理的分析和应用能够得到元数据的支撑。第四方面就是数据源采集要建立数据质量管理系统和数据仓库/ODS系统的交互，为了避免数据治理平台陷入大量的数据采集工作，我们初步设想通过数据仓库/ODS作为统一的数据源归集，由数据仓库/ODS根据各数据源系统一模一样的数据模型和数据内容建立每日业务数据镜像库，通过执行本平台根据管理生成的质量检查规则所提供的质量检查脚本对每日业务数据用批量方式进行全样数据质量检查，并生成质量评估报告。 业界的数据治理平台厂商目前能提供的工具平台已经比较成熟，功能性能各有千秋、各有特色，不过基本都是采用开放的技术架构和接口设计，实施上不会存在技术方面和企业
20、各种现有信息系统资源不能接驳的问题。五、数据治理实施风险分析和工作内容建议通过分析数据治理的重点工作，我们客观评估了实施过程中可能存在的风险，具体如下：1、单单依靠科技部的力量来了解企业领导、业务部门、基层单位和网点对数据的具体需求（即了解数据的最终应用）的工作实施较为困难，需要专业的团队配合科技部进行调研、分析，通过了解模糊需求，然后采用业界成熟的方法和手段，抽丝剥茧，逐渐明确最终的数据需求。2、由于企业涉及的数据量非常大，如果对所有的数据全部铺开进行治理的话，需要全企业的各方资源进行倾斜，必然会对其他工作的进展造成影响，因此，建议选取解决当前业务部门要求强烈的监管报送数据和客户精细化分析数
21、据质量问题为着力点，倒推出其数据来源的问题进行重点整治，在该类数据治理得到价值体现后，再总结治理经验，然后逐步开展其他类型数据治理。3、数据标准化管理必须和各系统大量的数据模型打交道，从标准化要求的角度，分析该类数据包含的所有信息要素的技术定义，并进行对应逻辑数据建模和物理数据建模。此项工作的工作量非常巨大，建议在数据治理平台实施的同时，一方面引入业界有丰富经验的数据建模专家加以辅导和帮助，另外一方面对各系统数据模型汇总分析求同存异，一步步形成企业数据标准的技术定义数据模型。4、分析各类数据资源的业务和系统治理权责归属，此项工作可能涉及的利益冲突非常强烈，建议通过项目实施过程中建立管控机制，让
22、治理主体在背负一定责任的同时也能享受到对应的利益。5、数据治理工作可能需要对各个数据源系统进行标准化及质量提升的改造。此项工作复杂度较高，在确定需改造的源系统后，各个源系统的管理部门应及时评估改造工作量及费用预算，建议这些工作后续通过项目立项的方式来实施，企业应给予充分的资源支持，而数据治理的责任主体对于这些项目的建设过程要负责全程跟踪和控制。 因此，数据治理工作并不能盲目地认为买一套工具就可以一锤定音地解决所有问题，多年积累下来的数据问题成因是复杂的，因此治理的过程也会是艰巨的。根据我的经验，数据治理的项目要通过大量服务性的实施工作内容才能让企业的目标落地，毕竟技术平台仅仅起到的是一个类似硬
23、件基础设施这样的支撑作用，而数据治理管控工作的有效落地是离不开大量的规划咨询、访谈调研、需求分析、数据模型分析、问题跟踪工作的，而执行数据治理过程还会涉及到一些具体的系统改造项目的跟踪管理和数据质量测试和检查等工作。数据治理平台的实施工作要包括以下类别的工作内容：1、 平台建设工作，这里面包括了需求分析、架构设计、开发部署、测试运维等一般信息系统建设都会存在的工作。2、 管控机制细化设计工作，一方面数据治理的机制包括政策、组织、流程等在实施过程中要不断进行大量配套细化和设计工作，企业在制定数据治理的政策、成立数据治理组织、制定数据治理的管控制度及工作流程这些方面缺乏相关业界经验，独力承担这项工
24、作难免因为前瞻性不够而造成反复修改来调整优化，而制度的反复修改又会造成负面影响，所以需要在项目实施中引入有相关经验的顾问资源结合企业实际情况帮助企业细化设计数据管控机制的内容和实施路线。3、 数据标准和数据建模工作，目前企业的数据标准缺失技术定义部分，要以逻辑数据模型和物理数据模型的方式予以补充完善，这样才能形成各系统执行使用的技术标准定义，才能指导各系统的标准化落地改造工作，而数据建模工作量非常大，所以本项目需要引入有经验的数据建模方面的专家指导这项工作的有效开展，指导各系统各项目数据建模工作匹配企业的业务需求，分析企业现有的各系统的数据模型来制定数据标准中的技术定义。4、 项目管理类工作，
25、由于数据治理的落地执行会产生一些对各系统的优化改造要求，因此可能需要本项目对有关优化改造项目有一定的项目管理职能，当然这部分工作可以和企业现行的项目管理办公室（PMO）机制有效融合起来。5、 数据测试和检查工作，由于本项目要和大量数据打交道，虽然数据清洗加工处理的主体责任在各系统和各业务部门，但从管控检测的角度，数据测试和检查这方面工作内容也是不会少的。数据治理实施策略 靖笙在相关实战工作经验基础上，归纳总结出“上接战略，下接绩效；长线投资，短线操作；工具破冰，服务压轴；主流产品，专家定制；问题导入，全局把握”四十字作为送给广大中国企业作为数据治理实施策略参考建议，供各企业领导在未来的建设要求
26、、实施选型、过程管控、成果验收的相关决策参考。下文为四十字方针策略的对应解释。上接战略，下接绩效：数据治理是实现IT规划目标架构的重要举措，务必需要从继承IT规划和近年建设成果的基础上推行，这是从全企业特别是科技部的长远利益的考虑，所以数据治理项目的实施要和IT规划及当前大规模集中开展的信息化建设项目群相向而行、无缝融合，而不能脱离IT规划和PMO主导下只从数据资源加工处理的角度来实施，需要实施厂商对企业IT规划和当前项目群建设现状有非常深入的了解和高度承接，这是企业上下要一致对外坚持的底线，避免实施方对规划要求的扯皮和偷梁换柱。而如前分析，数据质量问题已经高度拨动了企业各层级的神经，对于企业
27、信息科技工作的绩效呈现强相关关系，数据就像汽车(IT系统)的汽油，油品不好，再好的车也跑不快，数据治理工作要下接绩效就是这个意思。长线投资，短线操作：从业界多年经验来看，数据治理是一个长期和逐步见效的过程，是战略性的举措，所以要理性冷静地做长线投资准备，妄图一锤子买卖就能万事大吉是不现实的，不要迷信哪些一招鲜一针顶破天的技术神话，因此必须在长期投资的心态来制定实施路线。而在当前我国企业常见的文化和组织氛围中，数据质量相关问题矛盾很尖锐，容不得犹豫拖延，所以在实施操作上，小步快跑、以点带面的短线操作更符合各企业现状要求。因此从策略上既要兼顾从长计议又要兼顾立竿见影，建议选择有长期服务能力、意愿和
28、心态的厂商长期合作，能从产品、技术、咨询、实施等提供全方面的长期支持。工具破冰，服务压轴：“工若善其事，必先利其器”，作为这么复杂的系统性工程，没有工具的支撑开展数据治理工作是不可想象的，引入业界合适的数据治理工具来启动这次破冰之旅是必须的。然而，数据治理工具的选用和部署只是万里长征的第一步，数据治理项目最大的工作量不在于工具的安装部署，这是很简单的工作，工具的选用不是决定性的关键成功要素，因为考虑到很多数据治理工作的落地要依靠各源头系统的系统改造和安排业务人员大规模做源头业务数据重新采集、更新录入等大量工作，所以数据治理的成功关键在于有效协调企业内外各相关方的资源，把数据治理工作和业务经营和
29、信息科技各系统的需求、建设和运维工作各环节有效衔接，这些都是要靠针对性的解决方案服务来完成的。因此在合作厂商的选择上，建议不要过于聚焦现有工具平台产品的硬对比，要重点聚焦在未来1-3年的服务软实力比较上，在企业利益的角度，企业要的是端对端的软服务，而不是生搬硬套拿来让企业削足适履的硬产品。主流产品，专家定制：当前业界主流的数据治理工具产品功能性能上各有千秋，而通用的功能和技术能力都是具备的，建议只需考虑在业界主流产品里面选择工具产品即可，当然也要注意考察了解该工具产品的同业应用案例，对于业界一些只在个别同业实施过的所谓工具产品建议选择要慎重，因为这样的工具是非常定制化的，很可能是源自一个定制化
30、开发项目的成果，这样的工具离市场上主流的商品化产品在开放性、通用性、可扩展性、产品质量、售后保障等方面能力有天壤之别，往往离开了其定制开发的业主环境就水土不服了，毕竟每个企业的信息系统架构和数据资源的差异性是很大的，通用的产品毕竟能满足业界的主流共性要求，考虑到我国企业常见的相对薄弱的科技力量，随大流不失为是一种明智的自我保护。而站在实施方面，毕竟企业当前的信息科技应用系统来自多个不同厂商，数据治理工作需要各系统配合的过程中，需要本项目实施团队在企业方和各系统实施项目团队面前有较高的专业权威性，能平衡各方利益，提出各方都能心悦诚服的解决思路（可能不仅仅是数据架构和数据治理领域的），推动各方达成
31、共识形成合力，在治理工作落地过程中能有效调动并监控各系统和各业务条线资源对于系统改造和数据更新工作的进程和成果质量。因此，企业必须高度关注实施方的专家资源投入，判断这些专家人选的相关经验、知识面、沟通技巧和综合素质能否被本行及各系统项目团队广泛接受。问题导入，全局把握：企业数据质量问题冰冻三尺非一日之寒，积重难返，彻底解决是需要投入大量的时间和资源的。而数据治理工作先解决具体的数据质量问题，先治标后治本是对企业现实要求的折衷，因此在后续开展数据治理工作中必须坚持问题导入，每一步工作都要明确具体解决了什么样的问题，能体现怎样的业务效益，用实际效果检验工作成效，这样才能争取更多的资源和时间开展下一步的工作，建立更加良性的循环。而另外一方面，企业不能只顾低头解决一些具体的数据质量问题，而忽略了数据治理体系的长期建设路径。从总体架构的角度，产生数据质量问题结果的原因很多，如果我们只看后果而忽略了原因，则数据质量问题并不可能得到彻底的根治，因此，从治本的角度，我们必须在IT战略和总体架构管控的高度，从总体架构把握数据治理的各项决策，确保不偏离企业的战略方向要求。数据治理对任何一个企业都是一项牵一发而动全身的重大而艰巨的工程，万丈高楼平地起，可是万丈高楼的建设不可能在没有图纸的情况下走一步看一步，从这个层面来说，我认为首先做好充分的顶层设计才是确保成功的关键性第一步。专心-专注-专业