数据资产管理实践白皮书(4.0).docx

上传人:暗伤 文档编号:101405402 上传时间:2024-10-18 格式:DOCX 页数:61 大小:136.57KB
返回 下载 相关 举报
数据资产管理实践白皮书(4.0).docx_第1页
第1页 / 共61页
数据资产管理实践白皮书(4.0).docx_第2页
第2页 / 共61页
点击查看更多>>
资源描述

《数据资产管理实践白皮书(4.0).docx》由会员分享,可在线阅读,更多相关《数据资产管理实践白皮书(4.0).docx(61页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、目录一、数据资产管理概述1(一)数据资产管理的定义与内涵11 .数据资产管理的概念12 .数据资产管理的内涵23 .数据资产管理的演变3(二)数据资产管理的重要性41 .数据价值难以有效发挥的原因52 .数据资产管理是充分发挥数据价值的必经之路6(三)数据资产管理是各方关注的重要议题8(四)数据资产管理的现状与发展101 .数据管理对象变化102 .处理架构更新换代113 .组织职能升级变迁124 .管理手段自动智能125 .应用范围不断扩大13二、数据资产管理的主要内容14(一)管理职能141 .数据标准管理142 .数据模型管理153 .元数据管理174 .主数据管理195 .数据质量管理

2、206 .数据安全管理217 .数据价值管理228 .数据共享管理25(二)保障措施261 .制定战略规划272 .完善组织架构273 .建立制度体系294 .设置审计机制315 .开展培训宣贯31三、数据资产管理的实施要点33(一)实施步骤331第一阶段:统筹规划342 .第二阶段:管理实施353 .第三阶段:稽核检查374 .第四阶段:资产运营38(二)实践模式401 .数据资产管理的建设策略402 .数据资产管理的切入方式42(三)软件工具4381 .数据标准管理工具442 .数据模型管理工具453 .元数据管理工具464 .主数据管理工具475 .数据质量管理工具486 .数据安全管理

3、工具497 .数据价值管理工具508 .数据服务管理工具51(四)成功要素521 .明确责权利标,有效推进管理522 .合理引进技术,提升治理能力533着眼业务应用,释放数据价值544 .加强数据合规,注重风险风控545持续迭代完善,形成良性闭环55四、总结与展望56附录:术语58图表目录表1数据成本和价值评估的维度23表2数据资产价值评估典型方法比较24表3数据资产管理组织架构角色职责28表4数据资产管理的两种建设策略40表5数据资产管理的切入方式42图1数据资产管理在大数据体系中的定位2图2大数据背景下的数据资产管理特点特征10图3数据资产管理体系架构14图4数据资产管理保障措施组织架构2

4、7图5数据认责机制29图6一种典型的制度体系架构30图7数据资产管理实施步骤34一、数据资产管理概述众所周知,数据是资源,伴随着大数据时代支撑数据交换共享和 数据服务应用的技术发展,不断积淀的数据开始逐渐发挥它的价值, 因此,业界提出可以将数据作为一项资产,盘活数据以充分释放其 附加价值。但是事实上,如果缺乏恰当有效的管理手段,数据也可能 会成为一项负债。同时,相较于实物资产,数据资产的管理目前还处 于初级阶段,数据质量、数据安全、资产评估、资产交换交易等精细 管理、价值挖掘和持续运营也较为薄弱。数据资产管理是现阶段推动大数据与实体经济深度融合、新旧动 能转换、经济转向高质量发展阶段的重要工作

5、内容。本章将阐述数据 资产管理的定义与内涵,分析数据资产管理在大数据领域的重要意义, 并对数据资产管理在大数据发展中的趋势进行分析,探讨数据资产管 理在企业中的实践模式。(一)数据资产管理的定义与内涵1 .数据资产管理的概念数据资产(DataASSet)是指由企业拥有或者控制的,能够为企业 带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件 资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数 据资产是能够为企业产生价值的数据资源。数据资产管理(DAM, Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关 数

6、据的计划、政策、方案、项目、流程、方法和程序,从而控制、保 护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、 技术和管理,以确保数据资产保值增值。2 .数据资产管理的内涵数据资产管理在大数据体系中的定位如图1所示,它位于应用 和底层平台中间,处于承上启下的重要地位。对上支持以价值创造为 导向的数据应用开发,对下依托大数据平台实现数据全生命周期的管 理。数据资产管理包括两个重要方面,一是数据资产管理的核心管理 职能,二是确保这些管理职能落地实施的保障措施,包括战略规划、 组织架构、制度体系等。大敏平台图1 数据资产管理在大数据体系中的定位数据资产管理贯穿数据采集、存储、应用和销毁整个

7、生命周期全 过程。企业管理数据资产就是对数据进行全生命周期的资产化管理, 促进数据在“内增值,外增效”两方面的价值变现,同时控制数据在整个管理流程中的成本消耗。在数据的生命周期开始前,企业先期制定 数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控 制所需的技术能力。数据资产管理一般来说包括统筹规划、管理实施、 稽核检查和资产运营四个主要阶段,详见第三部分数据资产管理的实 施要点。3 .数据资产管理的演变数据管理的概念是伴随上世纪八十年代数据随机存储技术和数 据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出 的。国际数据管理协会(DAMA, Data Management

8、 Association International)在2009年发布的数据管理知识体系DMBe)K1.0中, 将数据管理定义为规划、控制和提供数据资产,发挥数据资产的价值。 DAMA数据管理体系将数据管理划分为10个领域,分别是数据治理、 数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据 和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据 管理和数据质量管理。其中,数据治理是高层次的、规划性的数据管 理制度活动,其关键管理活动包括制定数据战略、完善数据政策、建 立数据架构等,注重数据的使用者、使用方式、使用权限等合规性制 定,强调开展数据资产全生命周期管理前的基础工作,

9、关注数据资产 管理中的相关保障措施。2015年,DAMA在DBMOK2.0知识领域将其扩展为11个管理The DAMA Guide to the Data Management Body of Knowledge职能,分别是数据架构、数据模型与设计、数据存储与操作、数据安 全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓 库和商务智能(BI, Business Intelligence),元数据、数据质量等。在数据资产化背景下,数据资产管理是在数据管理基础上的进一 步发展,可以视作数据管理的升级版。主要区别可以从三方面看:一 是数据管理的视角不同,数据资产管理强调数据是一种资产,基

10、于数 据资产的价值、成本、收益开展全生命周期的管理。二是管理职能有 所不同,数据资产管理包含数据模型、元数据、数据质量、参考数据 和主数据、数据安全等传统数据管理职能,同时整合数据架构、数据 存储与操作等内容,将数据标准管理纳入管理职能,并针对当下应用 场景、平台建设情况,增加了数据价值管理职能。三是管理要求有所 升级,在“数据资源管理转向数据资产管理的理念影响下,相应的组 织架构和管理制度也有所变化,需要有更专业的管理队伍和更细致的 管理制度来确保数据资产管理的流程性、安全性和有效性。(二)数据资产管理的重要性数据作为越来越重要的生产要素,将成为比土地、石油、煤矿等 更为核心的生产资源,如何

11、加工利用数据,释放数据价值,实现企业 的数字化转型,是各企业面临的重要课题。虽然充分有效挖掘数据价 值的过程中充满了障碍,但是数据资产管理逐步扫平了这些障碍。1 .数据价值难以有效发挥的原因当前企业在数据资产管理中面临诸多问题,这些问题阻碍了数据 的互联互通和高效利用,成为了数据价值难以有效释放的瓶颈,主要 包括以下几点:一是缺乏统一数据视图。企业的数据资源散落在多个业务系统中, 企业主和业务人员无法及时感知到数据的分布与更新情况,无法快速 找到符合自己需求的数据,也无法发现和识别有价值的数据并纳入数 据资产。二是数据孤岛普遍存在。据统计,98%的企业都存在数据孤岛问 题。而造成数据孤岛的原因

12、既包括技术上的,也包括标准和管理制 度上的,这阻碍了业务系统之间顺畅的数据共享,降低了资源利用率 和数据的可得性。三是数据质量低下。糟糕的数据质量常常意味着糟糕的业务决策, 将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等 问题。根据数据质量专家LarryEngliSh的统计,不良的数据质量使企 业额外花费15%到25%的成本。而数据能够被当作资产,并发挥越 来越大的价值,其前提是数据质量的不断提升。四是缺乏安全的数据环境。数据安全造成的风险主要包括数据泄 露与数据滥用等。根据数据泄露水平指数(BreaCh Level IndeX)监测, 自2013年以来全球数据泄露高达130亿条

13、,其中很多都是由于管 理制度不完善造成。随着各个机构数据的快速累积,一旦发生数据安 全事件,其对企业经营和用户利益的危害性将越来越大,束缚数据价 值的释放。五是缺乏数据价值管理体系。大部分企业还没有建立起一个有效 管理和应用数据的模式,包括数据价值评估、数据成本管理等,对数 据服务和数据应用也缺乏合规性的指导,没有找到一条释放数据价值 的最优路径。2 .数据资产管理是充分发挥数据价值的必经之路数据资产管理通过解决释放数据价值过程中面临的诸多问题,以 体系化的方式实现数据的可得、可用、好用,用较小的数据成本获得 较大的数据收益,具体体现在以下六个方面:一是全面掌握数据资产现状。数据资产管理的切入

14、点是对数据家 当进行全面盘点,形成数据地图,为业务应用和数据获取夯实基础。 从资产化管理和展示数据的角度出发,数据地图作为数据资产盘点的 输出物之一,不承载具体数据内容,却可以帮助业务人员快速精确查 找他们想要的数据。其次,数据地图作为企业数据的全盘映射,帮助 数据开发者和数据使用者了解数据,并成为对数据资产管理进行有效 监控的手段。二是提升数据质量。早在1957年的时候,计算机刚刚发明的时 候,大家就意识到数据对于计算机决策的影响,提出Garbage In Garbagee)Ut的警示。2001年,美国公布数据质量法案(DataQUality Act),提出提升数据质量的指导意见。2018年

15、,中国银行保险监督 管理委员会发布银行业金融机构数据治理指引,强调高质量的数 据在发挥数据价值中的重要性。数据资产管理通过建立一套切实可行 的数据质量监控体系,设计数据质量稽核规则,加强从数据源头控制 数据质量,形成覆盖数据全生命周期的数据质量管理,实现数据向优 质资产的转变。三是实现数据互联互通。数据资产管理通过制定企业内部统一的 数据标准,建立数据共享制度,完善数据登记、数据申请、数据审批、 数据传输、数据使用等数据共享相关流程规范,打破数据孤岛,实 现企业内数据高效共享。同时搭建数据流通开放平台,增强数据的可 得性,促进数据的交换流通,提升数据的服务应用能力。四是提高数据获取效率。Gar

16、tner统计,数据分析人员或数据科 学家需要花费70%到80%的精力在数据准备上。数据资产管理通过 搭建数据管理平台,采取机器学习等相关自动化技术,将大量前期的 数据准备时间和交付项目的时间缩短,提升数据的获取和服务效率, 让数据随时快速有效就绪,缩短数据分析人员和数据科学家的数据准 备时间,加快数据价值的释放过程。五是保障数据安全合规。保障安全是数据资产管理的底线,数据https:/en.wikipedia.org/wiki/Garbage_in,_garbage_out资产管理通过制定完善的数据安全策略、建立体系化的数据安全措施、 执行数据安全审计,全方位进行安全管控,确保数据获取和使用合

17、法 合规,为数据价值的充分挖掘提供了安全可靠的环境。六是数据价值持续释放。存储和管理数据的最终目的是实现数据 的价值,数据资产管理将数据作为一项资产,并通过一个持续和动态 的全生命周期管理过程,使数据资产能够为企业数字化转型提供源源 不断的动力。从企业高管到业务人员及技术人员,全员都要以持续释 放数据价值为理念来重视数据资源管理工作。管理方面,建立一套符 合数据驱动的组织管理制度流程和价值评估体系。技术方面,建设现 代化数据平台、引入智能化技术,确保数据资产管理系统平台持续、 健康地为数据资产管理体系服务。(三)数据资产管理是各方关注的重要议题数据资产管理不仅仅是单一机构的课题。近年来,地方政

18、府层面 越来越重视数据资源的管理,开展了很多工作。在新一轮的政府机构 改革中,设置专门的数据管理机构成为热点,已有贵州、山东、重庆、 福建、广东、浙江、吉林、广西等省份设置了厅局级的大数据管理局, 统筹推动地方“数字政府建设,促进政务信息资源共享协同应用。早 在2017年7月,贵州省大数据发展领导小组办公室印发实施了贵 州省政府数据资产管理登记暂行办法,成为全国首个出台政府数据 资产管理登记办法的省份。行业层面,金融行业高度重视数据资产管理工作。2016年12月30日,中国证券业协会发布证券公司全面风险管理规范,明确指 出证券公司应当建立健全数据治理和质量控制机制。2018年5月, 银保监会(

19、原银监会)发布银行业金融机构数据治理指引,要求 银行业应该将数据治理纳入公司治理范畴。2018年,中国支付清算协 会针对非银行支付机构数据资产管理状况开展了调研。医疗行业, 2018年9月,国家卫生健康委员会印发国家健康医疗大数据标准、 安全和服务管理办法(试行)的通知,2019年4月,国家卫生健康 委办公厅印发全国医院数据上报管理方案(试行)及全国医院 上报数据统计分析指标集(试行),充分发挥健康医疗大数据作为国 家重要基础性战略资源的作用。在工业领域,在工业和信息化部信息 化与软件服务业司指导下,工业互联网产业联盟(AIl)联合中国信息 通信研究院发布了中国工业企业数据资产管理调查报告(2

20、018)。国家层面,数据合规性与数据跨境流动成为各国关注重点。2017 年6月1日正式生效的中华人民共和国网络安全法第三十七条规 定:关键信息基础设施的运营者在中华人民共和国境内运营中收集 和产生的个人信息和重要数据应当在境内存储。因业务需要,确需向 境外提供的,应当按照国家网信部门会同国务院有关部门制定的办法 进行安全评估”。2018年5月25日,一般数据保护条例(GDPR)正式 在欧盟实施。各国对于数据跨境流动的关注则包含了数据主权、隐私 保护、法律适用与管辖、乃至国际贸易规则等内容。(四)数据资产管理的现状与发展随着管理数据对象越发复杂,数据处理技术越发成熟,数据应用 范围越发广泛,数据

21、资产管理在数据处理架构、组织职能、管理手段 等方面逐渐呈现了一些新的特点和发展趋势。m9Mma4ut人工i /自工 )aaj BKiB!手段9t*n计算&存储混搭架构EDW传统数据仓库HfiHI 博构化tn8 IETL/ELT15图2大数据背景下的数据资产管理特点特征1 .数据管理对象变化数据作为数据资产管理的对象,在近些年体现出规模海量、来源 多样、格式繁杂、采集实时等特征。在数据量方面,单一机构的数据 规模由以前的GB级上升到TB级,甚至PB级、EB级,数据增速 快。在数据格式种类方面,除传统的结构化数据之外,文本数据、图像数据、语音数据、视频数据等半结构化数据或非结构化数据占比越 来越大

22、,种类日益丰富。在数据来源方面,数据既包括内部数据,也 包括来自第三方的外部数据,既包括传统业务处理采集的业务数据, 也包括手机终端、传感器、机器设备、网站网络、日志等技术产生的 数据。同时,由于秒级或者毫秒级的响应将帮助企业更快地洞察与分 析数据,实时数据正在成为企业数据重要的管理对象,目前实时数据 采集和处理已广泛应用于互联网、零售、电力、交通等多个行业,利 用物联网、实时数据库等技术实现交易实时处理、生产实时监控、交 通实时调控等。2 .处理架构更新换代处理架构的更新换代体现以下几个方面。一是数据处理的底层架 构向云平台和分布式系统迁移。Gartner在2018年针对数据和分析采 用方式

23、的调查结果表明,63%企业目前使用最普遍的信息基础架构基 技术为基于云平台的数据存储。同时以HadOOp、SPark等分布式技 术和组件为核心的“计算&存储混搭”的数据处理架构,能够支持批量 和实时的数据加载以及灵活的业务需求。二是数据的预处理流程正在 从传统的ETL结构向ELT转变。传统的数据集成处理架构是ETL结 构,这是构建数据仓库的重要一环,即用户从数据源抽取出所需的数 据,经过数据清洗,将数据加载到数据仓库中去。而大数据背景下的 架构体系是ELT结构,其根据上层的应用需求,随时从数据湖中抽数据湖(Data Lake):数据湖是以其自然格式存储的数据的系统或存储库,通常是对象blob或

24、文取想要的原始数据进行建模分析。3 .组织职能升级变迁传统的管理制度体系中,数据管理职能主要由IT部门来负责, 是IT部门的一项工作,业务部门配合IT部门执行数据管理,提出需 求。随着数据分析与业务融合越来越深入,业务部门逐步成为大数据 应用的主角,因而数据资产管理在企业中扮演越来越重要的角色。出 现了越来越多的企业设置专门的“数据管理”职能部门或首席数据官(CDO, ChiefData Officer)岗位。在这种变迁背景下,数据管理的 组织架构也面临革新的需求。4 .管理手段自动智能依靠手工人力”的电子表格数据治理模式即将被“自动智能”的 “专业工具”取代,越来越多的数据管理员、业务分析师

25、和数据领导者 采用“平台工具”增强企业的数据管理能力,包括梳理元数据、管理主 数据,优化数据集成、提升数据质量等。具体来说,机器学习和人工 智能通过自动提取元数据,将不同的数据进行关联并分析;通过配置 和优化主数据,使主数据的管理更加便捷和准确;通过语义分析实现 相同数据源的连接,简化数据集成流程;通过增强数据的分析、清理件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分 析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化 数据(CSV,日志,XML, JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据

26、(图像,音 频,视频)。来源:维基百科和识别,提升数据质量。同时,随着智能优化技术不断引入到数据管 理活动中,数据间的多维关系将被自动化识别和可视化展现,帮助用 户高效探索数据和分析数据,降低数据使用门槛,有助于非专业人士 成为数据科学家,扩大数据的使用对象和应用范围。5 .应用范围不断扩大数据资产管理的使用不仅仅局限于拥有海量数据或强大数据处 理能力的机构,任何一个机构都可以成为数据资产化管理的实践者。 选择一个小型且效果明显的项目实施数据资产管理,也可以成为逐步 构建完整数据资产管理体系的良好开端。此外,数据资产的应用范围 已经从传统的企业内部应用为主发展为支撑内部和服务外部并重,数 据资

27、产应用和服务范围的扩大成为企业战略发展的一部分,实现数据 资产保值到增值的跨越。28二、数据资产管理的主要内容数据资产管理框架如图3所示,包含8个管理职能和5个保障 措施。管理职能是指落实数据资产管理的一系列具体行为,保障措施 是为了支持管理职能实现的一些辅助的组织架构和制度体系。本章主 要描述具体的管理职能和保障措施的详细内容。(-)管理职能数据资产管理的管理职能包括数据标准管理、数据模型管理、元 数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管 理以及数据共享管理等8个方面,详细阐述如下。1 .数据标准管理数据标准是指保障数据的内外部使用和交换的一致性和准确性 的规范性约束,通

28、常可分为基础类数据标准和指标类数据标准。基础类数据标准一般包括参考数据和主数据标准、逻辑数据模型 标准、物理数据模型标准、元数据标准、公共代码和编码标准等。指标类数据标准一般分为基础指标标准和计算指标(又称组合指标)标 准。基础指标一般不含维度信息,且具有特定业务和经济含义,计算 指标通常由两个以上基础指标计算得出。数据标准一般包含3个要素:标准分类、标准信息项(标准内容) 和相关公共代码和编码(如国标、行标等)。其中标准分类指按照不 同的特点或性质区分数据概念;信息项是对标准对象的特点、性质等 的描述集合;公共代码指某一标准所涉及对象属性的编码。数据标准管理是指数据标准的制定和实施的一系列活

29、动,关键活 动包括: 理解数据标准化需求; 构建数据标准体系和规范; 规划制定数据标准化的实施路线和方案; 制定数据标准管理办法和实施流程要求; 建设数据标准管理工具,推动数据标准的执行落地; 评估数据标准化工作的开展情况。数据标准管理的目标是通过统一的数据标准制定和发布,结合制 度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效 性、一致性、规范性,推动数据的共享开放,构建统一的数据资产地 图,为数据资产管理活动提供参考依据。2 .数据模型管理数据模型是现实世界数据特征的抽象,用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和 约束条件。数据模型所描

30、述的内容有三部分:数据结构、数据操作(其 中ER图数据模型中无数据操作)和数据约束,形成数据结构的基本 蓝图,也是企业数据资产的战略地图。数据模型按不同的应用层次分 成概念数据模型、逻辑数据模型、物理数据模型三种类型。概念模型:是一种面向用户、面向客观世界的模型,主要用来描 述现实世界的概念化结构,与具体的数据库管理系统(DBMS, Database Management System) 无关;逻辑模型:是一种以概念模型的框架为基础,根据业务条线、业 务事项、业务流程、业务场景的需要,设计的面向业务实现的数据模 型。逻辑模型可用于指导在不同的DBMS系统中实现。逻辑数据模 型包括网状数据模型、

31、层次数据模型等;物理模型:是一种面向计算机物理表示的模型,描述了数据在储 存介质上的组织结构。物理模型的设计应基于逻辑模型的成果,以保 证实现业务需求。它不但与具体的DBMS有关,而且还与操作系统 和硬件有关,同时考虑系统性能的相关要求。数据模型管理是指在信息系统设计时,参考业务模型,使用标准 化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和 运行维护过程中,严格按照数据模型管理制度,审核和管理新建数据 模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合, 提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据 模型和数据标准词典的同步、数据模型审核发布、数据模型差

32、异对比、版本管理等。数据模型管理的关键活动包括: 定义和分析企业数据需求; 定义标准化的业务用语、单词、域、编码等; 设计标准化数据模型,遵循数据设计规范; 制定数据模型管理办法和实施流程要求; 建设数据模型管理工具,统一管控企业数据模型。数据模型是数据资产管理的基础,一个完整、可扩展、稳定的数 据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理 可以清楚地表达企业内部各种业务主体之间的数据相关性,使不同部 门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务 数据的统一完整视图。3 .元数据管理元数据(Metadata)是描述数据的数据。元数据按用途不同分为 技术元数据、业

33、务元数据和管理元数据。技术元数据(TeChniCaIMetadata):描述数据系统中技术领域相关 概念、关系和规则的数据;包括数据平台内对象和数据结构的定义、 源数据到目的数据的映射、数据转换的描述等;业务元数据(BUSineSSMetadata):描述数据系统中业务领域相关 概念、关系和规则的数据;包括业务术语、信息分类、指标、统计口 径等;管理元数据(ManagementMetadata):描述数据系统中管理领域相关概念、关系、规则的数据,主要包括人员角色、岗位职责、管理 流程等信息。元数据管理(MetaDataManagement)是数据资产管理的重要 基础,是为获得高质量的、整合的元

34、数据而进行的规划、实施与控制 行为。元数据管理的内容可以从以下六个角度进行概括,即向前看: 我是谁加工出来的;向后看:我又支持了谁的加工;看历史: 过去的“我”长什么样子;看本体”:“我的定义和格式是什么;“向上 看”:我的父节点是谁;向下看”:我的子节点是谁。元数据管理 的关键活动包括: 理解企业元数据管理需求; 开发和维护元数据标准; 建设元数据管理工具; 创建、采集、整合元数据; 管理元数据存储库; 分发和使用元数据; 元数据分析(血缘分析、影响分析、数据地图等)。元数据管理内容描述了数据在使用流程中的信息,通过血缘分析 可以实现关键信息的追踪和记录,影响分析帮助了解分析对象的下游 数据

35、信息,快速掌握元数据变更可能造成的影响,有效评估变化该元 数据带来的风险,逐渐成为数据资产管理发展的关键驱动力。4 .主数据管理主数据(MaSterData)是指用来描述企业核心业务实体的数据, 是企业核心业务对象、交易业务的执行主体。是在整个价值链上被重 复、共享应用于多个业务流程的、跨越各个业务部门和系统的、高价 值的基础数据,是各业务应用和各系统之间进行数据交互的基础。从 业务角度,主数据是相对固定的,变化缓慢。主数据是企业信息系 统的神经中枢,是业务运行和决策分析的基础。例如供应商、客户、 企业组织机构和员工、产品、渠道、科目COA、BOM等。主数据管理(MDM , Master Da

36、ta Management)是一系列规则、 应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录 数据。主数据管理的关键活动包括: 理解主数据的整合需求; 识别主数据的来源; 定义和维护数据整合架构; 实施主数据解决方案; 定义和维护数据匹配规则; 根据业务规则和数据质量标准对收集到的主数据进 行加工清理; 建立主数据创建、变更的流程审批机制; 实现各个关联系统与主数据存储库数据同步; 方便修改、监控、更新关联系统主数据变化。主数据管理通过对主数据值进行控制,使得企业可以跨系统的使 用一致的和共享的主数据,提供来自权威数据源的协调一致的高质量 主数据,降低成本和复杂度,从而支撑跨部门、

37、跨系统数据融合应用。5 .数据质量管理数据质量是保证数据应用效果的基础。衡量数据质量的指标体系 有很多,几个典型的指标有:完整性(数据是否缺失)、规范性(数据 是否按照要求的规则存储)、一致性(数据的值是否存在信息含义上 的冲突)、准确性(数据是否错误)、唯一性(数据是否是重复的)、时 效性(数据是否按照时间的要求进行上传)。数据质量是描述数据价 值含量的指标,就像铁矿石的质量,矿石的质量高,则炼出来的钢材 就会多;反之,矿石的质量低,不但练出来的钢材少了,同时也增加 了提炼的成本。数据质量管理是指运用相关技术来衡量、提高和确保数据质量的 规划、实施与控制等一系列活动。数据质量管理工作中的关键

38、活动包 括: 开发和提升数据质量意识; 定义数据质量需求; 剖析、分析和评估数据质量; 定义数据质量测量指标; 定义数据质量业务规则; 测试和验证数据质量需求; 确定与评估数据质量服务水平; 持续测量和监控数据质量; 管理数据质量问题; 分析产生数据质量问题的根本原因; 制定数据质量改善方案; 清洗和纠正数据质量缺陷; 设计并实施数据质量管理工具; 监控数据质量管理操作程序和绩效。通过开展数据质量管理工作,企业可以获得干净、结构清晰的数 据,是企业开发大数据产品、提供对外数据服务、发挥大数据价值的 必要前提,也是企业开展数据资产管理的重要目标。6 .数据安全管理数据安全管理是指对数据设定安全等

39、级,按照相应国家/组织相 关法案及监督要求,通过评估数据安全风险、制定数据安全管理制度 规范、进行数据安全分级分类,完善数据安全管理相关技术规范,保 证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据 安全管理,规划、开发和执行安全政策与措施,提供适当的身份以确 认、授权、访问与审计等功能。数据安全管理的关键活动包括: 理解数据安全需求及监管要求; 定义数据安全策略; 定义数据安全标准; 定义数据安全控制及措施; 管理用户、密码和用户组成员; 管理数据访问视图与权限; 监控用户身份认证和访问行为; 定义数据安全强度,划分信息等级; 部署数据安全防控系统或工具; 审计数据安全。数据安全

40、管理的目标是建立完善的体系化的安全策略措施,全方 位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个 环节中的安全,做到事前可管、事中可控、事后可查。7 .数据价值管理数据价值管理是对数据内在价值的度量,可以从数据成本和数据 应用价值两方面来开展。数据成本一般包括采集、存储和计算的费用 (人工费用、IT设备等直接费用和间接费用等)和运维费用(业务操 作费、技术操作费等)。数据成本管理从度量成本的维度出发,通过 定义数据成本核算指标、监控数据成本产生等步骤,确定数据成本优 化方案,实现数据成本的有效控制。数据价值(收益)主要从数据资 产的分类、使用频次、使用对象、使用效果和共享流通等

41、方面计量。 数据价值(收益)管理从度量价值的维度出发,选择各维度下有效的 衡量指标,对针对数据连接度的活性评估、数据质量价值评估、数据稀缺性和时效性评估、数据应用场景经济性评估,并优化数据服务应 用的方式,最大可能性的提高数据的应用价值。比如可以选择数据热 度、广度等作为数据价值的参考指标,通过RC)I评估,高效管控和合 理应用数据资产。表1 数据成本和价值评估的维度计量维度各维度描述数据成本评估采集、存储和计算成本评估主要包括计量人工费用、IT设备等直接费用和间接费用等运维成本评估主要包括计量业务操作费、技术操作费等数据价值评估活性评估活性指标主要包括数据连接度、贡献度等,数据的高连 接度和

42、贡献度,意味着高活性和高数据价值。数据质量评估数据质量评估指标主要包括数据一致性、准确性、完整性、及时性等,高数据质量意味着搞数据价值数据稀缺性评估数据稀缺性描述数据的供给数量及供给方数量的多寡, 通过与最大供给方数量或数据供给丰富程度相比较,判 断数据稀缺性,高稀缺性数据意味着高数据价值数据时效性评估数据时效性描述数据的时间特性对应用的满足程度,较 高的满足程度意味着高的数据时效性,即高数据价值数据应用场景经济性评估数据应用场景经济型描述在具体场景下数据集的经济 价值,由于不同行业的规模、数据应用程度等具有差异 性,因而不同的场景下的数据集,其价值会相差很大。 通过比较某场景下的经济价值与所

43、有场景中的最大经 济价值相比较,判断数据应用场景经济性,高场景经济 性意味着高数据价值。当前,对于数据资产评估的研究还处于早期阶段,评估方法手段还不成熟。可能的方法包括市场法、成本法和收益法三种,三种方法 的优缺点如表所示。以收益法为例,将企业数据资产未来可能产生 的收益折现为现金流进行计算。对数据资产价值的估算可以帮助企业 更准确的掌握信息化投资收益,也是数据交易流通的前提之一。表2 数据资产价值评估典型方法比较成本法收益法市场法优点容易把握和操作考虑未来预期收益和 货币时间价值因素,能 真实反映价值,易被双 方接受能反映资产目前市场状况,易被双方接受缺点对价值的估算往往偏低预测难度大、偏主

44、观对市场环境要求高、评估难度大适用场景第三方机构,不以交易为目的,如政务数据适合于数据买方较少进行数据价值管理的关键性活动包括: 确定企业数据集成度水平; 确定企业数据的应用场景; 确定数据存储、计算和运维的成本预算; 明确数据成本和收益的具体计量指标; 计算数据在不同应用场景下的成本和收益; 计算企业数据资产的总体成本和收益; 制定数据成本优化方案和提升数据增值方案; 审核、改进方案。8 .数据共享管理数据共享管理主要是指开展数据共享和交换,实现数据内外部价 值的一系列活动。数据共享管理包括数据内部共享(企业内部跨组织、 部门的数据交换)、外部流通(企业之间的数据交换)、对外开放。数 据内部

45、共享的关键步骤是打通企业内部各部门间的数据共享瓶颈,建 立统一规范的数据标准与数据共享制度,数据外部流通和对外开放可 以通过数据直接交易与提供数据分析信息的两种方式实现,将数据中 符合共享开放层级的信息作为应用商品,以合规安全的形式完成共享 交换或开放发布。目前来看,拥有海量数据是企业开展数据资产运营 的前提条件,在数据流通环境下,数据资产运营流通职能的服务对象 包括了数据提供者、数据消费者、数据服务者和数据运营者四类角色。数据共享管理的关键活动包括: 定义数据资产内部共享和运营流通监控指标; 设计数据资产内部共享和运营流通管理方案; 制定数据资产内部共享和运营流通管理办法和实施 流程要求;

46、监控数据资产内部共享和运营实施; 监督落实数据内部共享与外部流通等合规性管理要 求; 分析内部共享与运营流通指标,评价运营效果并改进。重视数据资产管理、运营、流通可以为企业带来未来经济利益, 同时这也是数据保值增值的重要手段。数据资产运营流通是使数据资 产流动和发挥价值的核心,它将推动数据价值创造模式的不断创新, 从根本上改变企业管理、社会管理和政府治理的发展趋势。在数据资产管理的实践中,各项管理职能所涉及的管理内容之间 往往存在着紧密的联系。数据资产管理的数据一般包括元数据、主数 据和业务数据。数据模型管理为主数据、元数据和业务数据设计数据 模型。数据质量管理按照数据标准的规定稽核各部分数据内容。元数 据管理发挥承上启下的作用,承接数据标准管理和数据模型管理的阶 段性成果,同时为主数据管理提供有力支撑。数据安全管理贯穿数据 全生命周期,为数据资产管理各项管理职能提供了有力支

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 技术资料 > 技术方案

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知淘文阁网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号© 2020-2023 www.taowenge.com 淘文阁