数据治理与数据资产化.docx

《数据治理与数据资产化.docx》由会员分享，可在线阅读，更多相关《数据治理与数据资产化.docx（33页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、数据治理与数据资产化数据治理是监督，是战略，数据管理是执行，是战术。数据治理的目的是为了更好地数据管理，数据治理并不直接管理数据，数据管理的目 的是让数据发挥更好的作用，创造更高的价值。数据治理是用来协调各方平衡的机制。数据资产的几大特点包括无形性、增长性、复制性、价值不确定性。数据资产按照服务的方式可以分成两种类型：自用型数据资产和交易型 数据资产，也称为赋能型数据资产和使能型数据资产。赋能型数据资产通常是业务的数据化，将生产经营管理过程中产生的数据进行收集、整理、分析，促进原有业务进一步的价值创造。使能型 数据资产通常指数据的业务化，将数据收集、整理后形成可以对外服务的数据商品，如付费数据

2、库服务等。下面主要介绍了大数据发展现状和趋势，企业数据治理和数据资产化建设的挑战，详解介绍了企业数据治理能力和数据资产体系建设方案， 供企业规划建设数据治理和数据资产管理体系时参考和借鉴。第1页共28页数据资产管理现状与目前成果0000完成数据资产盘点完成数据资产数十万张表梳 理盘点的工作.包括整个集 团的所有生产系统，以及数 仓内部的袤级、字段级数据 资产盘点；建立数据资产盘点的长效机 制,包括组织架构、工作流 程、资产盘点的方法等确 保数据资产盘点成果的完整、 正确和及时全面分析数据资产分布实现数据资产的7个维度统 计,包括系统、时间、部门、 业务、主题、数据来源、所 属集群等,让管理和决

3、策者 随时掌握数据资产的存和 增情况；掌握相关主题数据（比如账 户数据）的数据分布概况 并提供访问指引实现数据资产可知”和“可用” 通过数据资产目录和数据资产标 军管理方案的落地实施,完全能 够满足数据使用人员查询和使用 需求,用户平均节省50%的查找时 间,其中41%的用户节省4小时以 上时间；以数据地图的形式从宏观上展示 数据资产的规模、分布 系统数 及系统间数据流向一目了然； 数据质的插续提升,为业务提 供更加可培的数据资产,节约了 数据应用成本实现数据资产管控通过数据管理工具的开发和 完善.利用权限和功能设置 对数据的使用进行管控,目 前,查询和使用数据的用户 人数占公司总人数的96；

4、数据中台的搭建.实现了数 据重构，便于为业务提供更 加规整的数展资产第10页共28页I数据资产管理成果展示数据资产管理实现“供给-需求”闭环式管理数据费产规欣G城花估息匕次杯及震花体元第Kti 定义信密匕先成管福安全理瞰务仅信总土赳s*后色t.安寺计量总效据运MVW定义德JB2 紫足10主现目偌息数据资产清依富厦,0*冬0布我花信 索展处律#,M偌电数也加工普1数据产品对外运集数娓产品设d数据产品对内应数据需求侧娓生命周ttWfitt. ft*融下蛾重皂数据产品开5ft1 ,品分场调优QJB效掘产品运飨升部荻益诵ft据产品效益第11页共28页e尸&内与使用Q 9数据产品支I数据治理能力为数据应

5、用提供质量保障，带解决方案属性的数据治理工具将贯 穿数据价值链始终汇总汇总汇总原始数据仓库龌除部分非穗。敷蜜资产数据汇总利用幅至目不丁松散索第帮用抗度.r.频度篝*超直化敬离母人住力敬皇 会进行归心皮睑处 评以节约眠务aw用 明针对即育森入救蹙安产宜理期统 戮君的国量迸行片今， 历绩好的数狰会恢筋谈入系线 0-数据质量评估工具数据筛选工具系统组件化嵌入定制化产品核心数据重点总能 全面数据奥产管理 数据口径、质量标准化 数据获取流程标准化第12页共28页I数据治理及资产管理产品矩阵平台门户平台门户资产运营数据实验室数据治理数抠留泰辅助工具个人中心公共用件学习中心HR第13页共28页元数据管理产品

6、矩阵元数据管理平台分为元数据采集、元数据存储、元数据分析和元数据体检四个大的模块，元数据采算通过M3R制进行实时采集，元数据 存储通过虚构元模型进行数据存储，元数据应用层支持数据检索、血缘和数据地图进行数据原查，元数据体检通过五大维度最化元数据管 理工作，反映当下问题，同时指导未来工作.兀数据应用层产品架构实时采集数据元数据检型元数据体检采用MQ机制霎时痛获 DML条件，并转化成多种 故翘库语言进仃数据加载.采用MQ机制霎时痛获 DML条件，并转化成多种 故翘库语言进仃数据加载.柒用国际MOF标段，建立 元故抿模型,在源域、及 程域、目标地建立关联傩应用图计箕实现敛姻地图 功能，可以通过业努线

7、组 度制取，方便数据段省.通过五大维度星化元数据性1理工作，反映当前工作中的第14页共28页I元数据采集数据集成I目（敛假资产采集）JDBCSbinlog自动化配霾策略几跤IE宜理a生产元数据指林元故据API元数露晶线接口H他澎响分析费产鼠点埠型元数据S第15页共28页数据库适配器：采室Mysql、 Oracle. Mongo数据库数 据.大数据适配器：采集来自 HDFS文件系统人数据元数据 及Hiv可攵据仓库兀数梃.建模工具适配甥：ERWin适 配器、PowerDesignerjAfid 器.ETLLH： ODk Datastage.PowerCenter. PrimetonDI.脚本适配器

8、（Perl,Python）:对Python, Perl 脚本采用SQLM析的方式讲 行ETL作业映射关系元数据来 集.Excel适配器：采隼Excel格式 文件的元数据（包括：库表 数据字典、映射关系、代码、 指标等）.支持适配飘扩展Z教据学堂元数据模型促供了一种支持各种族据的采用Meta Object Facility(MOF)规范作为兀数据 第伸的Na MOF方法而核心是提供一种 可犷展的元数据管理方式：它 枢架，从而允许按需添加钛的 类型的元数据，其实现的方法 是对兀数据分层第16页共28页数据治理I数据地图 提供全方面.多层次、多维度的囱形化展示 加强数据资产分布、流向.溯源、价值的洞

9、察能力 满“业务使用、数据管理.开发运维等不同用户角色的需求第17页共28页数簿治理I元数据体检（1/2）第18页共28页I元数据体检（2/2）上卬针对体检分数对元数据现状进行分析，指导未来工作规划本检分析本次元&SW榜M盈101主题*个吻别外R期费仓旬财哂.线止到201第口月3旧,曲从上一wwmww 5包1湾封稔程度廉氐iwaimaoF： 47K1X* 3期4*：，6呻、，6，.04*：n4?Me. W US冷 yut*i/城. w*a.mhhb曜卑，atmis错我田；NtrWMf *A+x&gK, 5*Ufims 配gy”部元空的合 R9.MR再怎量，M flrm. WM. SV. 112

10、 WMnitufl就长3. y 内陷】陋于e律0l曾勇元煽4或m网qk.MjJ!殳马克 A-eMBZK，n,收少下 WlUHHDtlXfcssmvsfW.SM谶.n4KKa9广m* 】B2Hk 顿m电强.“iUHKBiinmtTa nMK%ft. #3?91二册，里2哎.开&痔0.8收用u F f j*”卉W* attJK阳礼 1tdim，和D，tHLU8 下AKKKffn,方。小用11 /比 班mWTX 那咂fTI5趾乐.11716后照8m 后广工|11 建011冉1&0*便将mfcgOQXAL MG工41科式由267 一第19页共28页大数据行业市场发展现状和趋势第2页共28页I数据资产目

11、录（1/2）数据资产目录管理主要为数据治理人员提供目录管理、标签管理、数据资产盘点等功能，实现线!_维护数据资产相关内容；数掴资产滔单为业务人员、分析等相关人员提供去、字理、指玩模型等数据的检索亘看功能；方使用户找、知数据、用数据。目录管理_1_作台S目录检索标签内容建MySQL数据层MySQL CDS第20页共28页数据赞产清单败犯产椎尊权限管理改*申，I数据资产目录（2/2）数倨资产目录功能模块锁块功能描述球关系目录管理目录配置目录却始彳回,导人功能和人工录入功能一目录维护目录新塌、删繇.名称修改.目录合并&柝分目录检*神他偷工4也去目标标签管理 1标签类别管建计标签类别的雄、删、改操作标

12、签内容管理寸罅英标签所包含的内容的地、删、改操作数据资产盘电敛据费产导入表信息、字K信息. .,教据导人I，元救提&;/工产元敷据同步数据资产清单与元敷据之间相互同步更新数据贪产新增.；Y1导：二元的据用旨标系统期8资产清.能据资产展示奏.字段、指标.示侧国檐值ej圈功能7CWm数据资产检索 提供目录.标湖购s：全文检索功能一元数据数据资产推荐用.曾:电*权限管理权限配置提供人员、角色、接捉、祖限配置功能权集申清提憾揭资产动褪权限申请功能第21页共28页I数据资产管理成熟度评估模型（1/3）台数据 架构数据生命周期数据治理数居安全JDDMM除数解,崎第工作未开vay仪化/例峰健力碌为 网忆行1

13、M4MI先累了旭美策用了刖xn第22页共28页I数据资产管理成熟度评估模型（2/3）数根资产料理成熟度总体评估结果数据资产笆理各项评估力分数据资产管理总体评估结果届做事安全某公司数据资产管理成热度为HI级（上功管理级）总体上来看,某客户公司比较1R视数察运维、分析 和应用,数据尊本能第满足业务需求：数据数庭弟 产管理系统支排的力较前,缺乏加居安全市计.拉 衽了故娼熨产邕理蝴度整体水平.第23页共28页 1/1 I r- I , 、 .二匚级据字室I数据资产管理成熟度评估模型（3/3）数据洛产管理能力发展路线因第24页共28页数据资产价值评估模型（1/2）修数量系数据资产评估总价值评估模型及时性

14、修正系数有效性修正 系数可比数据 资产市场 价格数据集的第25页共28页数据字堂数据资产增值建议（2/2）128页I数据资产管理经验总结数提治理需要从上到下推动,系统工程/顶层设计/战略目标/从上至下指导数据资产管理需要组织保障 /组织架构数据资产部门,组织层次-数据资产管理 委员会、数据管理工作组,组织职责需要全公司全员参与,技术人员数据的收集、清洗、整 理、资产化/业务人员数据共享、数据分析、 跨业务线数据挖掘、数据地图、 血缘分析/领导-业务报告、质报告、资产 定价、日常决策/需长期规划,需闭环管理/需动态调整,短期利益难可.方/据学堂27页共28页大数据行业发展展望Date is Ne

15、w Oil崛豚 幅an辅助决策驱动业务企业第28页共28页数据服务市场规模及预测20122022年全球大数据专业服务市场规模及预测（单位：亿美元）350市场规模一趋势3002502001501005002012 年 2013 年 2014 年 2015 年 2012017 年 201 酢 2019 年 2020E2021E202在专业服外市场中,应用故正库增加了分析桢堀库的切锢，2016年这个细分领域的总戏样为26亿美元,到2020年增幅成缱到30%达到77亿关元：分析数据库中，MPPSQI故甥库抬继续变革,到2020年达到3既美元；物联网应用作为大敛露应用的鹤础 到202甦将增长到18亿美元

16、；机潮学习成用到202阵它格M超其他所有大数据细分市场.观横达到63C美元：总体来说，到2022年,全俅大数据专业服务市场观模有望达到29元弟广演三蜀，第3页共28页数据市场现状及预测随着融合深度的增强和市场潜力不断被挖!树,12000100008000600040002800二_12015融合发展给大数据企W带来的益处H益显现，大数据市场产伯早线性增长. 大数据市场产值图市场规,单位：亿兀101008000|H i11112016201720182019E2020E* i r-第4页共28页f数据治理与资产化的挑战大数据行业展望、之数据字里第5页共28页数据资产管理发展历程数据资产管理的核心

17、思路是把数据 对象作为一种全新的资产形态，并 且以资产管理的标准和要求来加强 相关体制和手段.从经济角度，满 足对资产运营的各类管理要求数据资源管理，致力于发展处理企生命周期的适当的建构、策路、实践和程序.关注目的就是去 寻找手段，以有效的控制数据资源, 并提升数据资源的利用率据资产管理决定企业未来的核心竞争能力控制效粼资产C Alibdba数据资产管理重新定义企业的全新财富公式资料数据资料管理指利用计算机硬件和 软件技术对数据进行有效的收集.存储、处理和应用的过程.其目的 在于充分有效地发挥数据的作用积累数据，提供精准营销服务盘活数据，发掘信息内在规律交易数据，创造新的户业模式一”经握字室第

18、6页共28页I数据资产管理挑战数据是企业在业务经营和管理过程中产生、获取、保存、传递和处理的信息记录，而当今大型企业信息化 现状是存在大量零散的数据.严重的数据孤岛现象造成企业缺乏对重要信息资产的全面了解,导致公司面 临多重风险企业面临的共性挑战： 动态复杂的数据 不断增加的业务需求 不断增加的数据质问题 数据结果与预估的偏差严重 数据查找困难京东数科众多IT系统 京东数科除了共性问题外，面临更大的挑战:业务和管理等各类系统数量众多第7页共28页公司数据治理、数据资产化成果展示第8页共28页:数据资产管理建设思路预期目标前期：运营体系建立中期：数据治理核心能力前期（6个月1年）中期（13年）远

19、期数据规划数据治理数据应用数据运营数据战略与规划数据管理组织数据管理制度数据管理流程数据标准暂理元数据管理数据质暂理生命周期数据开发 统一调度 运行监控 数据开放数据共享数据资产评估数据发展规划：蓝图、能力发履与学措数据管理组织体系设计数宪标准管理机制流程.制度数宪质用管理机制流程、制度标准的制定数据模型设计规范数据变现运营管理规范数据仓库管理规范数据模型开发规范数据模型设计税范数据资产权益管理规范数抿资产计费结算管理办法标准的配置至数据采集标准的附核元效据维护的丽n元数据稽核数据管控体系持续更新事前质量控制事中质8!枪查事后质景评估数据生命周期过程控制#数据分析数据健朦评估数据全景图数据管理工具开发数据安全体系建设数据分析及挖獴产品管理 客户管，数据服务试点第9页共28页