《大数据治理综合体系.docx》由会员分享,可在线阅读,更多相关《大数据治理综合体系.docx(64页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数据治理体系目录1.范围12.规范性引用文件13.术语、定义和缩略语54.总体说明84.1.概述84.2.目标94.3.标准95.数据治理体系105.1.总体框架105.2.组织架构115.2.1.组织组成115.2.2.角色职责125.3.系统架构125.3.1.系统功效框架125.3.2.系统模块步骤145.4.系统边界155.4.1.和企业级省大数据平台关系165.4.2.和对外能力开放平台关系165.4.3.和平台运维系统关系166.数据治理关键模块176.1.数据标准管理176.1.1.背景176.1.2.186.1.3.目标及标准196.1.4.业务分类和定义196.1.5.技术功
2、效要求236.1.6.本期建设范围及内容266.1.7.实施要求276.2.元数据管理276.2.1.背景和定义276.2.2.元数据运行模式296.2.3.元模型标准296.2.4.元数据运维336.2.5.本期关键建设内容346.3.数据质量管理346.3.1.和传统经营分析系统区分346.3.2.范围和标准356.3.3.和其它功效模块关系366.3.4.本期数据质量功效需求386.3.5.本期数据质量运维要求396.4.数据资产管理406.4.1.数据资产概述406.4.2.数据资产范围416.4.3.和其它功效模块关系426.4.4.本期数据资产功效需求426.4.5.本期建设内容4
3、56.5.数据安全管理456.5.1.数据安全概述456.5.2.建设标准466.5.3.建设内容466.5.4.边界关系466.5.5.技术功效476.5.6.管理要求487.数据治理场景527.1.背景描述527.2.场景一:银行伪卡交易判别527.2.1.背景介绍527.2.2.场景描述537.3.场景二:银行手机贷业务547.3.1.背景介绍547.3.2.场景描述548.附录55附录一:数据标准框架55附录二:数据标准体系定义内容示例56前言本规范制订是为了愈加好地实现中国移动企业级省大数据平台数据治理子系统建设和管理,为省大数据平台上各类基础技术和应用提供支撑,加强省大数据平台上数
4、据管控力度,增强数据治理子系统本身管理能力。本规范关键包含以下几方面内容:总体说明、数据治理体系、数据治理关键模块、数据治理场景等。本规范是中国移动企业级大数据平台系列规范之一。该系列规范结构、名称或估计名称以下:序号标准编号标准名称1QB-Y-*-中国移动企业级大数据平台目标架构2QB-Y-*-中国移动企业级省大数据平台技术规范总册3QB-Y-*-中国移动企业级省大数据平台技术规范分册4QB-Y-*-中国移动企业级省大数据平台技术规范技术方案分册5QB-Y-*-中国移动企业级省大数据平台技术规范数据模型分册6QB-Y-*-中国移动企业级省大数据平台技术规范外部接口分册7QB-Y-*-中国移动
5、企业级省大数据平台技术规范服务开放分册8QB-Y-*-中国移动企业级省大数据平台技术规范服务开放技术方案分册9QB-Y-*-中国移动企业级省大数据平台技术规范数据治理分册10QB-Y-*-中国移动企业级省大数据平台技术规范数据治理技术方案分册11QB-Y-*-中国移动企业级省大数据平台技术规范运行维护分册12QB-Y-*-中国移动企业级省大数据平台技术规范安全管理技术方案本规范由中移技印发。本规范由中国移动通信集团企业业务支撑系统部提出,集团企业技术部归口。本规范起草单位:中国移动通信集团企业业务支撑系统部。本规范关键起草人:段云峰、汪新勇、赵静、周立、任怡健、王保强、潘刚、刘童桐、王金金、陶
6、涛、刘虹、张红星、魏春辉。1. 范围本规范要求了中国移动企业级省大数据平台数据治理子系统建设内容,适适用于中国移动各省(直辖市、自治区)企业企业级省大数据平台数据治理子系统建设。2. 规范性引用文件下列文件中条款经过本规范引用而成为本规范条款。通常标注日期引用文件,其随即全部修改单(不包含勘误内容)或修订版均不适适用于本规范。然而,激励依据本规范达成协议各方对是否使用这些文件最新版本进行研究。通常不标注日期引用文件,其最新版本适适用于本规范。1中国移动省级经营分析系统业务规范(v1.0)中国移动通信2中国移动省级经营分析系统技术规范(v1.0)中国移动通信3QB-J-010-中国移动省级经营分
7、析系统数据质量管理系统建设方案(v1.5)中国移动通信4QB-J-006-中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)中国移动通信5QB-J-007-中国移动省级经营分析系统数据集市业务技术规范(v1.5)中国移动通信6QB-J-008-中国移动省级经营分析系统和源系统接口规范(v1.5)中国移动通信7QB-J-009-中国移动省级经营分析系统和BOSS系统互动技术规范(v1.5)中国移动通信8QB-J-003-中国移动省级经营分析系统业务规范(v1.5)基础业务分册中国移动通信9QB-J-004-中国移动省级经营分析系统业务规范(v1.5)数据业务分册中国移动通信10QB-J
8、-005-中国移动省级经营分析系统业务规范(v1.5)集团用户分册中国移动通信11QB-J-001-中国移动业务运行支撑系统(BOSS)业务技术规范营销资源管理分册(2.0版)中国移动通信12QB-J-001-中国移动业务运行支撑系统(BOSS)业务技术规范客服信息分册(2.0版)中国移动通信13QB-J-001-中国移动业务运行支撑系统(BOSS)业务技术规范(2.0版)中国移动通信14QB-J-021-中国移动省级经营分析系统数据仓库逻辑数据模型规范(v2.0)中国移动通信15QB-J-020-中国移动省级经营分析系统和源数据接口规范(v2.0)中国移动通信16QB-J-022-中国移动省
9、级经营分析系统数据集市业务技术规范(v2.0)中国移动通信17QB-J-019-中国移动省级经营分析系统业务规范渠道运行管理分析监控分册(v1.0)中国移动通信18QB-J-018-中国移动省级经营分析系统业务规范用户服务分册(v2.0)中国移动通信19QB-J-017-中国移动省级经营分析系统业务规范集团用户分册(v2.0中国移动通信20QB-J-016-中国移动省级经营分析系统数据质量管理系统业务技术规范(V2.0)中国移动通信21中国移动业务支撑网4A安全技术规范中国移动通信22中国移动省级经营分析系统技术规范总册(v2.0全量版)中国移动通信23中国移动省级经营分析系统技术规范逻辑模型
10、分册(v2.0全量版)中国移动通信24中国移动省级经营分析系统技术规范数据集市分册(v2.0全量版)中国移动通信25中国移动省级经营分析系统技术规范数据质量管理子系统分册(v2.0全量版)中国移动通信26中国移动省级经营分析系统业务规范(v2.0全量版)中国移动通信27中国移动省级经营分析系统技术规范源系统接口分册(v2.0全量版)中国移动通信28QB-J-002-中国移动省级NG1-BASS技术规范总册(v1.0)中国移动通信集团企业29QB-J-003-中国移动省级NG1-BASS技术规范数据集市分册(v1.0)中国移动通信集团企业30QB-J-004-中国移动省级NG1-BASS技术规范
11、逻辑模型分册(v1.0)中国移动通信集团企业31QB-J-005-中国移动省级NG1-BASS技术规范源系统接口分册(v1.0)中国移动通信集团企业32QB-J-006-中国移动省级NG1-BASS技术规范元数据管理分册(v1.0)中国移动通信集团企业33QB-J-007-中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)中国移动通信集团企业34QB-J-008-中国移动省级NG1-BASS业务技术规范用户分析及运行分册(v1.0)中国移动通信集团企业35QB-J-001-中国移动省级NG1-BASS业务规范(v1.0)中国移动通信集团企业36QB-Y-003-中国移动省级
12、NG1-BASS技术规范总册(v2.0)中国移动通信集团企业37QB-Y-004-中国移动省级NG1-BASS技术规范数据集市分册(v2.0)中国移动通信集团企业38QB-Y-005-中国移动省级NG1-BASS技术规范逻辑模型分册(v2.0)中国移动通信集团企业39QB-Y-006-中国移动省级NG1-BASS技术规范外部接口分册(v2.0)中国移动通信集团企业40QB-Y-007-中国移动省级NG1-BASS技术规范元数据管理分册(v2.0)中国移动通信集团企业41QB-Y-008-中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)中国移动通信集团企业42QB-Y-00
13、2-中国移动省级NG1-BASS业务规范(v2.0)中国移动通信集团企业43QB-Y-052-中国移动省级NG2-BASS(v3.0)业务规范中国移动通信集团企业44QB-Y-053-中国移动省级NG2-BASS(v3.0)技术规范总册中国移动通信集团企业45QB-Y-054-中国移动省级NG2-BASS(v3.0)技术规范数据集市分册中国移动通信集团企业46QB-Y-055-中国移动省级NG2-BASS(v3.0)技术规范逻辑模型分册中国移动通信集团企业47QB-Y-056-中国移动省级NG2-BASS(v3.0)技术规范外部接口分册中国移动通信集团企业48QB-Y-057-中国移动省级NG
14、2-BASS(v3.0)技术规范元数据管理分册中国移动通信集团企业49QB-Y-058-中国移动省级NG2-BASS(v3.0)技术规范数据质量管理子系统分册中国移动通信集团企业50QB-Y-059-中国移动省级NG2-BASS(v3.0)技术规范多OP能力交互分册中国移动通信集团企业51QB-Y-060-中国移动省级增值业务综合运行平台业务规范(v1.0)中国移动通信集团企业52QB-Y-061-中国移动省级增值业务综合运行平台技术规范(v1.0)中国移动通信集团企业53QB-Y-062-中国移动省级增值业务综合运行平台技术规范-数据管理分册(v1.0)中国移动通信集团企业54QB-Y-06
15、3-中国移动省级增值业务综合运行平台接口规范中国移动通信集团企业55QB-Y-039-中国移动省级NG2-BASS(v3.5)业务规范中国移动通信集团企业56QB-Y-038-中国移动省级NG2-BASS(v3.5)技术规范总册中国移动通信集团企业57QB-Y-040-中国移动省级NG2-BASS(v3.5)技术规范数据集市分册中国移动通信集团企业58QB-Y-041-中国移动省级NG2-BASS(v3.5)技术规范逻辑模型分册中国移动通信集团企业59QB-Y-042-中国移动省级NG2-BASS(v3.5)技术规范外部接口分册中国移动通信集团企业60QB-Y-043-中国移动省级NG2-BA
16、SS(v3.5)技术规范元数据管理分册中国移动通信集团企业61QB-Y-044-中国移动省级NG2-BASS(v3.5)技术规范数据质量管理子系统分册中国移动通信集团企业62QB-Y-045-中国移动省级NG2-BASS(v3.5)技术规范OP能力交互分册中国移动通信集团企业63QB-Y-046-中国移动省级增值业务综合运行平台业务规范(v1.5)中国移动通信集团企业64QB-Y-047-中国移动省级增值业务综合运行平台技术规范(v1.5)中国移动通信集团企业65QB-Y-048-中国移动省级NG2-BASS技术规范系统安全管理分册(v1.5)中国移动通信集团企业66QB-Y-044-中国移动
17、省级NG2-BASS(v4.0)业务规范中国移动通信集团企业67QB-Y-045-中国移动省级NG2-BASS(v4.0)技术规范总册中国移动通信集团企业68QB-Y-045.1-中国移动省级NG2-BASS(v4.0)技术规范数据集市分册中国移动通信集团企业69QB-Y-045.2-中国移动省级NG2-BASS(v4.0)技术规范逻辑模型分册中国移动通信集团企业70QB-Y-045.3-中国移动省级NG2-BASS(v4.0)技术规范外部接口分册中国移动通信集团企业72QB-Y-045.4-中国移动省级NG2-BASS(v4.0)技术规范元数据管理分册中国移动通信集团企业73QB-Y-045
18、.5-中国移动省级NG2-BASS(v4.0)技术规范数据质量管理子系统分册中国移动通信集团企业74QB-Y-046-中国移动省级增值业务综合运行平台业务规范V2.0.0中国移动通信集团企业75QB-Y-047-中国移动省级增值业务综合运行平台技术规范V2.0.0中国移动通信集团企业76QB-Y-047.1-中国移动省级增值业务综合运行平台技术规范数据管理分册V2.0.0中国移动通信集团企业77QB-Y-044-中国移动省级NG2-BASS(v4.5)业务规范中国移动通信集团企业78QB-Y-045-中国移动省级NG2-BASS(v4.5)技术规范总册中国移动通信集团企业79QB-Y-045.
19、1-中国移动省级NG2-BASS(v4.5)技术规范数据集市分册中国移动通信集团企业80QB-Y-045.2-中国移动省级NG2-BASS(v4.5)技术规范逻辑模型分册中国移动通信集团企业81QB-Y-045.3-中国移动省级NG2-BASS(v4.5)技术规范外部接口分册中国移动通信集团企业82QB-Y-045.4-中国移动省级NG2-BASS(v4.5)技术规范元数据管理分册中国移动通信集团企业83QB-Y-045.5-中国移动省级NG2-BASS(v4.5)技术规范数据质量管理子系统分册中国移动通信集团企业84QB-Y-045.6-中国移动省级NG2-BASS(v4.5)技术规范安全管
20、理技术方案中国移动通信集团企业85QB-Y-046-中国移动省级增值业务综合运行平台业务规范V2.5.0中国移动通信集团企业86QB-Y-047-中国移动省级增值业务综合运行平台技术规范V2.5.0中国移动通信集团企业87QB-Y-047.1-中国移动省级增值业务综合运行平台技术规范数据管理分册V2.5.0中国移动通信集团企业3. 术语、定义和缩略语下列术语、定义适适用于本规范:字母名词解释CCWMCWM标准是OMG组织定义数据仓库和相关系统国际元数据标准,给出了多种元数据结构标准定义。CWM标准目标在于:使数据仓库和商业智能软件元数据在异构数据分析工具、数据仓库平台、元数据存放库等系统之间进
21、行交互。EETL特指从数据源系统到大数据平台数据抽取、转换和加载。G管理元数据描述大数据平台中管理领域相关概念、关系、规则数据,关键包含人员角色、岗位职责、管理步骤等信息。H关键元模型大数据平台关键元模型是以CWM为基础扩展形成,针对大数据平台物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等关键实体进行正确定义,并要求各省大数据平台统一遵照元模型。定义关键元模型目标是建立大数据平台统一元数据管理标准,为元数据管理功效层和应用层解耦、为企业级总部大数据平台和企业级省大数据平台元数据交换和相互了解提供统一语义基础。H关键元模型参考表关键元模型参考表是对关键元模型中枚举类型属性进行枚举值
22、定义编码表。参考表为枚举类型属性每个枚举值定义了唯一编码,并明确该编码语义,是关键元模型标准化定义关键组成部分。J技术元数据描述大数据平台中技术领域相关概念、关系、规则数据。关键包含对数据结构、数据处理方面特征描述,覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理步骤。S数据处理过程数据从数据源系统到大数据平台前端使用整个处理过程,包含大数据平台数据仓库内部数据抽取、转换和加载。S数据采集点覆盖大数据平台数据处理步骤、获取每个步骤运行状态实体。该实体能够是程序实体也能够是任务实体S数据质量汇报数据质量汇报是对数据质量日常监控和质量评定等过程累积多种信息进行
23、汇总、梳理、统计和分析,形成统计汇报S数据质量监控经过获取大数据平台各步骤数据质量监控信息,结合元数据库中相关检验规则,对各个步骤数据质量情况进行判定,并立即向数据质量监控人员汇报。S数据质量规则库数据质量规则库是对数据质量管理活动所用到多种判定及校验规则进行归类和存放存放结构,存放内容包含采集规则、监控规则、告警规则和审计规则等S数据质量信息库数据质量管理子系统存放层上存放结构,用于存放数据质量信息采集程序采集数据质量信息、质量评定信息、问题处理方案和问题处理步骤信息等S省企业中国移动通信集团各省(直辖市、自治区)移动通信。SSQL脚本自动解析SQL脚本自动解析指经过对SQL脚本词法、语法和
24、语义进行分析,自动生成满足CWM规范要求数据处理过程技术元数据功效。Y业务元数据描述大数据平台中业务领域相关概念、关系、规则数据。关键包含业务术语、信息分类、指标定义(指标口径)、业务规则等信息。Y元模型元模型是描述元数据基础模型结构,用于说明元数据对象多种属性、结构和关系。Y元数据元数据是描述数据间关系数据。大数据平台中元数据泛指描述数据概念(Concepts)、数据间关系(Roles)、数据处理规则(Rules)数据,其中,领域语义(Semantics)和知识(Knowledge)也属于元数据范围。D数据标准指在中国移动台企业级省大数据平台下为了使企业内外部使用和交换数据是一致和正确,经协
25、商一致制订并由大数据治理委员会主管机构同意,含有行业特点且共同使用和反复使用一个规范性约束。D数据标准体系指数据标准根据中国移动企业级省大数据平台需求对数据进行标准化划分归类。D数据标准内容根据数据标准体系划分要求分别给出各数据标准制订规范内容。D行业参考模型实体中国移动规范中原定义或新增加逻辑数据模型LDM实体。D公共代码标准需要引用外部公共标准机构标准。如:世界各国和地域名称代码等。下列略缩语适适用于本规范:缩写英文描述汉字描述ASTAbstract Syntax Tree抽象语法树BOSSBusiness Operation Support System业务运行支撑系统CWMCommon
26、 Warehouse Metamodel公共仓库元模型ETLExtraction Transformation Loading抽取、转换和加载OLAPOn-line Analysis Process在线分析处理XMIXML Metadata InterchangeXML元数据交换BIBusiness Intelligence商务智能RESTRepresentational State Transfer表述性状态转移4. 总体说明4.1. 概述本规范用于指导企业级省大数据平台数据治理子系统建设,要求了省大数据平台数据治理范围和要求,明确了数据治理子系统体系结构,制订了数据治理子系统功效和处理步骤
27、。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功效模块。本方案借鉴资产管理方法理论来管理数据,将数据作为一个特殊资产,对进入平台数据进行标准化规范约束,并以元数据作为驱动,连接数据标准管理、数据质量管理、数据数据安全管理各个阶段,形成统一、完善数据治理体系,以处理实际业务问题为导向,增强数据治理子系统对业务发展支撑能力。4.2. 目标数据治理子系统建设为数据治理工作提供强有力系统支撑。本期规范建设目标是以元数据为驱动,建立省大数据平台完整数据治理体系。从组织架构、系统功效等方面增强数据宏观管控,并实现精细化管理,具体包含:l 数据治理组织架构管理:定义
28、数据治理所需人员组织上岗位和职责,从管理角度支撑数据治理工作落地和实施。l 数据标准管理:建立企业级省大数据平台数据标准体系,并制订数据标准运维管控制度和步骤。l 元数据管理:降低元数据使用难度、提升用户体验,使大数据平台各类用户均能参与到元数据运行维护当中。l 数据质量管理:为内、外部用户提供平台化数据质量监控;经过扩充和优化公共规则库、确保数据完整性、一致性、正确性、立即性、正当性,提升用户使用感知;并提供数据质量应用满足个性化需求。l 数据资产管理:关键建设从计划、注册、运维到注销全步骤管理体系,使数据资产管理系统化、可视化。l 数据安全管理:建立体系化数据安全管控策略,经过用户安全管理
29、、数据安全管理实现全方位数据安全管控机制,经过技术手段和管理方法相结合方法落实数据安全,做到事前可管、事中可控、事后可查。4.3. 标准企业级省大数据平台数据治理子系统建设应遵照以下基础标准:1. 有效性标准表现大数据平台数据治理过程中数据标准、质量、价值、管控有效性、高效性。2. 价值化标准表现数据治理过程中以数据资产为价值关键,最大化大数据平台数据价值。3. 统一性标准表现大数据平台架构统一、标准统一、元数据统一、质量步骤统一、资产价值统一一体化管控平台体系。4. 开放性标准表现平台化、开放性运维思想,实现人人参与数据治理、人人参与数据运维。5. 产品化标准表现大数据平台数据治理能力显性化
30、,经过产品化互联网思维服务大数据平台数据生态圈用户。6. 安全性标准表现安全关键性、必需性,保障大数据平台数据安全和数据治理过程中数据安全可控。5. 数据治理体系5.1. 总体框架数据治理总体框架包含组织架构、数据治理模块、数据运维三部分。经过组织架构建立管理措施,制订工作步骤,确定角色职责。数据治理模块关键包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理,各模块协同运行,确保大数据平台数据一致、安全、有效。数据运维贯穿整个数据治理体系步骤中,实现平台化运维管理思绪。数据治理总体框架如Error! Reference source not found.所表示:关键领域大数
31、据平台数据治理工具数据安全管理数据资产管理元数据管理数据质量管理数据标准管理组织架构组织架构定义角色和职责计划和策略管理措施数据运维质量运维管控运维资产运维组织架构适宜吗图51数据治理体系框架5.2. 组织架构是否模糊化,简明说一下数据治理需要由专员、专职负责,不明说建立专业机构。数据治理组织构建意在经过建立数据治理组织架构明确各级角色和职责,保障数据治理各项管理措施、工作步骤实施,推送数据治理工作有序开展。 5.2.1. 组织组成数据治理组织架构关键由数据治理委员会、数据治理中心和各业务部门组成。组织架构划分和角色设定如Error! Reference source not found.所表
32、示:图 52 数据治理组织架构图5.2.2. 角色职责组织责任体系是数据治理责任落地保障,数据治理组织架构经过明确各角色职责,实施认责制度,让数据治理工作愈加好融入到数据日常使用和相关工作中,从而推进数据运维自治实现,如表5-1。表5-1数据治理组织架构角色职责定义内容组织结构角色角色描述角色关键职责数据治理委员会数据管理决议者由企业主管领导和各业务部门领导组成负责牵头数据治理工作;制订数据治理政策、标准、规则、步骤,协调认责冲突;对数据事实治理,确保数据质量和隐私;在数据出现质量问题时负责仲裁工作。数据治理中心数据平台运行者数据管理中心机构平台运行人员负责提交数据标准要求及数据质量规则和业务
33、规范,解释数据业务规则和含义;监督各项数据规则和规范约束落实情况;负责数据治理平台中整体数据管控步骤制订和平台功效系统支撑实施;负责平台整体运行、组织、协调。各业务部门数据提供者相关数据开发提供人员负责数据及相关系统开发,有责任实施数据标准和数据质量内容;负责从技术角度处理数据质量问题;作为数据出现质量问题时关键责任者。数据维护者数据维护人员制订相关数据标准、数据制度和规则;遵守和实施数据标准管控相关步骤,依据数据标准要求提供相关数据规范;作为数据出现质量问题时次要责任者。数据消费者数据使用人员,包含内部用户和外部用户作为数据治理平台数据管控步骤最终参与使用者;是数据资产价值获益人;作为数据治
34、理平台数据闭环步骤提议人。5.3. 系统架构5.3.1. 系统功效框架数据治理功效框架明确了数据治理在企业级省大数据平台中定位,并以合理功效层次划分指导数据治理系统相关功效建设。系统功效框架如图53所表示。 图53数据治理功效框架图l 企业级省大数据平台门户:企业级省大数据平台统一访问接口,供企业内、外部用户、第三方独立开发者访问及使用数据治理相关产品或功效,并负责统一访问认证及日志统计。l 能力开放平台:企业级省大数据平台统一对外服务层,数据治理相关产品及应用均经过这个层次进行注册、公布,并对内、外部开放。l 数据治理系统: 数据标准:在数据标准管理组织架构推进和指导下,遵照协商一致制订数据
35、标准规范,借助标准化管控步骤得以实施数据标准化整个过程。 元数据:采取集中式管理模式进行元数据管理,全企业元数据逻辑集中,即元数据管理模块作为企业元数据统一公布源,集中管理元数据,提供元数据集中创建、维护、查询功效。 数据质量:对数据从计划、获取、存放、共享、维护、应用、消亡生命周期每个阶段里可能引发各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并经过改善和提升组织管理水平使得数据质量取得深入提升。 数据资产:计划、控制、提供数据及信息资产一组业务职能,包含开发、实施和监督相关数据计划、政策、方案、项目、步骤、方法和程序,从而控制、保护、提升数据资产价值。 数据安全:经过计划、
36、制订、实施数据安全政策和安全策略方法,为企业级大数据平台数据和信息提供行之有效认证、授权、访问和审计。 数据运维在左侧目录里缺乏一个模块:包含数据资产运维、数据质量运维,借鉴互联网思维,经过产品化运维工具来整体提升企业级大数据平台数据运维效率。l 企业级省大数据平台: 大数据基础平台,负责数据接入、存放、管理、应用及相关基础功效支撑。5.3.2. 系统模块步骤图54数据治理系统功效各模块关系图如Error! Reference source not found.所表示,数据治理系统各模块之间,依据数据操作步骤产生相互关联,各模块业务步骤关系说明以下:L1:数据标准管理模块将标准定义映射到元数据
37、信息上,实现数据标准规范要求落地。L2:元数据管理模块为数据资产管理模块提供存放模型、属性信息查询服务。L3:元数据管理模块为数据质量管理模块提供元数据相关属性信息。L4:用户经过元数据定义大数据平台数据结构。L5:数据质量管理模块依据采集需求从大数据平台采集数据。L6:数据质量管理模块将数据质量问题反馈给大数据平台。L7:数据质量管理模块向资产模块提交数据质量评定结果。L8:元数据管理模块为数据安全管理模块提供隐私等级定义服务。L9:数据资产管理模块提议资产访问申请,由数据安全管理模块控制用户访问权限,控制数据资产增加、删除、变更操作权限,对访问数据内容、数据属性等操作进行管控。L10:数据
38、安全管理模块为大数据平台提供数据访问权限策略。5.4. 系统边界企业级省大数据平台数据治理子系统和其它子系统之间存在数据交互、功效调用、步骤穿插等关联。数据治理子系统和大数据平台系统内其它子系统关系示意如图55所表示:数据治理元数据管理数据标准管理数据质量管理数据资产管理数据安全管理数据服务平台企业级省大数据平台平台运维图55数据治理子系统和各子系统边界图5.4.1. 和企业级省大数据平台关系企业级省大数据平台上数据资产是数据治理关键对象;数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据安全等方面全方面支撑,使大数据平台上数据资产清楚、有序、安全、可控。5.4.2.
39、 和对外能力开放平台关系数据治理为对外能力开放平台提供元数据查询、数据安全管理支持;对外能力开放平台为数据治理提供统一数据治理产品及功效注册、公布、使用服务。5.4.3. 和平台运维系统关系数据治理子系统支撑大数据平台数据管控步骤,并和平台运维交互协调,共同支撑大数据平台整体安全运维、数据运维和管理运维。6. 数据治理关键模块6.1. 数据标准管理6.1.1. 背景中国移动企业级省大数据平台数据标准是在经营分析系统数据管控要求基础之上,借鉴互联网企业数据治理经验而提出。数据标准是指在中国移动企业级省大数据平台下,保障企业内外部使用和交换数据一致性和正确性,含有行业特点且共同使用一个规范性约束。
40、数据标准是企业级省大数据平台数据治理基础性工作,是数据治理建设中首要步骤。首先,数据标准为企业级省大数据平台提供统一数据标准定义和平台逻辑模型。其次,数据标准是企业级省大数据平台进行数据治理依据和根本。再次,数据标准是衡量企业级省大数据平台数据资产运行和管理评定依据。最终,中国移动经过数据标准管理实施,实现对企业级省大数据平台全网数据统一运行管理。企业级省大数据平台数据治理体系中数据标准管理如Error! Reference source not found.所表示,包含制订数据标准规范性文件、进行数据标准化管控及数据标准管理组织。图61数据标准管理内容企业级省大数据平台数据标准管理和原经营分
41、析系统数据管控区分以下Error! Reference source not found.所表示:表61企业级省大数据平台数据标准管理和原经营分析系统数据管控区分企业级省大数据平台数据标准管理原经营分析系统数据管控数据范围包含企业内外部数据运行相关数据,包含BOM三域数据、外部数据。数据仅限于市场经营活动B域和部分O,M域数据。业务应用模式以数据标准为基础数据治理体系,实现数据资产化,贯穿整个数据运行全步骤,形成以中国移动大数据平台为关键大数据生态圈,服务于企业内外部用户。以支撑企业内部经营分析为主。服务对象服务于整个大数据生态圈。原经营分析系统使用人员。6.1.2. 目标及标准数据标准管理总
42、体目标:经过统一数据标准制订和公布,结合制度约束、系统控制等手段,实现中国移动企业级省大数据平台数据完整性、有效性、一致性、规范性、开放性和共享性管理,提升企业级省大数据平台数据治理水平。数据标准制订标准:l 开放性:标准制订人人参与。l 共享性:数据标准化信息在大数据生态圈共享使用。l 完整性:涵盖用户、产品、服务、帐务、资源、网络等全部关键数据信息。l 有效性:信息正确度高、了解上不存在歧义。l 一致性:做到“五统一”,定义统一、口径统一、名称统一、起源统一、参考统一。l 规范性:制度规范、步骤控制、系统管理等。6.1.3. 业务分类和定义6.1.3.1. 数据标准体系分类数据标准制订如图
43、62所表示,包含数据标准体系划分和数据标准内容制订,数据标准体系可分为基础类数据标准和指标类数据标准。图62数据标准体系划分6.1.3.2. 数据标准内容制订数据标准内容制订根据数据标准体系分类要求分别给出数据标准制订规范要求。1、基础类数据标准基础类数据标准是经过多种业务处理产生或各类渠道采集基础性数据,在全国范围内必需是唯一定义,如“用户品牌”、“归属地市”。基础类数据标准分为行业参考模型实体标准和公共代码标准。行业参考模型实体标准指根据行业需求和中国移动省级数据逻辑模型实体规范要求,继承以往数据逻辑模型实体规范,将各域逻辑模型实体定义抽象为模型实体标准要求。行业参考模型实体数据标准体系定义内容如Error! Reference source not f