《智慧城市运行管理平台数据治理服务项目方案（2023）.docx》由会员分享，可在线阅读，更多相关《智慧城市运行管理平台数据治理服务项目方案（2023）.docx（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智慧城市运行管理平台数据治理服务项目方案一、项目概述1 .背景当前，XX市正加快推进“智慧XX”建设，推进公共安全、公共服务、公共管理 智慧化和数字经济发展，全力推动超大城市治理体系和治理能力现代化。从全市 层面进行统筹顶层设计，统一规划、数据、标准，加快构建智慧XX建设框架 体系，推进数据跨部门、跨层级、跨地区汇聚融合和深度利用，为实现超大城市 数字化治理夯实基础支撑。因此亟需加快实现数据全面贯通。对各级各类平台进 行数据质量评价及规范，为全市公共数据汇聚奠定基础。同时，加强与民政、公 安等部门系统的对接，实现市级信息资源的充分融合。政务数据治理服务需同步开展规划、建设和运营，既要能够要支撑
2、后续“一网 通办”、“一网统管”等城市级信息化项目建设以及全市数千个单位公共数据的管理运 营工作。又要应对由于规划、建设和运营的迭代周期非常短，且市场上没有成熟适用 的产品支撑等问题，因此需要在建设中集成改进、在运营中优化需求、在规划中完善设 计，不断迭代和更新。而技术平台迭代和更新带来更长项目周期和更多集成风险。目前传统信息化项目建设模式需要提供明确的需求范围、业务部门、建设 周期和管理制度。而目前政务数据项目的建设周期出现持续性、突发性和周期性 并存等新情况，并且城市级大数据项目需要为全市各市级部门、各区（市）县及 事业单位提供服务。在这种体量下，目前政府的信息化项目建设模式和管理制度与
3、城市级大数据项目的建设和管理需求适应匹配度不高。4、数据模型开发：数据融合处理；5、配置上线：应用上线。(7) 应用建模服务应用建模服务目的是利用已有数据对优化现有业务流程，开展数据预测以 及发现之前未发现的盲点，以此发现新的业务机会、新的服务模式，主要工作是 指需要使用数据模型来进行预测分析、分类分析需求；根据不同的业务问题进行 数学模型的建立；涉及到的主要步骤包括业务理解、数据理解、数据准备、建立 模型、应用部署等步骤。应用建模服务的具体工作内容应包含：表9应用建模服务工作描述服务项服务描述应用建模服务1、业务理解：了解项目的要求和最终目的是什么并将这些目的与 数据挖掘的定义以及结果结合起
4、来；2、数据理解：启动数据的收集工作，开展数据梳理分析；收集原 始数据，对数据进行装载，描绘数据，并且探索数据特征，进行简单 的特征统计，检验数据的质量；3、数据准备；涵盖了从原始粗糙数据中构建最终数据集(将作为 建模工具的分析对象)的全部工作；4、建立模型：选择和使用各类建模方法，通过建造，评估模型将 其参数将被校准为最为理想的值；5、模型评估:针对建立的模型。在进行最终的部署之前，开展评估 工作。确保模型达到目标。并对有关数据挖掘结果的使用达成一致的 决定；6、应用部署：模型部署上线。(8) 可视化展现服务为了借助图形化的手段和工具，以便更好的传递信息，让数据产生持久效 应。因此需要通过大
5、屏可视化建设将数据中的信息以最直观易懂的方式展现出来。可 视化展现服务是根据业务需求，通过探索调研、原型设计、数据及接口开发、大 屏前端开发等步骤，达到数据可视化展现的要求。应用建模服务的具体工作内容应包含:服务项服务描述可视化展示服 务1、需求调研：沟通展示需求或迭代确认需求，形成需求文档，并根 据业务场景提供展示方案；2、原型设计：明确风格需求，确认动态/静态效果设计需求，根据需求文档，出具点线图设计，根据确认的点线图设计，给出页 面级高保真效果图；3、数据及接口开发；完成数据项梳理、数据库表开发、数据指标开 发（从清单级至汇总级）、数据接口开发、特殊接口或数据落地形式 开发；4、大屏前端
6、开发：包括展现终端标准化触点开发、展现终端非标触 点开发、前端展示组件开发、动态/动效开发、特殊动态交互、测试 上线和联调交付；5、后期维护：包括基础报障，工作日常规报障和按需重点时刻保障 （按次）。(9) 数据共享服务数据共享服务是根据不同用户的需求，按不同服务等级协议以及要求完成 数据共享需求。数据共享服务的具体工作内容应包含：表11数据共享服务工作描述服务项服务描述数据共享服务描述1、需求确认：确认服务业务场景、服务类型、服务查询条 件、服务返回结果等需求内容；2、接口设计：需求清单梳理，并编写接口设计文档；3、编码开发：按照服务资源开发需求，完成服务编码开发；4、接口测试：技术人员需要
7、针对开发接口进行内部测试；5、资源发布：将测试通过的接口注册到资源交换平台发布 至资源目录；6、联调测试：完成共享服务联调测试，提交测试记录。4）数据开放服务（1）数据开放服务数据开放服务是根据不同用户的需求，根据不同的服务等级协议以及需求, 完成数据开放的接口开放工作。数据开放服务的具体工作内容应包含：服务项服务描述数据开放服务描述1、需求确认：确认服务业务场景、服务类型、服务查询条 件、服务返回结果等需求内容；2、接口设计：需求清单梳理，并编写接口设计文档；3、编码开发：按照服务资源开发需求，完成服务编码开发；4、接口测试：技术人员需要针对开发接口进行内部测试；5、资源发布：将测试通过的接
8、口注册到开放平台发布至开 放目录；6、联调测试：完成开放服务联调测试，提交测试记录。(2)数据开放运维服务数据开放运维服务主要针对热线，邮箱，新媒体，本站留言等全媒体服务 开展咨询、报障受理、并对问题进行解答和处理，并对数据开放门户网站内容编辑 和维护，编写门户完整活动策划及运营的方案，定期收集和分析门户运营数据。表13数据开放运维服务工作描述服务项服务描述数据开放运维服务1、网站管理：当有对数据开放平台门户网站的内容维护， 运营策划，运营统计有需求时，内容服务人员执行该项需求 对应的工作，对网站整体进行内容运营工作；2、问题咨询：数据利用主体对开放平台有疑问提出咨询是， 咨询服务人员进行解答
9、，并且将解答内容反馈至数据利用主 体。5)数据资产服务(1)作业调度运维在大数据应用场景中，一方面数据需要按照适用的场景应用将数据归集至 不同的数据存储类型中；另一方面，数据也需要按照相适应的存储类型进行数据转 化，以提高其访问效率，例如OLTP数据需要以链式存储，OLAP数据则需要以维 度模型存储。这些数据融合加工的作业是需要进行统一调度管理，避免错序、乱序 导致数据质量问题的产生。作业调度运维服务的具体工作内容应包含：服务项服务描述作业调度运维1、作业调度监控：对日常数据加工、数据开放作业、分发 作业的调度进行管理监控，并输出相关报告；2、问题分析处理：对中断，失败，卡死，执行时间过长的
10、作业进行问题分析、定位、处理和记录。并通过事后的分析， 明确问题缘由，及时修复；3、调度任务优化：根据分析报告及问题处理情况，对调度 任务进行优化。(2)数据质量检查及异常处置数据质量检查是通过制定数据质量标准以及数据质量检测规则，对湖内的 数据进行数据质量检查、校验，对检查出的异常数据根据规则进行反馈及处置， 并跟踪处理成效。完成各单位的数据质量报告，对数据质量存在的问题进行点评，制 定数据质量提升方案，协同保障入湖数据高质量。数据质量检查及异常处置服务工 作量除与数据量有关外，也与数据需求明确程度，变更频繁度，数据结构清晰度， 数据格式复杂度等业务和数据复杂度强相关。基于上述情况进行抽象提
11、取，数据质量 检查及异常处置服务的具体工作内容应包含：表15数据质量检查及异常处置工作描述服务项服务描述数据质量检查及异 常处置1、标准规则设计：依照数据稽核需求，设计稽核规则，确 保日常数据质量的规范性，合理性，完整性，准确性；2、问题分析处理：对质量不合规的数据进行处理、检查、 定位、修复和记录，并通过事后的分析，明确问题缘由，及 时修复；3、质量报告：整理并记录分析数据质量报告并提供数 据质量检查日志；4、质量提升：通过数据质量问题分析及相关报告，制定质 量提升方案，保证数据高质量入湖。(3)数据资产盘点服务定期对数据资产进行盘点，检查已有数据资产的状态，发现数据资产目录 与数据资产不一
12、致的问题，更新数据资产目录信息，确保数据资产信息一致性和完整性。表16数据资产盘点服务工作描述服务项服务描述1、资产检查：检查已有数据资产状态数据资产盘点服务 描述2、资产发现：发现数据资产目录与资产不一致3、资产更新：更新数据资产目录信息，确保数据资产信息 一致性和完整性。（4）数据资产评估服务对数据资产的数据血缘、数据权属、成本因素、价值因素等影响因子进行 分析，整理出支撑数据资产价值评估技术的评估指标及权重。基于梳理的评估指标, 选择合适的评估模型，完成评估模型的测试、训练及调整，形成可信度较高的评估 结果。表17数据资产评估服务工作描述服务项服务描述1、评估分析：对数据资产的数据血缘、
13、数据权属、成本因 素、价值因素等影响因子进行分析。数据资产评估服务 描述2、指标设计：整理出支撑数据资产价值评估技术的评估指 标及权重。3、资产评估：基于梳理的评估指标，选择合适的评估模型， 完成评估模型的测试、训练及调整，形成可信度较高的评估 结果。6）培训服务（1）培训服务为数据运营管理控制过程有关的人员提供培训服务，以提高相关人员业务 知识和技能水平，使其适应日常管理工作的需要，从而使整个服务过程和质量得 到有效保证。培训服务具体内容包括：表18培训服务工作描述服务项服务描述培训服务1、培训方案：专业人员接到培训主管的培训计划后，根据培训的要求、方式和时间制定本次培训的具体培训方案。2、
14、开展培训：根据培训的具体的时间发出培训通知，正式 开始培训。3、培训评估：培训完结后对本次的培训整体、讲师分别进 行评估，方便后期培训流程及方式的优化。4、培训归档：培训评估后，将培训过程中的培训记录、结 果、评估进行整理规定，为后面的大数据分析和个人培训档 案的建立提供数据支撑。7）其他服务由于数据需求的不确定性，对部分时间紧迫且无法分解为上述服务目录的 需求采用人月模式提供现场技术服务，该部分服务内容可能包括方案设计、事件 处置、服务管理等工作。服务过程中要严格按照需求方要求开展工作，在服务一定 阶段后，对于具有通用性的服务，后续随着服务目录的优化更新进行补充完善。另外，数据作为信息的载体
15、，其所含的价值具有及时性，到项目验收时可 能已不能应用。同时，数据服务也缺乏业界公认的计量标准、服务管理机制和绩效 评估体系。随着“疫情防控”、“复工复产”等突发场景驱动的数据需求越来越频繁， 大量的数据需求都采用了先建设运行，后规划改进，再申报立项的方式，这就导致政 府数据项目的价值时效性和工作标准性难以衡量。按照XX市市政务云总体规划，目前已初步形成了全市统一的政务数据资源 体系整体架构，将原来分散建设的数据资源目录管理系统、数据交换共享系统、 大数据平台、公共数据开放平台等系统整合集成，新增开发数据供需管理系统， 使用数据治理工具开展数据治理工作，平台具备数据资源编目、资源上传挂接、 资
16、源申请订阅、资源获取应用以及公共数据脱敏开放的全流程处理的能力。向上完 成与省级共享平台的单相级联，向下延伸到区县，面向区县提供管理和应用能力。同 时通过推进智慧XX运行管理平台建设，进一步提升我市数据资源管控能力。智慧XX运行管理平台数据资源体系相关系统简介如下:序号名称功能简介1XX市市公共数据开放平台为全市各级部门开放数据提供服务2XX市市公民信息管理系统建设以公民身份号码为唯一标识，集居住、婚育、就 业、纳税、信用、社会保险等信息于一体的公民信息 管理系统，实现数据权威、应用广泛、运行安全并覆 盖全域XX市户籍人口。公民信息管理系统定位于全市 大数据领域信息基础设施，构建了覆盖全市户籍
17、人 口、跨部门维度叠加的公民信息数据库，前期主要服 务于政府单位之间的公民信息共享，已经成为我市发 展政务大数据和大数据产业的重要支撑平台。3XX市市市民融合服务平台XX市市城市融合服务平台依托现有政府部门资源和 成果，汇聚整合各部门提供的服务，将政务服务资源进 行规范化共享、开放；分析、叠加组合服务资源，创 新融合服务，为政府或部门应用系统拓宽服务渠 道，提供更多专业化、多元化、个性化的服务。截止目 前，平台承载服务接口 4000多个：其中接入服务 接口 3700多个，开发管道接口 93个，开发融合服务 接口 143个；交付服务接口 3000多个，服务访问量 达16亿余次。4XX市市政务数据
18、 资源交换共享平 台作为XX市市跨部门互联互通、信息共享的桥梁和纽 带，该平台利用中间件等技术在不同的应用和信息资 源之间建立交换通道，实现数据资源共享5XX市市政务信息资源目录系统政务信息资源目录梳理、管理、数据的服务封装6XX市市政务大数据平台对汇集数据的政务数据的采集、处理及共享7XX市市数据开发平台提供数据融合、加工、处理等完整的数据业务解决系 统,提供全链路、一站式、智能化的数据构建与管理 平台。8XX市市数据治理 服务平台主要负责数据运营中对服务提供方、服务人员、治理 任务、费用结算等治理服务的管理。2.总体思路治理运营服务一方面要求所建立的管理制度应当具备较好的可拓展性、可迭代性
19、等特点，另一方面，要求治理运营服务能够与社会发展相适应、快速迭代，能 够建立长效的治理运营服务的机制，防止管理制度的老化僵化，束缚治理运营服务的发展，以此应对政务服务涵盖的范围非常广的特点，最终能够解决如下问题：以何种方式运营，运营服务的对象包括哪些，全生命周期的管理流程和规范有 哪些内容，如何衡量治理运营服务绩效，如何培育和管理服务供应商等。治理运营服务的应当将“集中治理，降本增效”作为总体原则，以绩效管 理作为总体核心，通过快速迭代的方式来细化目标，全面规范治理运营服务中涉 及的服务范围、服务内容、服务标准、服务考核，增强团队的核心能力，严控安 全风险，最终形成可量化的绩效管理体系。3.服
20、务内容利用智慧xx运行管理平台数据资源体系相关系统和工具开展以下服务。L数据规划和专题分析服务。对数据资源体系的战略、标准、制度进行规划 和评估。结合需求及数据情况开展调研，编制专题分析报告。2需求对接服务。对各级各部门提出的数据需求进行沟通调研，需求梳理和 分析整理。a数据治理服务。包括结构化数据采集接入、非结构化数据采集接入、数据 抽取运维、数据标注服务、数据图谱服务、数据融合加工、应用建模服务、可视化 展现服务、数据共享服务。4数据开放服务。包括数据开放服务和数据开放运维。5.数据资产服务。包括作业调度运维、数据质量检查及异常处置、数据资产 盘点服务、数据资产评估服务。6培训服务。包括平
21、台操作培训、数据使用培训、行业知识培训等。7.其他服务。由于数据需求的不确定性，对部分时间紧迫且无法分解为上述服务目录的需求采用人月计费方式提供现场技术服务。具体服务内容1) 数据规划和专题分析服务对数据资源体系的战略、标准、制度进行规划和评估。结合需求及数据情况 开展调研，编制专题分析报告。表1数据规划和专题分析服务工作描述服务项服务描述1、战略、标准、制度规划：根据相关政策、国内外最佳实 践和XX市实际情况进行数据资源战略、标准和制度的制数据规划和专题分定。析服务2、专题分析服务：明确分析主题，针对确定的主题开展需 求调研，梳理详细业务需求，结合数据情况编制专题分析报 告。2) 需求对接服
22、务(1) 供需对接服务根据各级各部门的应用场景智能化提升需要，协调对接市区两级部门，并完成数据需求梳理。表2供需对接服务工作描述服务项服务描述1、需求新增：数据需求方明确数据需求，并提供数据需求 资源清单；2、需求沟通：数据需求方操作员提交需求后，项目经理对供需对接服务数据需求进行复核，查看需求基本信息、信息项，并与需求 方进行沟通，对具体业务进行理解；3、需求受理:根据需求沟通结果，决定需求是否进行受理 4、需求分析:对需求进行分析形成需求分析报告。3）数据治理服务数据治理服务通过数据资产构建、元数据管理、数据质量管理等，将部门 提供的原始数据变为统一、有序的数据资源，是后期的数据挖掘、数据
23、分析的前 提，是治理运营服务的基础。数据治理服务包含数据接入、数据治理、数据分析及数据共享与开发服务， 贯穿于数据从采集、归集、整合、共享到的全生命周期，通过数据分析应用服务，以 “用”促“治”构造数据驱动、应用导向的数据价值挖掘体系，不断创新数据智能 应用场景，实现公共数据资产化管理，开展多维数据融合，形成数据集产品的服务能 力，支撑跨部门、跨层级的数据共享与开放，实现公共数据开放和社会数据融合应用, 形成公共数据的良性运营生态。（1） 结构化数据采集接入结构化数据采集接入工作是各单位根据履职需要或从业务系统中或手工采 集业务数据，其中包括业务分析、资源目录编制、数据协议适配（数据格式定义）
24、、资 源挂载等内容。并且数据采集接入服务工作量与数据需求明确程度，需求变更频繁 度，数据结构清晰度，数据格式复杂度等业务强相关。基于上述情况进行抽象提取,具体工作内容如下:表3结构化数据采集接入工作描述服务项服务描述结构化数据采集接 入1、业务理解：根据新的数据接入需求，理解数据的业务含 义；2、数据理解：根据业务含义理解，设计数据格式，如字段 名称，字段长度，字段类型等；3、目录编制；依据数据格式，编制和更新数据目录；4、责任清单、需求清单、负面清单、开放清单编制协调： 根据数据情况，确认是否需要协调更新责任清单、需求清单、 负面清单或开放清单；5、数据协议适配:根据目录情况，确认数据接入方
25、式，开发 接入接口 ；6、资源挂载：将开发后的接口与目录进行挂载，并进行初 步清洗后入湖。(2) 非结构化数据采集接入非结构化数据采集接入工作是各单位根据履职需要或从业务系统中或手工 采集图片、文件等数据，其中包括业务分析、资源目录编制、数据协议适配(数据 格式定义)、资源挂载等内容。并且与数据需求明确程度，需求变更频繁度，数 据结构清晰度，数据格式复杂度等业务强相关。基于上述情况进行抽象提取， 具体工作内容如下：表4结构化数据采集接入工作描述服务项服务描述非结构化数据采集 接入1、业务理解：根据新的数据接入需求，理解数据的业务含 义；2、数据理解：根据业务含义理解，设计数据格式，如数据 内容
26、，数据类型等；3、目录编制；依据数据格式，编制和更新数据目录；4、责任清单、需求清单、负面清单、开放清单编制协调： 根据数据情况，确认是否需要协调更新责任清单、需求清单、 负面清单或开放清单；5、数据协议适配:根据目录情况，确认数据接入方式，开发 接入接口 ；6、资源挂载：将开发后的接口与目录进行挂载，并进行初 步清洗后入湖。(3)数据抽取运维数据抽取运维是为后续基础数据库、主题数据库应用，数据共享交换及开 放服务等提供保障，通过将挂载的数据资源不间断地抽取入湖，保障各信息系统 数据及时准确地归集、汇聚，并对问题抽取数据的进行处置调整。数据抽取运维的具体工作内容应包含：表5数据抽取运维工作描述
27、服务项服务描述1、抽取规则设计：针对抽取运维过程中需求发生变化的情 况，需要进行数据清洗抽取规则设计；2、日常运营维护日志分析：抽取运维工作任务进行日常运数据抽取运维维及日志分析（如平台支撑能力分析，运营服务能力分析）；3、问题排查：针对抽取运维任务的问题排查，重大问题修 复，缺陷代码的修改；4、流程优化：根据抽取运维任务运行情况及用户反馈，对 调度任务进行流程优化。(4) 数据标注服务在后续的图像内容识别、自然语言学习、OCR识别（图片文本识别）、语音 转译等AI数据服务进行应用，数据标注服务是将结构化数据、文本数据、音频数 据、视频数据、流媒体等格式开展数据条目的内容释义，并开展分级分类工
28、作。数据 标注服务工作量除与数据量有关外，也与数据需求明确度，变更频繁度，数据结 构清晰度，数据格式复杂度等业务和数据强相关。基于上述情况进行抽象提取，数 据标注服务的具体工作内容应包含：表6数据标注服务工作描述服务项服务描述数据标注服务1、需求确认：确认数据标注需求（包含分级分类标准、数 据范围、需求场景等）；2、标注规则设计：根据标注需求，设计数据标注业务规则， 并对评审不合格的规则进行整改；3、代码编写测试：按照确认的标注规则，依托大数据资源 平台完成编码和脚本开发，对指定范围内的数据执行标注操 作，记录标注日志;4、标注结果确认：确认标注结果，并对验收不合格的标注 结果进行整改。(5)
29、 数据图谱服务数据图谱服务是为了将智慧XX项目中跨类别的数据间关联关系以图谱形式 进行呈现，方便各级各部门业务人员以图形方式对关系进行检索和查询。通过对智 慧XX项目的海量数据进行整理、分析和加工，挖掘XX数据资源，可为行政监督、基层、 市场主体提供大数据服务；对智慧XX活动提供动态监测分析，对市场主体异常行的 预警研判，对重点人群进行关注，提示可能存在的问题和风险进行技术上的支撑。 基于上述情况进行抽象提取，数据图谱服务的具体工作内容应包含：表7数据图谱服务工作描述服务项服务描述数据图谱服务1、数据图谱分析进行需求明确，形成设计方案；2、数据图谱实施开发人员根据方案进行设计开发3、数据图谱测试 试对开发人员进行图谱功能测试、压力测4、数据图谱上线：数据图谱以接口或者展示层面提供对应 服务(6) 数据融合加工数据融合加工主要工作是对数据开展标准化、转译、合并、指标计算等工 作，以此实现对跨层级、跨区域、跨部门、跨领域的公共数据的融合加工。数据融 合加工的具体工作内容应包含：表8数据融合加工工作描述服务项服务描述数据融合加工1、业务理解：所面临的业务问题进行分析，并定义取值数据目录范 围；2、数据理解：对所取值的数据目录范围进行分析，涉及的数据格式、 数据内容进行解读；3、数据模型设计；根据数据源的存储格式以及目标数据的访问性质 进行E-R设计；