《智慧城市系列公服务中台：业务和数据中台建设最佳方案.docx》由会员分享，可在线阅读，更多相关《智慧城市系列公服务中台：业务和数据中台建设最佳方案.docx（180页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智慧城市系列公共服务中台二。二二年3.触发器交换：利用数据库触发器获取增量数据并将增量数据交换到目标节 点。数据获取实时性高，能够交换删除操作的数据，但需要在源表上建立触 发器，对前置库性能有一定影响。2. 3. 1. 1. 3.按时延分类2. 3. 1. 1. 3. 1. 1. 准实时接入针对于T+1模式无法满足业务系统的需求，需要进行准实时同步。准实时同 步是指将数据从传统的关系型数据库准实时同步到大数据平台，并对数据进行实 时或者准实时分析。借助 Oralce GoldenGate (OGG)、IBM Datastage Data Replication (CDC)等软件可以实时地读取关
2、系数据库的日志记录，将这些日志 记录写成文件记录到本地，再头通过数据迁移工具进行秒级同步和解析。2. 3. 1. 1. 3. 1. 2.实时接入针对如物联数据、视频数据等具有数据量大、文件数量多、实时产生等特性 的数据，有高吞吐、低时延的要求，可通过分布式日志实时采集工具Flume或分 布式消息队列工具Ka珠a实时接入到大数据平台。2. 3. 1. 1. 4.按数据类型2. 3. 1. 1.4. 1.政务数据汇聚主要是库表接入和文件接入两类。过渡阶段，政务委办局数据由委办局侧 业务库推送至部门前置机，再通过数据共享交换系统进入作为原始数据存储。逐 步根据需求，将数据接入城市进行治理和建设主题库
3、，实时、主动地读取业务库 数据变化，数据再同步至城市。2. 3. 1. 1.4. 2.物联数据汇聚智慧城市物联感知设备产生的实时物联数据经过物联平台以API接口方式 接入Kafka分布式消息队列系统，再通过实时计算平台进行实时研判、展示，或 直接归集入。2. 3. 1. 1.4. 3.互联数据汇聚互联网数据服务平台承载互联网数据，互联网区无法访问政务外网。可通过 接口方式与政务外网的平台对接，由平台主动抽取互联网区数据，或将互联网区(3)内容审核子系统内容审核子系统提供内容审核服务，规范内容审批审核流程，实现跨部门审 核与各部门内部审核业务的无缝连接。(4)用户运营子系统基于受众范围，建立精准
4、的用户分类体系，基于用户运营子系统的用户服务 能力，围绕不同用户的特定需求，建立用户运营体系。(5)客服工单子系统客服工单子系统根据不同组织、部门和外部客户的需求，精准化管理、维护 和追踪用户提交的问题和请求，并通过支持服务、客户服务、技术支持服务等手 段，规范化、统一化和清晰化的处理和管理。通过追踪、处理和归档内外的问题 和请求的系统化、标准化的工作处理流程，为市民提供标准化的服务体系。(6)应用配置子系统应用配置系统提供引导页配置、首页导航配置和服务首页配置服务，实现应 用界面和服务的统一管理。(7)消息推送子系统消息推送子系统提供消息推送服务，将“智慧”的便民服务、政策法规、资 讯等内容
5、，及时推送给市民，并在市民画像的基础上，基于用户的偏好、行为等 数据信息分析，为市民提供多类型、即时的、便利的消息服务，让市民通过推送 的消息，即可触发提供的各类服务，畅享的智慧城市服务，提高市民对“智慧” 的获得感。(8)短信推送子系统短信推送子系统提供短信推送服务，通过运营商短信接口，将各类信息推送 给用户，对用户的拉新、促活和召回等环节提供工具，有效触达用户，提供更好 服务。(9)小组管理子系统小组管理系统提供用户交流组功能，通过用户自发组织的兴趣群组，并提供 聊天、留言板、相册等交流工具，实现用户以兴趣为中心的交流功能，提升用户 参与感。2. 6. 10.1.运营基础服务子系统运营基础
6、服务子系统是运营管理平台的基础服务系统，为内容运营、内容审 核、用户运营、客服工单、应用配置等其他系统提供基础支撑。运营基础服务子 系统通过标准化模块，通过构造化的方式实现基础服务能力建设，是平台的核心。运营基础服务子系统提供运运营服务模块管理，功能管理，运营账号管理, 角色管理，权限管理，身份验证，路由服务，系统设置，日志模块，定时任务, 安全组件等几大模块。运营基础服务子系统功能架构图如下：2. 6. 10. 2.内容运营子系统内容运营子系统提供内容运营服务，基于用户画像，通过多渠道、多场景的 内容整合和输出，为市民和公务员提供精准的内容服务。内容运营子系统的主要业务具体如下：1、拆解目标
7、:根据产品要求给出内容运营的方式、效果、产品整体目标。2、内容定位:通过产品定位确定用户定位，通过用户定位确定内容定位。不 同的用户群体，对应不同的内容。3、内容规范化:UGC类产品的内容是用户创造的，但需要通过管理和展现优 质的手段去规范内容，从而形成良性循环。4、专题策划：即传统意义上的内容编辑和策划。5、多纬度整合内容:按照多种形式展现内容，如最新or最热。运营需要给 出更多纬度的整合内容，如话题、点赞、tag等方式。6、常规内容品牌化:通过每日或每周的常规内容，提升用户对品牌的认知, 稳定用户浏览内容的时间预期。内容运营子系统功能架构图如下：图4-26内容运营子系统功能架构图6. 10
8、. 3.内容审核子系统内容审核子系统提供内容审核服务，规范内容审批审核流程，实现跨部门审 核与各部门内部审核业务的无缝连接，实现对平台上的内容包括文字、图片、多 媒体等信息进行合法性审核，确保信息的正确性。内容审核子系统功能架构图如下：2. 6. 10. 4.用户运营子系统用户运营子系统核心是围绕市市民的需求，为其提供内容和服务，通过运营 过程来监督和用户行为，更好的了解用户需求，即时响应。建立精准的用户分类 体系，围绕不同用户的特定需求，建立用户运营体系。用户运营子系统功能架构图如下：2. 6. 10. 5.客服工单子系统客服工单子系统根据不同组织、部门和外部客户的需求，精准化管理、维护 和
9、追踪用户提交的问题和请求，并通过支持服务、客户服务、技术支持服务等手 段，规范化、统一化和清晰化的处理和管理。通过追踪、处理和归档内外的问题 和请求的系统化、标准化的工作处理流程，为市民提供标准化的服务体系。2. 6. 10. 6.应用配置子系统应用配置子系统实现对运营管理平台的全域参数设置，通过动态配置实现满 足用户个性化运营需求，包括界面中布局参数、输入面板个性化设置、表情包、 皮肤等信息参数。应用配置子系统提供引导页配置、首页导航配置、服务首页配置和输入板管 理服务，实现应用界面和服务的统一管理。2. 6. 10. 7.消息推送子系统消息推送子系统为项目平台提供消息推送服务，将便民服务、
10、政策法规、资 讯等内容，及时推送给市民，并在市民画像的基础上，基于用户的偏好、行为等 数据信息分析，为市民提供多类型、即时的、便利的消息服务，让市民通过推送 的消息，畅享信息化城市服务，提高市民对服务的获得感。2. 6. 10. 8.短信推送子系统短信推送子系统提供短信推送服务，通过运营商短信接口，将各类信息推送 给用户，对用户的拉新、促活和召回等环节提供工具，有效触达用户，提供更好 服务。2. 6. 10. 9.小组管理子系统小组管理系统提供用户交流组功能，通过用户自发组织的兴趣群组，并提供 聊天、留言板、相册等交流工具，实现用户以兴趣为中心的交流功能，提升用户 参与感和活跃度。小组管理子系
11、统功能架构图如下:2.6. 11.统一运维平台运维管理平台包括服务注册与管理系统、DNS管理子系统、负载均衡子系统、 消息队列子系统、缓存服务子系统、无值守安装子系统、持续集成子系统、持续 发布子系统、日志分析子系统、系统监控管理子系统等内容。为确保政务服务平台的运行环境正常运行，必须保证平台所涉及的每个环节 都正常工作。这就要求能对环境中的关键设备进行实时管理，及时发现问题、解 决问题，向管理员发出警告信息。这些平台管理工作单靠平台维护人员的手工操 作是远远不够的，需要建立一整套全面的运维管理平台，帮助平台管理人员监视 和维护平台。这样才能确保平台具有高度的可靠性，能够及时处理和报告发生的
12、问题，在平台可能出现问题之前就发现事故隐患，及时处理；同时，必须实时监 视包括业务、网络、主机和应用在内的整个平台的性能情况，及时发现性能瓶颈, 分析平台性能的变化趋势，有针对性地对平台进行扩容和升级。运维管理平台为政务服务项目提供统一的运维服务。通过利用自动化运维实 践，实现面向数据中心双态环境下的自动化运维管理。在数据中心软件定义化、 技术架构互联网化、业务快速发展、应用持续交付等层面，提升运维管理的服务 能力。解决运维团队人员有限、运维工作量大，依赖传统的手工的方式，运维效 率难以提升的难题，推进运维规范化管理，有效规避运维操作存在安全隐患，避 免业务变化带来的持续交付压力，实现IT服务
13、的自动化交付，为政务服务项目 规范建设、高效管理、稳步推进提供保障。一、技术架构运维管理平台是一个基于开源工具的自动化运维平台，集成多个自助化服务 系统，实时日志查询及数据库查询系统，可以全方位了解项目运行情况，通过服 务目录、运维流程、自动化的对接，实现对外服务的自动化交付，运维管理者可 以通过多样化的服务渠道实现运维自助服务。运维管理平台具备全面的资源自动化纳管能力、内置运维行业实践自动化脚 本库，支持丰富的运维自动化场景，支持基于工作流引擎的运维作业自动化场景 的可视化编排，提供全局作业总览，直观呈现自动化作业的各方面情况。二、业务流程政务服务的运维管理范围大、内容深，因此，要求运维管理
14、平台的具备非常 高的运维支撑能力。运维管理平台业务流程主要包括：1、以平台监控为主线，监控平台、应用、中间件、数据库、主机、操作系 统、存储、网络，实现系统资源的集中统一管理，能够主动、及时发现问题, 扭转被动服务的局面。2、建立统一的故障告警平台和故障预警机制，快速定位故障，帮助运维人 员解决问题，迅速恢复系统正常运行。报警事件包括网络、操作系统、数据库和 应用的告警和通知事件。3、完善的服务管理平台，按照ITIL标准梳理技术中心的IT服务流程，实 现服务台、事件管理、问题管理、配置管理、变更管理、发布管理等功能，将技 术中心的IT服务能力提高到一个新的水平。4、完善资产管理平台的建设，按照
15、资产管理的生命周期，实现资产的统计 分析、变化跟踪等管理功能。2. 6.11.1. 服务注册与管理系统资源/服务信息的注册：注册员可以将关于资源/服务的名称、唯一标识符以 及其他描述信息登记（即录入）到系统中进行保存。注册信息的修改和删除：注 册员能够对其注册的资源的有关信息进行修改和删除。注册信息的审核：资源/ 服务的有关信息在系统中登记之后，审核员能够对其进行审核，审核通过之后这 些注册信息可以发布和使用。审核意见能够及时通知相应的注册员（即信息录入 者）。注册信息的查询和显示：用户可以查询系统中注册的资源/服务信息，但 不同角色的用户可查看的范围不同。普通用户可查看系统中通过审核且对外公
16、开 的资源/服务注册信息，注册员还可查看自己所注册的所有资源/服务的信息，而 系统管理员和审核员可以查看系统中注册的所有资源/服务的信息。用户管理功 能：用户可以注册成为系统的注册用户，但注册用户需要被系统管理员授权，才 能成为拥有资源/服务信息注册、修改、删除权限的信息注册员，或者成为拥有 资源/服务注册信息审核权限的审核员。资源与服务注册系统除部署在科学数据 中心用于收集和管理科学数据库项目总牵头组织单位要求各建库单位提交的资 源与服务注册信息外，也可以根据某个主题、专题、参考型或专业数据库项目承 建单位的需要，在该单位进行部署，以用于对相应主题、专题、参考型或专业数 据库中有关的资源或服
17、务进行注册和管理。2. 6. 11.2. DNS管理子系统DNS管理系统是一个分布式的主机信息数据库，采用客户机/服务器模式， 让用户通过政务服务平台更方便的访问互联网，而不用去记住能够被机器直接读 取的IP数串。DNS管理子系统的主要功能具体如下：(1)系统概览系统概览主要是提供对本系统的简介、域名基础数据概览等能力。(2)记录数据同步记录数据同步模块将页面提交的域名配置变更数据同步到DNS解析服务器。(3)记录搜索模块记录搜索模块主要是将域名解析，并提供记录检索功能。(4)用户权限管理用户权限管理主要是对菜单、数据权限进行配置。(5)日志模块日志模块主要可以操作日志记录，并提供查看日志等功
18、能。(6)批量导入记录通过预设模板批量导入域名数据，用于批量录入情景。(7)数据库管理模块域名管理数据库配置修改连接方式。(8) 域配置管理本模块主要是提供对域的增删改查功能。(9)接口认证模块域名解析服务器同步数据接口认证，保证可信的server连接。(10)设备资产管理模块对设备进行管理，对设备状态、设备变动、设备使用人员或管理人员的管理, 及资产的实时盘点。(11)虚机管理模块建立和维护一个管理虚拟机的框架，同时为其他虚拟机提供支持服务。(12)软件和应用程序管理模块对软件和应用程序管理进行统一管理。(13)中间件管理模块对中间件进行集中统一管理。(14)权限管理模块对平台权限进行规范管
19、理。(15)资源使用统计对资源使用情况进行统计分析。2. 6. 11.3.负载均衡子系统负载均衡子系统基于市政务云现有网络结构，为政务服务提供一种廉价有效 透明的策略，扩展网络设备和服务器的带宽，增加吞吐量，加强网络数据处理能 力，提高网络的灵活性和可用性。负载均衡子系统的主要功能具体如下：(1) Nginx内核组件引入nginx内核，实现网络7层代理能力。(2) Haproxy内核组件引入Haproxy内核，实现网络4层代理能力。(3) LVS内核组件整合LVS核心功能，用于VIP配置。(4) Keepalive管理模块通过keepalive技术，控制负载均衡节点主备切换。(5) http反
20、向代理配置基于http协议的反向代理参数设置、修改。(6) imap反向代理配置模块基于imap协议的反向代理参数设置、修改。(7) smtp反向代理配置模块基于smtp协议的反向代理参数设置、修改。(8) fastcgi动态内容配置模块基于fastcgi进程的配置设置，参数修改以及php伺服程序端口映射配置。(9) WSGI动态内容配置模块基于WSGI协议的Web服务发布参数设置、修改。(10)缓存管理模块设置发布站点缓存参数，包括有效时间、大小、类型等。(11) url rewirte 模块用于将把传入Web的请求重定向到其他URL,以及页面的301、302跳转重 定向。(12) Web服
21、务负载均衡Web负载均衡参数的设置、修改，如轮询、权重。(13)用户访问控制模块用户访问策略设置，包括源地址策略的黑白名单修改。(14)传输速率限制模块基于站点的传输速率设置。(15)并发限制模块基于站点的并发设置。(16)应用资源管理器模块发布站点信息的增删改查。(17)热更新配置模块实现配置变更后的动态加载，加载过程连接不中断。(18)服务控制管理器模块服务启动和停止控制，进程退出。(19)虚拟主机网站配置模块支持基于主机头的虚拟主机发布，包括参数的增删改。(20)压缩内容过滤配置模块解压传输过程中的压缩包，并基于大小、类型进行drop、pass操作。(21)资源管理器模块控制站点内存、带
22、宽占用。(22)域名解析配置模块站点多域名的设置和修改。(23)自动化中心配置服务器配置模块从配置中心获取统一配置，并加载。(24)自动化配置服务器和客户端公私钥认证模块支持基于SSL加密认证的可信数据交换，包括证书的添加与删除。2. 6.11.4.消息队列子系统消息队列子系统作为消息容器，将政务服务的所有消息的在传输过程中保存 在消息容器。消息队列子系统的主要功能具体如下：(1) Broker节点创建消息队列的子节点，实现数据节点消费。(2)集群通信策略消息节点的集群通信。(3) Partition分区创建进行Partition分区的创建管理。(4) Partition分区策略对Partit
23、ion分区的管理策略。(5) Queue 创建进行Queue的创建管理。(6) Topic 创建Topic的创建管理。(7) Topic 分布式 sharding 策略分布式分片管理策略。(8) Group 规划消息组的管理规划。(9)容量规划消息队列的容量规划。(10)存储类型选型消息的存储类型自动判断识别。(11)配置优化模块消息队列的配置优化管理。(12)数据复制模块对节点数据进行复制管理。(13)通信协议设计消息队列的通信协议设定。(14)消息路由机制消息分发的最短路由控制。(15)分布式存储算法设计 消息队列的分布式存储设计。(16)消息压缩机制大量等待消息堆积的压缩机制管理。(17
24、)消息发送确认机制收到确定信息后的发送-回馈确认。(18)消息批量发送机制 重复消息的批量重发机制。(19)消息顺序性控制对发送消息进行顺序控制管理。(20)消息幕等性机制模式处理重复的消息，保证消息可达性。(21)自动重连机制 实现断点重连。(22)超时控制实现消息队列的超时控制。(23)分布式消费模块分布式部署进行消息消费。(24)消息分类模块消息分类的设置、修改。(25)消息解压缩机制 接受消息的解压缩控制。(26)消息消费确认机制 收到消费信息的确认反馈。(27)消息批量消费容量控制模块 实现消息的批量消费容量控制。数据推送至互联网区的前置机，再由资源平台通过库表或文件方式主动抽取。2
25、. 3. 1. 1.4.4.视频图片汇聚视频数据主要包括部门影像、非公安影像、公安视频半结构化数据、视频大 图小图等，以接口方式接入Kafka分布式消息队列系统，再通过实时计算平台进 行实时研判、展示，或直接以归集入NoSQL数据库进行大对象存储。2. 3. 1. 1.4. 5.地图数据汇聚栅格数据、矢量数据、空间地理底图、各类图层信息、各类城市运行管理要 素数据等。2. 3. 1. 1. 5. 数据开发3. 1. 1.5. 1. 标准 SQL 开发（一）概述标准SQL开发工具是为数据开发人员和数据库管理人员提供的数据库管理 工具，它能够进行跨中台管理，可作为大数据计算服务客户端，也支持兼容其
26、余 多种数据库。中台提供的SQL开发工具是辅助进行数据集成开发的图形化工具。（二）数据库导航需提供数据库导航栏，可查看当前存在的连接，以及各个连接所提供的的内 容，包括元数据对象，如数据库、表、歹（J、分区、桶、视图、存储过程、包等, 并通过层级反映元信息结构。可实现查看元数据信息、创建元数据、指定默认数 据库、刷新元数据对象、对比元数据对象、对象重命名、添加书签等功能。（三）SQL编辑器SQL编辑器主要用于SQL语句的编辑，功能包括：(1) 持SQL单步调试与异常告警功能持SQL代码语法高亮、语法检查(2) 持SQL代码缩进持计算结果输出展示(3) 持界面编辑修改数据持命令行（0）SQL执行
27、器(28)消息顺序性消费控制对传达消息的顺序性消费控制。(29)消息幕等性校验机制模式处理重复的消息，保证消息可达性。(30) Broker多节点集群心跳检查 多个节点的心跳检查。(31)分区容灾模块实现消息间的分区容灾，以防消息系统的崩溃。(32)负载均衡模块 实现消息队列的负载均衡。(33)节点注册模块 对消息服务器的节点注册。(34)节点调度模块 消息服务器的节点调度。(35)节点leader选举模块 保证消息节点Leader的高可用性。(36)节点发现模块 自动发现扩容进的消息节点。(37)节点容量管理模块 节点间的容量控制管理。(38)分区位置查询模块 消息分区的位置查询管理。(39
28、) Topic查询模块 高消费性消息的查询。(40)分区重分布模块 消息分区的分布管理。(41) Topic动态迁移 高消费消息的动态管理迁移。(42)分区动态扩容模块 消息分区的动态扩容管理。(43) Broker动态扩容模块Broker节点的动态扩容管理。(44)系统资源使用监控模块 监控目前消息服务器中的资源使用率。(45) Broker集群节点监控Broker大集群的节点状态监控。(46) Consumer节点监控模块 消费节点的状态监控。(47) Broker节点性能监控Broker节点的性能指标监控。(48) Consumer节点性能监控 消费节点的性能指标监控。(49) Topi
29、c消息吞吐量监控 主体消息的吞吐量监控提示。(50)消息积压率监控报警模块消息积压率的监控报警。(51)多租户管理模块多个使用租户的管理机制。(52) ACL控制模块 消息流量管控。(53) Admin管理模块管理员用户管理。(54) Channel管理模块Netty 管理 Channel 功能。(55) Exchange管理模块提供Exchange的管理方式。(56) Host管理模块提供Host管理方式。(57) Queue管理模块提供Queue管理方式。(58)插件管理模块实现对插件的管理服务。(59)访问日志记录模块对访问日志的记录实现管理控制。(60)错误异常记录模块记录系统抛出的错
30、误异常记录。(61)数据复制迁移记录模块对消息队列中的数据复制提供记录。62) ) Rolling 模块实现Rolling的查询管理。63) 6.11.5.缓存服务子系统缓存服务子系统将政务服务”需要频繁访问的网络内容存放在离用户较近、 访问速度更快的系统中，以提高内容访问速度，缓存服务器就是存放频繁访问内 容的服务器。缓存服务子系统的主要功能具体如下：(1)高可用模块双机主从集群高可用，随时热备。(2)动态扩容模块多节点集群支持弹性增加节点，以实现容量的扩充。(3)动态查询模块集群状态实时查询。(4)性能监控模块缓存吞吐、速率指标的监控。(5)性能管理模块最大连接数、内存使用、有效时间的配置
31、修改、调整。(6)容量告警模块容量报警阈值设置、消息发送通道设置。(7) 一键扩容模块集群自动化扩容，自动配置新增节点，并加入集群。(8)缓存查询模块支持基于CLi的缓存数据查找。(9)自动升级模块系统配置不中断业务升级。(10)集群管理模块集群的启动与停止，配置修改。(11)集群修复模块集群失败节点自动剔除。(12)心跳管理模块多节点互相检测，实现可用性同步。(13)防脑裂行为模块控制心跳失败后的自动选主策略，保证集群中不出现2个主节点。(14)大数据分解模块针对大文件数据分块存储。(15)大数据清洗模块针对大文件数据的过滤。(16) IP绑定模块支持多IP情况下的IP发布绑定。(17)慢查
32、询模块慢查询阈值设置，慢查询记录。(18)缓存日志变更模块日志大小、分片的参数修改。(19)备份条件管理模块创建镜像的时间条件、大小条件的修改与配置。(20)连接管理模块客户端连接数的配置与修改。(21)虚拟内存管理模块设置缓存可用的虚拟内存大小。(22)数据自动压缩模块支持数据自动压缩存储。(23)自动分区模块对集群多节点模式，支持自动设置sharding分区。(24)节点创建模块 用于集群节点的新增配置。(25)临时节点创建模块 用于集群临时节点的新增配置。(26)数据写入模块缓存数据写入内存和磁盘。(27)数据更改模块支持对缓存中的数据进行直接修改。(28)数据删除模块支持对缓存中的数据
33、进行定位和删除。(29)数据读取模块根据客户端的请求返回有效的数据。(30)断链节点删除模块对失去心跳数据的节点进行剔除。(31)节点唯一性模块 保证节点分片值的唯一。(32)节点删除模块用于将节点从集群中彻底删除。(33)节点监听开启模块对指定节点进行监听功能的开启。(34)节点监听关闭模块对指定节点进行监听功能的关闭。(35)节点创建通知模块 创建节点状态通知。(36)节点变更通知模块 设置节点变更通知参数。(37)节点删除通知模块 设置节点删除通知参数。(38)集群规模预设模块设置集群初始化规模参数。(39)集群通信模块设置集群通信参数。(40)集群选举模块设置集群主节点选举规则参数。(
34、41)心跳检测模块Heartbeat设置参数的修改与调整。(42)异常节点摘除模块用于手动剔除状态不正确的节点。(43)集群断链重连模块设置集群断链重连的最小时间间隔、重试次数。(44)故障迁移模块在主从模式下，实现主节点故障后，备节点自动升级为主。(45)横向扩容模块支持通过增加节点的方式扩充集群容量。(46)纵向扩容模块支持通过扩容缓存内存大小的方式扩展容量。(47)集群高可用模块多节点集群高可用，实现节点负载均衡和互备。(48)集群容灾模块支持多链路调用，及数据多副本机制。(49)集群防脑裂模块集群放脑裂参数的设置与修改。(50)弹性伸缩模块控制集群的自动扩缩容。(51)数据同步模块多节
35、点数据同步策略的设置与修改。(52)快照生成模块配置内存快照的生成策略。(53)数据备份模块支持从节点数据落盘。(54) 一致性协议模块支持多节点间数据一致性校验。(55)高并发应对模块 并发数配置的修改。(56)权限控制模块 基于IP的访问策略配置。(57)连接数限制模块 设置连接池最大连接数。(58)安全防护模块 单位时间内连接次数限制。(59)超时断链模块 设置最大响应等待时间。(60)传输层协议模块 支持基于TCP/IP的数据传输。(61)操作记录日志模块 系统操作日志的保存、读取。(62)调试日志模块基于debug模式的调试日志记录。(63)客户端接口模块 提供客户端连接接口。(64
36、)客户端数据查看模块 记录客户端连接信息，支持查询。(65)故障修复模块异常节点状态恢复后自动加入集群。(66)集群存活检测模块 集群可用状态检测。(67)数据容量检测模块 缓存整体容量检查。(68)连接数检测模块系统整体连接数检测。(69)延迟检测模块数据请求延迟检测。(70)节点数检测模块集群节点数量检测。(71)会话检测模块会话状态检测。(72)请求积压数检测模块未返回结果的请求数统计。2. 6. 11.6. 无值守安装子系统无值守安装子系统为政务服务各子系统提供自动化、无值守的系统安装与配 置功能，保证业务环境快速搭建，高效率交付。无值守安装子系统的主要功能具体如下：(1) Cobbl
37、er核心组件实现Cobbler核心组件数据写入。(2) DHCP核心组件实现DHCP地址分配服务。(3) TFTP核心组件实现TFTP资源管理。(4) PXE核心组件实现网络部署PXE服务。(5) Web管理组件实现Web界面话管理。(6) 操作系统镜像管理模块针对批量部署的镜像管理。(7) Profiles管理模块配置文件的管理服务。(8) KS模板管理模块KS自动安装配置的管理。(9)事件管理模块自动化部署的时间管理。(10)资源文件管理对推送文件的集中管理。(11)文件推送模块主动推送文件服务。(12) Script管理模块对现有、部署常用的Script脚本进行管理。(13)计划任务管理
38、应用计划任务的管理服务。(14) Sync文件同步模块文件通过Sync进行数据同步。(15)授权管理模块对不同用户的授权管理。2. 6. 11.7.持续集成子系统持续集成子系统为政务服务的软件开发提供集成服务，并对每次集成进行自 动化的构建来验证，尽早发现集成错误，提高系统的开发效率。持续集成子系统具体功能具体如下：(1) svn代码管理模块代码在SVN中的管理服务。(2) git代码管理模块Git代码的管理服务。(3) Docker Hub管理模块提供Docker服务的管理方式。(4) Maven编译模块提供数据私服功能。(5) Jenkins管理模块自动化打包流程。(6) Sonar代码检
39、查模块自动进行代码审计。(7) 6. 11. 8.持续发布子系统持续发布子系统为政务服务的软件开发提供持续交付服务，增加应用部署效 率，提高版本迭代速度。持续发布子系统主要功能具体如下：（1）项目管理模块一个项目的管理服务。（2）申请单管理模块单独项目的管理启动服务。（3）中间件资源管理模块对持续发布的中间件的资源进行管理。（4）部署管理模块对持续发布的项目进行部署管理。（5）统计报表模块出具统计报表管理。（6）用户管理模块对用户进行管理服务。2. 6. 11. 9. 日志分析子系统日志分析子系统通过使用集中化的日志管理，将所有服务器上的日志收集汇 总，实现日志的检索和统计管理。通过系统日志、
40、应用程序日志和安全日志的及 时分析，系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过 程中的错误及错误发生的原因，了解服务器的负荷，性能安全性，从而及时采取 措施纠正错误。日志分析子系统的主要功能具体如下：（1） logstash核心组件ELK日志收集服务。（2） filebeat采集组件ELK文件收集服务。（3） elasticsearch 核心组件ELK搜索服务。需提供SQL编辑器模块用于执行SQL语句的功能；需支持执行各种语句，将 结果和错误分别显示在结果窗口和问题窗口；需支持查看以往执行过的所有SQL 语句，以及执行时间。（五）数据编辑器通过数据编辑器提供多种数据管理接口
41、，方便用户对数据进行查看和编辑。2. 3. 1. 1.5. 2.数据 ETL 开发（一）概述中台需提供可视化数据ETL工具用以数据从多源数据库向数据平台的ETL 过程。（二）数据接入.可直接从0racle/DB2等传统关系数据库将数据导入至大数据服务中台，可 在不失效率的情况下避免使用Sqoop带的步骤繁琐、类型转换复杂等应用场 景。1 .支持CSV,定长文件，JSON, XML等文件的导入。2 .支持导入OGG、Shareplex Datastage产生的增量文件导入，实现准实时的 数据同。3 .支持通过Kafka等方式读入流数据。4 .支持跨集群的数据导入。（三）数据导出.可以直接导出数据
42、至传统关系数据库1 .导出多种数据格式，支持大数据服务中台中所有类型的表，普通ORC, 0RC 交易表，HBase, ES表等。2 .支持跨集群导出（四）数据转换实现数据的清洗，加工，包括但不限于字段映射功能、数据关联、集合操作、 聚合操作、过滤、去重等。2. 3. 1. 1. 5. 3. 工作流调度（一）概述提供可视化工作流调度工具以进行数据迁移开发过程中的工作流DAG设计、Kiabana核心组件ELK展不服务。(4) Kafka队列组件消息队列组件，支持异步消息队列。(5) 正则过滤组件对文件日志进行正则过滤。(7)日志切割组件海量日志自动切割，分割成等量日志。(8)日志分析组件对集中日志
43、进行日志分析。2. 6. 11. 10.系统监控管理子系统系统监控管理子系统对政务服务运行环境中的软硬件提供实时监控,在系统 出现异常的情况，及时发出报警通知，由业务人员和运维人员介入处理，防止故 障发生或在故障发生的第一时间进行修复，保证环境的持续稳定运行。系统监控管理子系统的主要功能具体如下：(1) zabbix监控核心组件监控zabbix核心服务。(2)主动监控模块监控服务器主动发起服务。(3)被动监控模块Agent在客户服务器安装的监控模块。(4) TrAPPer类型模块监控中数据超时客户端自己提交数据服务。(5) JMX类型item模块Java管理扩展应用。(6) ODBC类型ite
44、m模块类Java接入认证管理服务。(7) SNMP类型item模块主要应用与监控系统的SNMP服务。(8) IPMI类型模块远程管理服务。(9)网络设备自发现监控自动发现网络设备并监控。(10)磁盘自动发现监控自动发现磁盘并监控。(11) redis服务自发现监控自动发现redis缓存服务并监控。(12) mysql服务自发现监控自动发现mysql服务并监控。(13)自发现规则模块对需要实现自发现的模块进行控制。(14)主机类监控模块对主机电源、温度、风扇的监控。(15)系统类监控模块对系统CPU、内存、网络、存储、文件句柄数的监控。(16)服务类监控模块对中间件、数据库实例、缓存实例的监控。
45、(17)报警通知模块短信、邮件报警通知参数的配置、修改。(13) 6.11.11.自动化运维管理子系统自动化运维管理子系统是政务服务运维管理的门户系统，为运维管理的统一 入口，包括资源申请、配置信息管理、发布管理、流程管理、项目信息管理、事 件管理等，从整体上控制运维标准，保证运维规范的落地执行。自动化运维管理子系统主要功能具体如下：(1)用户登录认证用户登录认证，包括账号增删改查。(2)配置管理功能清单系统基础参数编辑修改。(3)自动发现集成任务通过与CMDB结合，定时扫描，实现资源和配置信息的自动发现。(4)应用管理集成与CMDB结合实现多系统应用信息同步更新。(5)运维发现子系统管理集成
46、实现自动发现项目的编辑需改，保证数据的正确性。(6)内容管理集成应用信息的增删改查。(7)用户功能权限配置定义用户菜单权限，包括菜单权限的增删改查。(8)数据权限配置数据权限的配置与修改。(9)部署及安全策略部署控制策略的添加与删除。(10)防火墙策略防火墙端口发布记录的增删改查。(11)远程数据链接传输接收非本地数据库连接配置的增删改查。(12)本地自动化调用接口将系统核心功能封装成基于http的API接口，供其他系统调用。2. 6. 11. 12. CMDB 子系统CMDB子系统通过信息的采集、整合、记录、维护、检验、更新等管理，以 数据和模型为核心，按照整合的思路，通过元模型和分视角模型相结合，为政务 服务提供数据库的配置管理服务。CMDB子系统的主要功能具体如下：(1)基础架构模块