《T_CPUMT 016-2023 智慧营区 数据处理服务要求.docx》由会员分享，可在线阅读，更多相关《T_CPUMT 016-2023 智慧营区 数据处理服务要求.docx（21页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、学兔兔标准下载ICS35.020CCSL70团体标准T/CPUMT0162023智慧营区数据处理服务要求SmartcampDataprocessingservicerequirements2023-12-20发布2023-12-20实施中国和平利用军工技术协会发布学标准兔兔下载学兔兔标准下载T/CPUMT0162023目次前言.III引言.IV1范围.62规范性引用文件.63术语和定义.64缩略语.65数据服务架构.76数据处理平台.87基础设施.88数据采集处理.88.1概述.88.2数据采集.88.3数据处理.99数据存储.109.1概述.109.2结构化数据.109.3半结构化数据.10
2、9.4非结构化数据.109.5接口支持.1110数据管理.1110.1概述.1110.2主数据.1110.3标签数据.1110.4元数据.1210.5数据质量.1210.6数据模型.1210.7数据资产.1210.8数据安全.1311数据应用.1311.1概述.1311.2综合态势呈现.1311.3智慧业务应用.1311.4数据挖掘分析.1312数据共享.1312.1概述.1312.2数据资源编目.13I学兔兔标准下载T/CPUMT016202312.3数据资源服务.1413标准规范.1414性能指标.14附录A（资料性）智慧营区信息系统数据分类表.15附录B（资料性）大数据算法应用参考表.1
3、8附录C（资料性）国产化适配参考.19参考文献.20图1智慧营区系列团体标准逻辑关系.IV图2智慧营区信息系统数据服务架构.7图3数据处理平台功能架构.8表A.1智慧营区信息系统数据分类.15表B.1大数据算法应用参考表.18表C.1国产化适配参考.19II学兔兔标准下载T/CPUMT0162023前言本文件按照GB/T1.12020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。T/CPUMT0162023智慧营区数据处理服务要求与T/CPUMT0132023智慧营区总体框架、T/CPUMT0142023智慧营区建设要求、T/CPUMT0152023智慧营区应用要求、T/CPU
4、MT0172023智慧营区安全要求、T/CPUMT0182023智慧营区运维管理要求、T/CPUMT0192023智慧营区评价指南共同构成支撑智慧营区信息系统规划、设计、建设等工作的基本型标准体系。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国和平利用军工技术协会提出并归口。本文件起草单位：中国科学院空天信息创新研究院、深圳保联信工业科技有限公司、超越科技股份有限公司、北京国研数通软件技术有限公司、联通数字科技有限公司、中科海慧（北京）科技有限公司、北京有生博大软件股份有限公司、深圳市安信达存储技术有限公司、中电（天津）信息技术研究院有限公司、葛洲坝集团
5、供应链管理有限公司、深圳市乐凡信息科技有限公司、中铁建电气化局集团南方工程有限公司、福建星瑞格软件有限公司、北京理工大学前沿技术研究院、广州知韫科技有限公司、北京可信华泰科技有限公司、山西联创新港信息科技有限公司、浙江通见科技有限公司、深圳市欣视景科技股份有限公司、保升（中国）科技实业有限公司、北京市卡姆福科技有限公司、江西小视科技有限公司、厦门亿力吉奥信息科技有限公司、暗物智能科技（广州）有限公司深圳分公司、华戎技术有限公司、陕西华邦科技发展有限公司、杭州巨骐信息科技股份有限公司、普宙科技有限公司、厦门熙重电子科技有限公司、时代云英（深圳）科技有限公司、南京熊猫电子股份有限公司、西安麦格斯会
6、展服务有限公司、金茂云科技服务（北京）有限公司、深圳市蕾奥规划设计咨询股份有限公司、嵩嘉标准化技术服务（北京）有限公司、北京蓝象标准咨询服务有限公司。本文件主要起草人：王大成、于明睿、支阿龙、徐锋、秦志鹏、关锋、胡乔利、李修录、陈磊、王传新、宋昆鸿、刘帅、张道山、陈雪梅、胡柳、娄宗超、李宇辽、庞磊、尤明洲、何永刚、苏红、周守业、赵光、苏江、赵新勇、姜晨、孟庆铭、薛源、叶家艺、郁聪、许小伟、闫松、沈亮、任俊宇、杨邦会、王远昌、范军、姚晓婧、刘健、李静发、段小莉、张德保、姜冰、张红艳、徐成利、邱天、乔华阳。本文件为首次发布。III准标兔下学兔载T/CPUMT0162023引言智慧营区覆盖范围广泛，
7、包括物理、信息、认知等各类空间环境。本系列文件从信息空间入手，先行对其中涉及的基于行政与安全管理活动的智慧营区信息系统建设提出规范性要求,旨在推动营区管理模式创新，进一步提升管理效率和服务水平。本系列文件是综合机关、部队、院校、科研院(所)、医院(疗养院)、后方仓库营区和机场、港口，以及干休所等营区的通用性需求制定的基本型标准。由总体框架、建设要求、应用要求、数据处理服务要求、安全要求、运维管理要求和评价指南7份文件组成，是智慧营区信息系统规划、设计、建设、应用的基本遵循。智慧营区系列团体标准逻辑关系见图1。评价指评价内容评价类型评价指标评价方法评价手段评价实施南应用要求建应用架构应用功能操作
8、使用部署应用设要求功能架构建设内容竣工验收数据处理服务要求安全要求运维管理要求安全保密架构系统独立运行安全保密架构数据服务架构数据处理平台功能架构数据采集处理数据存储系统独立运行安全运维管理架构运维管理运维支持对象数据数据管理数据应用数据共享标准规范与性能指标网络集成使用安全防护等级调整运维业务系统运维管理实施.总体框架目标与原则总体架构功能架构总体要求图1智慧营区系列团体标准逻辑关系T/CPUMT0132023智慧营区总体框架，确立了智慧营区信息系统建设目标与原则，给出了智慧营区信息系统总体架构和功能架构，规定了智慧营区信息系统的总体要求，在系列标准中起引领性作用，为智慧营区信息系统规划、设
9、计、建设、应用、安全、运维、评价提供宏观指导。T/CPUMT0142023智慧营区建设要求，给出了智慧营区信息系统建设的功能架构，规定了建设内容、竣工验收等要求。旨在解决智慧营区信息系统“建什么、怎么建”的问题。T/CPUMT0152023智慧营区应用要求，给出了智慧营区信息系统的应用架构，规定了智慧营区信息系统的应用功能、操作使用、部署应用等要求。旨在解决智慧营区信息系统“用什么、怎么用”的问题。T/CPUMT0162023智慧营区数据处理服务要求，给出了智慧营区信息系统数据服务架构和数据处理平台功能架构，规定了基础设施、数据采集处理、数据存储、数据管理、数据应用、数IV学兔兔标准下载T/C
10、PUMT0162023据共享、标准规范和性能指标等要求。旨在解决营区信息系统数据“采集处理、应用共享”的问题。T/CPUMT0172023智慧营区安全要求，给出了智慧营区信息系统安全保密架构，规定了智慧营区信息系统独立运行安全、网络集成使用安全、防护等级调整等要求。旨在解决智慧营区信息系统“防什么、怎么防”的问题。T/CPUMT0182023智慧营区运维管理要求，给出了智慧营区信息系统的运维管理架构，规定了智慧营区信息系统的运维管理对象、运维数据支持、运维业务系统、运维管理实施等要求。旨在解决智慧营区信息系统“管什么、怎么管”的问题。T/CPUMT0192023智慧营区评价指南，给出了智慧营区
11、信息系统评价内容、评价类型、评价指标、评价方法、评价手段和评价实施等指南。旨在解决智慧营区信息系统“评什么、怎么评”的问题。以上7份文件相互联系、相互支撑、各有侧重，从不同专业领域共同规范智慧营区信息系统规划、设计、建设、应用、安全、运维、评价等工作。V学兔兔标准下载T/CPUMT0162023智慧营区数据处理服务要求1范围本文件给出了智慧营区信息系统数据服务架构和数据处理平台功能架构，规定了基础设施、数据采集处理、数据存储、数据管理、数据应用、数据共享、标准规范和性能指标等要求。本文件适用于智慧营区信息系统数据处理服务的功能的设计、开发和应用。2规范性引用文件下列文件中的内容通过文中的规范性
12、引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。T/CPUMT0132023智慧营区总体框架T/CPUMT0152023智慧营区应用要求T/CPUMT0172023智慧营区安全要求3术语和定义T/CPUMT0132023界定的以及下列术语和定义适用于本文件。3.1元数据metadata关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权限和数据易变性的数据。来源：GB/T352952017，2.2.73.2主数据masterdata满足跨部门业务协同需要、反映
13、核心业务实体状态属性的基础信息。3.3数据标签datalabel一种用来描述业务实体特征的数据形式。通过标签对业务实体进行刻画，从多角度反映业务实体的特征属性。注：例如对人员刻画，包括性别、年龄、生物特征、身份信息、工作单位等。4缩略语API：应用程序接口（ApplicationProgrammingInterface）CDC：变化数据捕获（ChangeDataCapture）CNN：卷积神经网络（ConvolutionalNeuralNetworks）CSV：字符分隔值（Comma-SeparatedValues）DNN：深度神经网络（DeepNeuralNetworks）LR：逻辑回归（L
14、ogisticRegression）OLAP：联机分析处理（OnlineAnalyticalProcessing）SVM：支持向量机（SupportVectorMachine）6准下载标学兔兔T/CPUMT01620235数据服务架构数据服务架构包括基础数据、业务数据、主题数据、服务数据和数据管理5个方面。智慧营区信息系统大数据服务架构见图1，智慧营区信息系统数据分类见附录A。服务数据数据资源服务（数据资源池-支持营区业务）业务数据主题数据数据管理数据处理标准化日常管理数据安全防卫数据综合保障数据生活服务数据情况掌控数据异情处置数据业务支持数据综合分析数据数据生产流数据处理平台程化数据基共础数
15、据静态实体数据(原始)动态感知数据(原始)营区知识数据(原始)外部引接数据(原始)享制度化图2智慧营区信息系统数据服务架构a)基础数据。指通过数据处理平台，对运用在线、离线、网络抓取等方式采集的原始数据进行处理后形成的可用于推送、抽取、可视化呈现、应用共享的标准化数据。数据处理平台功能见第6章。b)业务数据。指按日常管理、安全防卫、综合保障、生活服务等领域划分的物理分散、逻辑集中、分责管理的数据。包括日常管理中的人员管理数据、车辆管理数据，安全防卫中的视频监控数据、周界防护数据等。c)主题数据。指面向营区值班、异常情况处置等业务场景，从基础数据、业务数据抽取，以主题形式封装的数据集合。包括情况
16、掌控数据、异情处置数据、业务支持数据、综合分析数据等。d)服务数据。指存储到数据资源池中，可支持通用办公、业务应用等基础数据、业务数据和主题数据。e)数据管理。按数据处理标准化、数据生产流程化和数据共享制度化要求，落实从数据采集、传输处理到应用共享的全生命周期管理。7学兔兔标准下载T/CPUMT01620236数据处理平台根据军队标准技术体制，运用自主可控、开源大数据处理工具，对营区静态实体、动态感知、营区知识和外部引接等原始数据进行采集接入、存储处理、应用共享、挖掘分析和全生命周期管理，为营区管理模式创新和效益提升提供支持。数据处理平台包括基础设施、数据采集处理、数据存储、数据管理、数据应用
17、、数据共享和标准规范等7个方面。数据处理平台功能架构见图2，大数据算法应用参考见附录B。图3数据处理平台功能架构7基础设施基础设施指智慧营区信息系统提供的计算、存储、网络等公共基础设施，可采取云平台或物理机两种形式构建。基础设施建设应遵循国产和自主可控要求。国产化适配参考见附录C。8数据采集处理8.1概述通过在线、离线、网络抓取等方式，实时采集人员车辆出入、视频监控、周界防护、智能巡防、综合保障、生活服务等结构化、半结构化、非结构化数据，并运用国产或开源大数据处理工具，对上述数据进行清洗转换、归并处理，形成支持智慧营区业务应用、并赋能营区其它业务的标准数据。8.2数据采集8.2.1数据探查8学
18、兔兔标准下载T/CPUMT0162023基于静态实体、动态感知、营区知识、外部引接的原始数据，具备结构探查、字段格式语义探查和数据量探查功能，应符合下列要求：a)支持自动数据结构探查，识别记录数据组织结构，包括数据表、字段、键值等；b)支持可视化数据结构展示；c)支持数据结构文档导出；d)支持字段数据类型、含义和业务规则自动识别；e)支持字段格式校验和验证；f)支持字段语义探查报告和建议生成；g)支持数据规模可视化报告，展示源数据大小和变化趋势，包括记录数、数据量的统计信息等；h)支持数据量历史记录和趋势分析；i)支持数据量异常或数据变化超出阈值时的预警提示。8.2.2多源异构数据接入支持结构
19、化、半结构化和非结构化等多源异构数据接入，包括数据库连接、文件导入、传感器数据采集、日志文件解析、数据交换协议和API接入、CDC接入、消息队列接入、云服务数据接入、实时数据流接入及第三方数据提供商接入等，应符合下列要求：a)支持各种关系型数据库和数据仓库应用；b)支持CSV、Excel等文件格式数据处理；c)支持配置选项，以便连接和访问不同数据库和数据文件；d)支持Web、API、日志文件、NoSQL等半结构化数据存储处理；e)支持不同半结构化数据源的解析和转换；f)提供配置选项，以便不同数据源接入需求；g)支持文档、图像、音频、视频等非结构化数据存储处理；h)支持分布式文件系统存储。8.2
20、.3原始数据存储支持接入原始数据存储，应符合下列要求：a)提供配置选项，允许用户定义原始数据存储位置，包括本地存储、远程存储、云存储等；b)支持灵活存储路径和命名规则设置；c)支持备份策略配置，例如定期自动备份、多备份点策略等；d)支持安全性设置，例如数据加密、访问控制、身份验证等；e)支持访问权限控制，提供数据访问接口，允许授权用户访问原始数据；f)支持数据存储监控，实时追踪数据写入和存储状态；g)支持存储空间使用情况预警提示和存储性能监控；h)支持数据创建、修改和删除等原始数据版本追踪；i)支持数据版本对比、还原、审计和溯源；j)支持数据导出。8.3数据处理8.3.1概述通过图形化工具对结
21、构化、半结构化和非结构化数据进行抽取、清洗、转换、融合，形成准确、一致的标准化的基础数据，用于智慧营区业务、赋能营区管理。包括数据清洗和数据融合两部分。8.3.2数据清洗数据清洗应符合下列要求：a）具备图形化界面支撐，直观配置和管理数据清洗流程，支持可视化数据处理流程设计，包括数据抽取、清洗规则应用、转换和输出等；b）具备结构化、半结构化和非结构化数据抽取和清洗功能；9学兔兔标准下载T/CPUMT0162023c）具备文本、数字、日期、图像、音频等不同类型数据处理功能；d）具备用户定义和应用数据清洗规则功能，包括数据格式验证、数据转换、数据修复等；e）具备多种清洗规则选配功能，例如正则表达式、
22、数据字典匹配等；f）具备识别处理不一致数据功能，包括格式、单位、命名不一致等，同时提供不一致数据处理选项；g）具备检测处理缺失数据功能，包括默认值填充、数据推断、数据插补等；h）具备缺失数据处理策略配置功能；i）具备识别处理重复数据功能，包括去重、合并、标记等，支持多种重复数据检测算法和策略；j）具备识别处理无效数据功能，包括数据校验、异常值检测、数据质量评估等，且能提供无效数据记录报告；k）具备数据行列转换、数据表重组、连接，以及聚合汇总、拆解细分功能。8.3.3数据融合支持清洗、转换后数据加载，应符合下列要求。a)数据加载。提供数据加载操作界面，选择清洗、转换数据，支持选中数据加载到数据仓
23、库、数据池或其他目标存储系统。b)数据源合并。具备不同数据源数据合并为统一数据集功能，支持跨源数据分析，提供数据合并规则和字段映射配置选项。c)数据加载记录维护。记录维护数据加载历史，包括加载时间、来源、目标、状态等，提供数据加载日志审计功能，支持数据追踪和问题排查。d)数据质量检查。具备数据加载过程中进行数据质量检查功能，支持数据质量问题预警提示。e)数据分发和发布。提供数据分发和发布选项，具备数据传输和数据交换协议支持功能。f)数据索引和查询。提供查询接口工具，支持数据索引建立和高效查询分析。9数据存储9.1概述为经过大数据处理的结构化、半结构化和非结构化基础数据存储提供物理环境，同时提供
24、数据存取暨访问控制接口。支持国产、主流数据库，支持集中、分布式数据存储、检索、查询。9.2结构化数据具备关系型数据库存储功能，应符合下列要求：a）支持国产数据库、主流关系型数据库。b）支持数据表创建、修改和删除，以及数据表字段定义、键值设置和约束规则配置；c）支持关系型数据库与其他文件系统之间的数据交换，数据导入和导出，支持通用数据交换格式，例如SQL、CSV、Excel等；d）支持大规模数据的集中式、分布式存储和查询；e）支持多数据表之间的关联和连接操作，并提供关联操作性能优化选项。9.3半结构化数据具备半结构化数据存储功能，应符合下列要求：a）支持存储和处理半结构化数据，例如JSON、XM
25、L、YAML等动态数据格式，具备自动解析和序列化动态数据的功能；b）支持半结构化数据索引、检索、查询和分析；c）支持非规范化数据存储和检索，提供数据变换和规范化的选项；d）支持数据存储性能优化，具备数据压缩存储和数据分区存储功能。9.4非结构化数据具备非结构化数据存储功能，应符合下列要求：10学兔兔标准下载T/CPUMT0162023a）支持分布式数据存储，具备数据块多副本存储和恢复，以及数据容错功能；b）支持基本文件系统操作，例如上传、下载、删除、移动等，具备数据块多副本存储和快速校验功能；c）支持数据压缩存储功能和非结构化数据的索引、检索和查询；d）支持多种非结构化数据的存储和管理，包括文
26、档、图像、音频、视频等。9.5接口支持建立关系型、非关系型和地图数据存取接口，实现对数据池、库数据的高效存取和访问。应符合下列要求。a)关系型数据访问接口。提供标准的关系型数据库访问接口，支持SQL查询和操作，具备连接管理、事务管理、性能优化等功能。b)非关系型数据库访问接口。提供NoSQL数据库访问接口，支持NoSQL查询和操作，并与主要NoSQL数据库系统兼容，例如MongoDB、Cassandra、Redis等。c)分布式文件系统接口。通过API提供访问和管理分布式文件系统接口，具备文件上传、下载、删除、元数据管理等功能。d)Restful访问接口。提供基于HTTP的Restful接口，
27、支持各种客户端应用程序对数据的访问和交互，具备权限控制和身份验证功能。e)地图数据访问接口。支持地理信息系统（GIS）应用程序对地理空间数据的访问和查询，具备地图数据服务、地图数据可视化、地图数据分析等功能。10数据管理10.1概述数据管理包括主数据、标签数据、元数据、数据质量、数据模型、数据资产和数据安全管理等模块。主数据模块负责管理关键的业务实体属性、特征和关系，确保数据的一致性和准确性；标签数据模块用于对数据进行分类和标记；元数据模块负责管理数据的描述信息，包括其结构、来源和用途，以支持数据的发现和使用；数据质量模块关注数据的质量规则、稽核、监控和报告，确保数据的高质量和可靠性；数据模型
28、模块用于设计和管理数据模型，支持数据的结构化和整理；数据资产模块基于元数据提供数据资产查询功能；数据安全管理模块确保数据的安全性和合法性。10.2主数据具备营区主数据相关的属性、特征、规则和关系等信息管理功能，应符合下列要求。a)主数据定义。允许定义和维护营区主数据属性和特征，包括但不限于区域编码、区域名称、区域负责人等。提供界面或工具，以便用户创建、修改和删除主数据记录。b)关系管理。具备管理主数据之间关系功能，包括父子关系、层级关系等。支持主数据之间的关联和关联规则配置。c)数据质量规则。提供数据质量规则定义和应用功能，支持数据一致性和合规性检查和修复。d)版本管理。具备主数据版本管理功能，以追踪和记录主数据的变更历史。支持版本回滚和审计，以查看、还原主数据状态。e)数据关系图。提供可视化数据关系图，以展示主数据之间的关系，支持数据关系的导航和查询。f)数据规则引擎。具备数据规则引擎功能，支持主数据自动验证和业务规则执行，以及数据规则的定制和扩展。10.3标签数据具备数据标签层级分类管理、基础标签管理、标签值类型管理和数据打标签等功能，应符合下列要求：a)具备层级分类管理功能，支持创建、编辑和删除标签分类；11学兔兔标准下载T/CPUMT0162023b)具备基础标签管理功能，支持标签数据基本信息的定义和维护，包括标签名称、标签描述等属性的管理；c)