《2022年大数据资源服务平台 .pdf》由会员分享，可在线阅读，更多相关《2022年大数据资源服务平台 .pdf（21页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据资源服务平台设备清单及技术参数一、货物清单序号产品名称内容单位数量1 全文检索系统1. 全文检索基于汇集库和全文库，提供片段信息的全文式检索及全景电子档案展现；2. 提供全部资源检索、 档案检索等全面智能的检索方式和深度立体的检索方式；3. 提供撞线分析、服务资源检索等高级个性检索方式。套1 2 应用门户系统1. 提供个人门户、 应用超市、 应用导航功能并实现单点登录功能；2. 与公安 PKI/PMI 系统无缝对接，实现用户身份统一认证；3. 提供独立的权限管理流程、应用发布、应用审核、应用统计管理、数据安全性管理和日志管理。套1 3 基础专题关系应用软件对本市采集的社会数据进行专题分析
2、，创建专题库以及对应的专题分析模型。套1 4 汇集库建设服务建设汇集库，形成数据集市体系，汇集、清洗、标准化平顶山市公安内外部数据（结构化数据不少于6T，不少于 60 亿数据；照片及非结构化数据；社会单位数据等）；按需建设全文库、多个专题库和碰撞库等支撑应用展现套1 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 21 页 - - - - - - - - - 5 数据资源目录管理系统1. 公安标准梳理（限定词、数据元、代码等）。2. 按照公安标准对数据进行对照， 结合相关
3、信息编目， 形成标准目录 （不少于 900 个标准目录）3. 统一注册各种类型的数据资源4. 对数据质量、数据运行情况、数据追溯进行管理5. 包含商业版数据资源管理系统1 套套1 6 数据资源监管系统1. 提供大数据ETL整合工具， 对各类源头数据库、文件及其它数据类型进行数据抽取，并在过程中进行清洗转换，将结果写入汇集库。2. 对 ETL进行集中调度和监控（不少于1500 个 ETL任务）3. 包含商业版数据整合管理系统1 套套1 7 资源服务总线系统1. 主要实现对本地应用的统一接入，减少应用系统对底层数据库的直接访问，提高数据安全性，解决全市以及协作区域间信息服务资源的简便对等开放、共享
4、标准规范、 本地信息资源集中管理、 面向应用服务的统一接入、高可用服务支撑能力、安全审计等一系列问题。2. 提供对应的查询、比对、交换、布控服务接口。3. 对总线开放的节点、目录、资源、进行运行监控、日志管理。4. 提供平台级别间对接。5. 商业版资源服务总线系统1 套。套1 8 运维服务1、公安内外部数据进行数据拉通的数据实时运维及巡检工作；2、负责维护数据交换，保证旅馆、网吧、卡口等数百个数据交换的正常运行，保障交换数据能正常汇入资源库；3、提供两年一人驻场运维服务,第三年远程支持。年2 9 互联网信息采集系统结构化数据导入1、开发结构化数据导入程序，并定义结构化数据的标准格式。2、将按照
5、标准格式整理的结构化数据导入程序并保存在公安网汇集库中。套1 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 21 页 - - - - - - - - - 3、实现导入异常预警，和异常准确定位的功能。零散线索情报录入1、开发零散线索情报录入程序，并定义录入的格式。2、工作人员在完成零散情报录入工作的同时，将涉及的嫌疑人员、 录入人员等相关人员信息录入在程序并保存在公安网汇集库中。采集数据源扩展提供多种可靠采集技术手段，支持扩展多种数据源头采集工作。如物流信息、汽车租赁、就
6、医信息、景区信息、征地纠纷、担保受损、涉民教师等。大数据辅助决策平台结合公安工作现状及后续工作需求，定制开发大数据辅助决策平台， 通过定制开发多个专题信息大屏动态展示我市治安防范能力， 打击犯罪能力， 社会治安管理和社会数据资源整合成果等。10 社会数据研判预警系统1、实时布控：通过上传需要比对的人员数据，与本地重点人员名单、 本地库、 请求全国服务数据或其他地市协同数据进行比对， 系统比对完成之后，自动将比对结果以消息推送的形式传递。2、数据采集：对结构化数据、图片、视频等类型的数据上传，数据实时传送至资源库。3、比对预警：通过app 的比对功能自主比对，自主比对以本地重点人员名单和本地库为
7、依据，比对结果实时显示预警。4、拓展应用：通过提供开放性的API 接口以供后续人像应用、电子签章应用、 图片应用、 音频应用、 视频应用的接入，提供对接。5、预警布控数据范围包含社会数据采集的相关数据和公安部门指定的数据。6、与本地重点名单和本地库数据实时比对。7、与全国请求服务和其他地市协同数据延时比对。8、通过本地库或本地重点人员名单比对完成的结果可通过服务总线进行分发共享。套1 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 21 页 - - - - - - - -
8、 - 11 数据对接中转机通过对接采集点数据源进行数据抽取，并将数据上传至前置服务器。台10 12 前置服务器采集点数据汇集载体，安装数据库用以接收外来数据，安装数据抽取 / 接收程序。台4 13 防火墙对流经它的网络通信进行扫描，能够过滤掉一些攻击，以免其在前置服务器上被执行。防火墙还可以关闭不使用的端口。 而且它还能禁止特定端口的流出通信，封锁特洛伊木马。最后， 它可以禁止来自特殊站点的访问，从而防止来自不明入侵者的所有通信。台1 14 人像数据采集终端采集人员身份证信息及现场人像拍照信息。套20 15 万兆交换机本项目交换机配置为24 个 10GE SFP+ 口( 配置 8 个 10GE
9、 SFP+光模块 ) ，配置交流双电源台1 16 终端采集路由器主要应用于数据库不在信息采集点（商家）本地的实例中。功能是信息采集点（商家）部署终端采集路由器，通过对经过路由器的报文进行深度分析，并抓取有用的社会信息。个20 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 21 页 - - - - - - - - - 二、详细技术参数要求序号货物名称技术参数详细技术要求1 全文检索系统全文数据支撑提供不少于30 亿数据或不少于600 项标准数据资源，并提供不少于800个
10、ETL任务以增量任务形势将数据资源配置进入全文检索系统。提供进入全文检索系统的所有数据资源的检索功能，不少于 600 项资源独立检索；提供人员关系计算同户人、同住宿、同上网、同机构分析时，每项不少于 200 万数据参与计算；车辆行车轨迹、人员出行、留宿轨迹分析时，每项不少于200 万数据参与计算。提供不少于600 项标准数据资源，每个资源不少于20 个字段的查询权重设置。提供不少于600 项标准数据资源，每个资源不少于20 个字段的查询权限设置。技术要求要求采用分布式全文索引技术，为基础数据资源建立全文索引，满足对基础数据资源任意字段和全部字段的模糊检索需求。要求采用 HADOOP 技术架构建
11、设对象专题库，可以基础数据资源按专题（如人员、案件前科等）进行分类重组整合相关信息。支持智能识别、智能提示、语义分析和行为分析等智能化设计。异地对接要求与请求服务系统对接实现异地搜索，需提供页面功能截图。要求与资源服务总线系统对接实现与异地公安搜索系统进行联盟搜索需提供页面功能截图。全部搜索要求针对资源、对象、图片等维度的数据资源进行关键词检索，系统后台自动进行相关度计算，并分别将这些维度返回的匹配结果进行分类展现，需提供页面功能截图。资源搜索要求针对本地资源和异地资源提供全部资源的模糊搜索、单个资源的条件搜索功能，以及针对异地共享服务资源提供请求服务查询功能，将返回命中资源目录和命中资源记录
12、给用户，需提供页面功能截图。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 21 页 - - - - - - - - - 对象搜索要求针对本地、联盟对象提供全部对象类型和特定对象类型的搜索功能，命中结果按对象类别（人、车、案、组织机构等）分别展现其相关的基础信息、相关度分值、关注人数等信息给用户。同时能提供对象关注功能，及时推送关注对象的最新动态给关注用户，需提供页面功能截图。照片搜索要求基于检索关键字针对接入的照片相关文本信息进行检索，并返回相关的人员照片以浏览视图方式
13、进行展现；支持对接第三方的人像比对服务，需提供页面功能截图。专题档案要求支持数据资源按专题（人、案件前科等）进行分类重组，采用“一人一档”的展示模式，实现对数据的关联组织与档案式呈现功能。超级档案的信息内容丰富，具备高价值的特点。以人员专题为例，主要分为基本情况、案件信息、 人员关系、 活动轨迹五个展示模块，需提供页面功能截图。轨迹分析基于人员、车辆等信息，实时计算出的当前轨迹落点，并依靠GIS 地图动态活跃在地图中，需提供页面功能截图。撞线分析系统会针对检索内容进行分类预警，如某一时间段对某一人员或物品进行多次检索的预警提示，需提供页面功能截图。搜索引擎要求基于搜索服务接口，响应智能搜索系统
14、客户端或第三方应用发起的搜索请求，搜索引擎依据参数执行搜索任务后返回结果给请求方。分层索引索引构建：要求基于Lucene 实现索引构建，通过特殊的索引结构（资源、对象）实现传统数据库不擅长的全文索引机制，将数据源中的数据结合分词建立倒排索引，并依据具体的部署情况在搜索引擎服务器生成各层索引。索引入库：要求基于索引构建，通过任务调度引擎全量或增量生成资源、对象索引并保存到搜索引擎服务器。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 21 页 - - - - - - - -
15、 - 系统管理基础管理：要求提供应用和数据服务器的登记管理和集群管理功能，并可针对全文库节点和索引节点进行维护。模型管理：要求针对本地数据模型的结构和分类提供维护管理功能。索引管理：要求针对资源、对象索引的构建任务情况和数据量情况提供监控功能。日志管理：要求针对采集的日志信息，提供用户登录和相关操作日志的查询功能。统计管理：要求针对本地资源、对象提供种类、总量、增量统计信息的查询功能，以及在线用户数和系统访问量的统计信息发布功能。权限管理：要求提供系统功能访问、数据访问、对象搜索、档案访问的权限管理功能。红名单管理：系统应将红名单信息进行安全级别分类，包括多个等级；同时，对于用户也可进行相应分
16、类，一级用户可以查看一级及以下红名单，各级用户都可查看本级相应红名单。红名单管理主要是根据平台名单中人员的安全级别进行过滤，从而屏蔽普通用户查阅、修改、删除重要人员的信息，需提供页面功能截图。性能要求1、精确条件查询，要求响应时间1 秒；2、模糊条件查询，在1000 万条记录条件下，要求响应时间5 秒；3、全文库入库性能10000 条/ 秒；4、单表数据量1 亿以内，单个关键词搜索1 秒内返回结果；5、全库（ 100 张表以内） 50 亿数据量，单个关键词全库搜索3 秒内返回结果，档案主要信息3 秒内展示；6、 200 个并发搜索下，响应时间3 秒。2 应用门户系统对接要求在满足实现功能的前提
17、下，提供市局不少于3000 个 PKIPMI 接入应用门户系统。技术要求采用 J2EE 开发，采用Html5、JQuery 技术，应用模式为B/S 须与公安 PKI/PMI 系统无缝对接，实现用户身份统一认证操作日志的存储须满足大数据环境下的分析应用，所支持的数据库包括常见的关系型数据库之外，必须支持大数据应用所需的hadoop 和 MPP数据库等作为数据源名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 21 页 - - - - - - - - - 应用门户须支持以负载均
18、衡设备进行访问负载均衡的方式进行多节点部署单点登录支持用户通过公安数字证书登录应用门户，并且在访问应用门户的各项功能以及应用时，不再重复进行登录操作需完全支持PKI 证书登录平台，并能够通过平台访问应用资源。除了证书登录之外，还需要提供用户名/ 密码的登录方式，以满足特殊情况下的应用需要，提供页面功能截图个人门户提供给每一个用户使用的个人应用门户，用户可以通过应用超市将所需的应用添加到个人桌面上便于使用，需提供页面功能截图。应用超市将用户常用的应用按照使用频度集中展示出来，用户可以自行调整其顺序和显示位置。此外，用户还能添加新的应用到常用应用中来，需提供页面功能截图。实现要求由于现有的数字证书
19、中用户信息内容有限，所以系统获取的证书信息还需要与警综平台记录的警员信息相结合才能获取用户的行政区划、组织机构、警种类别等其他详细信息门户上发布的应用，可以按照应用名称、下载次数、使用次数进行排序查询注册申请：对需要发布到应用门户的应用进行注册登记，登记时须要确定应用的发布方、开发方、运维方和应用的部署信息。审核管理：由应用的管理人员对注册的应用进行审批，审批的过程包括应用可用性的检查。经过审核的应用会自动发布到应用超市中供被选择使用。应用情况监测：通过系统能够对应用的发布、使用情况进行浏览、查询，能够对使用评价、应用的次数进行统计，能够对应用的状态进行监控。应用状态监控：应用是否存活的状态进
20、行监控的管理功能。应用状态的监控需要通过应用预设的状态接口由门户平台后台管理程序自动进行状态检测，并将检测的结果及时记录并反馈到应用状态监控界面，以提醒应用的管理和运维人员及时处置状况异常的应用。平台授权管理主要是指根据平台的实际应用需要，对用户进行使用权限的授权管理。平台的授权管理与具体应用的授权管理各不相同，平台的授权管理关注于平台各个组成部分的使用授权，而应用的授权则主要关注于应用自身的使用授权，二者之间相对独立，互不干扰， 需提供页面功能截图。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - -
21、- - - 第 8 页，共 21 页 - - - - - - - - - 系统需提供符合公安部系统操作日志采集规范的操作日志记录功能，并提供操作日志的查询功能，需提供页面功能截图。3 基础专题关系应用软件总体要求基于专题数据库，依靠业务逻辑和大数据算法，计算形成权威各类专题数据资源，并依托数据和算法提供一系列查询、比对接口进行动态监控、运维和故障处理专题关系应用提供不少于200 个专题关系逻辑计算算子，提供不少于10个专题关系查询、比对接口。专题应用要求提供对本市采集的社会数据进行专题分析，创建专题库及对应的应用模型。4 汇集库建设服务数据库建设根据业务特点选择关系型数据库、非关系型数据库等形
22、式，在此之上构建中心数据仓库、资源库、专题关系库、红名单管理库，完成数据中心汇集库数据库的完整体系数 据资 源梳理按照公安部相关数据标准规范要求对数据资源进行梳理，经过梳理后，须形成符合公安数据标准规范要求的数据元、限定词、代码和数据项的规范文档，用于指导后续的信息资源应用完成对整合后的数据资源库及新建业务应用系统的数据表、数据项的梳理工作，并在梳理的基础上，完成关键业务的标准数据元、限定词、 数据项、代码的整理工作，并形成符合相关标准规范要求的数据标准文档数据编目将经过梳理的数据标准与设计的数据汇集物理表建立逻辑对应关系，形成数据资源目录， 通过数据目录可以明确各个物理表中的物理字段对应的业
23、务数据项，以及业务数据项须参照的数据标准，从而完成数据资源标准体系的建设。 数据资源编目的结果是形成作为数据整合的参照和信息资源应用基础的数据资源目录。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 21 页 - - - - - - - - - 数据资源目录的内容须包含涉及的应用系统基本信息、数据表信息、数据项信息和数据资源信息以及数据资源与数据项映射关系五项内容约56个项目，其中涉及中华人民共和国行政区划代码（GB/T 2260） 、 全国公安机关机构代码编制规则（GA
24、 380） 、 公安数据元管理规程（GA/T 541） 、 公安数据元编写规则（GA/T 542 ） 、 公安数据元 （ GA/T 543 ） 、数据项标准编写要求 （GA/T 1053） 、 公安数据元限定词 （GA/T 1054）等相关标准规范对梳理完成的数据进行资源目录编制工作，并最终形成数据资源目录，为后续的相关数据服务工作奠定基础 数据 整合根据省厅和市局的要求和标准进行数据交换工作，充分满足省厅对数据资源的完整性和及时率的工作考核任务，涉及的业务类型包括卡口、交管、SIS 及各类政府及社会数据等不少于6T，不少于60 亿数据信息，涉及的数据来源包括但不限于sqlserver/syb
25、ase/oracle等多种结构化数据及文本、表格等非结构化数据数据整合工具的运行情况须通过数据资源监管系统进行调度监管中 心数 据仓库以公安部发布的公安数据元系列标准GAT 543为基础 , 结合我市业务实际和数据资源情况进行拓展，形成我市的数据元规范，以满足我市公安跨地区、跨警种、跨系统数据汇聚、交换、共享的目标，建设元数据库、基础库资源库根据业务特点选择关系型数据库、非关系型数据库等形式，在此之上构建满足信息服务的资源库。将公安内部数据、外部数据、互联网采集的结构化、非结构化数据整理汇集成为标准化数据统一存放在资源库中，满足全量数据保存、实时数据处理、数据专题分析等应用场景专 题关 系库专
26、题库将资源库中的数据按要素（人、物、案等要素）进行分类重组，按不同维度将相关信息整合到专题关系中，专题库的信息内容丰富，具备高价值的特点。 以人员专题为例， 是将各个业务来源中涉及人员的基础信息、关系信息、涉案信息、疑似关系人、活动信息等信息统一整合在人员专题表中。为应用分析与呈现提供数据支持。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 21 页 - - - - - - - - - 红 名单 建设库在数据库层面将红名单信息进行安全级别分类，包括多个等级；同时，对于用
27、户也可进行相应分类，一级用户可以查看一级及以下红名单，各级用户都可查看本级相应红名单。红名单管理主要是在建立数据库的同时建立查询权限， 将红名单中人员的安全级别进行过滤，从而屏蔽普通用户查阅、修改、删除重要专题库的数据5 数据资源目录管理系统系统架构采用 J2EE 进行开发，应用模式为B/S 技术要求为实现大数据应用，支持多种数据库作为数据来源进行编目，所支持的源数据库至少包括：Oracle 、Hadoop、Mppdb ，需提供页面功能截图，同时提供商业版数据资源管理系统1 套。须与公安PKI/PMI 系统无缝对接，实现用户身份统一认证单点登录支持用户通过公安数字证书登录应用门户，并且在访问应
28、用门户的各项功能以及应用时，不再重复进行登录操作需完全支持PKI 证书登录平台，并能够通过平台访问应用资源。除了证书登录之外，还需要提供用户名/ 密码的登录方式，以满足特殊情况下的应用需要公 安标 准梳理数据元、限定词、数据项等管理模块的采集项须符合公安数据元编制相关标准规范标准对接：与省部平台对接将上级标准数据快速导入到系统中，为方便标准管理，支持数据元和代码文件的导入功能，需提供页面功能截图代码管理： 实现对本级代码数据的新增、检索、查看、 编辑、废止等功能，需提供页面功能截图数据元管理：实现对数据元的新增、变更、废止、查询等功能，管理的范围包含上级同步的数据元和自定义数据元，需提供页面功
29、能截图限定词管理：包含对限定词的新增、变更、废止、查询等功能。范围包含上级同步的限定词和自定义限定词，需提供页面功能截图名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 21 页 - - - - - - - - - 数据项管理：包含对数据项和数据项别名的新增、变更、废止、查询等功能数据项由限定词和数据元组成，不同的限定词和数据元都可以组成数据项。每个数据项都可以有一个或多个数据项别名，需提供页面功能截图数 据资 源目 录管 理系统数据资源目录管理模块设计须符合公安相关数据
30、资源目录技术规范，提供不少于 900 个数据资源目录包含数据资源目录所需应用系统信息的新增，检索，查看，编辑，废止等功能数据库资源注册：设置维护数据资源目录所需的数据库资源信息，数据库资源注册系统能够自动读取展示出其包含的所有数据表及其字段，管理人员可以完善各个数据表的描述信息需提供页面功能截图须与数据资源监管系统无缝对接，数据库资源所需的数据库须从数据资源监管系统的数据库列表中选择，数据资源编目的结果须能够在数据资源监管系统中直接引用包含数据资源目录的新增、检索、查看、编辑、编制、发布、资源构成查看、废止和启用等功能通过编制，能够建立数据资源与数据项的映射关系，需提供页面功能截图自动化数据资
31、源编目：为方便编目管理，在数据资源编目过程中，能够通过自动匹配实现自动化数据资源编目，需提供页面功能截图数 据资 源检索能够针对已经发布数据资源目录按照要素、业务分类和来源分类的检索和查询功能数据质量评估：对关系型数据资源进行完整性、唯一性、规范性、值域、字符特征等方面的分析和评估，帮助用户全面掌握基础数据质量情况，快速发现潜在的数据质量问题名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 21 页 - - - - - - - - - 数 据质 量管理校验方法管理：对数据
32、质量校验方法进行维护，支持扩展校验方法以满足特定的业务逻辑需要标准规则配置：基于标准数据元配置校验规则，以便在方案配置时可以批量创建校验规则基础监测方案：根据发现的数据质量问题，参照数据标准规范以及业务需求制定质量监测规则，对数据资源质量进行持续监测。主要监测完整性、规范性、单表逻辑等字段级或记录级问题数据质量分析：按业务警种、数据种类、来源单位、时间等条件对数据质量进行分析统计， 包括单位对比分析、时间趋势分析、 问题类型分析等等。支持自动生成并发布数据质量分析报告。支持数据质量问题修复情况分析数据质量追溯管理: 依托已经形成的数据资源目录，结合相关部、省和市本级的数据标准和规范要求，从数据
33、信息的准确性、值域范围、唯一性、必要性和引用代码的规范性等方面对已有的数据信息和采集、汇聚中的数据信息进行全面的动态化数据质量监管，使数据信息管理部门随时了解数据信息的质量情况，对数据质量故障能够及时发现、及时分析、 及时处理。建立从数据采集、数据入库、数据转换、数据查询、对比数据全生命周期对数据档案的跟踪管控 其他 要求根据资源目录的建设要求，系统形成的数据资源目录需能够在服务接口构建时直接引用6 数据资源监管系统系统架构采用 J2EE 进行开发，应用模式为B/S 技术 要求提供大数据ETL整合工具，对各类源头数据库、文件及其它数据类型进行数据抽取，并在过程中进行清洗转换，将结果写入汇集库，
34、同时提供商业版数据整合管理系统1 套。数据库注册管理：实现对数据整合所涉及数据库的注册管理。为实现大数据应用，数据库注册须支持多种数据库，至少包括：Oracle 、 Hadoop、 Mppdb ，需提供页面功能截图名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 21 页 - - - - - - - - - 数 据资 源监管系统数据整合明细总览：对数据资源所涉及的整合情况、和质量情况进行概括性的展示，展示的方式以图表数字混合方式为主，概括性地将数据整合涉及的数据库、数据整
35、合执行节点和整合任务的运行情况，以及数据资源的数量情况进行概述，需提供页面功能截图数据整合执行节点管理：对执行数据整合任务的节点的启用、停止等管理功能。为方便数据整合管理工作，数据整合执行节点须能够自动探知，新增加的执行节点能够自动增加到系统中纳入管理数据整合任务管理：实现对数据整合任务的新增、修改、删除、启用、停止等管理功能通过系统，能够搭建包含数据整合管理控制和执行节点的数据整合集群，并在系统中能够对数据整合执行节点进行管理，对数据整合任务进行调度通过系统能够对数据整合执行节点的资源负载情况进行监控。数据整合源头监控：能够对数据整合涉及的数据库状况进行监测，需提供页面功能截图能够对数据整合
36、执行节点的资源负载情况进行监控，并能实现节点间的任务调度数据整合任务监控：能够根据数据资源目录对数据整合任务进行监控，能够及时展现数据整合任务的执行情况, 需提供页面功能截图数据整合统计分析：能够从数据资源目录及要素构成、地区分布和时间三个维度对数据资源的总量情况和增量情况进行监测。在展示监测结果时，除了借助常规的表格进行呈现之外，还能以图形和图表的形式对监测结果进行显示。监控日志管理： 能够通过系统查看数据整合交换过程的详细日志信息, 需提供页面功能截图名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - -
37、- - - - 第 14 页，共 21 页 - - - - - - - - - 数 据整 合交换数据整合交换功能集数据抽取、清洗、转换及装载于一体，支撑各种复杂的数据转换流程、任务调度流程的高效运行，为大块、大批量、异构的数据的整合提供坚实保障，提供不少于1500 个 ETL任务支持多节点分布式任务调度及运行管理支持各种数据抽取模式，如全量同步、增量同步、双向同步等支撑各种复杂的数据转换流程、任务调度流程的高效运行，为大块、大批量、异构的数据的整合提供坚实保障支持跨系统平台运行，基于标准的 JDBC、 ODBC 接口，实现对各种主流数据库系统的支持。如 Oracle 、 DB2、SQL Ser
38、ver 、 Sybase 、 MySQL 、Hadoop、Mppdb等并支持多种数据库，提供系统页面截图证明支持通过内置大量的任务组件和转换组件，完成各种复杂数据集成需求和集成的调度控制。如多源的数据合并、数据的路由、数据行列转换、字典表查询、定时重启、循环调度、流程告警等提供多个调度机制和异常恢复机制，在异常后，支持自动和手动恢复。异常恢复可以保证恢复的流程从异常点开始重新同步，保证数据的完整性和一致性支持按批次抽取功能，为每一批次数据提供整体事务的控制，一旦出现异常，可以从数据处理的中间状态进行恢复，并保证数据的最终完整性和一致性部署要求必须满足不少于10 个物理交换主机节点的使用需要7
39、资源服务总线系统技术要求1、采用 BWAD 多层应用体系结构；2、使用 JAVA语言按 J2EE规范进行系统研发；3、基于 SOA （面向服务体系）架构的框架设计服 务接 口支持支持包括基于特定资源或业务需求的应用服务接口和其他系统开放的应用接口，如 SIS 系统、PGIS 平台、人像比对，和基于特定业务需求定制开发的专题应用接口名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 21 页 - - - - - - - - - 总线支持的协议包括JMS 、HTTP 、SOAP
40、 、FTP 、JDBC 、TCP等标 准服 务接 口构 建系 统功 能要求通过接口服务系统配置生成的服务接口，可挂接到数据资源服务总线系统上，并自动同步到服务资源目录。服务接口如需要提供跨省共享时要遵循公安部发布的服务规约，只限定于提供本省内共享时可遵循本省发布的服务规约服务接口系统用于将数据资源快速注册成标准WEB 服务接口， 服务接口注册信息应遵循GA/T 739.1公安请求服务平台技术规范。主要包括数据查询、数据比对、信息布控、数据下载等服务接口支持基于符合SQL标准的结构化数据库的接口配置在构建服务接口的同时，支持元数据管理、数据查询服务管理、数据比对服务管理、信息布控服务管理、信息交
41、换服务管理等功能。针对元数据管理和服务管理提供相关系统功能截图访问控制能够对接入总线的服务请求方和服务接口的身份合法性进行验证，对服务请求方发出的请求进行权限检查，对于越权访问予以拒绝访问控制可以是对应用层的权限审查，也可以支持对访问发起用户的权限检查路由调度路由调度主要通过代理访问模式实现, 同时也支持直接访问模式，提供总线节点管理和路由同步管理的功能截图资源同步实现通过桥接器从请求服务系统开放的服务资源目录与管理服务，获得公安信息资源服务平台上管理的各类服务请求方、服务资源、标准规范、应用资源集和共享数据项集等资源目录信息，同时支持向总线节点和运行监控提供相关资源信息，包括节点路由信息、服
42、务资源和服务请求方信息、授权控制信息等，提供请求服务桥接管理的功能截图接入适配提供 Rest 、API 等应用接入适配方法，便于服务请求方与服务总线对接在 API 中根据于各类服务资源的标准规范，开发服务调用的适配器功能，实现各类服务资源快速访问的接入支持 WebServie 服务（ SOAP协议），同时支持Rest、Servlet、JMS 、FTP等协议开发的服务服 务资 源目录以服务资源共享应用为目的，按照公安部确定的“公安服务资源目录编制规范”要求，及时发布和更新服务资源目录服务资源目录包括服务资源名称、服务资源类别、服务资源简述、所属业务条线、所属行政层级、授权范围等信息名师资料总结
43、- - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 21 页 - - - - - - - - - 系 统运 行指标支持最大访问量：1000 万次 / 天支持最大并发数：50000 个/ 秒有效工作时间：99.99% 系统故障平均间隔时间：1000 小时数 据服 务指标服务接口最大访问量：500 万次 / 天服务接口支持最大并发数：1000 个/ 秒系统响应时间：单条件精确查询3 秒返回结果，其他复杂条件查询3秒返回结果安 全服 务指标有效工作时间：99.99% 应用认证与授权服务同时并发
44、数=500/S；最大应用认证时间 99% 设计要求系统设计应详尽阐述数据资源服务总线系统与请求服务平台的区别与关系，并提供数据资源服务总线系统与请求服务平台的对接设计资源服务总线系统应符合公安服务总线系列技术标准和公安应用系统日志审计技术规范要求，实现代理模式和网关模式访问，支持API和 REST两种应用接入适配，支持大数据传输，支持分布式部署和各类主流云数据库，支持WSDL/FTP/HTTP/JMS 等协议类型，支持通过Hadoop 架构进行日志信息存储，提升日志处理能力和分析能力等系统应根据 公安信息资源服务平台：服务资源目录技术规范进行设计，包括服务目录的分类、编目、发布、同步等设计，提
45、供系统功能截图 对接 要求须实现与现网请求服务平台的无缝对接。可以访问挂接在请求服务平台上的全网共享服务资源，获取全网的服务资源目录；可以将数据资源服务总线上挂接的本地可共享服务资源发布到请求服务平台，统一由请求服务平台实现部、省、市三级的服务资源共享，实现部、省、市三级信息资源服务平台的联动名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 17 页，共 21 页 - - - - - - - - - 根据信息资源服务目录共享的建设要求，信息资源服务须支持与请求服务系统的接口调用，投标人
46、须提供部、省、市现网公安请求服务系统厂商出具的系统对接证明并加盖厂家公章8 运维服务基本要求涉及的公安内外部数据进行数据拉通的数据实时运维及巡检工作；负责维护数据交换，保证旅馆、 网吧、卡口等数百个数据交换的正常运行，保障交换数据能正常汇入资源库；提供两年一人运维驻场服务，第三年远程支持服务。具体驻场运维服务要求及内容见“ 3. 驻场服务”中相关详细内容要求9 互联网信息采集系统 技术 要求1、提供多种采集方式保障各类社会数据采集并通过公安互联网边界传输保存到公安网汇集库中单 位数 据采集1、要求使用只读权限帐号将指定字段以ETL 工具抽取到专题库指定用户的表下，并实现历史数据抽取，增量数据抽
47、取2、要求提供ETL抽取实时监控、异常预警和异常准确定位的功能3、提供微信采集系统，需提供系统功能截图结 构化 数据导入1、要求提供结构化数据导入程序，并定义结构化数据的标准格式。2、要求按照标准格式整理的结构化数据导入程序并保存在专题库中。3、要求导入异常预警，和异常准确定位的功能，需提供系统功能截图零 散线 索情报录入1、要求提供零散线索情报录入程序，并定义录入的格式。2、要求工作人员在完成零散情报录入工作的同时，将涉及的嫌疑人员、录入人员等相关人员信息录入在程序并保存在专题库中。采 集数 据源扩展1、要求提供多种可靠采集技术手段，支持扩展多种数据源头采集工作。如小旅馆、商家会员卡、物流信
48、息、汽车租赁、就医信息、景区信息、征地纠纷、担保受损、涉民教师等采 集源 头管理1、针对不同的采集源头进行管理，实现每个采集源头所有单位的用户、功能权限、日志管理，提供系统功能截图大 数据 辅助 决策 平台结合我市公安工作现状及后续工作需求，定制开发大数据辅助决策平台，通过定制开发多个专题信息大屏动态展示我市治安防范能力，打击犯罪能力，社会治安管理和社会数据资源整合成果等，提供不少于25 个信息展现大屏，满足大数据辅助决策平台的信息展现需求。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - -
49、 第 18 页，共 21 页 - - - - - - - - - 10 社 会 数 据研 判 预 警系统 技术 要求要求系统提供API 接口以供人像应用对接服务。实时布控要求支持上传需要比对的人员数据，请求全国服务数据或其他地市协同数据进行比对，系统比对完成之后，自动将比对结果以消息推送的形式传递给用户，以便随时查看。提供系统功能截图。数据上传要求针对结构化数据、图片、视频等类型的数据上传功能，数据实时上传至资源库。提供系统功能截图。比对预警要求支持 app 的比对功能自主比对，自主比对以本地重点人员名单和本地库为依据，比对结果实时显示预警。提供系统功能截图。预警接收要求其他应用预警结果通过A
50、PP接口可以将预警结果推送到指定APP上显示预警。提供系统功能截图。预 警布 控范围要求预警布控数据对接社会数据采集的相关数据和公安部门指定的数据。布 控数 据来源布控名单管理： 要求针对来源于情报部门或公安侦查部门提供的重点人员名单实现上传到系统中。提供系统功能截图。要求系统访问全国请求服务，至少访问全国在逃人员、全国吸贩毒人员、全国被盗抢车辆3 个请求服务以获得相应的预警数据实现对接。每个提供系统功能截图。比对预警1、要求以本地重点人员名单或本地库为依据进行实时比对。当实时数据流入平台后，与布控数据进行实时比对，针对比对到的数据及时预警，并提供重点人员在已知实时数据中的轨迹路线，保障全天候