项目建设方案.doc
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《项目建设方案.doc》由会员分享,可在线阅读,更多相关《项目建设方案.doc(14页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、项目建设方案一、 项目背景与现状近年来随着金盾工程建设的展开,公安整体信息化水平迅速提升,在各级公安机关和业务警种手中积累了丰富的业务数据资源,其种类不断丰富、总量呈现爆发性增长,公安行业的大数据体系已经初具雏形,信息资源已逐渐成为继警力资源、装备资源之后的新一类公安核心资源。同时随着数据资源汇集、整合、存储、管理、共享、交换与应用需求的不断增长,当前存在的数据不规范、质量不高、整合压力大、共享困难等问题也日益凸显,这些问题最终制约着公安数据资源的应用深度和价值,导致数据利用价值低、难以管理、应用范围窄、跨警种数据共享困难等一系列问题。快速积累并不断增长的信息数据已成为继警力资源、装备资源之后
2、的新一类核心资源。如何快速挖掘其内在价值,转化为现实战斗力,在更高更深层次服务保障公安工作的开展,已成为公安信息化迫切需要解决的关键问题。伴随着公安信息资源的快速增长,特别是白云区大力推动出租屋电子门禁系统、视频监控、物流数据、互联网数据建设后,大数据质量不高、处理能力不强、标准规范不足、共享应用不够、专业应用不深等问题已全面显现,迫切需要以新的思路、新的方法、新的技术解决存在的问题,应对数据资源海量化、异构化及应用需求多样化,复杂化等带来的挑战。为了适应时代变化,创新社会管理工作方式,提高警务运行效率,白云分局把“数据工作”列为全局第三大基础工程。为了支撑分局数据工作的顺利开展,分局计划建设
3、白云大数据平台建设项二、建设目标本期项目建设目标是租赁硬件设备为白云区辖内企业如大型物流园内部网络、城中村和大型商场视频内部网络的“安全内网”抽取数据提供必要的运行环境,为大数据平台提供鲜活数据支撑。其次对白云大数据一期项目所积累的监控数据、门禁数据、物流数据等大数据进行清洗和标准化,以高质量的数据资源为基础,以信息资源服务体系为支撑,建设信息查询、一键式搜索、信息关联、分析、挖掘及可视化展现等应用,面向普通民警直接提供服务,提高社区治安防控水平,为创造和谐社区打下坚实基础。最后采购门禁系统办理电子钥匙过程所需的手机验证短信服务,实现门禁手机号码登记过程的号码真实性验证。三、项目现状一是目前各
4、重点企业地理位置分散,系统属于企业内网不具备联网条件,系统稳定性要求高,数据存储量大,缺少必要的硬件运行环境。二是缺少对接公安内、外信息资源,按照大数据、云中心的架构总体设计,需要建立公安数据仓库与数据集市,统一数据共享交换标准,开展对内对外标准化信息共享服务、信息搜索集成、数据质量监控、数据统计分析,以及通过数据挖掘与分析开展警务预测、警务决策支持服务,全面构建公安信息资源整合应用服务体系,更好地为基层民警、业务警种提供全方位的信息资源服务支撑。三是面向基层实战,提供情报信息服务支撑。平台始终以基层实战应用为引领,向整合信息要实战效益。面向基层担负侦查工作的干警,提供信息综合应用和分析研判功
5、能。通过落地侦查案件串并等线索,实现跨区域刑侦协作,有效服务基层,开展情报信息实战应用,提升各级公安部门开展“信息战”的能力和水平。四是需要注重科学规划,保证持续发展。平台设计以各警种信息化发展成果为指导,按照金盾工程的统一规划和公安部的标准,明确平台和多个系统间的信息组织、数据交换、差异化应用、共享互通服务等。在充分满足现有应用需求的同时,系统可支撑业务发展需求,能够保证系统的稳定性和可发展性。四、 建设内容4.1数据采集软件主要实现以下功能:1、电子门禁数据接口:对已经使用其他异类门禁系统进行管理的电子门禁,提供门禁数据批量导入接口,任何第三方用户均以分局颁发的密钥字符串和数据标准,把门禁
6、数据批量提交给接口,即可导入系统,同时提供导入统计和质量反馈功能。2、从业人员数据接口:提供数据接口,让已授权的企业或公司按白云分局的数据标准,向公共接口自动提交数据。3、零散资料数据接口:提供数据接口,让已授权的企业或公司按白云分局的数据标准,向公共接口自动提交数据或压缩文件。4、管理门禁数据:提供网页,让没有门禁系统的单位录入门禁数据,并提供基本的新增、注销、日志、统计等门禁管理基本功能。5、在线录入企业从业人员信息:提供网页,让企业把其从业人员信息录入系统,并提供基本的统计与管理功能。6、批量导入企业从业人员信息:提供界面与接口,让企业按预设的格式把从业人员由Excel批量导入系统,减轻
7、企业重复录入人员工作量,页面提供数据模板和质量监控模块。7、企业数据自动抓取器:在企业的网络中,部署一个自动运行软件,根据企业提供的用户名及密码,实时在线提取其客户数据库中的资料,然后传回位于互联网的警务数据库中。8、大文件上传功能:提供数据说明、联系人员等简要信息录入与大文件附件上传功能,提供批量多文件同时断点续传功能。9、异构网络数据摆渡:把互联网的数据从数据库导出并切分为小块文件,通过互联网-公安网边界系统,以FTP的形式摆渡进入公安内网,重组文件后再导入数据库里。10、零散数据清洗和入库工具:根据各种数据格式,开发不同的数据自动化清洗、提取、入库工具,开发通用的数据处理工具,尽量减轻用
8、户人工清洗数据的工作量。11、数据爬虫:根据不同的数据种类,开发满足其需求的数据爬虫,把数据快速写入到Oracle,MongoDB和ElasticSearch里面。12、精确查询结构化数据库:根据输入的条件,精确查询Oracle+MongoDB数据库的内容并高亮显示关键字,其性能为查询100亿条数据小于10秒。13、模糊检索非结构化数据库+数据引擎:根据输入的条件,模糊检索MongoDB数据库+Lucene数据引擎的内容并高亮显示关键字,其性能为查询100亿条数据小于10秒。14、比对犯罪前科数据:读取新采集的数据与科技处大数据、刑警支队各系统、情报处各系统进行碰撞比对,排查出追逃、前科、高危
9、等人员,为派出所分类精确管理提供支持。15、反馈展示犯罪前科数据:向各用户展示其采集的数据与犯罪前科等系统比对之后的结果,提供数据导出功能。16、对外共享数据:为情报、刑警及其他单位提供根据权限访问的数据共享接口,提供共享的数量统计及访问日志功能。17、获取大数据平台的数据:根据输入条件或需要,通过大数据的WebService接口读取或导出所需要的数据到本系统或文件中。18、导出海量筛查结果:根据情报分析需要,输入筛查条件,然后把筛查结果导出为文件,提供给I2等专业分析软件使用。19、上传案件文件:提供数据说明、联系人员等简要信息录入与大文件附件上传功能,提供批量多文件同时断点续传功能。20、
10、统计考核功能:提供各用户及其下属用户上传数据数量与质量的统计表。21、权限与功能分配:管理用户分单位、部门、组别三个级别,第四级别是企业应用用户,用户之间设置上下递属关系,并且能为每个用户分配不同的菜单、权限与管理区域,为管理用户提供新建辖内用户的功能,用户之间可以进行上下递属统计。22、用户的监控、审计与统计:为各管理用户和企业应用用户提供其业务量和数据质量的统计功能,用户使用日志审计功能。4.2数据清洗和标准化为了开展数据清洗标准化建设,首先需要建立本地数据标准体系,标准体系的建设按照公安大数据中心的体系进行规划和设计。公安数据元标准:数据元信息以及相关的数据字典,其中数据元是进行数据整合
11、的关键,其在基础库建设中用于对源数据字段的含义进行准确描述,在关联库及专题库建设中用于规范字段的类型、长度及命名方式,并基于数据元建立数据间的自动关联关系。元数据标准:在遵循公安部相关标准的基础上,根据本地数据实际情况,形成本地的元数据标准。本系统的元数据规范和标准主要包括业务元数据、技术元数据和数据元数据三类。元数据主要记录数据的名称、资源标识、描述等基本信息以及数据更新信息、数据来源信息、数据处理流程、相关业务系统等。数据资源目录标准:对结构化数据与非结构化数据统一进行资源编码,针对资源名称、资源标识码、数据表名、描述信息、字段信息等建立统一的标准,最终将所有数据资源汇总到一个数据资源目录
12、中,并按应用需求建立专题资源目录。分类代码标准:结合公安数据元标准建立相应的分类代码标准,并与各数据资源中相应的字段进行关联,约束字段的取值范围,控制数据的质量。4.2.1数据分析数据分析梳理对了解数据资源现状,开展数据元、限定词的分析梳理工作具有重要意义,也是开展数据整合工作的前提条件,数据调研梳理过程可借助数据管理软件,建立本地标准体系之后,安排专门的数据分析人员负责。数据调研梳理过程涉及到对数据资源的如下信息的调研:l 数据的物理存储位置l 相关字典表l 数据上游来源l 分析时间l 核心业务字段l 数据结构l 数据对应业务信息l 数据的时间、空间范围l 数据的更新情况l 数据量l 数据的
13、质量n 重复率n 缺失情况n 错误信息4.2.2本地数据标准建立与管理1.数据元及限定词标准导入及梳理首先参考现有的公安数据元标准,导入到本地并进行梳理,利用本地数据元管理机制进行扩充。数据元标准导入的主要功能包括:导入数据元及限定词标准:批量导入excel格式的数据元及限定词到本地数据标准中,以备后续的数据元分析及比对。数据元分类梳理:为了便于使用及检索,对数据元进行分类梳理,按照描述对象及所属业务进行分类,并组织形成树状结构。2.数据元对标及扩充在数据元梳理结果的基础之上,对未匹配成功的数据资源字段进行整理分析及统计,确定字段的来源警种及业务、产生原因、实际含义等,并与现有的数据元进行对照
14、,寻找相关联的数据元,并确定是否进行扩充。对于不确定的数据元,按照统一的流程从来源警种、描述对象、特性词等方面依次进行分析,并搜索相关数据元项。完成数据元梳理之后,进入提交审核确认阶段,将数据元梳理结果及扩充建议整理形成报告材料,按照公安部的统一要求通过数据元管理系统进行上报,提交审核。根据审核结果,将确认的新增数据元更新到本地库中,为今后信息化系统设计提供参照依据,并对未通过的数据元进行分析总结,以提升今后数据元申报的质量和成功率。在数据元的对标和扩充阶段,主要通过人工、自动化相结合的方式按步骤推进相关工作,在该阶段将形成如下自动化工具辅助相关工作的开展,这些工具作为通用的数据元分析工具,负
15、责对现有梳理出来的数据表字段信息与公安数据元标准进行匹配,建立自动关联机制,并可输出详细的匹配结果及匹配度信息等。该工具可以大大降低人工梳理的工作量。3.数据元及限定词管理数据元标准是进行数据整合的关键,其在基础库建设中用于对源数据字段的含义进行准确描述,在关联库及专题库建设中用于规范字段的类型、长度及命名方式,并基于数据元建立数据间的自动关联关系。数据元标准建设过程需参考公安行业相关标准,包括:GA/T 543 公安数据元GA/T 541-2005 公安业务数据元素管理规程GA/T 542-2011 公安数据元编写规则数据元标准建设工作将结合珠海市数据标准化试点工作展开,按试点要求开展公安数
16、据元的梳理、编制和推广应用工作,建立全局统一的数据标准化管理和应用工作机制,深入推动数据元的业务应用,统筹协调各警种的数据标准化建设,有效支撑公安大数据资源的标准化采集、管理和共享服务。具体试点工作包括数据元的梳理以及数据元应用的开展,并建设本地数据元标准管理系统,开展标准化对标工作。4.数据字典标准建设结合数据元标准的建设工作,同步建立与数据元相关的数据字典标准,并与基础库数据资源中相应的字段进行关联,以数据字典标准约束字段的取值范围,控制数据的质量。数据字典管理功能如下图所示,主要包括:l 代码的分类组织和浏览l 字典代码的过滤查找l 按代码名称、值提供搜索功能l 代码的新增维护l 代码的
17、导入导出以及比对等功能5.元数据标准建设在遵循公安部相关标准的基础上,根据本地数据实际情况,形成本地的元数据标准。本系统的元数据规范和标准主要包括业务元数据、技术元数据和数据元数据三类元数据体系是信息资源体系的内在核。心和描述基础。资源体系中的各种资源都是由元数据进行描述的,并且基于其元数据属性进行管理和控制的。元数据体系的主要目的就是为了实现数据资源的标准化和规范化,使不同时期、不同载体、不同维度、不同规格的数据可以被统一、规范、科学、全面的描述,保证数据的一致性、可解释性、可追溯性,支持数据资源的统一管理、共享和利用。此外需要对元数据体系建立持续更新的机制,通过和数据提供方、数据管理方的共
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 项目 建设 方案
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内