《大数据交换共享平台建设技术方案.pdf》由会员分享，可在线阅读，更多相关《大数据交换共享平台建设技术方案.pdf（145页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、*大数据交换共享平台建设方案目录第一章 需求分析和项目建设的必要性.4.41.1 项目建设目标、内容.41.1.1 项目建设目标.41.1.2 项目建设内容.41.2 编制依据.51.3 与ZW职能相关的社会问题和ZW目标分析.61.3.1 社会问题分析.61.3.2 ZW目标分析.81.4 业务功能、业务流程和业务量分析.111.4.1 用户角色分析.111.4.2 业务功能分析.121.4.3 业务流程.141.4.4 业务量分析.141.5 信息量分析和预测.151.5.1 存储量分析.151.5.2 处理量分析.191.5.3 网络流量分析.201.6 系统功能和性能需求分析.201.
2、6.1 系统功能指标.201.6.2 系统性能指标.221.7 信息系统装备和应用现状与差距.221.7.1 现状.221.7.2 差距.231.8 项目建设的必要性.23第二章 总体建设方案.26.262.1 建设原则.262.1.1 统一性原则.262.1.2 可靠性原则.262.1.3 可伸缩和可扩展性原则.262.1.4 开放性原则.272.1.5 安全性原则.272.1.6 高效性原则.272.1.7 友好性原则.272.1.8 可管理易维护性.28-I-*大数据交换共享平台建设方案2.2 总体目标与分期目标.282.3 总体建设任务与分期建设内容.292.4 总体设计方案.302.
3、4.1 基础设施层.322.4.2 信息资源层.332.4.3 应用支撑层.342.4.4 应用层.342.4.5 服务层.342.4.6 安全保障体系.342.4.7 标准规范体系.35第三章 项目建设方案.363.1 标准规范建设.363.1.1 管理制度建设.363.1.2 标准规范建设.403.1.3 数据标准建设.433.1.4 标准规范索引.463.2 信息资源规划和数据库设计.473.2.1 信息资源规划.473.2.2 数据中心建设.533.3 门户系统建设.693.3.1 信息资源ZW门户.693.3.2 信息资源开放门户.733.4 应用系统建设.743.4.1 数据汇聚平
4、台.743.4.2 数据治理平台.893.4.3 数据运营平台.1023.4.4 数据应用平台.1043.5 四大基础数据库管理平台.1083.5.1 人口库.1083.5.2 法人库.1113.5.3 经济库.1143.5.4 地理库.1153.6 应用支撑系统设计.1163.6.1 统一用户管理.1163.6.2 统一应用管理.1203.6.3 统一服务管理.1213.6.4 统一消息服务.1233.6.5 统一日志服务.124-II-*大数据交换共享平台建设方案3.7 安全保障体系建设.1243.7.1 建设目标.1243.7.2 安全体系架构.1253.7.3 安全防护体系建设.125
5、3.7.4 安全管理体系建设.1333.8 主要软硬件选型原则和详细软硬件配置清单.1363.8.1 主要软硬件选型原则.1363.8.2 详细软硬件配置清单.137第四章 效益分析.138.1384.1 经济效益.1384.2 社会效益.140第五章 项目风险与风险管理.142.1425.1 风险识别和分析.1425.1.1 组织风险.1425.1.2 管理风险.1425.1.3 业务风险.1425.1.4 技术风险.1425.2 风险对策和管理.1435.2.1 组织风险防范对策.1435.2.2 管理风险防范对策.1435.2.3 业务风险防范对策.1445.2.4 技术风险防范对策.1
6、44-III-*大数据交换共享平台建设方案第一章 需求分析和项目建设的必要性1.11.1 项目建设目标、内容1.1.11.1.1 项目建设目标电子ZW公共数据开放共享平台项目建设目标是，依托统一的“云”数据中心建设统一的公共数据开放共享平台。集中机关各部门业务应用进行，制定相关的数据规范和信息交换标准，使机关各部门业务系统依托统一的开放平台进行开发建设。确保部门之间系统之间的互联互通、数据共享，为大数据分析提供数据依据。1.1.21.1.2 项目建设内容电子ZW公共数据开放共享平台项目建设内容包含：一套标准规范、两个数据门户、四大应用平台、四大基础数据库和一个应用支撑平台。具体建设内容包括：1
7、、一个应用支撑平台为了对需要调用电子ZW公共数据开放共享平台信息资源的政府部门应用系统进行有效管理，面向各类电子ZW应用，规划建设统一的应用支撑平台，统一标准规范，通过用户管理、应用管理、服务管理等核心组件，可以对接入系统有效管理、实现统一认证及单点登录、统一消息服务。-4-*大数据交换共享平台建设方案2、两个数据门户针对政府部门用户建设信息资源ZW门户，针对企业、公众用户建设信息资源开放门户。3、四大应用系统建设承载电子ZW公共数据汇聚平台、数据治理平台、数据运营平台和数据应用平台。4、四大基础数据库通过电子ZW信息资源梳理，制定四大基础数据库的建库、入库和管理规则，建立四大基础数据库管理平
8、台，提供基础库内容管理、数据处理、共享和应用功能。四大基础数据库包括人口库、法人库、经济库和地理库。5、一套标准规范形成标准规范体系，包括管理制度、标准规范、数据标准等。1.2 编制依据1、中办、国办2006-2020年国家信息化发展战略；2、国办关于促进电子 ZW协调发展的指导意见；3、国务院促进大数据发展行动纲要；4、国家电子 ZW总体框架；5、国家电子 ZW“十二五”规划(工信部规2011 567号)；6、关于印发“十二五”国家 ZW信息化工程建设规划的通知(发改高技20121202号)；-5-*大数据交换共享平台建设方案7、GB/T 21063-2007 ZW信息资源目录体系8、GB/
9、T 21062-2007 ZW信息资源交换体系9、国家电子ZW工程建设项目管理暂行办法10、政府信息公开条例1.31.3 社会问题和ZW目标分析1.3.11.3.1 社会问题分析作为世界人口大国，理论上我国数据资源储量极为丰富，但大部分政府数据（例如：交通、社保、税收等），属于结构化数据，距离海量(volume)、速度(velocity)和多样性(variety)的 3V属性还有一定距离，但从战略角度而言差距并不大。从数据规模来说，政府拥有国内最为庞大的数据储量。政府数据广泛存储于各地、各级政府机关院所等不同单位、不同部门、不同系统甚至不同网络环境中，海量超脱于地理空间的政府数据亟待存储与处理
10、。从数据来源来说，由于各行业、各地采用的法律法规和标准并不统一。传统的电子ZW信息系统，仅为满足特定功能而生，数据结构差异性大，大量数据存放于历史遗留应用中，委办局间碎片化、零散化、低效率的数据交互和分析普遍存在，导致政府数据来源极为复杂。从数据质量和价值来说，企业的数据种类单一化程度较高，而政府数据涉及工商、税务、交通、医疗、教育等领域，数据种类繁-6-*ZW大数据交换共享平台建设方案多，事关百姓生活的方方面面，数据质量较高，数据的潜在价值十分可观。如上所述，政府数据的特点可以概括为：数据规模大、数据来源和结构复杂、数据价值高但利用率低。政府收集了大量有价值的数据，通过这些数据，可以更好地了
11、解国家资源使用情况，政府开支情况，土地交易和管理情况，这些将不仅强化政府责任，提升治理能力，还能提高资金支出效率，为人民提供更多更好的服务选择。1、政府数据体量越来越大截至 2014 年，中国共有 664 个城市，2852个行政县，40446个行政乡。当前，中国中央和省级ZW部门主要业务电子ZW覆盖率已经达到 70%。据粗略估算，全国政府大数据加起来相当于数百个阿里巴巴的体量。而随着硬件技术的进步，对于数据采集精度、采集频率、数据存储等能力在增强，使得数据规模仍有提升空间，近几年数据中心的新建和扩容呈现井喷式的发展，这是以硬件基础设施带动的变革，促使软件技术也得到了快速发展。随着数据体量的增长
12、，大数据处理、大数据应用分析的门槛将会逐渐提高。2、多部门协作成为常态化复杂的城市治理问题，对跨部门的协作提出了更高的要求，过去个别部门间存在的职责交叉分散、协调运行不畅等问题。随着“大部制”完善，建立健全了部门间协同运行机制，逐步实现“多个部-7-*ZW大数据交换共享平台建设方案门、一个政府”目标。随着部门与部门的边界越来越模糊，政府数据跨部门共享共用已不再是亮点和创新，建立常态化共享机制成为政府大数据建设的入门。3、国家治理不能仅仅依靠政府由于时间和技术的局限性，以往国家治理基本是政府下达指令、向下逐层执行的“开环过程”。如今随着互联网发展，人民对于政府的期望越来越高，国家不仅要在政策出台
13、前广泛征求、准确把握民意；出台后还需要获得执行反馈，并适时调整，政府治理变为下达指令执行反馈的“闭环过程”，需要借助社会各方面力量参与到国家治理过程之中。无论是社会自治还是合作共建，政府数据共享开放都是大前提。4、社会普遍开始重视数据安全和隐私数据如同一把双刃剑，在带来便利的同时也带来了很多安全隐患，随着全球各地用户信息安全事件频出，让人们开始感受到“数据”与生活接触如此紧密，数据泄露可以对个人的生活质量造成极大的威胁。数据安全和隐私保护不仅是公民个人的责任，对采集数据和共享数据的政府单位，也有义务保障数据的安全和隐私，此过程中，政策、技术、意识缺一不可。需严格依照相关规范文件，将安全运营意识
14、渗透到政府数据开放中。1.3.2 ZW目标分析1、实现ZW公开，打造透明政府-8-*大数据交换共享平台建设方案电子ZW公共数据开放共享促进政府和公众互动，让 ZW透明，帮助政府进行社会管理和解决社会难题，大数据时代下，政府是整合开放的平台，是一个大数据共享平台，它建立了公众与政府间的沟通渠道，越来越多的国家和组织利用其开展民意调查，通过在线交互让民众成为ZW流程的节点，透明ZW，让公众参与到政策制定与执 行、效果评估和监督之中，使民众参政议政成为可能。大数据推进政府信息资源进一步开放，政府信息开发利用效率倍增，促进经济社会快速发展。2、实现数据融合，打造智慧政府电子ZW公共数据开放共享真正跨越
15、了政府内部协同的鸿沟，大大提高工作效率，降低政府运行成本。其一，政府内部协同除思想理念上的障碍外，技术上也存在一定障碍，随着大数据技术发展，跨越系统、跨越平台、跨越数据结构的政府将在技术上使政府内部纵向、横向部门得以流畅协同。其二，由于利用大数据技术，数据获取、处理及分析响应时间大幅减少，工作效率明显提高，同时降低了政府开支。例如，政府利用大数据对社会人群进行细分，对不同人群进行针对性服务和政策施行。3、实现科学决策，打造责任政府电子ZW公共数据开放共享提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力，越来越多的政府摈弃经验和直觉，依赖电子ZW的数据和分析进行决策。现在大数据
16、又超越了传统的数据分析方法，不但是对大数据分析挖掘，对言论、图-9-*ZW大数据交换共享平台建设方案表等都可以进行深度挖掘、人工智能。大数据的深入及广泛应用会给政府带来科学和精准的决策支持。4、为*电子ZW提供一个安全可靠的信息资源存储中心对各部门的共享交换的数据资源进行统一的规划管理和应用，建设集约化的数据资源存储中心，从而避免了各部门重复建设工作；同时提高数据安全方面的建设，从硬件设备、网络、信息资源、应用系统、管理平台、数据库等方面的全面保证数据的安全性，并根据用户的不同访问需求、防止恶意入侵、病毒防护、分区域的安全设计，并在应用服务上提供安全检测服务。5、为*电子ZW提供一个高效的应用
17、服务平台*电子ZW公共数据开放共享平台的建设，为政府应用系统和信息资源的高效管理和服务提供手段，通过对相关的基础信息、业务信息、服务信息进行管理，实现*电子ZW公共数据开放共享平台的信息管理和服务功能。城市级交换共享平台则对各部门的信息资源提供交换共享支撑，以提高信息资源的综合利用水平。通过整合各部门数据信息，建设基础信息库，并提供对外服务，实现*电子ZW公共数据开放共享平台的服务功能。6、为*电子ZW提供一个长效和可维护的信息服务体系*电子ZW公共数据开放共享平台的建设要对*电子ZW体系提供长久的服务，因此在管理和运维上必需配备相应的支撑。这一方面取决于管理制度的完善、管理手段的完备和对管理
18、本身的技术支撑，另一方面，也取决于人员的配备和运维体系的建立。-10-*ZW大数据交换共享平台建设方案1.41.4 业务功能、业务流程和业务量分析1.4.11.4.1 用户角色分析*电子ZW公共数据开放共享平台的用户分为：领导、各部门、企业单位及社会公众。1.4.1.11.4.1.1 政府领导*电子ZW公共数据开放共享平台有价值的数据、行政地图、决策方法和应急进行融合，采用大数据分析技术，有利于各级领导、管理决策人员方便、直观、形象地进行各种分析，从而使统计决策的科学化、人性化、智能化管理走上一个新台阶。1.4.1.21.4.1.2 政府部门可以向*电子ZW公共数据开放共享平台提供数据或使用平
19、台提供的数据；业务部门之间可以通过系统平台交换共享数据；遵循标准规范进行业务系统的建造和改进，可实现业务系统和数据开放共享平台的对接。1.4.1.31.4.1.3 社会公众可以依托*电子ZW公共数据开放共享平台提供的应用服务对公众需求做出快速反应，公众可以更直接广泛的获得政府提供的服务，如证照协同、社保电子传递等。1.4.1.41.4.1.4 企业单位通过*电子ZW公共数据开放共享平台提供的应用服务可以方-11-*ZW大数据交换共享平台建设方案便企业进行业务级信息查询，并可通过业务协同对企业提供事项审批、信息推送服务。1.4.21.4.2 业务功能分析1.4.2.11.4.2.1 数据共享在政
20、府部门内部强调的是共享共用。先把政府部门内部及部门之间数据共享的工作做起来。各级政府都以数据应用为导向，需要什么数据就共享什么数据。部门间的信息共享，综合考虑管理难度和技术难度建议分为三个阶段：“条线内部门共享”、“平级跨部门共享”、“跨层级和跨区域的共享”，通过统一规划，逐步推进的策略，打造部门间信息资源共享共用的新格局。1.4.2.21.4.2.2 数据开放对社会的数据开放，先从方便百姓生活又不是很敏感的数据开始。特别是涉及公共安全、公共利益的数据，提供公共服务的机构或企业有义务在一定前提条件下开放，这样一些可以预警、预防的群体性事件就能够避免。按照社会关注程度、数据量大小和具体实施难度，
21、数据开放建议分为三个阶段：“业务统计数据”、“少量高频数据”、“重点业务数据”。通过以安全为前提，重点关注优先试点，逐步扩大范围为原则，稳步推行数据服务开放。-12-*ZW大数据交换共享平台建设方案1.4.2.3数据融合ZW大数据归根结底，还是要面向行业应用的，需要基于不同的业务部门开展，并和现有平台建立联系。融合应用可以分为“数据融合”、“业务融合”、“产业融合”三个层次：其中，数据融合是把本单位数据、从其他单位共享的数据，以及互联网等社会相关的数据，相互融合，相互比对，建立融合数据资源中心，统一数据标准和口径。业务融合主要围绕各行业的特定业务场景，比如交通出行、医疗保障、民生服务等领域，建
22、设智慧应用，形成行业业务的决策分析体系，支撑城市运行和城市治理的方方面面。产业融合，随着一大批大数据处理、大数据分析、大数据运营企业的兴起，政府数据将不单单是自建自用，通过建设数据运营平台，数据交易平台等形式，引入社会资本共同参与城市建设和社会治理，实现向集约型、服务型、智慧型政府的转变。-13-*ZW大数据交换共享平台建设方案1.4.31.4.3 业务流程开 始从 缓 冲 区 增 量 数 据 表 中 获 取 人 口 增量 数 据否根 据 证 件 类 型 判 断 证 件 号 是否 符 合 规 范将 该 条 增 量 数 据 插 入 异 常 表 中通 过 证 件 号 判 断 该 人 是 否 存在
23、于 人 口 主 表 中是否将 人 口 库【人 口 增 量 数 据 表】中 该 人 口 记 录 删 除通 过【部 门 业 务 系 统 提 供 字 段 配 置表】得 到 该 业 务 系 统 需 采 集 的 字 段且 循 环 这 些 字 段是否根 据 证 件 号 码 和 类 型 更 新【人 口 基 础 信 息 表】及【专题 表】的 字 段判 断 人 口 库 该 字 段 值 的 来 源是 否 是 该 业 务 系 统否判 断 新 采 集 的 字 段 值 是 否 为空否判 断 人 口 库 库 该 字 段 值 是 否为 空是根 据 证 件 号 码 和 类 型 更 新【人 口 基础 信 息 表】及【专 题 表
24、】的 字 段 值更 新【字 段 来 源 表】中 该 字 段的 来 源循 环 人 口 库 需 采 集 该 业 务 系统 的 字 段 是 否 结 束将 人 口 库【人 口 增 量 数 据 表】中 该人 口 记 录 删 除结 束否是将 该 人 口 记 录 插 入 到【人 口 基础 信 息 表】及【专 题 表】否判 断 该 业 务 系 统 的 数 据是 否 是 业 务 上 的 新 增?是判 断 该 业 务 系 统 是 否 为该 字 段 的 权 威 来 源否是将 该 人 口 记 录 字 段 来 源 插 入 到【字 段 来 源 表】1.4.41.4.4 业务量分析业务量分析可以从平台交互量、每天总用户数（
25、个）、每天每个用户平均执行操作数、高峰时段交互量占全天交互量的百分比、高峰时段持续时间（小时）、高峰时段在线用户数（个）等方面指标进行综合估算。*互联网大数据分析平台的业务量估算如下表所示：表 3-1 业务量估算序号1234数据名称平台交互量每天总用户数（个）每天每个用户平均执行操作数高峰时段交互量占全天交互量的百分比-14-数据量200（日均）100100060%*ZW大数据交换共享平台建设方案序号56数据名称高峰时段持续时间（小时）高峰时段在线用户数（个）数据量4（9：00-11：00，15：00-17：00）60（日均）1.51.5 信息量分析和预测1.5.11.5.1 存储量分析本项目
26、中存储的数据主要包括两大部分：系统网站群的在线行为数据和国内外互联网重点渠道、信息源以及政府网站群的在线内容数据。在线用户行为数据以符合 W3C格式标准的日志形式进行存储。网站内容更新数据直接存到关系型数据库或其他非关系型数据库中。1、在线行为数据存储量网站群的在线行为数据存储主要分为三部分：（1）接收数据，是系统储存的原始数据。（2）结构化数据，将原始数据进行数据清洗和去重后进行结构化后存储。（3）分析数据库，将结构化的数据进行分析预计算后存储。按照本项目需要涵盖*系统网站群的 500个网站，每个网站的日平均访问按照 10000个 PV计算，预计每日需要处理的总的 PV数为 500万。接收数
27、据的测算依据及结论其中接收数据库的主要条目占用空间，如下表所示：单个 PV所要储存的信息访问路径信息-15-空间大小（字节）1600*ZW大数据交换共享平台建设方案来源路径信息其他信息（会话标识、Cookie标识、时间信息等）汇总单个 Session所要储存的信息(1个 Session大约产生 4PV）访问路径信息来源路径信息客户端信息（IP、浏览器等）其他信息（会话标识、Cookie标识、时间信息等）汇总单个 Cookie所要储存的信息(1个 Cookie大约产生1.25Session)访问路径信息其他信息（Cookie标识、时间信息等）汇总1120256297651211201282562
28、016512256768例如：按照其他同类项目的数据估算，PV和 Session数量比为 4：1，Session和 Cookie的数量比为 1.25：1。则 500万的 PV会产生 125万 的 Session 以 及 产 生 100 万 的 Cookie，总 占 据 空 间 为5000000*2976+1250000*2016+1000000*768=18G，包括索引以及其他表占用的空间之后，约为 20G。原始日志存储到 SQLServer中会采用压缩技术，大小将降为 5G。结论：对于接收数据库，采用了压缩和优化技术后，每500500 万PVPV 至少需要 25G25G 的储存空间。结构化数
29、据的测算依据及结论*系统政府网站群监测分析调度系统的结构化数据库和原始数据库存储的数据一致，但是经过对原始数据库的数据去冗余以及结构化，用外键压缩了原来直接存储在各表里的信息，大小会变为原始数据的一半，也就是 2.5G。-16-*ZW大数据交换共享平台建设方案结论：对于结构化数据库，采用了压缩和优化技术后，每500万 PV至少需要 2.5GB的储存空间。分析数据的测算依据及结论*系统政府网站群监测分析调度系统的分析数据库内容基本是结构化数据库的拷贝，大小与结构化数据库基本一致，也为 2.5G。结论：对于“决策支持系统”的分析数据库，采用了压缩和优化技术后，每 500万 PV至少需要 2.5GB
30、的储存空间。综上所述，在不做任何备份的情况下，每 500万的 PV，需要文件存储空间为：25GB+2.5GB+2.5GB=30G。到 2015年底的存储量为 10.5T，到 2019年底的存储量为 52.5T，具体测算如下表所示：单月数据量(G)保留周期(月)一年内需要存储五年内需要存储接收日志25*30=75060900045000明细汇总数据合计2.5*30=62.52.5*30=62.5875G60606075075010.5T3750375052.5T2、在线内容数据存储量国内外互联网重点渠道和信息源按照本项目需要面向国内外互联网重点渠道和信息源进行在线内容采集爬取，按照覆盖包括主流媒
31、体在内的 200个信息源，每个信息源爬取 3 级计算，平均每天可以爬取更新的总的页面数约为 30万 个，每 个 页 面 按 照 100KB 计 算，共 需 要 占 用 的 空 间 为30W*1000KB=30G。-17-*ZW大数据交换共享平台建设方案到 2015年底的存储量为 10.8T，到 2019年底的存储量为 54T，具体测算如下表所示：单月数据量(G)一年内需要存储五年内需要存储国内外互联网重点渠道和信息源30万*30=900G10.8T54T*级以上政府网站群*级以上政府网站群网站内容更新数据主要包括以下三部分：网站更新页面、网站更新的入口，网站更新的白名单。按照本项目需要涵盖*系
32、统网站群及*各级政府网站群的6500个网站，平均每个网站每天更新 10个页面，就是 6.5万个。如果每天爬取 10次，就是 106500=6.5 万个入口，每个网站算 10个白名单，那就是 10650010=65 万个白名单。总共是 6.5万+6.5万+65万=78万，共需要占用的空间为 78万页*100KB/页=78G。到 2015 年底的存储量为 28.08T，到 2019 年底的存储量为140.4T，具体测算如下表所示：单月数据量(G)一年内需要存储五年内需要存储更新页面数据6.5*30=1952.34T11.7T网站入口数据6.5*30=1952.34T11.7T白名单数据合计65*3
33、0=19502340G23.4T28.08T117T140.4T综上所述，系统的数据存储总量如下表所示：表 3-2 数据量估算表序号123合计数据名称在线行为数据互联网重点渠道和信息源*团以上政府网站群初始量10.5T10.8T28.08T49.38T5 年内的增量52.5T54T140.4T246.9T-18-*ZW大数据交换共享平台建设方案1.5.2 处理量分析（1）网站群用户访问行为数据处理量分析以每天 725万个客户端访问（包括 500万 PV、100万 Session、125万 Cookie）并发计算，结合在线行为数据的接收主要集中在工作时间，7250000/8小时/60分钟/60秒
34、=251个/秒，日志接收服务器接受每秒钟接收日志请求 251个，远远低于系统的每秒接收到的正常数（该值通常为 7000-9000）。根据日志接收每秒钟的并发量为 251，因此系统的数据接收只需要再用两台服务器做负载均衡即可。但是为了防止数据接收网站的域名出现单点故障，因此系统的数据接收采用双域名备份，即每个域名对应两台数据接收服务器，一共四台。根据系统需要满足*政府网站智能分析系统诊断的需要，目前系统的单台服务器的数据处理能力为 400家左右，因此需要 4 台数据库服务器，另外需要两台相同配置的数据库服务器作为备份。（2）其他在线内容数据处理量分析一是系统需要支持对不少于 108万个数据采集点
35、每天至少一次轮询抓取，同时对抓取回的数据进行数据预处理和清洗入库工作，二是需要实现对存量数据和增量数据的指标自动抽取和更新工作，三是需要支持前台交互系统的交互分析挖掘需求。结合以上几部分需求，预计所需的内容数据处理服务器约50台。其中较高性能处理服务器（单机20 核服务器CPU:2660*2MEM:144GDISK:SSD480G*2+SAS4T*6，万兆网卡，远程管理，双电-19-*ZW大数据交换共享平台建设方案源）10 台，中等性能处理服务器（单机 12 核服务器,CPU:2620*2MEM:32GDISK:4T*10，万兆网卡，远程管理，双电源）10台。较低性能服务器（单机12 核服务器
36、,CPU:2620*2 MEM:72G DISK:SSD480G*2+SAS 600G*4，万兆网卡，远程管理，双电源）30台。1.5.31.5.3 网络流量分析按每天处理 725万在线行为数据，每条数据为 10KB大小，108万条在线内容数据，每条 100KB计算，需要的平均带宽为 17Mbps，高峰时期按 3 倍带宽需求计算为：51Mbps，GE链路接入可以满足需求，出于冗余考虑，建议使用双 GE链路（主备）进行接入。1.61.6 系统功能和性能需求分析1.6.11.6.1 系统功能指标1.6.1.11.6.1.1 数据存储功能政府数据量很大，海量数据的处理与传统架构完全不同，原有小型机加
37、商业数据库的方式已不能完全胜任，部分领域数据需要引入新架构。大数据存储于处理架构包括分布式存储、分布式资源管理及分布式文件架构。1.6.1.21.6.1.2 数据汇聚功能数据汇聚功能要求实现将各部门相关的信息资源统一采集交换到数据中心前置库中，满足多种采集方式，能够满足不同的网络环境、不同的数据类型等情况下进行数据的采集，并对采集的数据进-20-*ZW大数据交换共享平台建设方案行处理，进入中心库保存。*电子ZW公共数据开放共享平台的数据汇聚功能包含数据采集、数据交换、数据处理等功能。1.6.1.31.6.1.3 数据治理功能政府数据在共享共用、开放运营及行业应用过程中，数据来源于各个业务系统，
38、只有建立对数据质量的信任，才能放心地进行使用。所以数据治理和质量保障在政府数据开放共享平台建设中显得由为重要，数据开放共享平台数据治理功能主要包括信息资源目录管理、元数据管理和数据质量管里等内容。1.6.1.41.6.1.4 数据运营功能数据运营功能聚焦对数据共享、开放、融合的提供，对提供服务授权、认证、过程进行统一管理，并提供数据开放共享平台运行过程的全程监控。数据开放共享平台数据运营功能主要包含服务管理、基于服务管理的数据开放、以及运行监控等内容。1.6.1.51.6.1.5 数据应用功能数据共享、开放的最终目标都是为了要创造价值，数据的价值主要通过应用进行体现。数据开放共享平台数据应用主
39、要是ZW数据分析功能，主要包括数据采集、数据分析、结果发布三个组成部分，能够实现实时、批处理、交互分析，最终通过报表、仪表盘、API等形式展示结果。-21-*ZW大数据交换共享平台建设方案1.6.21.6.2 系统性能指标基本性能：（1）在 100M 局域网环境下进行增、删、改业务（不含大对象数据类型）响应时间在 3 秒以内。（2）在 100M 局域网环境下查询操作的响应时间要求在 3 秒以内。（3）系统支持同时在线数大于 200，并发用户数大于 50。数据交换：（1）批量数据交换中，平均单条记录数据交换的时间不大于 20 毫秒。（2）非并发大批量数据交换（百万条）的时间不大于 5,000 秒
40、。（3）批量数据交换中，平均单条记录入库的响应时间不大于 20ms。数据查询：（1）查询基础数据（精确匹配）的响应时间不大于3 秒。（2）查询单个数据主题（百万级）的响应时间不大于 3 秒。（3）目录检索的响应时间不大于 2 秒。（4）查询统计报表（非实时统计）的响应时间不大于 3 秒。1.71.7 信息系统装备和应用现状与差距1.7.11.7.1 现状政府数据碎片化严重。我国电子 ZW取得了较快发展,政府各部门以及公共服务机构在履职过程中形成了大量的数据资源，这些数据分散在各个部门，由于管理体制、法律法规、历史惯性以及部门间利益等方面的原因，*电子ZW建设和发展一直处于“条块分割，各自为战”
41、的状态，不同区域、不同领域、不同部门之间电子ZW-22-*ZW大数据交换共享平台建设方案业务系统之间不相融通，造成了众多“信息孤岛”，难以实现业务协同和规模效用，甚至连基本的部门间信息数据交换都难以实现，大量的政府数据处于“休眠”状态，数据碎片化问题严重。政府大数据开放困难。“用数据说话、用数据决策、用数据管理、用数据创新”的决策机制没有形成，政府部门使用大数据的动力不足；规范标准、数据所有权和使用权问题、开放尺度等操作层面的缺失，也成为阻碍数据共享开放的重要原因。1.7.21.7.2 差距顶层规划相对滞后。*ZW数据共享仍处在专家推动、企业宣贯、技术主导的阶段，全面统筹、应用主导、资源整合、
42、聚合发展的局面仍未形成。大数据氛围不足，政府运用大数据对市场主体服务和监管的主动性不够。1.81.8 项目建设的必要性建设*电子ZW公共数据开放共享平台，是建设公共服务型政府的重要内容，也是建立网络化政府管理新模式的必然趋势。建设ZW数据开放共享平台是简政放权的需要简政放权是本届政府推进治国方略的主要抓手和先手棋。但现实中简政放权却遭遇各种难题，集中表现在简政未尽比如一些地方要求出具的各种奇葩证明不断，再就是是放权不力，一些地方一些部门迟迟不愿放权或不敢放权。深入研究这些问题背后，固然有一-23-*ZW大数据交换共享平台建设方案些部门携私滥权、捞好处的成分，但很多时候，更重要的原因就是时下我们
43、不同级别、不同地区，甚至同一个地方的不同ZW部门之间，缺乏必要的ZW信息数据沟通，使得ZW部门之间出现了信息孤岛，为了严肃起见或责任问题，不可避免地会出现一些繁杂的证明，甚至在外人看来很奇葩的证明；或者是因为信息不通不明，心里没底，不敢轻易放手放权。就此意义上讲，简政放权也需要ZW大数据建设的配合和助推。建设ZW数据开放共享平台是政府职能转变的需要从内部管理的角度看，政府需要降低行政成本、提高决策的科学化水平。在信息化时代，政府机构、职能有效发挥依赖高效、实时的信息系统、尤其是大数据的支持。信息化时代，政府掌握着大量的、关键的数据，是数据时代的财富拥有者，但以往由于信息技术、体制机制等限制，各
44、级政府及各部门之间的信息网络往往自成体系，相互割裂，相互之间的数据难以实现互通和共享，导致目前政府掌握的数据大多处于割裂和休眠状态。同时由于政府各部门信息系统分割，许多数据往往需要重复采集，数据采集成本较高。随着大数据和云计算技术的发展，建设统一的政府数据共享平台成为可能。通过统一的信息平台，实现数据的标准、格式的统一和共享，利用大数据技术，数据获取、处理及分析响应时间大幅减少，工作效率明显提高，有利于压缩政府开支，降低行政成本。同时，对于数据的统一和共享所产生的大数据，通过数据挖掘等技术，能够增强政府社会管理水平。大数据在政府和公共服务领域的应用，可有-24-*ZW大数据交换共享平台建设方案
45、效推动ZW工作开展，提高政府部门决策的科学化水平、服务效率和社会管理水平。从对外服务的角度看，政府提供公共服务、促进经济社会发展的职能发挥同样需要大数据支持。政府掌握了大量关于人口、法人和城市空间地理等数据，提供满足群众需求、针对性的公共服务需要对所掌握数据的精细分析。凭借大数据，城市公共卫生、教育、城市规划、交通服务能够得到改善，基于大数据分析结论的政府公共服务决策能够更好的满足市民需求。目前，各个地方政府大力兴建智慧城市，智慧城市建设已成为国内信息化建设的潮流，“智慧”的关键在于对大数据的研究，只有利用大数据分析，才能实现电子ZW信息系统有效整合，实现跨部门的政府信息资源共享和ZW协同，让
46、政府的管理服务效能提升，让民众感受到政府无处不在服务。政府另一项职能是促进经济社会发展，如在经济异常波动时实施宏观调控，政府对大数据信息的掌握和分析，直接决定了宏观调控的效果。-25-*ZW大数据交换共享平台建设方案第二章 总体建设方案2.12.1 建设原则为了保证系统建设达到预期目标，在进行系统的设计、开发、部署和运行管理规划时将遵循如下原则。2.1.12.1.1 统一性原则遵循国家电子ZW的要求，以系统工程的方法对系统进行统一规划、统一设计，遵循统一的规范，采用统一的技术，以方便系统建成后的运行和维护，保证系统可持续、高效、安全运行。2.1.22.1.2 可靠性原则本系统在设计时将充分考虑
47、 ZW资源交换平台对可靠性的要求，保证系统的高可靠、高可用性，尤其是保证关键业务的连续不间断运作和对非正常情况的可靠处理。2.1.32.1.3可伸缩和可扩展性原则系统应该真正符合多层浏览器/服务器体系结构，应能满足新增的需求，而系统的体系结构不需做较大的改变，并能保证系统今后的平滑升级。应充分考虑现有技术以及未来电子ZW的发展要求，保证系统具有较好的开放性和结构的扩展性，在系统设计中应尽量采用模块-26-*ZW大数据交换共享平台建设方案化结构、提高各模块的独立性，尽可能减少模块间的数据藕合，使各子系统问的数据依赖程度减至最低限度，同时，要适当兼顾今后需求扩大时对功能扩展的需要。交换平台和节点应
48、具备支撑多个应用系统的能力和节点个数的易扩充性。2.1.42.1.4 开放性原则全面支持 XML、WebService、SOAP、LDAP、UDDI等当前受到普遍支持的国际开放标准，保证系统能够与其它平台的应用系统、数据库等相互交换数据并进行应用级的互操作性和互连性。2.1.52.1.5 安全性原则既要注重系统本身防御外部攻击的能力，又要提高数据传输的安全性，要遵循相应的保密规范，保证系统安全保密性、查错纠错能力、抗病毒能力等。2.1.62.1.6 高效性原则系统的运行效率主要包括：处理能力，处理速度，响应时间等。系统在满足其他各项功能需要的前提下，应可能地提高系统运行效率。2.1.72.1.
49、7 友好性原则系统应具有人性化的人机交互界面，要求用户界面标准，统一-27-*ZW大数据交换共享平台建设方案集成，使用简单，减少使用的复杂程度，提高使用效率。2.1.82.1.8 可管理易维护性由于电子ZW公共数据开放共享平台系统，使用面广，系统稳定性可用性要求高，因此平台还必须具有良好的可管理和易于维护的特点。2.22.2 总体目标与分期目标*电子ZW公共数据开放共享平台项目建设目标是，依托*统一的“云”数据中心建设*统一的公共数据开放共享平台。集中*机关各部门业务应用进行，制定相关的数据规范和信息交换标准，使机关各部门业务系统依托统一的开放平台进行开发建设。确保部门之间系统之间的互联互通、
50、数据共享，为*大数据分析提供数据依据。1.项目一期：第 1 个月-第 12个月（）一期完成可行性方案编制、论证，以及项目招标工作；在项目实施阶段进行 5-6个*政府部门信息资源规划试点，摸清试点部门信息资源底数，并建立信息资目录动态管理体系，汇聚资源目录信息资源，并可以实现信息资源的初级共享；构建人口、法人库、实现查询、共享、服务能力，着重建设围绕人口的相关分析展示；为政府主要业务系统提供数据共享支持；根据汇聚的信息资源，逐步进行政府数据开放。-28-*ZW大数据交换共享平台建设方案2.项目二期：第 9 个月-第 20个月（）在一期信息资源规划试点的基础之上总结经验，逐步将范围扩展到全部政府部