《智慧交通大数据云平台建设方案.docx》由会员分享，可在线阅读，更多相关《智慧交通大数据云平台建设方案.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智慧交通大数据云平台建设方案 智慧交通大数据云平台 建设方案 目录 1系统总体设计 (1) 1.1云计算系统设计方案概述 (1) 1.1.1系统基本功能 (1) 1.1.2主要设计思想和设计目标、设计原则 (1) 1.1.3智慧交通云平台的云计算解决方案 (2) 1.1.4系统的主要技术特点 (3) 1.2系统总体构架 (3) 1.2.1系统基本组成与构架 (3) 1.2.2系统功能构架 (4) 1.2.3系统总体构架与功能模块 (6) 1.3系统基本功能与处理方案 (8) 1.3.1交管数据入库功能与处理方案 (8) 1.3.2数据存储功能与处理方案 (10) 1.3.3查询分析功能与处理方
2、案 (11) 1.4系统互联与管理 (12) 1.4.1组网方案 (12) 1.4.2网络管理 (14) 1.4.3系统安全 (15) 1.5系统可靠性与扩展性 (16) 1.5.1系统可靠性 (16) 1.5.2系统扩展性 (18) 1.6系统设计性能 (19) 1.6.1交管数据流量处理能力 (19) 1.6.2数据存储能力 (19) 1.6.3查询分析计算性能 (20) 1.7定制开发方案 (20) 2系统设计实施与关键技术方法 (24) 2.1系统平台 (24) 2.2系统规格 (26) 2.3数据处理流程 (27) 2.4数据存储系统 (28) 2.4.1海量数据分布式数据存储构架
3、(28) 2.4.2适应应用需求的混合存储策略 (30) 2.4.3HDFS数据存储 (31) 2.4.4HBase数据存储 (34) 2.4.5Database数据存储 (36) 2.4.6数据存储的可靠性 (38) 2.4.7数据压缩 (39) 2.5数据实时处理、实时查询系统 (40) 2.5.1数据立方(DataCube) (41) 2.5.2任务调度器（JobKeeper） (42) 2.5.3cProc数据处理 (44) 2.5.4交管数据处理流程 (46) 2.5.5交管数据处理步骤 (47) 2.6交管数据处理集群的可靠性与负载均衡设计 (48) 2.6.1负载均衡处理机的单点
4、失效容错处理 (48) 2.6.2查询处理机的单点失效容错处理 (51) 2.7计算与存储集群的可靠性与负载均衡设计 (52) 2.7.1计算与存储集群Master单点失效容错处理 (52) 2.7.2计算与存储集群的负载均衡处理 (58) 2.7.3HDFS的可靠性设计 (61) 2.7.4HBase可靠性设计 (63) 2.7.5MapReduce计算可靠性设计 (65) 2.8查询统计计算可靠性与负载均衡设计 (67) 2.8.1基于Zookeeper的单点失效和负载均衡设计 (67) 2.9系统安全性设计 (69) 2.9.1安全保障体系框架 (69) 2.9.2云计算平台的多级信任保
5、护 (71) 2.9.3基于多级信任保护的访问控制 (75) 2.9.4云平台安全审计 (77) 2.9.5云计算综合安全网关 (80) 图表1 智慧交通云平台云计算解决方案 (2) 图表3 智慧交通云平台总体构架与功能模块图 (7) 图表4 智慧交通云平台架构 (9) 图表5 数据存储处理架构 (10) 图表6 交管数据接入 (11) 图表7组网方案 (13) 图表8 分布式文件存储系统吞吐量指标 (20) 图表10 数据汇总上报处理流程 (27) 图表11 实时数据入库流程 (28) 图表12 分布式计算流程 (29) 图表13 Hadoop结构 (30) 图表14 Hdfs结构 (33)
6、 图表15 HDFS Namenode、DataNode和客户端们之间的交互 (34) 图表16 HDFS数据压缩与组织 (40) 图表21 负载均衡机分布图 (48) 图表22 负载均衡机宕机预案 (49) 图表23 Master节点宕机预案 (50) 图表24 查询处理单点失效容错处理 (51) 图表25 Master单点失效容错处理 (52) 图表26 AvatarNode0以Pimary启动过程 (54) 图表27 AvatarNode1以Standby启动过程 (55) 图表28 DataNode启动过程 (55) 图表29 AvatarNode0宕机后的状态 (56) 图表30 A
7、vatarNode1切换为Primary过程 (56) 图表31 AvatarNode0重启过程 (57) 图表32 AvatarNode启动切换流程图 (58) 图表33 Avatar体系架构图 (61) 图表34 HBase系统架构 (63) 图表35 作业提交 (66) 图表36 JobTracker0宕机 (66) 图表37 作业注销 (67) 图表38 Zookeeper基本工作结构图 (67) 图表39 基于Zookeeper的查询分析计算单点失效和 (69) 图表40 基于深度防护战略的IATF模型 (69) 图表41 云部署模型的实现 (70) 图表42 多级信任保护 (71)
8、 图表43 基于可信第三方的平台认证 (72) 图表44 主要因素平台证书 (72) 图表45 云存储安全子系统接口关系图 (75) 图表46 基于多级信任保护的多级访问控制流程 (76) 图表47 数据安全交换平台 (76) 图表48 云存储安全审计体系结构 (78) 图表49 安全日志审计系统结构图 (79) 图表50 Cloud-USG三种部署模式 (82) 系统总体设计 1系统总体设计 1.1云计算系统设计方案概述 1.1.1系统基本功能 按照全省公安机关信息化建设总体规划，为实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路
9、交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标，为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障。 系统的基本功能和性能如下： 海量数据存储 能够对百亿级的海量交通监控数据进行存储，保存时间为2年。 海量数据实时处理、实时入库、生成索引 能够对百亿级的海量交通监控数据进行实时处理，能够处理每天500万条记录，能够实时处理约60条/秒的实时数据流量。 百亿级数据秒级查询能力、秒级实时业务响应 高效实时数据查询架构，提供秒级响应时间，1天的记录能在5秒钟内查询出来，一周记录能在15秒内查询出来。 1.1.2主要设计思想和设计目标、设计原则 设计思想：将海量数据分解到由大量X86架构计算机构成的低成本云计算平台上进行实时处理，依靠分布式云计算软件进行容错，从而提升智慧交通云平台海量数据分析的实时性和性价比。 设计目标：利用大量性价比高的计算机，建立云计算平台，能够对流量超过500w条/天的原始交通监控数据流进行实时处理。系统具有可动态可伸缩性、高度容错性和响应实时性，达到较之传统方案有一个数据量级的性能价格比提升。 设计原则： （1）前瞻性技术与实际应用环境相结合