《（大数据资料）智慧城市大数据平台技术方案V2.0.pdf》由会员分享，可在线阅读，更多相关《（大数据资料）智慧城市大数据平台技术方案V2.0.pdf（165页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、（大数据资料）智慧城市大数据平台技术方案V2.0第 1 页 共 165 页智慧城市大数据平台V2.0技术方案技术研发中心第 1 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 2 页 共 165 页目 录一、引言.41.1项目背景.41.2项目概述.51.3项目意义.7二、系统整体设计.92.1设计思路.92.1.1业务目标和价值实现驱动.92.1.2基于云化思路集约化建设.102.1.3基于大数据实现城市智慧化.102.1.4基于组件和服务实现平台的松耦合建设.102.1.5基于安全API实现数据资源的能力开放.102.1.6构建全覆盖的综合治理体系.112.2设计原则
2、.112.2.1统一规划，重点先行.112.2.2统一标准，统一应用.112.2.3整合资源，节省投资.122.2.4强化服务，讲求实效.122.2.5注重兼容，强调扩展.122.2.6注重应用，保障安全.122.3技术路线.132.3.1基于OSGi的技术框架.132.3.2基于P2P 智能网络数据传输技术.142.3.3多业务领域虚拟化租户技术.142.3.4基于NVGRE标准虚拟网络技术.152.3.5物理隔离串行硬件热插拔控制技术.162.3.6云服务总线技术.162.3.7基于AXIOM 和DSDL资源服务化技术.222.3.8在线动态资源分配算法.232.3.9基于着色Petri网
3、的阶段性服务调度算法.232.3.10大数据分布式内存计算技术.232.3.11大数据存储备份技术.242.3.12大规模数据清洗技术.262.3.13大数据云端服务技术.272.4总体架构.312.4.1业务架构.332.4.2数据架构.352.4.3系统架构.38三、系统建设.413.1系统网络设计.413.1.1设计思路.413.1.2建设方案.413.1.3网络安全.42第 2 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 3 页 共 165 页3.2信息资源库设计.463.2.1人口库.473.2.2法人库.573.2.3宏观经济库.723.2.4空间地理库（
4、参见本地GIS建设）.773.2.5电子证照库.843.3大数据交换平台.873.3.1数据交换共享系统.893.3.2目录管理系统.1053.4互联网政府数据公开服务系统.1103.4.1整体架构设计.1113.4.2建设原则.1113.4.3对外开放服务流程设计.1133.4.4建设内容.1133.5城市运行监测平台.1183.5.1系统业务流程.1193.5.2数据处理流程.1203.5.3系统架构设计.1223.5.4系统功能.1223.5.5GIS图层服务.1273.5.6数据接口描述.1283.6数据中心应用系统.1293.6.1人口基础信息服务.1293.6.2法人基础信息服务系
5、统.1303.6.3证照批文共享服务系统.1323.6.4空间地理信息服务系统.1393.6.5宏观经济服务系统.1393.7大数据资源服务平台.1443.7.1云服务总线.1473.7.2云服务生成系统.1503.7.3大数据目录服务.1523.7.4能力开发管理系统.1543.8大数据计算与分析平台.1553.9大数据资源共享效能监督平台.1573.9.1信息提供者监督.1583.9.2信息管理者监督.1593.9.3信息使用者监督.1593.9.4综合评估.1593.9.5纠错处理.1603.10智慧城市系统监控平台.1603.10.1数据交换与共享监控.1603.10.2大数据计算分析
6、平台监控.161四、系统预算.164第 3 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 4 页 共 165 页一、一、引言引言1.11.1 项目背景项目背景随着云计算、大数据、移动互联网和物联网等技术的成熟，智慧城市的发展已经成为我国城市化建设的高级形态。党的十八大报告描绘了2020年全面建成小康社会的宏伟蓝图，提出了要走中国特色新型工业化、信息化、城镇化、农业现代化四化融合同步发展的通路，并且提出要建设生态可持续发展的美丽中国。强调“城镇化”要注重百姓和民生，“工业化”突出节能环保，“信息化”突出智慧城市，“农业现代化”追求食品更安全，“新四化”之间相辅相成、融合集
7、成，最终凸显“以人为本”的基本理念。智慧城市作为“城镇化”的重要抓手，是“新四化”的综合体现，也是“美丽中国”和“中国梦”的重要载体。城市化给城市居民带来诸多方面的挑战，以能源、社会服务和环境保护方面的挑战最为严峻。传统的基础建设拉动经济增长的发展方式越来越不可持续，迫切需要转变思维方式，充分利用新的科技手段来解决问题。城市可持续发展是城市发展的最佳选择，它既是城市发展的应循之路，也是城市发展的最终目标。自2012年住建部正式发布了“关于开展国家智慧城市试点工作的通知”及其暂行管理办法以来，智慧城市建设已经逐步上升到国家战略层面，已经逐步进入了实施阶段，目前智慧城市的建设工作在国内方兴未艾。随
8、着智慧城市从概念导入期进入实质推进期，“十二五”期间中国将有600个至800个城市加入到智慧城市队伍中来。北京、上海、广东、武汉、宁波等几乎所有的一线城市、50%的二线城市，提出了明确的智慧城市建设规划。2015年刚刚结束的政府报告指出“将提升城镇规划建设水平，发展智慧城市，未来该市场规模估计在4万亿人民币，跨部门、跨领域、跨系统的整合和交互，使技术必须深刻面对城市运营与人的和谐”。智慧城市的建设主体逐步从一、二线城市下沉到三线甚至四线城市，城市一体化推进效应愈加明显。然而，在智慧城市的推进过程中，各类深层次的问题也逐渐暴露出来。首先，各个行政单位都建立了各类政务应用系统，由于单位划分限制，为
9、这些应用系统配套的基础设施不能进行跨单位共享复用，其安全性也无法得到统一保障。其次，受第 4 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 5 页 共 165 页技术架构不一致、接口规范不统一等因素的影响，这些应用系统之间大多无法实现数据共享及流程互通，各类政务数据分散在若干独立系统中，数据一致性也难以得到保证。最后，各类政务系统积累了大量城市政务数据，但没有一个统一的接口向社会公众开放，政务数据的价值没有得到充分发挥。针对上述这些问题，我们提出了深圳太极智慧城市大数据平台（TYKY Big Data Platform，下简称TBDP）的建设目标，即基于云计算、大数据、
10、物联网、移动互联网等各种先进的信息与通信技术，建立一个弹性、灵活、快速响应、协同共享、资源高度集中与统一的智慧城市大数据平台。TBDP通过数据交换平台对政府各类数据进行获取、清洗、转换，将转换处理后的数据汇聚到数据中心，基于数据中心利用大数据服务平台为政府和企业提供智能分析和智慧决策服务，帮助政府和企业提高管理水平和服务能力；同时通过大数据信息资源服务平台为政府、企业和个人提供数据服务，满足资源信息的共享和协同、资源集中化和节约，高度弹性和可伸缩的各类应用需求。1.21.2 项目概述项目概述TBDP结合国家智慧城市整体规划目标，最大限度地开发、整合、融合和利用政府各类资源，消除政府部门信息壁垒
11、，利用云计算、大数据、物联网、移动互联网等新一代信息技术，对城市的数据进行汇集、管理、共享、交换、挖掘等处理，实现各个行业的综合应用，支持城市规划预测、应急指挥、决策分析，为政府、企业、个人提供多元化的综合服务，最终实现整个城市全面规划的达成，公共设施水平的提升，城市服务能力的增强，激发城市信息业态活力。通过TBDP的建设，能够极大地提升政务应用和民生应用系统建设的平台支撑能力，为政府管理应用和民生应用在资源、数据、业务协同及技术等多个方面提供支撑，打破传统应用系统建设中的烟囱式结构和信息孤岛，实现各类信息资源的共享、管理和运营，满足数据和应用集成需求以及业务整合需求。TBDP建设理念概括为“
12、一个中心、五大平台”。“一个中心”即提供数据支撑的智慧数据中心，“五大平台”即整合数据的数据融合平台、智能分析的大数据服务平台、智慧决策第 5 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 6 页 共 165 页的智慧城市运行监测平台、智慧运维的智慧城市系统监控平台，以及提供数据服务的大数据资源服务平台，为智慧城市建设方案提供有力的基础平台支撑。TBDP具备以下六大核心能力：1）构建可配置的广域数据交换机制目前各地政府实现信息资源交换的最大难点是数据交换接口的研发，本平台能够打造可配置的广域数据交换平台，并保证系统的高性能、高可靠性、可管理性、易维护性和可用性。2）构建
13、服务化的信息资源共享机制构建大数据资源服务平台，实现所有信息资源中心资源的服务化，提升各职能部门之间的电子化协作程度和协作效能。3）构建统一的智慧数据中心通过政府信息资源整合，构建智慧数据中心，建设各地统一的人口基础信息数据库、法人基础信息数据库、宏观经济库、地理信息库等。通过大数据分析处理技术构建面向主题的共享资源智能分析和智慧决策能力。4）构建精准的大数据处理分析能力大数据服务平台提供了一整套数据处理分析组件，实现从数据汇聚、数据存储、数据分析处理等层面的完整覆盖，可高效处理非实时、准实时及实时的数据分析类应用。同时，数据处理分析模块构建于云计算平台上，具有良好的灵活性和可扩展性。5）构建
14、智慧运维管理机制提供智慧城市各类系统运行监控，可覆盖从底层服务器、交换机等硬件基础设施监控到上层业务应用系统管理，在统一界面上实现对系统所有组成部分进行管理。6）建立完善的信息资源管理制度依托智慧城市大数据平台，通过制定政府信息资源共享管理办法，建立起全市政府信息资源采集与提供、申请与交换、共享与安全、评估与监督等相关制度，将各级党政机关在履行职责过程中产生、获取的信息资源纳入政府信息资源共享范围。第 6 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 7 页 共 165 页1.31.3 项目意义项目意义智慧城市建设、智慧型产业发展，是一项开创性事业，应当加强政府在创新方
15、面的主导作用。项目的建设意义在于：对于政府对于政府 打造智慧型服务政府。现有政府机制难以满足智慧城市建设要求，需要逐步转型，打造高效、透明、灵活、应变的智慧型服务政府，促进政府自身进行职能转变，从行政型政府转变到服务型政府，提升政务服务效能和公共服务形象。有效串联各委办局，实现跨部门协作，提高政府办公效率。城市综合信息全面掌握，事件响应及时，预测准确，形成事前预警、事发响应、事后总结的闭环，建立良好的城市综合管理机制。企业紧密围绕政府，形成一种资源互补的长效发展态势，突显政府核心地位。促进社会管理方式创新，逐步形成一种政府引导、公众参与的社会管理新格局，加快服务型政府转型。对于企业对于企业 发
16、现蓝海，精准定位：发现企业在智慧城市建设中的蓝海机会，通过产业价值链分析，确定其战略定位。创新模式，明确路径：帮助企业发现参与智慧城市的新的商业模式，改变单纯的项目模式，减少对政府资金的依赖，提升企业盈利能力。借力政府，整合资源：按照政府引导的方向，包装项目；发现行业合作伙伴，建立协作机制，实现战略切入。对于城市市民对于城市市民 城市资源按需分配，节能环保，实现统一的资源管理和分配，真正做到节省经费、减少能耗、低碳环保。实现水、交通、医疗、信息与通讯、能源与电力、金融等城市基础设施的智能化，带来更高的生活质量、更具竞争力的商务环境和更大的投资吸引力，而且可以增强工作的透明度和效率，提高城市对紧
17、急事件作出快速响应的速度。第 7 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 8 页 共 165 页 促进产业生态化，包括传统产业的绿色化、新兴技术产业的人性化、环保型产业的实体化、组织的知识化，促进城市环境改善和城市生活质量提高的产业发展和调整过程。第 8 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 9 页 共 165 页二、二、系统整体设计系统整体设计设计思路设计思路智慧城市的建设除了加强以智能终端、高速传输网络以及云计算等方面的基础硬件设施建设外，还应加强以数据整合带动各政府职能管理部门业务融合的大数据平台建设。当前智慧城市大数据平台的
18、建设应该具备以下几大特征：第一，数据的自动采集。充分利用物联网技术，越来越多的基础设施将具备信息自动采集和迅捷采集的能力，使城市的信息获取更加便捷和高效。第二，信息资源的整合和共享。打破部门间的信息资源壁垒对智慧城市建设至关重要，通过对城市主体范围内的人、土地、能源、经济等信息资源的整合，保障智慧城市各应用之间的资源共享。第三，数据资源的充分挖掘。基于整合的信息资源，充分利用知识管理、数据挖掘等手段，智慧城市将越来越多的表现出数据智能化处理的特征，数据资源成为一切智能应用的基础。第四，应用支撑。面向政府、企业和个人三类主体，实现战略性技术的深层次、创新型应用，基于大数据平台的智慧城市各类应用，
19、将促进城市生产和生活方式的改善。目前全国智慧城市建设还处在摸索过程中，缺少智慧城市整体架构来规范软件、接口、体系标准等关键要素，尤其在政府条块分割的行政体系下，智慧城市大数据平台的推进如果没有一个整体性的建设思路指导，在实施过程中必然会遭遇各自为政、信息孤岛等城市信息化建设的老问题，增加平台建设失败的风险。基于以上特征，深圳太极智慧城市建设采用基于云计算、大数据、物联网、移动互联网等各种先进的信息与通信技术，建立一个弹性、灵活、快速响应、协同共享、资源高度集中与统一的大数据平台，主要从以下几个方面设计。2.1.12.1.1业务目标和价值实现驱动业务目标和价值实现驱动智慧城市建设必须以政府的业务
20、需求为出发点，以智慧城市的可持续发展和各类应用的使用率来评价智慧城市建设的价值。由于各城市之间存在差异，智慧城市第 9 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 10 页 共 165 页建设必须满足个性化建设，即“一城一策”。因此，智慧城市建设首先要确定业务绩效指标和业务价值明确化，智慧城市大数据平台的规划和建设必须和城市实际的业务目标和价值匹配。2.1.22.1.2基于云化思路集约化建设基于云化思路集约化建设云计算中心是智慧城市建设的基础设施，智慧城市大数据平台依托云计算中心，对政府各类资源进行集约化存储、计算和管理，提升资源的利用率，为政府、企业和个人提供开放的
21、数据服务。基于云化的设计思路体现了集约化建设和资源最大化利用，避免重复建设和数据资源不一致问题。2.1.32.1.3基于大数据基于大数据实现城市实现城市智慧化智慧化智慧城市大数据平台建设以数据为主线，通过数据采集、存储、分析和挖掘，创造城市价值；以数据资源为驱动力，大数据平台挖掘出了智慧城市的智慧能力，实现了城市的智慧管理和智慧运营。2.1.42.1.4基于组件和服务实现平台的松耦合建设基于组件和服务实现平台的松耦合建设基于SOA/WOA组件化和服务化实现了智慧城市各类应用的松耦合建设，即业务组件化和组件能力服务化，解决智慧城市各类应用信息孤岛和业务流程不连贯等问题，便于根据业务的实际需求，快
22、速进行功能的扩展和组合。2.1.52.1.5基于基于安全安全APIAPI实现实现数据资源的数据资源的能力开放能力开放为实现政府数据的安全开放，设计一个完整的体系架构，保障平台的各项服务的有效开展。针对政府数据的特点，基于REST架构风格进行安全的数据资源能力开放API（OpenAPI）设计；遵循分级访问控制原则，结合实际应用场景，依据OAuth2标准协议实现安全授权机制，以保障隐私数据和敏感数据的安全访问。同时，实现对OpenAPI应用管理的功能，包括对第三方应用进行内容审核及安全测试、提供安全接入和安全监管。第 10 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 11
23、 页 共 165 页2.1.62.1.6构建构建全覆盖的全覆盖的综合治理体系综合治理体系智慧城市大数据平台需要从配置管理、监控管理、故障恢复、服务质量四个维度提供系统化IT治理服务功能，提升系统的可管理性、健壮性，降低运维成本。该体系主要包括对数据资源共享与服务调度两大方面：数据共享治理：提供配置管理中心和监控管理中心，全面管理各个交换节点数据交换配置，实时监控数据传输过程、网络状况和数据交换节点的运行状态；并捕获数据传输异常、网络异常、网关运行状态异常等，提供断点续传、数据重传等多种故障智能恢复机制。在服务质量方面，提供高可用的数据比对机制，确保数据交换的一致性。数据服务调度治理：采用云服务
24、总线，提供服务注册管理、服务粒度监控、服务请求监控、服务调度次数控制、服务调度权限控制、服务代理访问权限控制、服务及服务方法的流量控制等功能，并提供服务质量保证。2.22.2 设计原则设计原则2.2.12.2.1统一规划，重点先行统一规划，重点先行智慧城市大数据平台涉及面广、参与部门多、建设周期长，项目成功的关键不在技术，而在业务和运营；难点不在工程，而在运营模式和组织协调。智慧城市建设要在建设领导小组的统一领导下，统一规划，协同配合，保证建设工作的顺利进行。项目建设要接受统一的规划指导，遵循统一的标准和规范，结合具体工作实际情况和分阶段重点，明确阶段计划，逐步组织实施，注重智慧城市建设的科学
25、性、渐进性和可持续性。2.2.22.2.2统一标准，统一应用统一标准，统一应用按照国家、省、市有关要求，制定深圳太极智慧城市大数据平台数据交换和服务共享的标准、数据共享与开发管理办法、接口规范、访问规范、分类规范和发布规范。整个系统进行统一管理，统一授权使用。第 11 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 12 页 共 165 页2.2.32.2.3整合资源，节省投资整合资源，节省投资在政府现有城市信息化和电子政务建设的基础上，智慧城市建设应充分利用现有硬件设备和网络等系统资源，融合已有城市应用系统，节省系统建设投资。注重总体规划，加强资源整合，巩固和发展以政府
26、为主导、企业为主体、社会积极参与的智慧城市可持续发展局面。抓住智慧城市建设中急需的应用，通过应用推进智慧城市健康发展。2.2.42.2.4强化服务，讲求实效强化服务，讲求实效数据资源是一个城市的基础资源，TBDP建设要以资源服务为主线，强化服务职能和业务应用，强调服务用户群体的广泛性和应用服务方式的多样性。通过资源共享、信息服务、数据分析、决策支持等为各级政府、各类企业和个人提供全方位、多维度的服务，充分发挥平台的服务职能和业务能力。2.2.52.2.5注重兼容，强调扩展注重兼容，强调扩展由于TBDP涉及到对政府各职能部门的数据采集、数据交换、数据开放等服务，业务系统和数据种类繁多、数据量巨大
27、，产品设计必须考虑系统的兼容性、数据分析的复杂性、业务的可扩展性，因此本平台设计需采用成熟稳定的先进技术，确保平台的高可用性、高兼容性和可扩展性。2.2.62.2.6注重应用，保障安全注重应用，保障安全根据智慧城市建设的设计思路，智慧城市数据平台建设的重点是资源服务与业务应用。平台建设应围绕需求迫切的业务管理和领导科学决策需求，有选择性地开展应用开发工作，并通过系统应用的成果进一步推进平台建设。信息安全必须与信息化项目同步规划、同步建设、同步使用。依据智慧城市建设相关的信息技术标准（环境、技术、信息、安全、信息交换标准等），开展智慧城市信息安全保障体系的规划与建设，即网络信任体系、分类分级安全
28、管理体系和安全保障制度。第 12 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 13 页 共 165 页2.32.3 技术路线技术路线TBDP的建设基于集约化原则，采用云计算、OSGI架构、P2P智能网络和NVGRE虚拟网络、资源服务化、交换环境虚拟化、大数据分布式内存计算、大数据资源服务化等相关技术，实现大数据融合，大数据处理、大数据能力开发，平台支持多领域租户功能，支持信息资源服务共享、主题分析及大数据应用和共享监督平台、支持向云平台迁移、支持云部署和云管控。为智慧城市建设提供技术支撑。2.3.12.3.1基于基于OSGiOSGi的的技术框架技术框架TBDP采用OS
29、Gi规范，模块之间以服务方式实现交互，实现平台各个组成部分的松耦合模块化设计，所有的模块均能根据实际需要支持动态的插拔和修改，系统的模块能实现零依赖和配置的统一维护，避免服务不可用导致系统崩溃，保证系统的即插即用，即删即无，同时和其它应用结合具有良好的可扩展性。OSGi是一个基于Java的服务平台规范，面向Java的动态模型系统，它是为那些需要长时间运行、动态更新，并且对运行环境的影响尽可能小的系统制定的。OSGi的设计主旨：一个轻量级的进程内（in-process）服务容器框架，并提供完整生命周期管理。OSGi服务平台提供在多种网络设备上无需重启的动态改变构造的功能。为了最小化耦合度和促使这
30、些耦合度可管理，OSGi技术提供一种面向服务的架构，能使这些组件动态地发现对方。OSGi联盟已经开发了例如HTTP服务器、配置、日志、安全、用户管理、XML等公共功能标准组件接口。这些组件的兼容性插件实现可以从进行了不同优化和使用代价的不同计算机服务提供商得到。OSGi的服务平台主要包括两部分：OSGi框架和OSGi标准服务。OSGi定义了服务的主要工作，具体的服务规则定义了具体的功能和职责。OSGi 框架提供了平台无关性和动态代码的装入，使得在有限的资源的设备上开放和动态部署应用程序成为可能，它提供了开发应用程序执行的上下文环境，OSGi 框架还可以动态的更新服务而不用停止执行环境。因为OS
31、Gi技术为集成提供了预建立和预测试的组件子系统，所以采用OSGi技术第 13 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 14 页 共 165 页将会在改善开发周期时间和降低开发成本上获益，这些组件能够动态发布到数据交换的每个组成设备上，降低维护成本。2.3.22.3.2基于基于P2PP2P 智能网络数据传输技术智能网络数据传输技术TBDP的数据交换采用P2P（Peer to Peer）智能网络技术，实现云数据交换节点间数据传输通道的智能路由和数据的分布式传输，同时提供交换节点传输故障转移。P2P可以简单的定义成通过直接交换来共享计算机资源和服务，而对等计算模型应用层
32、形成的网络通常称为对等网络。在P2P网络环境中，成千上万台彼此连接的计算机都处于对等的地位，整个网络不依赖专用的集中服务器。网络中的每一台计算机既能充当网络服务的请求者，又对其它计算机的请求作出响应，提供资源和服务。通常这些资源和服务包括：信息的共享和交换、计算资源（如CPU的共享）、存储共享（如缓存和磁盘空间的使用）等。2.3.32.3.3多业务领域多业务领域虚拟化租户技术虚拟化租户技术传统的数据交换平台是根据不同的业务需求分散建设的，随着业务领域的不断扩展，导致数据交换的需求的不断增加。至少有两种数据交换平台建设模式，一种是在原有平台上的扩展，造成交换平台管理越来越复杂和多业务领域间的交互
33、影响越来越大；另外一种模式是重新规划建设数据交换平台，导致运行的数据交换平台越来越多，建设和维护成本越来越高，同时存在严重的重复建设的情况。在云环境下针对多领域数据交换的难题，本平台提出以PaaS服务模式按需提供虚拟化多领域、多租户的解决方案。一个业务领域对应一个租户，每个租户拥有一个虚拟化的交换与共享环境，租户与租户之间相互隔离、互不干扰，每个虚拟化交换环境包括前置交换的虚拟化、交换传输通道的虚拟化、交换传输网络虚拟化。交换传输网络虚拟化支持NVGRE标准，集成NVGRE网关控制器。数据交换多业务领域虚拟化架构如下：第 14 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0
34、第 15 页 共 165 页图：多业务领域虚拟化架构2.3.42.3.4基于基于NVGRENVGRE标准虚拟网络技术标准虚拟网络技术TBDP的数据交换支持NVGRE标准，集成NVGRE网关控制器，能与微软System Center 2012等云计算基础平台进行无缝集成。云数据交换基于NVGRE通过租赁网络标识符,解决多领域交换租户间多租赁网络问题。一个大型的云数据交换平台可以支持数以百计的业务领域交换租赁用户，每个租赁用户又可以同时运行多个交换业务，他们之间的数据传输都是相互隔离的。NVGRE创建了一个虚拟2层网络NVGRE是一个由RFC 2784定义和RFC 2890扩展的通道协议，该协议提
35、供了一种封装方法，将交换数据包发送到2层或3层网络目的地址。NVGRE提议使用GRE来创建一个独立的虚拟2层网络，限制物理2层网络或扩展超过子网边界。每个TNI(Tenant Network ID)都与一个GRE通道相关联。从通道终端发送的数据包通过IP组播送往与同一个TN第 15 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 16 页 共 165 页I相关的另一个终端。使用多播技术意味着通道可以扩展到3层网络，将一个大型的数据交换广播域划分成多个较小的数据交换域，从而限制广播流量。通过NVGRE标准隔离租赁用户传输数据；NVGRE终端通过在GRE头插入INT指示符的方
36、式分隔各个TNI。TNI指示符是位于RFC 2890规定的关键域中。虽然该关键域定义为32位域，但是TNT会占用24位，其余8位为保留位。NVGRE不使用RFC定义的序列号。封装为数据包的NVGRE终端必须定义数据包发送的目标地址。目前，NVGRE提议草案将这个问题延迟到后续版本，它规定：“控制面板可以使用任意技术进行配置、发现和分配策略信息”。2.3.52.3.5物理隔离串行硬件热插拔控制技术物理隔离串行硬件热插拔控制技术内网、外网或公私云之间严格物理隔离的要求,给智慧城市建设带来了一定困难。为了交换数据、保证安全，传统采取人工的方式，在相互隔离的网络系统间使用移动存储介质转移数据，效率低下
37、、操作不便，而且人的行为存在诸多不可控因素。比如有意无意的操作失误以及其它外部影响等，都会导致涉密数据的泄漏。而市场上推出的各种能自动传导数据的网闸等设备，采用某些公有或者私有协议，其安全保障仍摆脱不了程序设计影响而难以实现完全的物理隔离。本平台采用基于串行硬件驱动器热插拔控制技术，实现网络隔离环境下的数据安全传导。该设备由多个物理隔离主机、串行设备热插拔控制单元，以及串行存储器构成。该设备采用SATA光盘刻录机作为串行存储器，使用光盘作为搬迁数据存储载体。通过光盘刻录机的热插拔实现数据安全传导，支持物理隔离的一个网络系统向另一个网络系统传导数据。2.3.62.3.6云服务总线技术云服务总线技
38、术云服务总线主要面向SOA/WOA应用领域，提供快速响应，高吞吐量、高可靠性消息中介引擎和服务中介引擎。同时云服务总线还支持事件发布与订阅，支持DB2、Oracle、MSSQL、MySQL、H2等关系数据库访问，支持将数据库存储过程封装成服务，提供服务动态发现(WS-第 16 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 17 页 共 165 页Dicovery规范)等。云服务总线提供强大的服务整合和服务综合治理功能。云服务总线的安全策略设计，依据当前国家关于信息安全方面的法律、法规和标准，同时参考主流的信息技术安全标准，并使用云安全国际标准作基本框架，实现安全管理准则
39、的整合。云服务总线支持的web服务标准主要包括:a)SOAPb)WS-Addressingc)MTOM(Attachments)d)WS-Eventinge)WS-Transferf)WS-Securityg)WS-ReliableMessagingh)WS-Coordination i)WSDLj)WS-Policyk)WS-MTOMPolicyl)WS-Discoverym)JAX-RS云服务总线支持的主流消息传输协议包括：a)HTTP/HTTPSb)HTTP-NIO/HTTPS-NIOc)MAILd)JMSe)VFSf)TCP/UDPg)FIX云服务总线能处理的消息格式包括:a)SOAP
40、b)POX/RESTc)Text第 17 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 18 页 共 165 页d)Binary1)服务感知技术服务感知技术云服务总线为后端真实服务提供代理服务,供前端服务消费者使用服务时，同时隐藏真实服务的具体发布位置；云服务总线提供服务编排功能，能将几个服务的编排逻辑定制为时序(sequence)以供内部处理。其服务处理机制（服务请求服务调度）如下图所示：图：服务处理机制其中Message builder负责将服务请求构建为消息模型，Message formatter负责将消息模型转换为真实服务协议能识别的消息格式。2)消息中介技术消
41、息中介技术 云服务总线提供基于Rule的消息路由和Content的消息路由功能，以及提供组件对消息进行分割、聚合和格式转换功能。如下图所示：图：消息中介其消息处理机制如下图所示：第 18 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 19 页 共 165 页图：消息处理机制3)事件中介技术事件中介技术 云服务总线提供事件的发布与订阅功能，支持基于事件驱动的EDA架构应用集成，特别适合对实时性要求较高的应用。cBus云服务总线设备提供对事件的感知功能，并通知事件的订阅者完成服务调度。cBus云服务总线设备还可对事件消息进行格式转换、分割等功能。在ED-SOA（Event-
42、Driven SOA）架构中的发布/订阅机制如下图：图：发布/订阅机制云服务总线设备的强大消息中介功能，使得它不仅支持传统的“服务请求服务调度”模式，同时也能出色地支持“事件感知服务调度”模式。其事件处理机制如下图所示：第 19 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 20 页 共 165 页图：事件处理机制在云服务总线设备中，事件发布者发布事件（请求）到总线事件源，由事件代理服务流程中的分派事件组件负责通知事件订阅者。云服务总线为事件代理服务与与订阅者之间建立可靠消息传输通道。4)任务调度技术任务调度技术云服务总线设备采用调度框架执行内部comand或外部com
43、and。例如服务总线设备允许将一些繁重的任务作为批处理任务放在特定时段完成。以提高服务器的吞吐量。其任务调度机制如下图所示：图：事件处理机制第 20 页 共 165 页Comment l1:（大数据资料）智慧城市大数据平台技术方案V2.0第 21 页 共 165 页5)服务治理技术服务治理技术云服务总线设备提供服务注册、服务响应、缓存、服务访问流量控制、服务会话监控与跟踪等功能。如下图所示：图：服务治理1111）服务）服务QoQoS S技术技术 云服务总线设备提供对服务访问的权限控制、可靠消息传输、提供负载的后端真实服务访问端点。云服务总线设备支持 WS-Security，WS-Reliabl
44、e Messaging，WS-Policy等标准Web Service安全规范，提供服务层与方法层的细粒度控制、可靠消息传输，以及支持故障转移的端点访问策略。其Qos保证机制如下图所示：图：服务QoS技术第 21 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 22 页 共 165 页云服务总线设备支持对代理服务实施WS-*标准，支持故障转移、负载均衡。通过外部负载均衡器及云服务总线设备的集群特性,实现服务访问的伸缩性，服务的消息费者使用云服务总线设备上的服务，服务总线完成一系列任务（如：用户身份认证、服务访问授权、消息内容校验/过滤等），最后将消息转换成真实服务可处理的
45、格式。由云服务总线设备提供Load Balancing服务访问点，可轻松实现故障转移。2.3.72.3.7基于基于AXIOMAXIOM 和和DSDLDSDL资源服务化技术资源服务化技术在资源服务过程中，使用AXIOM对象模型将资源变成一个个对象模型，然后按照DSDL文档模式定义语言发布到网络中。AXIOM对象模型（AXis Object Model，AXIOM）是 XML 对象模型，其目标是提供强大的特性组合，彻底改变 XML 处理技术。AXIOM 超越了现有的 XML 处理技术，它把延迟构造和一种快速、轻型的可定制对象模型结合了起来。AXIOM满足SOAP 协议的性能要求，产生了不同于其他对
46、象模型的 AXIOM（也称为 OM）。因为它突出了构造的轻量级，仅当需要的时候才建立，减轻对系统资源的压力，特别对CPU 和内存。同时，延迟构造又允许在其他部分还没有完成的时，使用树的一部分。AXIOM 强大的延迟构建能力源于底层的 Streaming API for XML(StAX)解析器。AXIOM 提供了以上这些特性，同时后台的复杂性对用户是透明的。使用 XMLBench Document Model Benchmark 测试的结果表明，AXIOM 的性能和现有的高性能对象模型相当。但是 AXIOM 的内存占用要好于现有多数依靠 SAX 和/或 DOM 输入输出的对象模型。因此对于 W
47、eb 服务引擎或内存受限制的设备，这样的 XML 处理器，AXIOM 是一种理想的选择，它可用于一般的 XML 处理，但是有一个对 SOAP 优化了的可选层。DSDL是一组有关 XML 第 22 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 23 页 共 165 页验证和基本文档组成的规范。DSDL所体现的理念是使用多种方法进行XML验证和核心处理，并且多种方法之间能够互相补充。DSDL 创建了一种集合了各种标准的框架，可以单独使用这些标准，也可以结合使用于进行 XML 验证，避免了每个规范自身的复杂性，同时又提供了处理复杂问题的能力。2.3.82.3.8在线动态资源分
48、配算法在线动态资源分配算法云服务调度在资源分配策略上，采用了在线动态资源分配算法，提高了平台的并行处理能力，特别在计算资源竞争非常激烈的情况下，与传统FCFS算法相比，处理用户请求的平均响应时间缩短20%-50%；在紧耦合的情况下平均响应时间缩短了20%-70%。2.3.92.3.9基于着色基于着色PetriPetri网的阶段性服务调度算法网的阶段性服务调度算法云服务调度在服务调度策略上，采用了基于着色Petri网的阶段性服务调度算法 提高了系统的可靠性和性能。与静态调度方法相比，服务平均响应时间缩短20%-30%，超时任务数量减少60%-80%，超时总量锐减70%-90%；与动态调度方法相比
49、，服务平均响应时间缩短10%-20%，超时任务数量减少30%-70%，超时总量减少20%-50%该方法在静态全局优化和动态局部优化两方面都取得令人满意的效果，保证了云服务的高效性、灵活性、可靠性。2.3.102.3.10大数据分布式内存计算技术大数据分布式内存计算技术TBDP采用列式内存存储格式和为内存优化的Spark作为默认的计算引擎。Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，消除了频繁的I/O磁盘访问，因此Spark能更好地适用于数
50、据挖掘与机器学习等需要迭代的map reduce的算法。第 23 页 共 165 页（大数据资料）智慧城市大数据平台技术方案V2.0第 24 页 共 165 页图：分布式缓存Spark的核心理念是弹性分布式数据集，也叫RDD。RDD是Spark的最基本抽象，是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的内容，它表示已被分区的、不可变的，并能够被并行操作的数据集合，不同的数据集格式对应不同的RDD实现。RDD必须是可序列化的。RDD可以cache到内存中，每次对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存