《智慧城市大数据云资源中心建设方案.docx》由会员分享，可在线阅读，更多相关《智慧城市大数据云资源中心建设方案.docx（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智慧城市大数据云资源中心建设方案 智慧城市大数据云资源中心 建设方案 目录 1. 智慧城市云计算中心总体设计 (1) 1.1总体设计方案 (1) 1.1.1 设计原则 (1) 1.1.2 支撑平台技术架构设计 (2) 1.1.3 支撑平台网络拓扑设计 (3) 1.1.4 通过云操作系统实现云计算中心运营管理 (4) 1.1.5 层次清晰的云计算中心部署架构设计 (5) 1.2项目技术路线 (6) 1.2.1 X86系统架构 (6) 1.2.2 资源池化 (8) 1.2.3 弹性扩展 (10) 1.2.4 智能化云管理 (12) 1.2.5 充分考虑利旧 (13) 2. 统一存储平台建设方案 (
2、14) 2.1数据类型分析 (14) 2.1.1 结构化数据 (14) 2.1.2 非结构化数据 (14) 2.2存储网络设计 (15) 2.2.1 存储网络种类 (16) 2.2.2 存储网络选择 (18) 2.3统一存储平台设计 (20) 2.3.1 统一存储平台定位 (20) 2.3.2 统一存储平台架构 (24) 2.4结构化数据存储资源池建设 (31) 2.4.1 GNC区建设 (32) 2.4.2 CEGN区建设 (34) 2.4.3 详细功能实现 (35) 2.5非结构化数据存储资源池建设 (57) 2.5.1 系统定位 (57) 2.5.2 总体架构设计 (58) 2.5.3
3、GNC区建设 (61) 2.5.4 CEGN区建设 (63) 2.5.5 详细功能实现 (64) 3. 信息资源共享与交换平台 (69) 3.1.1 数据资源规划 (69) 3.1.2 数据库子系统建设 (74) 4. 大数据平台建设方案 (79) 4.1.1 大数据平台总体设计 (79) 4.1.2 大数据平台惠民示范应用 (100) 1.智慧城市云计算中心总体设计 1.1总体设计方案 1.1.1设计原则 ?先进性 智慧城市云计算中心的建设采用业界主流的云计算理念，广泛采用虚拟化、分布式存储、分布式计算等先进技术与应用模式，并与电子政务业务相结合，确保先进技术与模式应用的有效与适用。 ?可扩
4、展性 政务云计算中心的计算、存储、网络等基础资源需要根据业务应用工作负荷的需求进行伸缩。在系统进行容量扩展时，只需增加相应数量的硬件设备，并在其上部署、配置相应的资源调度管理软件和业务应用软件，即可实现系统扩展。 ?成熟性 智慧城市云计算中心建设，要考虑采用成熟各种技术手段，实现各种功能，保证云计算中心的良好运行，满足业务需要。 ?开放性与兼容性 智慧城市云计算中心采用开放性架构体系，能够兼容业界通用的设备及主流的操作系统、虚拟化软件、应用程序，从而使得政务云计算中心大大降低开发、运营、维护等成本。 ?可靠性 智慧城市云计算中心需提供可靠的计算、存储、网络等资源。系统需要在硬件、网络、软件等方
5、面考虑适当冗余，避免单点故障，保证政务云计算中心可靠运行。 ?安全性 智慧城市云计算中心与省政务外网、区县政务外网及互联网分别连接，必须防范网络入侵攻击、病毒感染；同时，政务云计算中心的资源共享给不同的系统使用，必须保证它们之间不会发生数据泄漏。因此，政务云计算中心应该在各个层面进行完善的安全防护，确保信息的安全和私密性。 ?多业务性 智慧城市云计算中心的规划设计中，充分考虑了需要支撑多用户、多业务的特征，保证基础资源在不同的应用和用户间根据需求自动动态调度的同时，使得不同的业务能够彼此隔离，保证多种业务的同时良好运行。 ?自主可控 智慧城市云计算中心的建设在产品选型中，优先选择自主可控的软硬
6、件产品，一方面保证整个云计算中心的安全，另一方面也能够促进本地信息化产业链的发展。 1.1.2支撑平台技术架构设计 图支撑平台技术架构 支撑平台总体技术架构设计如上，整个架构从下往上包括云计算基础设施层、云计算平台资源层、云计算业务数据层、云计算管理层和云计算服务层。其中： ?云计算基础设施层：主要包括云计算中心的物理机房环境； ?云计算平台资源层：在云计算中心安全的物理环境基础上，采用虚拟化、分布 式存储等云计算技术，实现服务器、网络、存储的虚拟化，构建计算资源池、 存储资源池和网络资源池，实现基础设施即服务。 ?云计算业务数据层：主要为实现业务数据的安全存储，同时针对云平台的各个 虚拟机镜
7、像数据和模板数据进行共享存储，支持虚拟机的动态迁移和数据的迁移；实现部门间数据共享与交换；实现业务应用接入。 ?云计算管理层：通过自主可控的云计算操作系统，实现云计算中心的服务管理 及业务管理的协调统一，提高运维及运营的效率。 ?云计算服务层：是云计算中心与最终用于交互的接口和平台，通过该平台能够 实现云计算中心统一对外提供服务，为客户人员提供整体的云应用和服务。支撑平台通过统一的云服务平台对外提供服务。 1.1.3支撑平台网络拓扑设计 图云计算中心拓扑架构图 支撑平台建设基于以物理分区为基本单元的设计理念，整个云计算中心可分为：核心交换区、管理区、DMZ区、业务应用区以及云存储区。其中： 核
8、心交换区：负责核心网络交换； 管理区：对云计算平台进行整体管理，单独建设一套管理网络； DMZ区：考虑云计算中心整体安全性，设置专门的DMZ区，承载各业务部门的业务应用系统的WEB发布，同时支撑云计算中心互联网的接入，该区可采用全虚拟机进行支撑或者采用虚拟机和物理服务器共同支撑； 业务应用区包括两部分：数据库逻辑分区和应用系统逻辑分区。其中：数据库逻辑分区用高端八路物理机支撑；应用系统逻辑分区采用虚拟化和物理服务器支撑，根据具体的业务应用特点决定支撑平台选用虚拟机还是物理服务器。 数据库分区：主要建设支撑各应用系统的结构化数据数据库，考虑到数据库数据量的庞大和系统对数据的访问I/O吞吐，该区建
9、议采用高端物理机进行支撑； 业务应用逻辑分区：主要根据业务部门的不同业务需求及业务部门对平台安全级别要求的不同，采用虚拟机和物理服务器共同支撑。 未来，随着云计算中心业务量的增加和复杂度的增加，可以按照相同的架构进行节点的扩展，达到整个云计算平台的可扩展性和很好的伸缩性。 1.1.4通过云操作系统实现云计算中心运营管理 图云计算中心逻辑架构图 整个云计算中心设计采用业务区域的理念。业务区域（即以服务器集群为核心的物理资源区域，不同的业务区域设备配置可以不同）是系统的基本硬件组成单元，整个系统共包括若干个业务区域。系统规模的扩大可以通过增加业务区域方式，使得整个系统 具有很好的可扩展性。业务区域
10、的业务网络交换机通过万兆方式上联到核心交换区，通过核心交换区与其他业务区域和域外系统互联。 在每个业务区域内，通过云资源管理平台的云计算运营中心节点实现在X86业务节点上部署Hypervisor，并形成一个或多个独立的逻辑资源池，提供给应用使用；通过云计算虚拟化管理中心在逻辑资源池内可实现资源的共享和动态分配。 每个业务区域包括：云计算虚拟化管理中心节点、业务节点、业务网络、管理网络、心跳网络、本地镜像存储；业务区域根据各自的业务需要访问FC存储或并行存储等业务数据存储区域。 云计算平台配置多台云计算服务门户节点，为最终用户的系统管理员提供自助门户服务。 采用以上设计理念，使得整个系统具有超高
11、的可扩展性，可使整个系统扩展到上千台物理服务器规模。 1.1.5层次清晰的云计算中心部署架构设计 图云计算中心部署架构图 依据云计算中心建设的总体需求，勾画整个项目的部署架构，指导项目整体建设。 云计算中心部署主要包括几个层面：计算资源池的构建、业务数据的分区规划、共享存储的设计等。从整个部署架构来看： 计算资源池的构建主要采用高端多核心X86服务器作为服务器基础支撑，通过虚拟化技术实现底层物理资源的虚拟化，通过云资源管理平台进行虚拟机的创建、动态分配、迁移及管理，形成统一的计算资源池。 考虑到云计算的安全性、可靠性及重要性，在本方案中数据库分区采用物理机支撑，以够保证整个数据库的稳定、高I/
12、O吞吐和访问，主要通过高端X86高性能服务器通过集群技术进行部署，支撑相关业务数据的存储和管理。 共享存储设计的存储数据主要包括重要业务数据和虚拟机镜像数据，其中：重要业务数据主要通过Oracle/DB2/SQL Server/MySQL等数据库进行数据管理，结构化数据存储利用高端私有云存储设备来支撑，在未来需要对存储容量进行扩展时可方便的横向纵向扩展；虚拟机镜像数据主要存放在共享存储部分，通过共享存储设备来支撑虚拟机镜像数据的存放，共享存储建议使用并行存储系统来支撑。 1.2项目技术路线 本项目建设云计算中心的基本技术路线主要包括：X86系统架构、资源池化、弹性扩展、智能化云管理以及充分考虑
13、利旧。 1.2.1X86系统架构 基于X86平台的服务器使用Intel Xeon或者AMD Opteron作为处理器，也就是通常所说的PC服务器。近年来，Intel Xeon和AMD Opteron的性能获得巨大的提高，大量的先进技术和工艺先后被Intel/AMD引人其处理器的设计和制造中，比如，64位计算、直连结构、内嵌内存控制器、多核（目前，Intel Xeon最多可以做到10核；AMD Opteron 可以做到16核）、硬件辅助虚拟化技术（Intel VT、AMD-V）、32nm等等。在国际权威测试机构TPC组织发布的结果中，采用X86架构服务器价格/性能比最佳。 X86服务器主要优势表
14、现在界面友好，系统安装、网络装置、客户机设置简易，设置、管理系统直观、方便，系统扩展灵活等优点，对构建大型应用集群具有较好的优势。同时，基于X86架构的服务器因为其开放的架构，开放的生态系统，使其具有较低的运 维成本，这也是传统小型机等封闭系统所不能比拟的。此外，从可靠性的角度，在云计算环境下，通常大量采用虚拟化、分布式、并行计算等模式，有力的保证了计算系统的可靠性。 同时，基于X86架构的服务器因为其开放的架构，开放的生态系统，使其具有较低的运维成本，这也是传统小型机等封闭系统所不能比拟的。此外，从可靠性的角度，在云计算环境下，通常大量采用虚拟化、分布式、并行计算等模式，有力的保证了计算系统
15、的可靠性。国内外几大互联网巨头，Google、Amazon、百度、阿里巴巴等，无不大量采用X86架构的设备，支撑海量的互联网检索和访问。X86架构的服务器已经成为构建云计算中心虚拟化平台的最佳选择。 X86服务器相对于小型机的优势如下表所示： 表X86服务器与RISC架构小型机的区别 总之，X86服务器相对于RISC架构的小型机其优势如下： ?性能价格比高 X86服务器目前已经成为高性能计算机的发展方向，世界上top500排行榜的高性能计算机系统绝大多数是由性价比更好的X86服务器组成的集群系统，小型机系统则很少。 ?可扩展性好 X86服务器可以通过原有预留的扩展接口进行无缝的扩展，且相关扩展
16、接口都是业界通用的，非专用接口，这是小型机系统所无法做到的。 X86服务器组成的集群系统扩展成本更低，可以实现按需扩展。 ?可管理性好 X86服务器复杂度小于小型机，通常管理一个X86服务器组成的集群系统要比管理一个小型机系统要简单得多，这也同时意味着培养一个小型机的管理人才将耗费大量的费用和支出。 ?维护与升级更容易 X86服务器都是采用了标准的硬件设备，那就意味着这些设备可以轻松地拿到，在关键时候客户即使没有硬件厂商的提供也可以自行配置出临时的解决办法，使用通用的X86架构服务器不会轻易受制于服务器制造商；然而，小型机的每个配件都是专用的，那就意味着用户在一些关键的业务上需要等待小型机厂商
17、的服务响应时间，受制于小型机设备制造商，将自己的工作带向了被动。 ?对应用系统的更多的支持 小型机系统只能支持相对较少的操作系统和64位软件，而X86服务器可以支持大部分主流操作系统并且可以支持同时存在多种操作系统，也支持32位和64位的软件系统，在X86服务器上可运行的软件是小型机系统的成百上千倍。 1.2.2资源池化 资源池化就是将计算资源、存储资源、网络资源通过虚拟化技术，将构成相应资源的众多物理设备组合成一个整体，形成相应的计算资源池、存储资源池、网络资源池，提供给上层应用软件。 资源虚拟化是对上层应用屏蔽底层设备或架构的资源封装手段，是实现云计算资源池化的重要技术基础。 虚拟化技术由来已久，所谓虚拟化是相对于物理实体而言的，即将真实存在的物理实体，通过切分或（和）聚合的封装手段形成新的表现形态。 聚合封装是将多个物理实体通过技术手段封装为单一虚拟映像/实例，可用于完成某个业务。例如SMP、计算集群（Cluster）、负载均衡集群（Load Balance）、RAID 技术、虚拟存储、端口汇聚（port trunk）、交换机堆叠（stack）等。 切分封装是将单个物理实体通过技术手段封装为多个虚拟映像/实例，可用于执行不同业务。例如主机虚拟化、存储分区、虚拟局域网（VLAN）等。其中：