《大数据云平台项目建设方案(纯方案,47页).pdf》由会员分享，可在线阅读，更多相关《大数据云平台项目建设方案(纯方案,47页).pdf（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、期）建设方案期）建设方案“大数据云平台”项目（一“大数据云平台”项目（一目录目录目录目录.2 21 1项目概述项目概述.4 41.1建设背景.41.2建设目标.52 2总体规划总体规划.6 62.1建设原则.62.2建设思路.72.2.1一期建设：完成大数据云平台基础架构(IAAS)的建设.72.2.2二期建设：完成大数据处理平台和OA系统部署.92.3总体架构.102.4采用的关键技术.113 3一期建设方案一期建设方案.13133.1建设目标.133.2建设架构.163.3建设内容.173.3.1硬件基础设施扩容.183.3.2虚拟化平台.203.3.3云管理平台.263.3.4运营计费系
2、统.303.3.5云安全服务体系.313.3.6数据容灾备份系统.313.3.7接口定制及二次开发服务.323.4建设价值.343.5方案整体优势.354 4一期方案配置清单一期方案配置清单.3737第2 2页/共4747页页5 5云平台技术要求云平台技术要求.39395.1服务器虚拟化软件.395.1.1虚拟化软件功能要求.395.2云管理平台软件.435.2.1云平台软件功能要求.436 6售后服务售后服务.4747第3 3页/共4747页页1 1项目概述项目概述1.11.1 建设背景建设背景xxxx 水运安全工程技术研究中心（以下简称“研究中心”）是国家重点的水路公路交通安全工程技术科研
3、机构，承担着国家各类科研项目 40 余项。近几年，随着研究中心的科研项目越来越多，科研环境的要求也越来越复杂，当前数据中心的 IT 基础设施环境已无法满足日益增多的项目需求，主要体现在以下几个方面：1)服务器与存储设备老旧，性能已无法满足新的科研环境要求；2)服务器数量不足，无法支撑当前日益增多的科研项目需求；3)服务器资源使用不均衡，有些项目对资源要求低，有些项目对资源要求高，但无法实现相互资源合理利用和调度；4)服务器分配到某科研项目后，无法进行有效管理和及时释放资源；5)服务器等设备采购周期长，影响了新科研项目的开展；6)科研环境部署时间长，尤其是系统环境占用很长时间，导致工作效率低；7
4、)整个机房的管理运维困难，无法对服务器资源进行集中管理；8)无法有效评估科研项目的资源使用率和带来的效益；9)无法有效预测未来 IT 基础设施的建设需求；随着云计算、虚拟化、大数据分析等先进信息化技术在科研领域的广泛应用，将有效解决了当前研究中心实验室信息化建设面临的一系列问题，通过采用先进的云计算和虚拟化技术，构建一个科研资源可按需定制、动态高效、灵活扩展、全面管理、稳定可靠、可持续发展的新一代云计算 IT 业务部署和服务交付的“大数据云平台”，为研究中心及各科研项目提供安全可靠、弹性扩展的基础运行环境，可以解决数据中心 IT 基础设施资源的整合及合理利用，科研项目资源的快速分配，科研环境的
5、快速部署，资源的动态扩展，业务的高可用部署，按需申请资源，并根据使用量计费，统一管理运维等问题，从而有效提高了研究中心IT 基础设施的资源利用率，简化了管理维护流程，提升了科研工作效率。第4 4页/共4747页页1.21.2 建设目标建设目标研究中心的“大数据云平台”项目（以下简称“大数据云平台”）是以“服务科研项目研究工作，推动实验室信息化建设”为目标。采用先进的云计算、虚拟化、大数据等先进的信息技术，与研究中心实际项目需求紧密结合，为解决即有的技术问题，进一步提升实验室信息化应用成效，构建一个基于开源的云计算架构大数据云平台，面向研究中心各部门、各科研项目组等单位提供科研基础资源服务，进一
6、步推动实验室信息化建设与深度应用，最终构建服务全省的”智能交通系统大数据云平台”信息化服务体系，将传统的基于项目型管理模式转化成基于大数据云平台的 IT 云服务运营模式。整个大数据云平台项目主要由四部分组成：虚拟化平台、云管理平台、大数据分析平台和自动化办公系统。各部分的建设目标如下：1)虚拟化平台：虚拟化平台：在现有数据中心建设的 IT 基础环境之上，新购一批硬件基础设施，对数据中心IT 基础资源进行整合，通过虚拟化技术形成计算资源池、存储资源池、网络资源池等基础资源，搭建稳定高可用的IT 架构，满足研究中心现阶段各业务系统对资源的需求，保证业务连续性和稳定性，同时考虑资源的冗余和未来 23
7、 年的业务增长.2)云管理平台：云管理平台：采用先进的开源云计算架构搭建，实现对底层虚拟化资源池集中管理，通过云管理平台，管理员可以将IT 资源以服务的方式交付不同科研项目组或研究员使用，可以实现用户自助申请，流程审批，并根据资源类型和使用时长进行计量和计费。所有研究中心的研究员都可以向大数据云平台申请基础资源云服务；可以实现按需、动态的对底层资源进行调整、分配、回收等操作，大大提升资源使用率，大幅节省 TCO。3)大数据处理平台：大数据处理平台：新购一批高性能服务器及存储，扩容云架构，在云计算平台上部署大数据分析软件，引入大数据技术，在数据归集整合的基础上，为电子卡口、人像库、视频库等海量结
8、构化和非结构化数据提供存储、处理和分析能力，为上层应用提供数据支撑服务。4)办公自动化（办公自动化（OAOA）系统：）系统：在云平台的基础上部署研究中心 OA 自动化办公系统，根据办公应用实际需求，规范办公环境管理，提供办公效率。第5 5页/共4747页页2 2总体规划总体规划2.12.1 建设原则建设原则考虑到云计算是一个相对较新的技术，且正处于不断发展的过程之中，研究中心“大数据云平台”项目建设应遵循以下建设原则：（1 1）先进性）先进性整体大数据云平台应采用技术先进、成熟稳定的产品和技术，同时要具有良好的兼容性和发展性，保障资源使用周期最大化。为降低选择先进技术的技术风险，应采用充分论证
9、及测试的方式，逐步淘汰不成熟、不可行的技术，将平台建设成技术领先的基础设施系统。（2 2）可扩展性）可扩展性结合目前研究中心的长期规划和实际情况，大数据云平台基础架构应考虑整体技术的延续性和扩展性，以及现有设备的高利用性和可维护性成本，多种异构虚拟化技术构建的底层计算资源池与整个大数据云平台的对接问题等。同时整个云平台基础资源池能力，可以通过新增硬件扩容达到平台扩容的目的，资源可动态伸缩，满足未来业务系统和用户规模增长的需要。（3 3）通用性）通用性首先，云计算是一个复杂的体系，应在统一的框架体系下，参考国际国内各方面的标准与规范，严格遵从各项技术规定，做好系统的标准化设计与施工。其次，由于本
10、次大数据云平台为各业务应用系统提供支撑，必须考虑产品和技术的开放性，提供开放标准接口，供开发者、用户使用。（4 4）安全性）安全性大数据云平台建设完成后，要能够结合云计算、虚拟化技术的特新，引入云计算安全技术，如虚拟网络安全、虚拟机主机安全、加密认证等，同时结合传统防火墙、防病毒墙技术联动来保障云平台的安全。第6 6页/共4747页页2.22.2 建设思路建设思路本次“智能交通系统研究私有云”为项目核心研究，将以解决当前实验室信息化建设面临的技术瓶颈，进一步提升科研信息化应用成效为出发点，以云计算、虚拟化、大数据等信息技术为支撑，以“服务智能交通系统研究工作，推动实验室信息化建设”为根本目标，
11、建设一个面向研究中心各部门、各科研项目组等单位的科研基础资源服务大数据云平台。大数据云平台建设分为三期建设，实施内容：2.2.12.2.1 一期建设：完成大数据云平台基础架构一期建设：完成大数据云平台基础架构(IAAS)(IAAS)的建设的建设(一一)虚拟化平台建设虚拟化平台建设虚拟化平台建设包括计算资源、存储资源、网络资源等 IT 基础设施，需要能够满足研究中心对计算资源、存储资源、网络资源等基础设施的需求，具体要求如下：1)整合研究中心数据中心 IT 基础资源，对部分硬件设备进行必要的配置升级扩容，满足部署虚拟化平台的配置要求。2)新购一批高性能服务器和存储设备，通过虚拟化技术形成计算资源
12、池、存储资源池、网络资源池等基础资源，来满足研究中心现阶段各业务系统对资源的基础需求，提高资源利用率。第7 7页/共4747页页3)将现有物理环境下的科研应用与业务系统迁移到虚拟化环境，根据业务实际按需调配资源，实现资源的弹性伸缩和按需分配，量化业务应用使用资源，有效降低单位资源成本；4)虚拟化平台实现对业务系统的进行集中管理、高可用性、负载均衡、安全备份策略的部署，增强业务系统的安全性和连续性。5)根据科研项目组不同业务系统的差异化需求，可将计算资源细分为多个不同能力的特性资源池，如 WEB 应用资源池、高性能计算资源池等；6)虚拟化平台的计算和存储资源应考虑20%的冗余和未来23年的业务增
13、长。7)为确保系统先进性，满足未来 35 年技术演进，采用扩展性强的 IT 技术架构。8)云管理平台能够与虚拟化平台进行完美对接。(二二)云管理平台建设云管理平台建设云管理平台建设包括实现资源的自动监控、资源服务调配、故障预警处置等管理。对底层物理资源的虚拟融合、按需分配与高效管理，可以显著提高资源交付的敏捷性和灵活性，提升资源的使用效率，为上层业务提供不间断地资源保障与可伸缩的资源供给，具体要求如下：1)采用开源的云技术架构，具备良好的兼容性和扩展性，搭建一个云计算基础架构 IAAS 层的服务平台，通过遵循统一的互联规范，为各科研项目组或实验室提供 IAAS 层的云服务；2)云管理平台能够目
14、前市面常见的各类虚拟化架构资源池进行管理，充分保障客户既有投资，能将复杂的虚拟化管理简单化，标准化；3)通过基础架构云平台，打通底层资源池，将研究中心所有的硬件资源、虚拟资源、应用资源进行互通和整合，实现对所有基础架构资源的统一管理、弹性分配和调度；4)通过云管理平台，用户可以将计算资源、存储资源、网络资源虚拟化后进行组织管理，并根据具体需求定制产品界面，提交给外部用户访问、申请和使用。5)研究中心各实验室或科研项目组能够通过自助式资源服务门户申请业务系统所需的各种基础资源，并管理各自的虚拟化数据中心；第8 8页/共4747页页6)提供租户资源的计量计费管理，可为项目审计提供数据支撑；7)实现
15、动态的对底层资源进行调整、分配、回收等操作，大大提升资源使用率，大幅节省 TOC。8)采用高可用、安全、稳定的虚拟化底层架构，采用成熟先进的理念、技术和方法，适应发展潮流，考虑扩展性，可适应未来应用变化的 OpenStack云平台框架，可支撑超过至少 200 台服务器的大规模集群和 5000 台虚拟主机规模；9)提供各种流程审批、计费、单点登录等接口，能方便在此基础上二次开发。2.2.22.2.2 二期建设：完成大数据处理平台和二期建设：完成大数据处理平台和 OAOA 系统部署系统部署(一一)大数据处理平台建设大数据处理平台建设1)在原有大数据云平台架构的基础上，新购一批高性能服务器和大容量存
16、储设备，作为高性能集群资源池，添加到大数据云平台；2）利用高性能集群资源池，在云计算架构的平台上搭建大数据处理计算平台，部署 Hadoop/Spark 技术的大数据分析软件，实现对为电子卡口、人像库、视频库等海量结构化和非结构化数据提供存储、处理和分析；3）考虑大数据处理平台是一个并行计算框架，可以充分利用现有的老旧服务器及 PC 资源，实现对大数据计算处理的性能要求；4)在二期实际环境调研后，可考虑整合中心现有的服务器、PC 机资源，纳入到大数据处理平台上；5)充分利用 Open Stack 自身提供的 IaaS 层组件及其服务（如：Nova、Glance和 Keystone 等组件），充分
17、利用其 IaaS 层虚拟化的计算能力以支撑科研项目的运算和调度。(二二)办公自动化（办公自动化（OAOA）系统部署）系统部署1)在大数据云平台上，创建虚拟化服务器，部署研究中心 OA 系统；2）通过 OA 系统上线，实现内部办公规范管理，提升工作效率；第9 9页/共4747页页2.32.3 总体架构总体架构研究中心大数据云平台总体架构为“两纵四横”结构，其中四横为基础设施服务、平台服务、数据服务和软件服务四层服务架构，两纵为云管理和云保障两大体系。具体逻辑架构图如下：大数据云平台总体架构图1 1）基础设施服务层）基础设施服务层(IAAS)(IAAS)包括计算资源池、存储资源池、网络资源池，为上层服务提供云计算基础支撑服务。2 2）平台服务层）平台服务层(PAAS)(PAAS)在云计算环境中建立业务运行、上线测试、定制开发等环境，为数据服务层以及应用服务层的运行提供平台支撑服务。第1010页/共4747页页