《企业私有云建设解决方案2016版.pdf》由会员分享，可在线阅读，更多相关《企业私有云建设解决方案2016版.pdf（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、企业私有云建设解决方案2016 年 11 月目录第一章 企业私有云设计方案.3 1.计算资源池设计.5 1.1 虚拟机的定义.7 1.2 虚拟化技术选择.8 1.3 计算资源池分类.10 1.4 服务器容量规划.13 1.5 虚拟机资源分配.14 1.6 虚拟机的物理分布.14 1.7 虚拟机模板设计.15 1.8 高可用性设计.16 1.9 动态资源扩展（DRX）.17 2.存储资源池.19 2.1 本地存储设计.22 2.2 iSCSI远端共享存储设计.24 2.3 共享文件系统.28 3.网络资源池设计.30 3.1 网络总体设计.30 3.2 管理平面网络设计.31 3.3 业务平面网
2、络设计.31 3.4 存储平面网络设计.32 3.5 虚拟机迁移网络设计.32 3.6 网络安全设计.32 4.云管理中心.35 4.1 云业务管理.36 4.2 虚拟化管理.37 4.3 虚拟连接管理.44 第二章 解决方案的特点.45 1.柔性网络.45 1.1 无状态网络.45 1.2 用户策略随行.45 1.3 网随人动.46 1.4 无差别网络.47 1.5 有线无线深度统一.47 1.6 网络虚拟通道隔离.49 2 软件定义.50 2.1 业务按需交付.50 2.2 设备自动部署.50 2.3 园区一键启动.51 2.4 开放网络.51 第一章企业私有云设计方案相对于传统数据中心，
3、私有云 的特点在于高效、自动化和虚拟化以及共享的多租户环境。私有云建设的关键要素包括为服务提供的标准化应用平台，以及允许业务团队请求和管理其应用容量的自助式服务门户。正如DELL云解决方案高级经理徐海认为，云基础架构可为企业解决两个关键问题，一个是计算力资源的整合，一个是建立能让用户感知服务的入口，提高管理能力。企业私有云的预期优势可以包括：提高灵活性，包括显著缩短供应时间。通过提高资源利用率来实现更高的效率，包括大幅节约能源。充分利用增强的工业标准硬件和软件，在提升可用性的同时，最大程度地控制成本增加。利用全新的业务智能工具来改进容量管理。为此，构建私有云应该从数据中心整合，操作系统合理化，
4、硬件和软件平台以及虚拟化软件在服务器，存储和网络上的应用开始着手。具体的，企业可以从以下几个方面来考虑：私有云数据中心拓扑如下：逻辑拓扑如下：目前 IT 基础架构架构的发展处在虚拟化整合和云架构阶段。针对本项目的业务需求，采用虚拟化技术可以无缝的部署在信息中心的IT 系统中，且满足平滑迁移、提高应用系统的可用性等业务要求，并通过云平台技术实现自动化特性。从技术上来看，虚拟化技术已经经过6-7 年的快速发展，并被包括电力、金融、政府信息中心等大量国内外领域使用验证，有很高的成熟度、可靠性。如果说虚拟化层解决的是资源整合管理的技术问题，那么云层解决的就是资源按需申请分配的管理问题，系统管理员能够通
5、过云层资源编排的功能把后台的资源通过模板的方式行程服务发布出来，而使用者能够通过云层自主Portal的方式按需申请资源，真正实现使用者-资源-管理者间的流程自动化。需要强调的是，转变现有的建设模式而引入云计算架构并不是彻底的推翻现有 IT 系统进行重建，建设中需要充分考虑对现有业务系统的兼容和平滑升级，在方案部分重点从虚拟化层以及云层这两个方面详细描述。1.计算资源池设计服务器是云计算平台的核心之一，其承担着云计算平台的“计算”功能。对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。在这个服务器资源池上，再通过安装虚拟化软件，使得
6、其计算资源能以一种虚拟服务器的方式被不同的应用使用。这里所提到的虚拟服务器，是一种逻辑概念。对不同处理器架构的服务器以及不同的虚拟化平台软件，其实现的具体方式不同。在 x86 系列的芯片上，其主要是以常规意义上的VMware虚拟机或者 H3Cloud虚拟机的形式存在。后续的方案描述中，都以 H3C 虚拟化软件进行描述。CVK：Cloud Virtualization Kernel，虚拟化内核平台运行在基础设施层和上层操作系统之间的“元”操作系统，用于协调上层操作系统对底层硬件资源的访问，减轻软件对硬件设备以及驱动的依赖性，同时对虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优
7、化等问题进行加固处理。CVM：Cloud Virtualization Manager，虚拟化管理系统主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化，形成虚拟资源池，对上层应用提供自动化服务。其业务范围包括：虚拟计算、虚拟网络、虚拟存储、高可靠性（HA）、动态资源调度（DRS）、虚拟机容灾与备份、虚拟机模板管理、集群文件系统、虚拟交换机策略等。采用购置的虚拟化软件对多台PC服务器虚拟化后，连接到共享存储，构建成虚拟化资源池，通过网络按需为用户提供计算资源服务。同一个资源池内的虚拟机可以共享资源池内物理服务器的CPU、内存、存储、网络等资源，并可在资源池内的物理服务器上动态漂移，实
8、现资源动态调配。计算资源池逻辑组网架构图如下所示：建成后的虚拟化系统，虚拟机之间安全隔离；虚拟机可以实现物理机的全部功能；兼容主要服务器厂商的主流X86服务器、主流存储阵列产品、运行在X86服务器上的主流操作系统，并支持主流应用软件的运行。1.1 虚拟机的定义虚拟机与物理服务器类似，它们主要的区别在于虚拟机并不是由电子元器件件组成的，而是由一组文件构成的。每台虚拟机都是一个完整的系统，它具有CPU、内存、网络设备、存储设备和 BIOS，因此操作系统和应用程序在虚拟机中的运行方式与它们在物理服务器上的运行方式没有任何区别。与物理服务器相比，虚拟机具有如下优势：1.在标准的 x86 物理服务器上运
9、行。2.可访问物理服务器的所有资源（如 CPU、内存、磁盘、网络设备和外围设备），任何应用程序都可以在虚拟机中运行。3.默认情况，虚拟机之间完全隔离，从而实现安全的数据处理、网络连接和数据存储。4.可与其它虚拟机共存于同一台物理服务器，从而达到充分利用硬件资源的目的。5.虚拟机镜像文件与应用程序都封装于文件之中，通过简单的文件复制便可实现虚拟机的部署、备份以及还原。6.具有可移动的灵巧特点，可以便捷地将整个虚拟机系统（包括虚拟硬件、操作系统和配置好的应用程序）在不同的物理服务器之间进行迁移，甚至还可以在虚拟机正在运行的情况下进行迁移。7.可将分布式资源管理与高可用性结合到一起，从而为应用程序提
10、供比静态物理基础架构更高的服务优先级别。可作为即插即用的虚拟工具（包含整套虚拟硬件、操作系统和配置好的应用程序）进行构建和分发，从而实现快速部署。1.2 虚拟化技术选择X86 服务器虚拟化技术是在一个物理服务器上独立并行运行具有不同操作系统的虚拟机，而每个虚拟机都拥有一套独立的虚拟硬件（如 CPU、内存、网卡、磁盘等）。其原理是把PC服务器资源转化成逻辑计算资源，通过对物理计算资源的逻辑划分，使应用系统安全、高效、隔离的运行，提高资源利用率。硬件（CPU、内存、硬盘等）虚拟硬件客户操作系统（Guest OS）应用程序（App）虚拟硬件客户操作系统（Guest OS）应用程序（App）虚拟硬件客
11、户操作系统（Guest OS）应用程序（App）虚拟机管理器（VMM）虚拟机（VM）虚拟化对传统的物理服务器而言，在以下三个方面突破了传统的应用模式：1）它是一个抽象层，它将物理硬件和操作系统分离，从而提供更高的IT资源利用率和灵活性。2）虚拟化允许具有不同操作系统的多个虚拟机在同一实体机上独立并行运行。每个虚拟机都有自己的一套虚拟硬件，可以在这些虚拟硬件上加载操作系统和应用程序。无论实际采用了什么物理硬件组件，操作系统都将它们视为一组标准化的硬件。3）虚拟机被封装在文件中，因此可以快速对其进行保存、复制和部署。可在几秒钟内将整个系统（完全配置的应用程序、操作系统、BIOS 和虚拟硬件）从一台
12、物理服务器迁移至另一台物理服务器，以实现零停机维护和连续的工作负载整合。由于虚拟架构使操作系统摆脱了和底层硬件驱动之间的紧耦合关系，操作系统和上层应用可在计算资源池内平滑迁移，为应用系统提供具有高性能计算能力、安全稳定、灵活的硬件承载平台。X86服务器虚拟化体系结构主流的有两种：寄居架构和裸金属架构，其架构如下图所示：寄居架构就是在操作系统之上安装和运行虚拟化程序，依赖于主机操作系统对设备的支持和物理资源的管理。因为虚拟化软件运行在主机操作系统之上，因此效率低、可靠性不高，主要应用于桌面级应用。裸金属架构是直接在硬件上面安装虚拟化软件，再在其上安装虚拟机的操作系统和应用。虚拟化软件本身就是一个
13、微内核，因为直接运行在主机硬件之上，效率高、可靠性高。本项目建议选用裸金属架构，同时，借助硬件辅助虚拟化，可以充分发挥服务器 CPU、内存、IO 性能，虚拟化管理平台的服务器性能消耗不超过1%。1.3 计算资源池分类为了提升虚拟化系统的可靠性，在虚拟化平台的计算资源池建设时，可以将多个物理主机合并为一个具有共享资源池的集群。虚拟化软件管理系统的HA功能组件会监控该集群下所有的主机和物理主机内运行的虚拟机。当物理主机发生故障，出现宕机时，HA 功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的虚拟机。当某一虚拟服务器发生故障时，HA 功能也会自动的将该虚拟机重新启动来恢复中断的业务。
14、在搭建服务器资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。归类的标准通常是根据服务器的CPU类型、型号、配置、物理位置来决定。对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器比如相近型号、物理距离不远的机架式服务器或者刀片服务器。在做资源池规划的时候，也需要考虑其规模和功用。如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。但是同时，太大的规模也会给出口网络吞吐带来更大的压力，各
15、个不同应用之间的干扰也会更大。如果有条件的话，通常推荐先审视一下自身的业务应用。可以考虑将应用分级，将某些级别高的应用尽可能地放在某些独立而规模较小的资源池内，辅以较高级别的存储设备，并配备高级别的运维值守。而那些级别比较低的应用，则可以被放在那些规模较大的公用资源池（群）中。初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。在云计算平台搭建的初期，那些目前正在为业务系统服务的服务器并不会直接被纳入云计算平台的管辖。但是随着云计算平台的上线和业务系统的逐渐迁移，这些服
16、务器也将逐渐地被并入云计算平台的资源池中。对于 x86 系列的服务器，除了用于生产系统的资源池以外，还需要专门搭建一个测试用资源池，以便云计算平台项目实施过程以及平台上线以后运维过程中使用。在云计算平台搭建完毕以后，服务器资源池可以如下图所示：在云计算平台上线以后，原有非云计算平台上的应用会逐步向云计算平台迁移，空出的服务器资源池也会逐渐并入云计算平台的资源池中。其状态可以用下图所示：针对本次项目，综合分析现有服务器的配置情况，建议按照以下方式进行集群分组：机柜号位置服务器型号服务器 CPU 集群集群 A 集群 B 集群 C 集群 D 1.4 服务器容量规划单台服务器所能支持虚机数量的决定因素
17、主要取决与两方面：1.服务器的硬件配置CPU 性能-多核高主频技术使得CPU 成为性能瓶颈的可能性越来越低内存大小-做为硬指标的内存，配置越高，所能支持的虚机数量越多网络端口-千兆网环境已很普遍，网络带宽大多有保证，更多从管理角度来考虑HBA 卡-磁盘访问性能对虚机数量有一定影响，建议采用 10G以太网或者 8Gbps FC以减少链路影响本地磁盘-内置磁盘的可用性及IO 吞吐能力均较弱，不建议在其上存放虚拟机，推荐使用外置高性能磁盘阵列2.应用负载大小由于物理服务器资源自身的最大限制，应用负载越大，所能同时运行的虚机数量越少建议将不同应用访问特性的应用混合部署在同一物理服务器上灵活运用 DRS
18、和 VMotion 技术可将物理机与虚机的比率关系调到最优考虑到 HA及 DRS所要求的资源冗余，所有运行虚机在正常负载下，总体资源使用率不超过三分之二会比较合适在部署虚拟化时，对物理服务器的硬件配置需要考虑以下因素：可用的 CPU 目标数量尽可能多，单台服务器建议配置6 个以上的 CPU核。超线程技术并不能提供等同于多核处理器的好处；建议关闭CPU的超线程功能使用具有 EM64T 能力的 Intel VT 或 AMD V 技术的 CPU可以同时支持运行 32 位和 64 位的虚拟机采用同一厂商、同一产品家族和同一代处理器的服务器组成的集群，可以获得最好的虚拟机迁移兼容能力内存资源往往比 CP
19、U资源更会成为潜在的瓶颈，尽可能采用最大容量的内存条（单条 8GB效果优于两条 4GB）。下表给出了部署虚拟化时的服务器典型配置：服务器 CPU 路数双路四路CPU（建议主频 2GHz以上）双路四核四路四核或六核内存16GB+32GB+千兆网口无外接存储4+/6+4+/6+使用 FC存储4+/6+4+/6+使用 IP 存储6+/8+6+/8+SAN端口2*8Gbps FC 或2*10Gbps Eth 2*8Gbps FC 或2*10Gbps Eth 内置硬盘（使用外置磁盘阵列时）2 2 电源双冗余双冗余1.5 虚拟机资源分配1.虚拟机 CPU 分配原则：尽量使用最少的 vCPUs，如果是单线程
20、应用，无需多线程处理。虚拟 CPU 数量不要等于或超过物理CPU 核数，如双路双核的服务器配置，虚机最多使用两个虚拟CPU 2.内存分配原则：内存总量为在资源评估后，计算虚拟机评估结果所需实际内存尽量避免大于物理内存的总和。因为应用程序而产生的更多内存需要用磁盘内存来解决，会导致系统性能下降。关键应用可考虑固定内存的方法以保证性能的稳定性1.6 虚拟机的物理分布同一个资源池内的虚拟机在物理服务器上的分布，要尽可能考虑平衡负载的原则，即保证资源池内的物理服务器CPU、内存资源占用率均衡，避免某单台物理服务器上的负载特别高，而其它处于闲置状态。个别业务应用可能会存在某个时段负载突发上升的情况，如公
21、务员报考系统，对于这类应用，需要部署DRS(动态资源调度)和 DRX（动态资源扩展）：通过动态资源调度（DRS）集群的部署，可以解决单个虚拟机负载过高时，位于同一台物理服务器上的其它业务应用虚拟机不会被“饿死”。通过动态资源扩展（DRX，详细方案描述见 2.2.9）集群的部署，可以解决当单个虚拟机负载超过物理服务器性能后，快速克隆多个同样业务的虚拟机，配合负载均衡（LB）设备，完成对负载的分担。1.7 虚拟机模板设计业务应用模板是由虚拟机配置定义、操作系统、基础应用三部分组成。1.虚拟机配置定义：包括虚拟机的 vCPU、内存、网络策略、虚拟存储 vDisk等参数的定义。2.操作系统：包括 Wi
22、ndows Server、Linux 等支撑上层业务应用的操作系统，以及操作系统配套的相应补丁及病毒。同时可以根据应用模板的类型，开起相应的系统服务（如IIS、DHCP 等）。3.基础应用：包括中间件、WEB 服务端等基本应用，根据应用模板的类型，决定模板需要安装的基础应用。业务应用模板的设计是云平台业务快速部署的基础，通过虚拟机模板快速部署虚拟机，可以大幅节省安装操作系统、病毒与补丁、系统服务、中间件的时间，由相应模板部署的虚拟机就相当于是一台安装好操作系统、病毒库、基础应用的服务器，只需安装相应的业务应用软件即可让业务快速上线。在采用云计算来向用户交付服务时，用户通过云门户自助申请的IT
23、服务资源就是业务应用模板，因此需要提前设计好相应的IT 服务模板向云门户发布，当用户申请该服务时，云平台根据模板进行资源编排，快速生成虚拟机相关资源交付给用户使用。模板的设计一定要具有通用性，避免设计大而全的模板，这样的模板在部署为一个虚拟机之后，没有通用性将再也没有人使用。1.8 高可用性设计高可用性包括两个方面：1.虚拟机之间的隔离：每个虚拟机之间可以做到隔离保护，其中一个虚拟机发生故障不会影响同一个物理机上的其他虚拟机；2.物理机发生故障不会影响应用：故障物理机上运行的虚拟机可被自动迁移接管，即虚拟机可以在同一集群内的多台服务器之间进行迁移，从而实现多台物理服务器的之间的相互热备，实现当
24、其中一个物理服务器发生故障时，自动将其上面的虚拟机切换到其他的服务器，应用在物理机宕机情况下保证零停机。虚拟机的迁移需要依赖共享存储，关于共享存储，后续章节将详细介绍。H3C CAS 虚拟化平台 HA 功能会监控该集群下所有的主机和物理主机内运行的虚拟主机。当物理主机发生故障，出现宕机时，HA 功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的虚拟机。当某一虚拟服务器发生故障时，HA功能也会自动的将该虚拟机重新启动来恢复中断的业务。除了对集群中的物理服务器节点进行持续检测之外，H3C CAS HA软件模块还对运行于物理服务器节点之上的虚拟机进行持续检测。在每台服务器节点上都运行了一
25、个LRMd（Local Resource Manager daemon，本地资源管理器守护进程），它是HA软件模块中直接操作所管理的各种资源的一个子模块，负责对本地的虚拟化资源进行状态检测，并通过 shell脚本调用方式实现对资源的各种操作。当 LRMd 守护进程检测到本机的某台虚拟机出现通信故障时，首先将事件通知给 DC，由 DC统一将该虚拟机状态告知集群内所有的物理服务器节点，并按照一定的策略算法，为该故障的虚拟机选择一个空闲的服务器节点，在该节点上重启该虚拟机。服务器集群VMVMVMVMVMVMIP networkVMVMVM在集群内自动为虚拟机选择空闲的服务器节点，实现动态迁移和业务的
26、高可靠性CVKCVKCVK共享存储池SAN/iSCSI/NFSDCLRMdLRMd 持续检测本机虚拟机运行状态，由 DC为故障的VM 自动选择迁移后的服务器节点。1.9 动态资源扩展（DRX）信息业务访问量的突发性变化和对应的信息中心IT 资源的供给是一对矛盾体。对于信息中心IT 管理人员来讲，一个很重要的任务就是在这两者之间达到一个相对的平衡。云计算技术的出现和部署可以使数据信息中心IT 资源以更小粒度使用和交付，同时显著的增强了信息中心IT 资源使用效率和调度的灵活性、敏捷性。从而使得上述平衡可以更加容易获得。但由于各IT 管理系统的割裂，导致上述过程并无法有机的自动完成。因此迫切需要一个
27、新的解决方案通过整合和自动化部署来实现IT 资源供给和业务需求的动态平衡。云计算带来的新变化与新需求部分站点信息中心业务的访问量会周期性或随机的出现波动。有些业务的波动幅度很大，其峰值访问量甚至会超出正常访问量的好几倍。随着访问量的弹性变化，这类业务对 IT 资源的需求也存在较大的波动，这就要求信息中心IT 基础架构能够支撑这样的弹性扩展需求，IT 部门面临很大的挑战。为了应对这样的IT 需求，通常有以下两种部署方式。静态部署：IT 部门按照业务峰值应用的IT 需求来规划部署对应的IT 资源，这些 IT 资源（主要是服务器）专机专用，服务器部署好以后保持长期稳定运行状态，无论当前业务负载量大小
28、是否发生变化，均由这些服务器对外提供业务。动态扩展：IT 部门动态调整服务器的数量来应对业务访问量弹性变化的需求，即在业务访问量上涨前或初期，通过增加服务器来新增对业务容量。业务访问量下降时，将新增的服务器回收用于支撑其他业务。比较项动态扩展方式静态部署方式响 应 敏捷度响应慢。物理服务器扩展流程复杂，周期长，难以快速响应业务需求响应快。业务服务器部署完成并纳管后，无需人工干预即可响应业务访问变化需求运 维 复杂度复杂度高。资源扩展和收缩时，均需要进行服务器和业务系统的部署复杂度低。一次部署，长期使用资 源 利用率资源利用率较高。业务对应的IT 资源随着业务访问量的变化而弹性变化。业务需求和I
29、T 资源供给达到一定程度的平衡，资源能比较充分的利用资源利用率低。资源按最大需求部署。业务量低时，部署的资源无法得到充分利用成本相对低。资源充分利用，灵活调配高。较多的闲置资源适 用 场景适用于业务访问量波动有规律而且不频繁的场景适用于业务波动随机性强或波动比较频繁的场景两种部署模式比较通过上表对两种部署方式的对比可以看出，两者各有优缺点，信息中心IT部门可以根据本信息中心自身的业务特点来选择部署。通常来讲，大多数据中心业务访问的随机性都比较强，所以传统IT 环境下通常会选择静态部署方式。对信息中心 IT 部门来讲，云计算带来了全新的IT 基础架构建设、使用和交付模式，其中，云计算的基础计算虚
30、拟化技术尤为突出。总的来说，计算虚拟化给信息中心 IT 基础架构带来如下两个变化。更细粒度的 IT 资源使用和交付模式。计算虚拟化是“一虚多”的技术，即将一台物理服务器虚拟化为多台虚拟服务器，各虚拟服务器均作为独立的实体来承载信息中心业务。当信息中心业务系统承载的主体由传统的硬件服务器转变为虚拟服务器后，IT 部门是在将 IT 资源以更细粒度的虚拟服务器交付给业务部门。信息中心物理服务器可以为多个业务部门所共享，极大的提升了物理服务器的利用率。快速敏捷的 IT 基础资源交付和部署模式。在传统 IT 部署中，物理服务器涉及硬件产品的采购、组装、上架等流程，流程复杂且周期长；而虚拟服务器的部署则不
31、涉及这些问题。同时，由于虚拟化的特质，虚拟服务器可以通过快速的克隆复制来实现快速的批量部署。因此，IT 部门可以通过快速部署虚拟服务器的方式迅速响应信息中心业务系统的业务承载需求和变化。另外，虚拟服务器可以在多个硬件服务器之间灵活的迁移的特点，极大的提升了 IT 资源调度的灵活性。因此，信息中心需要一个新的解决方案，整合上述的业务负载监控平台、虚拟服务器管理平台和业务分发系统，自动化的实现上述三个业务系统的关联部署，为信息中心 IT 基础架构注入智能，增强 IT 资源调配的自动化能力。同时构建一个统一的管理平台来实现针对支撑信息中心特定业务的一组虚拟服务器的运行状况进行统一的监控、管理和集中展
32、示。针对这些需求，H3C推出了“面向应用的云动态资源扩展解决方案”DRX（Dynamic Resource eXtension，动态资源扩展）解决方案。2.存储资源池目前主流的存储架构包括DAS、NAS、SAN，下面针对 3 种主流应用系统做架构分析。直连方式存储（Direct Attached Storage-DAS）。顾名思义，在这种方式中，存储设备是通过电缆（通常是SCSI 接口电缆）直接到服务器。I/O 请求直接发送到存储设备。存储区域网络（Storage Area Network-SAN）。存储设备组成单独的网络，大多利用光纤连接，服务器和存储设备间可以任意连接。I/O 请求也是直接
33、发送到存储设备。如果 SAN是基于 TCP/IP 的网络，则通过 iSCSI 技术，实现 IP-SAN网络。网络连接存储（Network Attached Storage-NAS）。NAS 设备通常是集成了处理器和磁盘/磁盘柜，连接到 TCP/IP 网络上（可以通过LAN或 WAN），通过文件存取协议（例如NFS，CIFS等）存取数据。NAS将文件存取请求转换为内部I/O 请求。上述几种存储方式的优劣势分析：DAS 费用低；适合于单独的服务器连接主机的扩展性受到限制，主机和存储的连接距离受到限制，只能实现网络备份，对业务网络的压力较大SAN 高性能，高扩展性；光纤连接距离远；可连接多个磁盘阵列
34、或磁带库组成存储池，易 于 管 理；通 过 备 份 软 件，可 以 做 到Server-Free和 LAN-Free 备份，减轻服务器和网络负担。成本较高NAS 安装过程简单；易于管理；利用现有的网络实现文件共享；高扩展性。不支持数据库应用通过以上对比可以看出SAN具有如下优点：关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素；SAN 具有出色的可扩展性；SAN克服了传统上与SCSI 相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性；改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。集中的存储备份，其中性能、数据一致性和可靠性可
35、以确保关键数据的安全；高可用性和故障切换环境可以确保更低的成本、更高的应用水平；可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区；改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离。考虑到 IP SAN 的扩展性比 FC SAN 更加出色。我们可以在 IP SAN 中使用 SCSI、FC、SATA、SAS等多种磁盘阵列来扩展IP SAN的容量，我们推荐使用IP-SAN存储架构。为了达到系统的故障快速切换，本方案中配置后端共享存储，以实现动态HA和迁移，我们配置一台IP-SAN 存储，这样可以将云计算平台中每个虚拟机的文件系统创建在共享的SAN集中
36、存储阵列上。H3Cloud虚拟机文件系统是一种优化后的高性能集群文件系统，允许多个云计算计算节点同时访问同一虚拟机存储。由于虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。系统支持一台故障后，快速切换到另一台的功能，切换时间大概在 0-10 分钟以内。采用 2 台 HP P4500 SAN存储阵列，统一存放虚拟机镜像文件和业务系统数据，这样做不会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。存储是指虚拟机文件（含数据文件和配置文件）保存的地方。按
37、照存储的位置可以划分为两类：本地磁盘存储和通过网络存储在远端服务器上。本地存储包括：本地目录文件、LVM逻辑存储卷、SCSI/FC 存储；网络存储则包含：iSCSI网络存储、NFS网络文件系统、共享文件系统和Windows系统共享目录。这里我们选择比较典型的三种应用配置来说明：本地目录文件、iSCSI 存储和共享文件系统。2.1 本地存储设计服务器本地存储用于安装虚拟化平台（如H3Cloud CVK 和 CVM）和保存资源池的元数据。本地存储建议配置两块SAS硬盘，设置为 RAID-1，通过镜像（Mirror）方式放置本地磁盘出现单点故障，以提高H3Cloud本身的可用性。H3Cloud 云计
38、算管理平台初始安装后，会默认创建一个本地的默认存储：defaultpool，位于/vms/images 目录下。先选择“主机”，在右面页签中选择“存储”，选择“增加”按钮，可以手工增加本地文件目录类型的存储池；配置挂接的目录：2.2 iSCSI远端共享存储设计远端共享存储用于保存所有虚拟机的镜像文件以支持动态迁移、HA 和动态负载均衡等高级功能。共享存储LUN容量规划公式如下：LUN容量=（Z （X+Y）1.2）Z=每 LUN上驻留的虚拟机个数X=虚拟磁盘文件容量Y=内存大小假设每个 LUN上驻留 10 个虚拟机，虚拟磁盘文件容量需求平均为40GB，内存容量在 48GB之间，考虑到未来业务的扩
39、展性，内存交换文件按8GB空间估算，整体冗余 20%，那么：LUN容量=（10 （8+40）1.2）600GB 存储总容量=业务数(按满足 64 个业务估算)LUN容量=38.4T iSCSI 存储是将虚拟机存储在iSCSI 存储设备上。一般是先修改物理主机上的 iSCSI 配置，使其能够访问 iSCSI 存储。iSCSI 存储是作为一个块设备使用的，即 iSCSI 上配置了对应的 target后，则在 vManager上使用该存储池时，是全部占用的，类似于裸设备的使用。选择“iSCSI 网络存储”类型：若物理主机还没有设置Initiator节点的名称，则需要先设置Initiator节点。配置
40、 Initiator节点名称：注意：Initiator名称需要和 iSCSI 上配置的名称一致如 Initiator节点名称 iqn.1993-08.org.debian:01:192168000004，需要配置和 iSCSI 存储上一致。iSCSI 存储上 target对应的 Initiators配置：设置物理机上和 iSCSI 服务器联通使用的网络地址：配置 iSCSI 存储地址后，选择对应的target：选择 target最为存储池：选择结束后，点击“完成”即可。2.3 共享文件系统对于 iSCSI 或者 FC提供裸设备作为存储池，一个最大的缺点是一个虚拟机占用了所有存储空间。针对这种情
41、况，CVM 在 iSCSI 和 FC的基础上提供了共享文件系统，即基于iSCSI 和 FC的裸设备，采用共享文件系统格式化，从而能够让 iSCSI 的同一个 target能够同时容纳多个虚拟机同时使用，从而大大提高了设备的利用效率。共享文件系统是多个主机之间可以共享使用，所有其配置是在主机的属性上配置的。主机池的属性页签，配置共享文件系统。增加一个共享文件系统：基于 iSCSI，对应的 iSCSI 配置请参考 iSCSI 存储部分配置。物理主机上增加存储池：在物理主机上直接引用已经配置好的“共享文件系统”类型的存储池即可。3.网络资源池设计3.1 网络总体设计数据中心承载了部门的重要数据业务。
42、数据中心网络作为业务网络的一个重要组成部分，为核心业务系统服务器和存储设备提供安全可靠的接入平台。网络建设应达成以下目标：高可用：网络作为数据中心的基础设施，网络的高可用直接影响到业务系统的可用性。网络层的高可用至少包括高可靠、高安全和先进性三个方面：高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。当今，关键业务应用的可用性与性能要求比任何时候都更为重要。高安全：网络基础设计的安全性，涉及到业务的核心数据安全。应按照端到端访问安全、网络 L2-L7 层安全两个维度对安全体系进行设计规划，从局部安全、全局安全到智能安全，将安全理念
43、渗透到整个数据中心网络中。先进性：数据中心将长期支撑的业务发展，而网络又是数据中心的基础支撑平台，因此数据中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如数据中心级设备、CEE、FCoE、虚拟化支持等），保证基础支撑平台 510 年内不会被淘汰，从而实现投资的保护。易扩展：业务目前已向多元化发展，未来的业务范围会更多更广，业务系统频繁调整与扩展再所难免，因此数据中心网络平台必须能够适应业务系统的频繁调整，同时在性能上应至少能够满足未来510 年的业务发展。对于网络设备的选择和协议的部署，应遵循业界标准，保证良好的互通性和互操作性，支持业务的快速部署。易管理：数据中心是 I
44、T 技术最为密集的地方，数据中心的设备繁多，各种协议和应用部署越来越复杂，对运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性的。因此数据中心需要提供完善的运维管理平台，对数据中心IT 资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借助工具直观、快速定位。在数据中心的组网模型上采用两层架构，即核心层和接入层。核心层和接入层设备均采用 IRF 虚拟化组网模型。整个数据中心网络拓扑在逻辑上就是星形拓扑。简化网络的管理。在网络的逻辑平面划分上，建议按照以下四个平面来划分，分别配置不同的vlan 来加以区分。管理平面网络：主要用于实现网络管
45、理数据流的通行，让网络管理可以对整个数据中心业务实现监控、配置等；业务平面网络：属于网络的核心业务平面，单独划分vlan 等进行隔离；存储平面网络：用于承载服务器和磁盘阵列之间的数据交换；虚拟机迁移网络：用于实现集群内部，集群之间虚拟机迁移。可以使得虚拟机在迁移过程中不占用业务数据端口的带宽。3.2 管理平面网络设计管理平面的网络主要是实现数据中心网络管理区域对集群业务、存储等区域的网络管理，在数据中心的网络管理区域放置了包括IMC 网络管理平台和CIC/CVM 云计算管理平台，在这个平面的网络，通过把管理数据流设置在一个特定的 vlan 中，在接入交换机S5800和核心交换机 S12508/
46、S7506E上 trunk 这个vlan 来实现。把网络管理vlan 的网关放置在核心交换机上，在其他区域的接入交换机（如业务集群1 的 S5820v2）上都把该 vlan 放行，这样可以实现管理区域对整个数据中心的管理，包括网络策略配置和虚拟机的调度等。3.3 业务平面网络设计业务平面的网络主要是对外提供业务访问，以及数据中心内部系统的业务交换。业务平面的网络设计上，需要满足大二层的网络设计思路。把业务平面网络的网关放在核心交换机上，让整个数据中心业务区呈现扁平化的组网模型。大二层的网络设计便于虚拟机的迁移，不同业务之间的安全隔离可以通过在核心交换机上的防火墙业务板卡来实现。3.4 存储平面
47、网络设计存储平面的网络主要功能实现服务器上虚拟机对存储资源的访问。在网络设计上，把服务器虚拟机网段到存储区域的网段打通。目前数据中心采用的存储有FC SAN和 IP SAN两种，对于 FC SAN，通过服务器上的HBA卡与存储设备互联。对于走 IP SAN 部分的数据，通过H3C S12510-X/S5800的交换机实现数据互通。3.5 虚拟机迁移网络设计在云计算数据中心中，最大的特点就是可以通过虚拟机的迁移提供业务部署的灵活性，所以在网络中，虚拟机的迁移需要做重点考虑，按照通常的网络设计，直接用业务端口网段来做迁移会存在虚拟机迁移过程中出现网络业务缓慢的情况，虚拟机迁移所占用带宽影响到业务的
48、正常访问。因此在本次网络设计上，需要考虑把虚拟机迁移部分做一个单独的网络平面，这个网络平面需要满足大二层的网络设计思路。通过把网关放置在核心交换机上，把这个数据中心业务区域打通，满足虚拟机在数据中心范围的平滑迁移，同时不占用业务端口的网络带宽。3.6 网络安全设计网络安全设计原则安全与网络密不可分，本方案中的安全设计部署采用了与网络分区相同的安全域划分，同时采用SecBlade 安全插卡实现了网络与安全设备形态的融合。整个方案的安全部署采用了目前应用广泛的“分布式安全部署”方法，如下图右侧所示：分布式安全部署具有以下优势：分散风险：传统的集中式安全部署一般将防火墙旁挂在核心交换机两侧，这样一旦
49、防火墙出现故障，数据中心内的所有业务区都将不能访问，整个数据中心的所有业务均会中断，风险和性能压力都集中在防火墙上。而采用分布式部署后，防火墙出现故障只会影响到本区域的业务，进而实现风险和性能的分散，提高了整个数据中心的可靠性；灵活扩展：分部式安全部署，核心交换机原则上不部署任何与业务分区之间的安全策略，可实现核心区与各业务分区之间的松耦合，在新增模块或业务系统时，无需更改核心设备的配置，减小核心区出现故障的机率，保证核心区的高可靠与业务分区的灵活扩展；简化安全策略部署：防火墙下移到各业务分区的出口，防火墙上部署的安全策略可大大简化，默认仅需要划分两个安全域（受信域与非受信域），采用白名单方式
50、下发策略，减少了策略的交叉。Secblade FW插卡部署防火墙设备在数据中心网络架构中为内部系统提供了安全和可靠性保障。防火墙主要部署在数据中心的两个常见区域中：数据中心出口区域和服务器区域。在数据中心出口区域部署防火墙可以保障业务的安全性，避免未经授权的访问和网络攻击。在数据中心服务器区域部署防火墙可以避免不同服务器系统之间的相互干扰，通过自定义防火墙策略还可以提供更详细的访问机制。防火墙插卡设备虽然部署在交换机框中，但仍然可以看作是一个独立的设备。它通过交换机内部的10GE接口与网络设备相连，它可以部署为2 层透明设备和三层路由设备。防火墙与交换机之间的三层部署方式与传统盒式设备类似。如