《新一代数据存储架构的设计与实现.docx》由会员分享，可在线阅读，更多相关《新一代数据存储架构的设计与实现.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 新一代数据存储架构的设计与实现 孙安 【摘 要】面对教育信息化2.0时代，教育信息化系统建立过程中迫切需要解决一系列数据根底设施构建问题。本文以北京市西城区教育数据中心为例，在分析当前教育数据存储系统面临的问题根底上，讨论探讨新一代区域数据存储架构的设计与实施方案，以期更好地为教育信息化2.0效劳。 【关键词】软件定义存储;数据中心;教育信息化 【中图分类号】G434 【文献标识码】A 【论文编号】1671-7384（2023）04-038-03 当前，随着教育信息化进展的不断深入，储存教育数据的信息根底设施已被视为重要的教育资源，面临着数据存储力量和数据安全治理力量双重考验。一方面，新技术
2、新应用融合教育教学进展迅猛，结合Web应用的崛起，学校上传大量的文档、课件、照片和音视频等非构造化数据，加快了数据量的增长;另一方面，由于新冠肺炎疫情肆虐，刺激了在线学习应用的进展，学校教科研和连续教育活动多采纳在线直播会议和录播课的形式，进一步促进了数据量的爆炸式增长。面对这两大趋势，受传统的存储技术和架构的限制，无法进展有效应对，而构建一套部署敏捷、易扩展的分布式存储架构已成为新形势下承载教育数据爆发增长的迫切需要。 以北京市西城区教育数据中心为例，在教育信息化建立上拥有较完善的根底设施。近两年以虚拟化技术搭建西城教育云计算和存储集群，分布于南区、北区两个数据中心，为西城区中小学、幼儿园及
3、教育直属单位供应计算资源和数据存储空间。目前，在集群中运行了700余台虚拟效劳器，产生的教育数据约占400TB存储空间;囊括了西城区教育单位绝大局部信息化应用，涉及学籍系统、门户网站、办公应用和数字校园等众多系统，特殊是“幼升小”和“小升初”入学排位查询系统、领导干部评测系统、学生体检数据采集系统、成绩分析系统等重要系统也运行于其中。随着教育教学应用系统的数量不断增加，现有存储设施已不能满意不断增长的数据量。 西城教育数据存储系统面临的问题 数据中心现有的存储设施渐渐老旧，面临存储容量缺乏、硬件维护难度加大，软硬件之间的紧耦合关系导致资源利用率和效率降低。突出表现在以下三个方面。 （1）存储速
4、度缺乏，现有存储均为4GB光纤连接至虚拟化效劳器主机，由于虚拟机数量的增加，音视频业务的增多，需要升级至16GB光纤连接。（2）现有存储设备种类众多，不同存储设备对接不同应用集群;传统存储规律卷安排简单，扩容困难，RAID发生故障后恢复慢，已不能满意现存储容量的规划。（3）缺乏对数据安全的爱护，数据无可用副本和备份等措施，难以保证数据的安全性，一旦存储消失规律错误或者物理故障，整个业务瘫痪，数据易丧失。 利用分布式架构扩容西城教育数据存储资源池 軟件定义存储（SDS）是一种能将存储软件与硬件分隔开的分布式存储架构，把效劳器、存储等资源利用软件进展定义，可实现按需自动安排存储资源。分布式存储架构
5、不但能够供应 ISCSI、FC、NFS、CIFS和S3 等多种存储接口协议，支持 FC 虚拟化集群的利旧，还能够满意高性能低延时要求的业务场景。由于破解了存储软件对单一硬件厂商的依靠性，因此构建SDS分布式存储资源池可以不被绑定任何一家传统存储厂商，同时从底层的硬件设备（x86效劳器），到上层的虚拟化/云平台软件、数据库/应用软件都能无缝对接，大幅提高部署的敏捷性。依据需求横向扩展存储架构，满意不断增加的容量需求;同时为保障数据安全，供应丰富的数据安全爱护策略，有效避开数据受到侵害。 总体设计方案及实施过程 目前，西城南北数据中心分别规划了两个数据池，由12台x86物理效劳器连接组成，单池裸容
6、量600TB，总存储容量1.2PB，用以满意目前存储需求。同时对接虚拟化云平台，供应南北各100TB备份一体机，实现关键数据信息的备份，假如消失数据损坏问题可以快速恢复原有数据。 1.SDS分布式存储集群架构设计 根据西城教育数据存储资源池设计要求，采纳X86架构效劳器构建统一的分布式存储资源池，满意了按需供应块、文件和对象等全融合存储效劳力量，结合西城教育虚拟化平台和数据库应用，供应高性能、高扩展力量，可作为将来云计算的根底设施。如图1所示，一方面供应了标准NFS和CIFS接口，为Windows、Linux 物理效劳器环境下的数据库或业务应用系统供应文件存储效劳。另一方面供应了兼容Amazo
7、n S3接口，应用于海量音视频等非构造化数据、备份归档等场景的对象存储功能，可以无缝对接云计算生态，满意西城教育云平台、西城在线学习平台及在线直播平台场景需求。 2.SDS分布式存储副本策略的设计 采纳X86架构构建的资源池为保障数据的安全性，支持系统治理员根据设定的两副本、三副本进展冗余存储。以存储数据为三副本的简洁模型为例，任意1个节点上的主副本数据损坏，其备副本数据会匀称分布在其他节点上，单点故障系统不会丧失数据。 对于副本策略需采纳强全都性复制协议来保证数据的全都性，即只有当全部副本都写胜利，才返回写入磁盘胜利。正常状况下需要保证每个副本上的数据都完全全都，从任一副本读到的数据都是一样
8、的。假如某个副本中的某个磁盘短暂故障，SDS分布式存储会临时不写这个副本，等恢复后再恢复该副本上的数据;假如磁盘长时间或者永久故障，存储集群会把这个磁盘从群集中移除掉，并为副本查找新的副本磁盘，再通过重建机制使得数据在各个磁盘上分布匀称。这样可以到达设备的冗余设计，既使某块硬盘消失故障或者某个节点效劳器消失宕机，也可以安全保障数据不被损坏和丧失。这就是分布式存储的优势，节点越多，牢靠性和可用性越突出。 3.SDS分布式存储支持双活数据中心 该方案还具有一大优势，它支持数据中心双活，实现数据中心级故障域;支持跨集群卷同步复制，存储多副本数据镜像在两个数据中心，可保证任何一个数据中心内全部存储节点
9、故障，业务零切换、数据零丧失。西城教育南区和北区两个数据中心相距较近，又通过裸光纤直连，保障5ms延迟内，可做卷同步复制，到达RPO=0，亦可手动切换，实现同城灾备。 关键数据备份方案设计 这几年，随着讹诈病毒的肆虐，对数据安全构成严峻的威逼。为了最大限度爱护关键数据，同时根据网络安全等级爱护根本要求指导建议，西城教育数据中心的灾备中心设计采纳两套数据备份一体机，分别部署在南区数据中心和北区数据中心，实现南北数据中心重要应用数据、业务数据进展数据级灾备。 方案中关键数据备份与容灾系统采纳万兆光纤网络设计，实现核心业务数据稳定牢靠的快速备份与恢复。通过敏捷定制自动备份恢复策略（依据不用业务等级，
10、可根据月、周、天、小时、分钟或周期性备份等策略设定），有效削减运维治理工作量，并大幅提升重建系统的时效性。支持重复数据删除技术，大幅削减备份数据量，有效提升备份存储空间利用率。 诚然，以软件定义存储（SDS）为根底设计的分布式存储解决方案，是当代数据中心技术演进的主要趋势之一，作为“新基建”信息化根底设施的核心组件，其具备良好的性能和可观的经济效益，并且具有灵敏高效、按需部署、稳定牢靠等特点。新的存储架构不但有效解决了之前遇到的数据存储痛点，还增加了传统“集中式”存储难以具备的优势和收益，主要包括：（1）软硬解耦，实现存储软件化和硬件标准化，不被硬件厂商所绑定。（2）采纳Scale-Out/横
11、向扩展，实现按需部署，后续扩容存储性能和容量同步增加。（3）计算存储分别，存储系统更稳定，适用于多种虚拟化及物理效劳器环境下的生产系统。 西城教育数据中心向软件定义的根底架构持续演进，不仅为当前VMware、Hyper-V、KVM、Xen、数据库、文件共享等传统业务供应了高性能、高牢靠的数据存储与治理效劳，还可灵敏应对将来教育信息化业务进展需求，支持应对容器化应用、大数据、机器学习与AI，甚至云原生等新兴信息技术的工作负载，持续为西城区助力教育信息化2.0效劳。 单位：北京市西城区现代教育信息技术中心 猜你喜爱教育信息化数据中心2023年数据中心支出创新高中国计算机报(2023年12期)202
12、3-10-08北京科创新型云数据中心通信产业报(2023年27期)2023-08-012023第十届中国数据中心大会榜单中国计算机报(2023年25期)2023-07-15恒云太搅动高等级数据中心市场中国计算机报(2023年23期)2023-07-06翻转课堂及其在大学英语教学中的讨论东方教育(2023年4期)2023-12-14荷兰高等教育信息化前沿进展讨论中国教育信息化根底教育(2023年8期)2023-11-03信息社会环境下的教育资源变革考试周刊(2023年70期)2023-09-20信息时代的教师专业化科教育刊电子版(2023年9期)2023-05-16微课的设计理念探讨无线互联科技(2023年22期)2023-03-07教育信息资源共建共享仿真平台设计讨论软件导刊(2023年8期)2023-09-18