《OceanstorN8500集群NAS存储系统产品技术白皮书V212732.docx》由会员分享，可在线阅读，更多相关《OceanstorN8500集群NAS存储系统产品技术白皮书V212732.docx（44页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 OceannStoor NN85000集群群NASS存储系统产产品技术术白皮书书IssueeV2.1Date2022-11-19华为技术有有限公司司版权所有 华华为技术术有限公公司 220122。 保保留一切切权利。非经本公司司书面许许可，任任何单位位和个人人不得擅擅自摘抄抄、复制制本文档档内容的的部分或或全部，并并不得以以任何形形式传播播。商标声明和其他华为为商标均均为华为为技术有有限公司司的商标标。本文档提及及的其他他所有商商标或注注册商标标，由各各自的所所有人拥拥有。注意您购买的产产品、服服务或特特性等应应受华为为公司商商业合同同和条款款的约束束，本文文档中描描述的全全部或部部分产品品
2、、服务务或特性性可能不不在您的的购买或或使用范范围之内内。除非非合同另另有约定定，华为为公司对对本文档档内容不不做任何何明示或或默示的的声明或或保证。由于产品版版本升级级或其他他原因，本本文档内内容会不不定期进进行更新新。除非非另有约约定，本本文档仅仅作为使使用指导导，本文文档中的的所有陈陈述、信信息和建建议不构构成任何何明示或或暗示的的担保。华为技术有有限公司司为客户户提供全全方位的的技术支支持，用用户可与与就近的的华为办办事处联联系，也也可直接接与公司司总部联联系。华为技术有有限公司司地址：深圳市龙岗岗区坂田田华为总总部办公公楼 邮编：51881299网址：http:/wwww.huaaw
3、eii.coom客户服务电电话：0755-2855600000 4000830021118客户服务传传真：0755-2855601111客户服务邮邮箱：Suppoorthuaaweii.coom目 录1 概 述述52 N85500集集群NAAS存储储系统架架构62.1 产产品逻辑辑结构62.2 集集群NAAS软件件62.3 集集群NAAS引擎擎72.4 交交换设备备配置82.5 存存储单元元配置82.6 管管理子系系统83 组网以以及环境境要求93.1 集集群NAAS存储储系统93.2 NNAS/SANN一体化化典型组组网103.3 数数据备份份组网103.4 系系统运行行环境124 软件特特
4、性134.1 集集群文件件系统134.1.11 技术术背景134.1.22 技术术原理134.1.33 技术术特点194.22 快照照技术194.2.11 技术术背景194.2.22 技术术原理194.2.33 技术术特点214.3 动动态分级级存储技技术224.3.11 技术术背景224.3.22 技术术原理224.3.33 技术术特点264.4 远远程复制制技术264.4.11 技术术背景264.4.22 技术术原理274.4.33 技术术特点284.5 配配额管理理技术294.55.1 技术背背景294.5.22 技术术原理294.5.33 技术术特点31图目录图 1 产产品逻辑辑结构图
5、图6图 2 FFileeStoore 软件及及应用架架构示意意图7图 3 NN85000集群群NASS存储系系统关系系图9图 4 SSAN、NASS一体化化典型组组网10图 5 使使用NBBU客户户端备份份方式组组网11图 6 使使用NDDMP备备份组网网11图 7 数数据通道道全互联联技术14图 8 通通信通道道全互联联技术14图 9 全全局存储储空间管管理技术术16图 10 高效的的集群锁锁技术17图 11 对称式式元数据据处理技技术17图 12 全局名名字空间间技术18图 13 集群多多节点并并发访问问技术18图 14 主文件件系统及及其快照照文件集集20图 15 新生成成快照20图 1
6、6 主文件件系统数数据更新新21图 17 对快照照进行数数据更新新22图 18 N85500多多卷文件件系统示示意图23图 19 N85500远远程复制制技术实实现步骤骤27图 20 N85500远远程复制制技术实实现机制制28图29 配配额管理理逻辑架架构30图30 配配额管理理执行方方式311 概 述传统NASS系统存存在扩展展性差、可可靠性差差等缺陷陷。为了了克服传传统NAAS系统统的缺陷陷，集群群NASS技术应应运而生生。集群群NASS系统具具有高扩扩展、高高性能、高高可用等等特点。本文档介绍华为N8500集群NAS存储系统软件和技术的相关细节。2 N85000集群NNAS存存储系统统
7、架构2.1 产品逻辑结结构N85000集群NNAS存存储系统统（以下下简称NN85000或N85500系系统）由由集群NNAS引引擎（由由集群NNAS引引擎硬件件+集群群NASS软件FFileeStoore组组成）、交交换设备备、存储储单元以以及管理理子系统统组成，其其中集群群NASS软件包包含定制制化的操操作系统统，不需需要额外外选择操操作系统统平台。图 1 产产品逻辑辑结构图图2.2 集群NASS软件集群NASS软件FFileeStoore作作为整个个N85500集集群NAAS存储储系统的的核心部部件，其其作用除除了管理理存储并并提供NNAS服服务外，还还包括对对集群系系统自身身的管理理以
8、及相相关的故故障处理理。N85000的集群群NASS软件基基于商用用的CFFS开发发，通过过在专用用64位位存储系系统上安安装CFFS软件件，并配配置NFFS和ssambba等服服务以对对外提供供NASS访问接接口。N85000集群NNAS软软件的核核心部件件CFSS提供了了大量的的增值功功能，如如快照、动动态分级级存储等功功能。FFileeStoore软软件及应应用架构构示意图图如下图图所示。FFileeStoore软软件由核核心层的的CFSS、CVVM软件件和用户户层的各各类NAAS服务务应用组组成。FFileeStoore软软件部署署于集群群NASS引擎节节点（NNodee）上，集集群N
9、AAS引擎擎节点可可通过集集群方式式扩展，提提供全AActiive的的集群架架构。所所有节点点可访问问同一个个共享存存储空间间，对外外可通过过以太网网向上层层应用提提供NAAS业务务。图 2 FFileeStoore 软件及及应用架架构示意意图2.3 集群NASS引擎NAS引擎擎是集群群软件运运行的硬硬件平台台，通过过与FiileSStorre软件件的配合合，将后后端存储储提供的的卷以NNAS方方式提供供给客户户使用，需需要较好好的I/O处理理能力、网网络带宽宽和可靠靠性。2.4 交换设备配配置在N85000集群群NASS软件中中，集群群节点间间的通讯讯通过专专用的心心跳网络络来实现现，同时时
10、，连接接多套存存储单元元时需要要光纤交交换设备备。心跳跳网络对对交换机机的带宽宽要求低低，光纤纤交换设设备要求求支持88Gb接接口。当当选择的的节点数数超过22个时，需需要额外外配置22台以太太网交换换机，作作为集群群NASS的心跳跳链路使使用。2.5 存储单元配配置支持S26600TT、S555000T、SS56000T、SS58000T、SS68000T存存储系统统。上述述所有类类型的存存储单元元，均可可以向下下细分为为两个组组件，即即控制框框和硬盘盘框，其其中控制制框包含含了控制制器及控控制软件件，硬盘盘框用于于磁盘容容量扩展展。在N85000集群群NASS存储系系统中，将将控制框框称之
11、为为存储单单元控制制框，将将硬盘框框称之为为存储单单元硬盘盘框。存存储单元元控制框框前可增增加型号号的描述述区分各各种型号号，如SS5x000T存存储单元元控制框框。2.6 管理子系统统N85000集群NNAS存存储系统统提供GGUI和和CLII两种管管理方式式。GUUI支持持NASS引擎和和存储单单元统一一管理，CCLI仅仅支持NNAS引引擎和存存储单元元独立管管理。另另外有些些高级功功能及部部分系统统配置功功能仅适适用CLLI支持持，面向向高级管管理维护护人员。3 组网以及环环境要求求3.1 集群NASS存储系系统图 3 NN85000集群群NASS存储系系统关系系图3.2 NAS/SSA
12、N一一体化典典型组网网图 4 SSAN、NNAS一一体化典典型组网网组网说明：N85000系统的的NASS、SAAN一体体化体现现为从后后端单元元直接提提供FCC或iSSCSII接口，提提供FCC-SAAN和IIP-SSAN的的组网方方式供用用户业务务使用，使使用S226000T、S555000T、SS56000T、SS58000T或或S68800TT时，由由于后端端单元可可提供较较多的接接口，在在提供NN85000集群群节点使使用之余余，其余余接口可可作为SSAN接接口使用用。在N85000系统统中，仅仅使用了了存储单单元的部部分端口口，此外外，在引引擎节点点数量比比较少或或使用交交换形态态
13、的情况况下，可可以根据据需要配配置100Gbpps iiSCSSI扣卡卡，从而而为用户户提供万万兆IPP SAAN；若若用户有有SANN的需求求，则可可以在阵阵列上将将未使用用的磁盘盘空间（以以LUNN为单位位）通过过空闲的的FC端端口或iiSCSSI/110Gbbps iSCCSI端端口提供供给用户户使用，达达到NAAS/SSAN一一体化的的效果，在在这种组组网下，用用户的具具体网络络环境可可能为无无域的环环境、AAD域环环境、NNIS域域环境或或LDAAP域环境等等。3.3 数据备份组组网N85000集群NNAS存存储系统统支持两两种备份份方式，一一是通过过集成的的NettBacckupp
14、客户端端进行备备份；二二是通过过NDMMP协议议进行备备份。两两种备份份方式的的组网如如图示：图 5 使使用NBBU客户户端备份份方式组组网组网说明：使用NBUU客户端端进行备备份时，需需要环境境中包含含NBUU服务器器(包括括Massterr Seerveer和MMediia SServver)，如果果使用DDNS，则则要求DDNS服服务器能能对NBBU服务务器进行行正确解解析，网网络连接接好后在在N85500系系统上配配置NBBU服务务器相关关的信息息，然后后在NBBU MMastter Serrverr上进行行备份策策略等配配置后，备备份即可可按照设设置的策策略正常常进行，数数据流从从N
15、85500引引擎经MMediia SServver后后备份到到后端介介质，无无需再进进行干预预。图 6 使使用NDDMP备备份组网网组网说明：使用NDMMP协议议进行备备份时，当当前版本本支持通通过LAAN进行行备份的的方式，即即备份数数据通过过IP网网络进行行传输，备备份采用用的协议议为标准准的NDDMP协协议。在在采用基基于IPP网络的的NDMMP备份份时，同同样需要要有备份份服务器器（如NNBU），由由备份服服务器连连接备份份介质（磁磁带库设设备），根根据备份份软件的的不同，可可能需要要相应的的选件支支持，如如使用NNBU时时需要备备份服务务器上安安装有远远程NDDMP选选件，在在进行备
16、备份时，NNDMPP控制信信息由备备份服务务器下发发到N885000系统，NN85000系统统根据控控制命令令进行备备份，将将备份数数据通过过IP网网络传送送到备份份服务器器的相关关模块（如如NBUU的Meediaa Seerveer）再再由该模模块写入入备份介介质。3.4 系统运行环环境N85000集群NNAS存存储系统统通过SSAN共共享技术术将存储储阵列提提供的卷卷虚拟成成可同时时供多个个集群节节点使用用的逻辑辑卷，在在此基础础上，通通过NFFS共享享、CIIFS共共享、FFTP等等方式为为用户提提供文件件服务。对最终用户户来说，N8500集群NAS存储系统就是一个文件服务器，用户通过该
17、文件服务器存取文件。用户所在的环境可能是比较复杂的，如AD域、NIS域、LDAP等环境，需要N8500系统也能支持这些环境，因此，在N8500中也提供了这些域环境的支持，用户只需要进行相应的配置即可将N8500在现有的域环境中运行起来供应用主机访问。4 软件特性4.1 集群文件系系统4.1.1 技术背景N85000系统的的集群架架构，采采用全互互联的组组网机制制，对称称式集群群设计，实实现集群群节点的的全局命命名空间间，从而而允许集集群任何何节点并并发访问问任何文文件系统统的任何何文件；并且支支持文件件内的细细粒度的的全局锁锁，提供供从多个个节点并并发访问问相同文文件的不不同区域域，实现现高并
18、发发读写，最终终达到高高性能访访问系统统。4.1.2 技术原理 数据通道全全互联技技术原理理N85000系统分分为引擎擎单元和和存储单单元，存存储单元元处理数数据块的的存储，引引擎单元元提供集集群文件件系统的的逻辑功功能。引引擎单元元和存储储单元通通过直连连全互联联，或者者交换网网络实现现全互联联，从任任何一个个引擎节节点都能能够访问问到任何何一个存存储单元元，从而而保证数数据通道道的畅通通无阻，并并且提供供冗余路路径实现现高可靠靠性，如如下图所所示。图 7 数数据通道道全互联联技术对于N85500系系统的典典型配置置，两个引擎擎节点连连接到存存储单元元，每个个节点都都有路径径连接到到阵列的的
19、双控端端口中，从从而实现现全互联联，并且且提高冗冗余链路路；对于于N85500系系统的典典型配置置，引擎擎节点通通过冗余余的交换换机连接接到存储储单元，每每个存储储单元也也分别连连接到冗冗余交换换机，从从而形成成全冗余余的组网网。 通信通道全全互联技技术原理理N85000系统的的引擎节节点之间间需要相相互通信信，提供供集群节节点的统统一视图图，保证证元数据据/数据据处理的的一致性性。节点点之间采采用双通通道连图图，冗余余互联，保保证通信信通道的的高效可可靠。图 8 通通信通道道全互联联技术N85000系统的的2引擎擎节点典典型配置置下，每每个节点点提供22条链路路到另外外一个节节点，从从而即使
20、使一条链链路故障障时，也也能保证证通信链链路的可可靠性。NN85000系统统的多引引擎节点点，则是是连接到到2个交交换机上上面，从从而提供供冗余通通信平面面，保证证可靠性性。 全局存储空空间管理理技术原原理N85000系统在在数据通通道和通通信通道道实现全全互联的的基础上上，采用用集群卷卷管理技技术，提提供了全全局的存存储空间间管理。也也就是说说，在集集群中的的任何节节点能够够以相同同的卷设设备名字字访问同同一存储储空间，保保证块设设备访问问的一致致性，如如图9。图 9 全全局存储储空间管管理技术术 高效的集群群锁技术术原理N85000系统需需要在节节点之间间传递元元数据/数据，而而为了保保证
21、数据据的一致致性，提提供了GGLM(Glooball loock mannageer)集集群锁技技术，如如图100所示。图 10 高效的的集群锁锁技术N85000系统的的GLMM集群技技术是构构建在LLLT(Loww Laatenncy Traanspportt)/GGAB(Grooup Memmberrshiip aand Atoomicc Brroaddcasst)底底层通信信基础上上，该通通信层直直接构建建在以太太网二层层协议上上，而不不是TCCP/IIP层上上。考虑虑到集群群通信主主要传送送的锁信信息，通通常帧都都比较小小，而TTCP/IP包包会带来来额外的的大帧头头开销；同时集集群通
22、信信主要在在私有网网络内传传递，对对TCPP/IPP在广域域网的超超时重传传、滑动动窗口没没有太多多需求。所以，LLLT针对对集群锁锁通信需需求，直直接利用用以太网网帧传送送包，从从而达到到提高利利用率的的目的，并并且设计计自己的的流量控控制、超超时重传传、以及及重复帧帧处理，实实现高效效传输。同时，针对对集群多多引擎节节点通信信的原子子要求，设设计了GGAB模模块，它它保证通通信的原原子性；也就是是说，保保证在集集群多引引擎节点点中，消消息要么么被所有有引擎节节点受到到并确认认，要么么所有引引擎节点点都丢弃弃该消息息，从而而不会出出现部分分确认消消息、部部分丢弃弃消息的的中间状状态。 对称式
23、元数数据处理理技术原原理N85000系统中中，元数数据分为为了不同同的类型型，比如如：超级级块、日日志区、分分配单元元(AUU, AAlloocattionn Unnit)、INNODEE。这些些元数据据具有不不同的属属性，分分别对不不同的数数据管理理负责，比比如，超超级块对对整个集集群文件件系统的的数据负负责，而而INOODE则则是针对对单独的的那个文文件负责责。图 11 对称式式元数据据处理技技术在元数据分分类的基基础上，N8500系统的每个引擎节点就可以担当不同元数据处理的责任主体。如图-11所示，第一个引擎节点负责超级块的更新修改，其他节点需要对元数据的处理，都把请求发送给他；第二个引
24、擎节点负责文件F1的INODE元数据更新修改，其它节点需要操作F1文件，都需要把请求发送给该引擎节点。同时，在任任何引擎擎节点故故障后，都都可以把把该节点点负责的的元数据据处理转移移到其他他任何引引擎节点点上，从从而实现现对称式式的元数数据处理理，实现现元数据据处理的的负载均均衡，提提高元数数据处理理的效率率。 全局名字空空间技术术原理N85000系统采采用对称称式的设设计架构构，每个个节点都都可以参参与处理理元数据据，从而而很容易易形成全全局名字字空间，让让系统的的每个处处理节点点都能够够读写相相同的文文件系统统，实现现节点之之间的并并发访问问，如图图12所示示。图 12 全局名名字空间间技
25、术根据元数据据的分类类、分片片，让每每个节点点都能参参与元数数据的处处理，减减少节点点之间转转发元数数据/数数据请求求的通信信量，实实现负载载均衡。 集群多节点点并发访访问技术术原理N85000系统提提供了全全局的命命名空间间，从而而实现了了多个节节点可以以并发访访问同一一个文件件系统。除除此之外外，N885000系统还还提供全全局锁机机制，保保证不同同节点访访问相同同文件系系统相同同文件并并发访问问的一致致性，通通过细粒粒度的锁锁设计，保保证系统统的并发发性，如如图133所示。图 13 集群多多节点并并发访问问技术当不同节点点访问文文件F11的不同同区域时时，通过过该文件件的所有有者(OOw
26、neer)进进行仲裁裁，如果果没有其其他节点点访问对对应区域域，则允允许该节节点读写写数据；如果发发现有其其他节点点访问该该区域，则则出现冲冲突，该该所有者者就会让让新请求求等待，直直到读写写该区域域的请求求完成，然然后通知知等待该该区域的的节点竞竞争锁。通通过此机机制，实实现了集集群多节节点范围围内的一一致锁所所处理；同时，通通过细粒粒度的区区域锁设设计，保保证高并并发。4.1.3 技术特点N85000集群存存储系统统采用全全Acttivee、全共共享设计计。文件件系统为为所有引引擎节点点共享而而不是与与特定节节点绑定定，所有有引擎节节点可以以并发访访问同一一文件系系统，不不存在负负荷热点点
27、问题。N8500所有引擎节点互为备份，某一节点故障时，故障节点原来承担的应用可以切到其它在线节点。N8500所有节点提供业务，互为备用，具有更高的系统可靠性和资源利用率。4.2 快照技术4.2.1 技术背景N85000集群NNAS存存储系统统中的文文件系统统快照，支支持生成成源文件件系统在在某个时时间点上上的一致致性映像像，在不不中断正正常业务务的前提提下，快快速得到到一份与与源文件件系统一一致的数数据副本本。副本本生成之之后立即即可用，并并且对副副本的读读写操作作不再影影响源文文件系统统中的数数据。因因此通过过文件系系统快照照技术就就可以解解决如在在线备份份、数据据分析、应应用测试试等难题题
28、。用户户可以通通过多种种方法使使用存储储检查点点。例如如，它们们可用于于： 创建可可以备份份到磁带带的文件件系统的的稳定映映像。 提供源源文件系系统的磁磁盘备份份，在意意外删除除情况下下，最终终用户可可以恢复复自己的的文件。 在安装装修补程程序之前前，创建建应用程程序的二二进制副副本，以以允许出出现问题题时进行行还原。 创建文文件系统统的磁盘盘备份，可可用作传传统的基基于磁带带备份的的补充，从从而提供供更快的的备份和和恢复功功能。4.2.2 技术原理N85000的文件件系统快快照采用用了写前前拷贝（ccopyy-onn-wrritee）技术术方式来来实现，其其实现原原理如下下：1、 在文件系统
29、统未进行行任何快快照前，数数据写入入动作与与未创建建快照的的文件系系统一样样：对数数据的任任何修改改操作，会会直接写写入文件件系统中中对原有有数据进进行覆盖盖，原有有数据不不会被保保留。2、 为文件系统统创建快快照时，首首先会冻冻结该文文件系统统，创建建一个没没有任何何实际数数据的快快照文件件集，快快照文件件集仅包包含指向向主文件件系统的的一组指指针。由由于不需需要拷贝贝数据，因因此整个个过程耗耗时极少少，从一一秒以内内到数秒秒不等，与与文件系系统中的的文件数数量有关关。N885000中的快快照文件件集与主主文件系系统共同同使用文文件系统统空间，无无需单独独为快照照分配特特定的空空间。图 14
30、 主文件件系统及及其快照照文件集集3、 刚创建的快快照不包包含任何何实际数数据，只只包含指指向主文文件系统统的一组组指针，当当用户访访问快照照时，实实际上访访问的是是主文件件系统中中的数据据。当主主文件系系统的数数据发生生变化后后，首先先旧数据据被拷贝贝到快照照文件集集中，然然后新数数据才会会写到主主文件系系统中（即即coppy-oon wwritte）。图 15 新生成成快照图 16 主文件件系统数数据更新新4、 随着主文件件系统不不断被更更新，原原有的数数据块会会逐渐的的拷贝到到快照文文件集中中，但如如果需要要更新的的块已经经被快照照文件集集保存过过一次，这这时就不不会发生生拷贝操操作，只
31、只更新主主文件系系统即可可，因为为快照文文件集所所映像的的只是生生成快照照时刻的的主文件件系统映映像。5、 当用户需要要恢复出出快照点点时刻的的数据时时，可通通过快照照数据的的回滚快快速实现现，通过过回滚，文文件系统统可将数数据恢复复到快照照点时刻刻，从而而避免了了快照点点后因为为人为的的错误或或者病毒毒的入侵侵等引起起的源文文件系统统损坏造造成的数数据丢失失。需要要说明的的是，快快照的回回滚是不不可逆的的，回滚滚只能将将数据恢恢复到某某一特定定的时间间点，但但该时间间点到故故障点之之间的数数据将会会丢失。如如果仅仅仅是特定定的几个个文件被被损坏、误误修改、误误删除，则则无需进进行整个个文件系
32、系统的回回滚，直直接从特特定时间间的快照照文件集集中将这这些文件件恢复到到主文件件系统中中即可。6、 当快照被删删除后，指指向主文文件系统统的指针针和写入入时拷贝贝数据都都将被清清空，快快照创建建时间点点的数据据变为不不可用。7、 从上面的过过程可以以看到，当当快照创创建后，无无论后续续的数据据怎样的的读写和和改变，只只要快照照不被删删除，我我们均能能够及时时的获取取到快照照创建时时间点的的数据。4.2.3 技术特点 可写快照N85000中的文文件系统统快照可可以为用用户提供供读写业业务，用用户可通通过创建建快照方方便的重重定义数数据用途途，实现现诸如测测试、备备份、归归档等各各类操作作。对快
33、快照的修修改操作作，需要要说明的的是，如如果对某某一快照照执行了了写操作作，那么么该快照照将不再再是快照照创建时时间点的的一致性性映像，不不能使用用该快照照进行文文件系统统回滚。图 17 对快照照进行数数据更新新 快速数据恢恢复对于传统的的离线备备份，备备份数据据无法直直接在线线读取，必必须经过过较长时时间的数数据恢复复过程才才能够获获得原数数据在备备份时间间点的可可用副本本，从而而实现数数据的还还原。NN85000的文文件系统统快照可可以直接接从快照照中恢复复出快照照时间点点的数据据，从而而实现了了方便的的数据回回滚。 循环定时快快照，实实现持续续数据保保护N85000对同一一文件系系统支持
34、持多个时时间点的的快照，用用户可以以定制策策略定时时自动进进行快照照的创建建操作。当当多个时时间点的的快照采采用循环环的方式式沿时间间轴向前前推进自自动操作作时，就就非常方方便且低低成本的的实现了了持续数数据保护护。 快照对性能能的影响响在文件系统统中使用用快照并并非对系系统性能能没有影影响。在在文件系系统中创创建快照照后，读读操作的的性能不不会受到到影响，但但却增加加了写操操作的复复杂度。当当原文件件系统数数据更新新较大时时，写操操作增加加，系统统性能有有一定的的降低。4.3 动态分级存存储技术术4.3.1 技术背景N85000动态分分级存储储特性的的主要价价值是降降低平均均联机存存储硬件件
35、成本，而而又不会会相应地地增加管管理的复复杂性。重要的文件放置在高可用性、高性能（相应地，成本也非常高）的存储设备上；不太重要的文件放置在成本较低的、性能和可用性规格较低的设备上。N85000动态分分级存储储特性可可自动将将文件重重定位到到正确类类型的存存储设备备上，而而不更改改它们在在文件系系统命名名空间中中的逻辑辑位置。由由于物理理重定位位的文件件保留在在相同的的逻辑位位置上，因因此使用用动态分分级存储储特性可可以不需需要对应应用程序序配置和和操作步步骤进行行更改。对对于应用用程序和和用户而而言，动动态分级级存储中中的文件件重定位位是透明明的。NN85000动态态分级存存储包括括两部分分：
36、支持持多卷文文件系统统，以及及在由文文件系统统管理的的存储内内基于策策略自动动迁移文文件。4.3.2 技术原理 多卷文件系系统的属属性N85000可以构构建多个个文件系系统，并并让这些些文件系系统的逻逻辑命名名空间分分布在多多个存储储卷上。构构建文件件系统所所使用的的各个卷卷被称作作该文件件系统的的卷集。卷卷集中的的各个卷卷是从单单个存储储单元中中的 LLUN 配置的的。事实实上，占占用多个个卷的文文件系统统对于应应用程序序是透明明的。该该文件系系统中的的所有文文件都是是同一命命名空间间的一部部分，在在访问和和处理这这些文件件时就如如同它们们全部占占用单个个卷一样样。基于文件系系统的卷卷存储层
37、层相对于于基于硬硬件的多多层存储储方法有有一个重重要的优优点。与与基于硬硬件的解解决方案案（它的的各个层层都基于于由磁盘盘阵列提提供的 LUNN）不同同的是，N8500卷可以是任何需要的容量和配置，如果有 I/O 性能或容错需要，甚至可以跨接多个N8500存储单元。N85000动态分分级存储储特性所所使用的的文件系系统必定定是多卷卷文件系系统。 使用放置级级别以管管理文件件位置多卷文件系系统的管管理员可可以通过过定义文文件放置置策略（可可控制初初始文件件位置和和重定位位现有文文件的环环境）来来控制卷卷集内的的文件位位置。文文件放置置策略由由一些规规则组成成，这些些规则将将文件的的位置限限制为由
38、由管理员员定义的的、文件件系统卷卷集中各各个卷的的子集。这这些子集集被称为为放置级级别。通通常，用用存储层层来标识识放置级级别。根根据策略略规则，将将在指定定的放置置级别中中创建和和扩展一一些文件件，并当当这些文文件满足足某些与与命名、活活动、访访问率以以及大小小相关的的限定条条件时，将将它们重重定位到到其他放放置级别别。例如，下图图中表示示一个 N85500 多卷文文件系统统，该系系统的卷卷集由两两个分别别名为 tieer1、tieer2 的放置置级别组组成。这这样的卷卷集可用用于包含含重要文文件 (tieer1)，以及及大量非非活动的的文件 (tiier22) 的文文件系统统。图 18 N
39、85500多多卷文件件系统示示意图 文件放置策策略根据文件系系统的活活动文件件放置策策略，可可将文件件动态放放置在文文件系统统卷集的的各个卷卷之间。文文件放置置策略由由用来管管理文件件的初始始位置和和随后的的重定位位的各个个规则组组成。这这些规则则定义了了三方面面的内容容，一是是文件写写入文件件系统时时的初始始位置，用用户可以以自定义义文件写写入时放放置于哪哪一个卷卷集中；二是文文件如何何从存放放热点数数据的卷卷集重定定位到存存放非活活动文件件的卷集集，N885000系统中中，该规规则设定定为指定定时间长长度内，未未进行访访问的文文件则需需进行重重定位；三是文文件如何何从非活活动文件件的卷集集
40、重定位位至存放放热点数数据的卷卷集，NN85000系统统中，该该规则设设定为若若文件平平均访问问热度超超过指定定值，则则将这些些文件进进行重定定位。策略规则将将初始分分配目标标和重定定位目标标指定为为按优先先顺序排排列的放放置级别别的列表表。如果果空闲空空间允许许，则在在列表中中的第一一个放置置级别中中分配文文件；如如果在第第一个放放置级别别中没有有可用的的空闲空空间，则则在列表表中的第第二个放放置级别别中分配配文件，依依此类推推。 执行文件放放置策略略执行文件放放置策略略时将实实施文件件重定位位，可按按需手动动进行重重定位操操作，也也可通过过一个时时间表策策略定期期进行，此此操作与与初始分分
41、配类似似。如果果有可用用的空间间，则将将文件重重定位到到规则中中列出的的第一个个放置级级别中，如如果第一一个放置置级别中中没有可可用的空空间，则则将文件件重定位位到第二二个放置置级别中中。文件件重定位位基于一一些必要要的限制制条件，例例如：在在一段指指定的文文件是否否未被访访问、文文件的访访问热度度。若文文件放置置策略未未能执行行，那么么，即使使某些文文件已经经满足重重定位的的条件，重重定位操操作也不不会实施施。只有有当文件件放置策策略执行行时，文文件系统统才会对对这些限限制条件件的满足足情况进进行判断断，并且且对符合合条件的的文件实实施重定定位。 计算文件的的访问热热度动态分级存存储特性性的
42、重要要应用是是将非活活动文件件从高性性能存储储区自动动重定位位到低成成本存储储区，或或是将热热点文件件从低成成本存储储区自动动重定位位到高性性能存储储区。NN85000系统统通过平平均访问问热度来来判定文文件是否否为热点点文件。文件的平均均访问热热度是在在指定数数量的时时间段内内文件的的读取或或写入请请求数除除以时间间段数。与与 I/O 热热度不同同，访问问热度与与文件大大小无关关；一个个在 22 天的的时间段段内有 20 次 II/O 请求的的大文件件与一个个在 22 天的的时间段段内被访访问过 20 次的小小文件具具有相同同的平均均访问热热度。 数据的自动动迁移N85000的DSST策略略
43、制定中中，可基基于文件件访问频频率策略略，自动动将文件件从一级级存储迁迁移至二二级存储储，或将将文件自自动从二二级存储储回迁至至一级存存储，对对业务主主机透明明。 卷的可访问问性：分分级存储储的重要要假定动态分级存存储特性性背后存存在一个个通常未未表述出出来的重重要假定定，即：系统正正常工作作时并不不要求所所有存储储设备总总是可访访问的。企企业通过过将数据据存储在在容错功功能较低低的设备备上，默默认表示示这些数数据对企企业运营营的重要要性不及及存储在在容错能能力较高高的设备备上的数数据。极极端情况况下，如如果企业业将数据据存储在在没有容容错能力力的设备备上，则则默认表表示即使使没有这这些数据据
44、企业也也能够正正常运营营，至少少在安装装替换存存储设备备并从备备份副本本中恢复复这些数数据所需需的时间间段内是是这样的的。如果常规数数据中心心内的某某个存储储设备不不可用，则则无法装装入该存存储设备备上的文文件系统统，而且且使用该该文件系系统的应应用程序序也无法法运行。不不过，对对于多卷卷文件系系统，要要使文件件系统正正常工作作，只需需要最关关键的数数据必须须是可访访问的；包含非非关键数数据的存存储设备备不必是是可访问问的。与任何商业业文件系系统类似似，VxxFS 多卷文文件系统统必须可可以访问问其所有有元数据据才能正正常工作作。但是是 VxxFS 文件系系统不需需访问任任何特殊殊用户文文件的
45、数数据就可可以装入入和运行行。例如如，如果果由于包包含某些些文件的的数据的的卷出现现故障，导导致这些些数据不不可访问问，则需需要这些些文件的的应用程程序无法法运行，但但是文件件系统可可以像往往常一样样工作。由由此可以以得出一一个结论论：应将将多卷文文件系统统的元数数据放置置在其卷卷集中容容错能力力最好的的卷上，而而用户文文件的数数据可以以放置在在与该文文件的商商业价值值相称的的卷上。 元数据放置置VxFS 为文件件系统卷卷集中的的每个卷卷都提供供了一个个 daataoonlyy 标记记，从而而可以对对元数据据的放置置进行管管理控制制。如果果已为某某个卷设设置 ddataaonlly 标标记，则
46、则 VxxFS 仅在其其上存储储用户文文件数据据，而不不存储元元数据。未未设置 dattaonnly 标记的的卷可以以存储元元数据和和用户数数据。VxFS 文件系系统卷集集中的第第一个卷卷必定可可以存储储元数据据（名为为 meetaddataaok 的属性性）。默默认情况况下，VVxFSS 在文文件系统统创建时时或在向向卷集中中添加卷卷时，设设置所有有其他卷卷的 ddataaonlly 标标记。通过将卷指指定为 dattaonnly，管管理员可可以阻止止 VxxFS 在该卷卷上存储储任何文文件系统统元数据据。仅应应使文件件系统的的容错功功能最好好的卷有有资格存存储元数数据。N85000动态分分
47、级存储储特性默默认将分分级存储储文件系系统的第第一个放放置级别别定义为为高性能能存储区区，该存存储区所所使用的的卷默认认拥有mmetaadattaokk属性；而第二二个放置置级别定定义为低低成本存存储区，该该存储区区所使用用的卷默默认设置置dattaonnly标标记。因因此文件件系统元元数据将将全部存存放于第第一个放放置级别别中。 可部分访问问的文件件系统即使多卷文文件系统统中的某某些甚至至全部 dattaonnly 卷不可可访问，仍仍可以装装入和访访问VxxFS 多卷文文件系统统。尽管管仍可以以对不可可访问的的卷进行行纯粹的的元数据据操作（如如所有权权或权限限更改），但但存储在在这些卷卷上的文文件中的的数据是是无法访访问的。不不过，其其数据位位于可用用卷上的的文件是是可访问问的，VVxFSS 可以以处理所所有文件件系统元元数据。新文件的空空间分配配操作会会因没有有可用于于元数据据的空闲闲