《HCIP-Storage V5.0 学习指导.docx》由会员分享，可在线阅读，更多相关《HCIP-Storage V5.0 学习指导.docx（157页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、华为认证Storage系列教程HCIP-Storage学习指导HUAWEI华为技术有限公司HUAWEI解决问题：SSD盘相对磁盘，Flash颗粒具有擦写次数的限制。在传统RAID的覆盖写 的方式下，如果某块盘上的数据成为了热点，那么对这些数据的不断改写，就会导致对应的 Flash颗粒的擦写次数很快的耗尽。ROW满分条大块顺序写：盘控配合,也是华为OceanStor Dorado V6的一大特点， FlashLink-ROW大块顺序写机制，是指OceanStor Dorado V6基于自研SSD ,控制器感知硬 盘内数据布局，从而把多段小块离散写，通过聚合成一个连续的大数据块写操作，顺序写入 S
2、SD。使得RAID5 , RAID6和RAID-TP都只用做一次10操作，不用产生小块离散写带来的 多次读写操作。在写性能上RAID5 , RAID6和RAID-TP性能相似，不再有明显差异。3)冷热数据分流识别系统中的冷热数据,通过SSD盘和控制器的配合，提升垃圾回收的性能，减少盘内 SSD颗粒擦写次数，延长SSD盘的使用寿命。垃圾回收：在SSD的垃圾回收过程中，对于每次擦除的Block , SSD硬盘期望该Block 中所有数据都是无效数据，这样就可以直接擦除整个Block ,而不用搬移有效数据，可以减少 系统的写放大。多流技术：不同修改频率的数据写到不同的SSD block上，减少垃圾回
3、收。数据与元数据分流：元数据修改频率高，与数据写到不同的SSD区域。新写数据与垃圾回收数据分流：垃圾回收的数据与新写的数据冷热也不一样，写到不同 的SSD区域。5 ) 10优先级调整10优先级处理，针对不同的10类型，进行资源优先级匹配，确保不同10按照相应的 SLA得到处理。就如同高速公路，有内外道以及紧急通道之分，确保不同类型的车辆均能快 速通过。6)智能盘框采用最新一代自研智能硬盘框，硬盘框内有CPU和内存资源，能够对盘故障重构等任务 进行卸载，减轻控制器的负载，实现在盘故障场景下，重构对业务性能无影响。传统硬盘框重构过程：RAID 6(21+2)为例。数据盘D1故障,控制器就需要把数据
4、盘 D2-D21 ,以及P列读到控制器，再重新计算出D1。总共需要从盘上读21个数据块。再加上 重构计算，对控制器CPU开销较大。智能硬盘框的重构：读数据的命令分发到智能硬盘框中，智能硬盘框在本地读数据，并 用这些数据计算校验数据后，只需要将校验数据传输到控制器，大幅节省网络带宽。存储控制器任务卸载分担：每个智能硬盘框内有2个控制板，内置鳗鹏芯片CPU和内存 资源。智能硬盘框从阵列控制器接管一些工作负载，把数据重构的工作卸载到智能硬盘框上实 现。HUAWEI元数据映射项本身可标识指定时间点区间内的增量数据修改地址。用户能按需部署容灾集群，该集群是提供复制服务的逻辑对象，用于管理容灾集群内集 群
5、节点、集群元数据、复制pair、一致性组。容灾集群可以部署在存储节点上，也可以部署在 独立服务器上。容灾集群具有良好弹性扩展能力，单容灾集群3节点起步、最大64个节点， 整系统最大支持8个集群；单容灾集群支持64000个卷和16000个一致性组，满足后续快速 增长的容灾业务需求。当主站点的主卷和远端从站点的从卷建立异步远程复制关系后，会启动一个初始同步， 初始同步完成后，从卷的数据状态变为完整，然后按照下面流程处理（见下图）。主卷接收生产主机的写请求。写请求数据写入主卷后，立即响应主机写完成。每当间隔一个同步周期（由用户设定，标准版软件支持同步周期可设置范围为60秒- 1440分钟,高级版软件
6、支持的同步周期可设置范围为10秒-1440分钟），会自动启动一个将 主卷数据增量同步到从卷的同步过程（如果同步类型为手动，则需要用户来触发同步）。在同 步开始时，先对主卷生成同步快照：主卷的同步快照可以保证同步过程中读取到的主卷数据是 具备一致性的。同时，对从卷生成同步快照：从卷的同步快照用于备份从卷在同步开始前的数据，避免 同步过程发生异常导致从卷的数据不可用。主卷向从卷同步数据时，读取主卷快照的数据，复制到从卷。同步数据完成后，分别删 除主卷和从卷的同步快照。HUAWEI图38块I员务异步复制示意图主站点从站点Primary siteHUAWEI双活基于A、B两个数据中心的两套华为分布式存
7、储块服务集群构建双活容灾关系，基于两 套分布式存储块服务的卷虚拟出一个双活卷，两数据中心业务的主机能同时对卷进彳亍读写。任 意数据中心故障，数据零丢失，业务能自动切换到另外一个站点运行，保证业务连续性。块服务的双活支持增量同步，当一个站点发生故障时，按照系统的仲裁机制，会由仲裁 获胜的站点提供业务，I。请求由双写转为单写，当故障站点系统恢复后,支持将故障过程中 发生变化的数据同步到恢复的站点，快速恢复系统。同时，块服务增加了对逻辑写错误的处理，当系统正常运行，但是一端I0返回写失败的 场景，支持将I0重定向写到正常的站点，写失败的站点故障修复以后，支持将增加的数据同 步回来，减少逻辑写错误导致
8、上层应用切换的问题。块服务双活能跟上层Oracle RAC、VMware等应用配合，推荐数据库场景部署距离小于 100公里，VMware平台的部署距离小于300KM.（具体的兼容性信息请查阅华为存储兼容 性网站: ）图39块服务双活示意图数据中心A数据中心BHUAWEIData center AData center AHostB3. The host delivers I/O 2. 4ApplicationclusterCross-site active-activecluster)Data center Bdelivers I/O 1.HyperMetro Volume4. The sys
9、tem performs dualwrite for I/O 2 but detects a lock conflict.5. The system forwards I/O 2.processing I/O 1, the system processes I/O 2.2. The system performs dualwrite for I/O 1 and adds a local lock for the space storing I/O 1 at both sites.HyperMetromember volume _HyperMetromember volume关键技术io读写关键
10、技术双活正常状态，双端站点都支持主机业务读写，任一端站点接收到主机的读写请求会执 行下面操作。主机读io请求，直接访问本端站点卷的数据，返回给主机:主机主机写IO请求，数据同时写入本地卷和远端卷后返回给主机:HUAWEI双活正常状态，本端站点出现存储池故障，双活断开，由远端站点继续提供业务（本端 站点不可读写）。在本端站点开启IO重定向开关之后，支持将本端站点的主机读写IO重定 向到远端进行访问（仅支持SCSI协议）。 多复制集群和弹性犷展OceanStor 100D块服务双活能按服务化方式提供双活容灾业务，在需要开启双活业务时 才部署复制集群。复制集群提供性能和双活Pair数量的线性扩展能力
11、，当业务规模增加导致 复制集群提供的性能或者双活Pair数不够时，可以在不中断业务的情况下通过扩容增加复制 集群内的节点来在线扩展复制集群的能力，单集群最大能够管理64个节点。单个复制集群最 多可以与2个远端复制集群建立双活关系（同一个卷只能创建一个双活关系pair）, 一套 OceanStor 100D块服务系统内的多个复制集群之间不支持建立双活关系。HUAWEI复制集群B1OceanStorlOOD BOceanStorlOOD A复制集群C1OceanStorlOOD C当双活业务规模超过一个复制集群最大能力或者部分租户有专用复制集群的需求，可以 通过新建另外一个套复制集群满足需求，一套
12、OceanStorlOOD块服务最大支持8个复制集 群。 跨站点数据可靠性技术原理1 ）数据跨站点镜像原理双活卷上的数据需要保证在两个站点的存储池实时一致，因此在主机下发写请求时,需 要确保数据在两个站点的存储池都写成功才返回。同时为了处理在双写过程中出现异常（如一 个站点存储池出现故障或者站点间链路断开情况等），数据只在一个站点写成功，需要在双写 前先记录日志，当故障恢复后通过日志进行差量信息同步。其中日志只记录写请求的基本信 息，不带数据。HUAWEI如数据中心A存储收到写I/O,镜像处理流程如下：主机从Site A下发IO写请求。先向Site A的存储池上记录写前Log。写前Log处理完
13、毕。Site A的块服务集群向本地存储池写入数据,同时将写请求发送远端集群。本端写入数据成功，远端数据写入成功并返回本端集群写成功。本端和远端都写入数据成功，删除写前Log ,返回主机IO写成功。注：本端或者远端存在其中一端写失败时,双活进行断开处理，写成功端继续提供业 务，写失败端不提供业务，并将写前Log转成差异记录，双活关系恢复时基于差异记录进行 增量同步。2）数据一致性保证原理在双活容灾场景下，两个站点都能同时进行读写业务，如果应用在同一个时间点对卷同 一个位置进行读写，存储层需要保证在该场景下两个站点的数据是一致的。HUAWEI数据中心A数据中心B块服务双活实现了双站点的AA并发访问
14、，两个站点都能同时对同一个卷进行读写业 务。如果不同主机在同一个时间点对同一卷的相同进行读写，存储系统必须保证在该场景下两 个站点的数据一致性。分布式系统中解决并发I0写冲突常用的方式是采用分布式锁机制。每 次主机来访问卷的时候，先向跨站点的分布式锁服务申请加锁，在取得锁之后才可以对访问的 卷进行写操作，而未能获取锁的写请求只能等待锁释放。该种机制带来的问题是，每次写操作 都需要申请锁，跨站点交互增多；同时系统的并发性比较差，尤其是两个同时修改的地址本身 不存在冲突的情况下也需要串行处理，从而导致数据在双写时效率低下，性能影响比较大。块服务双活采用乐观锁机制，即总是乐观的认为并发的写操作在处理
15、时并不冲突，各主 机的写操作请求在不申请锁的情况下各自处理自己的事务，直到提交的时候才去检查所修改的 数据是否有冲突。当块服务检测到主机对同一存储地址的数据修改存在冲突时,才将并发访问 请求转为串行处理，从而保证两个站点的数据一致性。如图所示，两个数据中心的主机均对双活卷进行写操作，在写地址不冲突的情况下，各 自I0对双活卷进行双写操作。如果主机A在提交I02的时候检测101正好也在修改相同地址 的数据（通过本地范围锁可以检测到修改的地方是否冲突），那么主机A的I02的写请求将 转发到对端，由处理101的存储集群进行双写操作,实现101和I02的串行处理相比分布式锁的方式，乐观锁机制不需要跨站
16、点的锁服务，避免每个写请求都需要向分 布式锁服务（甚至是对端站点的锁服务）申请，提高了双活集群的并发性能。3）跨站点坏块修复原理当某个站点存储池出现坏块，即在存储池内多个副本都出现坏块，可以利用对端站点的 数据来进行坏块修复。HUAWEI流程如下：生产主机读取站点A数据。站点A读取数据时发现坏块。站点A检查与远端数据一致并发起到远端读取数据。读取数据成功，使用远端数据修复本端坏块对应的数据。返回生产主机正确数据。4）性能技术为了保证两个站点存储的数据实时一致，写操作都需要等待两端站点写成功之后再返回 主机“写成功”。双活I/O性能因为实时双写导致一定的时延增加，OceanStorWOD块服务双
17、 活设计了一系列I/O性能优化方案，减小对写时延的影响，提升整体双活的业务性能。初始同步性能优化：在双活镜像数据的初始同步过程中，通情况下主卷只写了部分数 据，为了提高拷贝性能，同时减少对主机的性能影响，在从卷是新建卷，没有被读写过的情况 下，对初始同步进行优化，只读取主卷被写过的数据同步到远端，对于没有被写过的位置，不 进行读取和同步。比如主卷大小为1TB ,只被写过100G的数据，从卷为新建卷，没有被读写 过，则初始同步时只会读取并同步100G的数据到远端阵列。FastWrite :正常写IO分为写分酉林口写执行两步，这样对于一次写远端操作，需要通信 两次，为了减少站点间通信的时延，提升写
18、性能，OceanStor 100D块服务双活写远端站点时 将写分配和写执行合并为一次发送，并取消“写分配完成”交互过程，将跨站点写I/O交互次数 减少一半。比如网络RTT时延为1 ms ,本优化会将原来写远端站点链路传输上需要的2ms缩 减为只需要1 ms。乐观锁：双活正常状态，双端站点均支持主机访问，为保证数据的一致性，对于写操作 需要进行加锁互斥。传统分布式锁，需要跨站点来获取分布式锁，加大了主机写时延。为了提HUAWEI升写性能，OceanStor 100D块服务双活使用本地乐观锁替换传统分布式锁，减少了加锁的跨 站点间通信时间。负载均衡：OceanStor 100D块服务双活为AA双活
19、,正常状态双端站点均支持主机访 问，可以将主机第三方多路径设置为均衡模式，对双端站点进行均衡读写操作，通过远端站点 的业务访问分担，提升主机业务性能。 仲裁机制1）双仲裁模式OceanStor 100D块服务双活支持第三方仲裁模式和静态优先仲裁模式，同时在配置的第 三方仲裁服务器故障的情况下，能自动切换到静态优先仲裁模式，在出现两个站点链路故障情 况下仍能提供仲裁功能。2）静态优先模式在创建双活pair时，通过指定双活pair的优先站点,在两个站点链路出现异常情况下， 该双活pair将在指定的优先站点上提供服务。具体原理如下：UjSB一端的存储周期性发送心跳,以确认远端集群是否正常工作当与远端
20、集群心跳异常时，约定该pair在站点A提供业务，站点B停止业务 如果站点A故障，站点B仍然按照心跳异常处理,B停止业务导致业务中断 3）第三方仲裁模式HUAWEI7 ）智能（Al ）技术华为OceanStor全闪存系列在智能AI方面也引入了 AI智能芯片,我们在存储设备端放 置一颗华为昇腾310 AI芯片，它可以实现存储的自我加速，可以让存储具备较高算力。 Ascend 310是一款高能效、灵活可编程的人工智能处理器，支持多种数据精度，能够同时支 持训练和推理两种场景的应用。Ascend 310兼顾AI算力提升与能效平衡，能够实现机器学 习，对海量数据模型进行数据分析，如数据冷热、健康分析、数
21、据关联等，最终学习建模完成 智能分析,实现智能Cache,智能Qos、智能Dedupe等功能。1.1.3.2 iWj可靠接着，我们介绍高可靠方面的技术。OceanStor Dorado 6800 V6, Dorado 18500 V6, Dorado 18800 V6存储系统对部件失效和设备断电均有保护措施，同时在降低硬盘故障和数 据丢失风险方面也采用了先进的技术，保障了系统的高可靠性。同时存储系统提供了多种高级 数据保护技术,即使在毁灭性的灾难下，也能够保障数据安全，从而使业务正常持续运行。 高可靠性架构容忍2控同时失效：全局缓存跨引擎支持3副本技术；双控同时故障，至少保证1个缓 存副本可用
22、；单引擎3副本技术，可容忍2控同时故障。容忍单引擎失效：全局缓存跨引擎支持3副本技术；1个智能框通过后端共享模块接入8 控（2引擎）；一个引擎故障，至少保证1个缓存副本可用。容忍7控相继失效：全局缓存提供持续镜像技术；8控（2引擎），可容忍7个控制器相 继故障。 单控制器故障业务不中断主机与普通以太端口一样：单物理端口单物理链路；单端口单个Mac地址。内部链路虚拟出本地逻辑端口：4个内部链路，连接到引擎内每个控制器；每个控制器 产生本地逻辑端口。IP地址配置在内部逻辑端口 ： IP地址配置在控制器的逻辑端口 ；主机与本地逻辑端口建 立IP连接。控制器故障IP地址自动漂移：控制器故障对应逻辑端口
23、 Down ; IP地址自动漂移到其它 控制器的逻辑端口。单链路在线升级业务不中断过程如下：HUAWEI第三方仲裁模式，需要在第三站点部署仲裁服务，可以部署在物理机或者虚拟机上。两 个数据站点的存储集群除了互相心跳周期检测，还需要跟仲裁服务定期维护心跳。只有与远端 存储集群心跳异常时，才会触发仲裁，仲裁时非优先站点会延迟发起仲裁命令，以尽量保证优 先站点能赢得仲裁，继续提供业务。在两个存储集群之间心跳正常时，仲裁服务故障，不会影 响双活业务，并且在该情况下自动转换为静态优先仲裁模式。3）按业务粒度仲裁削t5无犯 室且业务削t5无犯 室且业务传统方案：站点粒度仲裁每个业务一致性组制定独立的仲裁优
24、先策 略。链路故障时，部分业务在站点A运行，部 分业务在站点B运行，奂箜更均衡。OceanStor 100D:业务颐仲裁站点间钺路故障，站点B亚努全部切换到 优先站点A运行，站点A奂葬加重。块服务双活提供一致性组功能，当多个双活Pair提供的业务相互依赖时，用户需要把这 些双活Pair配置为一个双活一致性组。在链路故障场景下,能按一致性组粒度进行仲裁，保 证一个一致性组内的pair成员都仲裁到一个站点上,保证业务连续性：每个业务一致性组，制定独立的仲裁优先策略，即一部分一致性组的优先站点设置在站 点A ,另一部分一致性组的优先站点设置在站点B。HUAWEI链路故障时，部分一致性组在站点A运行，
25、部分一致性组在站点B运行，业务性能不下 降。链路故障恢复时，按一致性组粒度完成双边差异化数据同步块服务与K8S集成方案应用场景块服务发布CSI插件，支持主流容器管理平台Kubernetes.K8S使用华为分布式存储CSI插件提供卷流程：K8S Master通知CSI插件创建卷，CSI插件调用存储接口创建卷。K8S Master通知CSI插件映射卷到指定Node , CSI插件调用存储接口映射卷到指定 Node主机。卷映射的目标K8S Node通知CSI插件挂载卷，CSI插件格式化卷并挂载到K8S指定目 录。说明：Kubernetes社区提供的使用CSI插件辅助服务,基于CSI规范实现，部署在K
26、8S所有 节点上，完成卷创建/删除，映射/解映射，挂载/解挂载等操作。采用CSI插件支持管控面对接实现对存储系统的管理采用SCSI（私有客户端部署到计算节点）或iSCSI （私有客户端部署到存储侧）方式对接 实现数据面的访问3.2对象服务特性3.2.1 小对象在线聚合传统对象存储系统中小对象的挑战：小对象按三副本存储，空间利用率低，只有33% ； 后台转EC ,需要把数据从HDD上读一次，性能开销大。针对这两个挑战，对象服务提供了 小对象在线聚合能力，保障性能不下降的前提下，有效提升存储空间利用率，具体原理如下 图：HUAWEIObject data 聚合StriplStrip2校验1校验2以
27、4+2为例Strip3512K图3-10小对象聚合Obj1 Obj2 Obj3 Obj4 Obj5 Obj6 Obj7彳吸CCacheCache B-B BQ-0server nodeserver nodeObj1 Obj2 Obj3 Obj4 Obj5 Obj6 Obj7翳藕解戈lObject data aggregationStripl Strip2 Strip3 Strip4 Parityl Parity2Example EC scheme: 4+2如上图所示，客户端上传的小对象Obj1,0bj2、Obj3、Obj4、Obj5、Obj6和Obj7优 先写入SSD cache进行汇聚成一个
28、EC分条大小，然后进行EC计算，并自动将数据分片 (Strip )和EC计算出的校验片(Parity )存储到HDD ,这样以来小对象也是按EC存储的， 也就是EC的利用率，例如EC为12+3,那么利用率就是80% ,是传统的三副本的33%利用 率的2.4倍。HUAWEI配额和资源统计对象服务支持对象资源的统计和桶级、租户级的容量配额。如下图所示，对象服务的使 用者，可将企业内部的部门、员工等组织关系，和租户、桶建立对应关系，比如财务部一租户 2，限制其容量配额为40TB ;财务部下面的员工b-桶2，限制其容量配额为10TBo图311对象fl第配额员工a员工b员工c员工d桶-1桶-2桶-3桶-
29、4Employee a Employee b Employee c Employee dEmployee a Employee b Employee c Employee dBucket 2Bucket 3Bucket 1Bucket 4HUAWEI对象服务配额的主要功能点：桶级配额：桶的容量大小上限。当桶容量达到所配置的桶配额后，无法再对该桶进行写 入操作。租户级配额：租户的容量大小上限。当租户的桶容量总数达到所配置的帐户配额后，该 租户及其所有用户无法再进行写入操作。对象服务支持使用REST接口获取租户、桶的资源统计情况，比如统计对象数量，容量 等：桶资源统计：桶资源包括桶的空间大小及桶中
30、的对象数量。用户可对自己的桶资源进行 查询。租户资源统计：租户资源包括帐户配额、拥有的桶数量、对象数量及容量总大小。3.2.2 访问权限控制对象服务提供了丰富的对象资源（桶或者对象）访问权限控制能力，请求用户只能访问 自己被授权的资源，如果访问未被授权的资源，则请求失败。主要控制方式有二种： ACL（Access Control List）和 Bucket Policy。ACL:使用权限控制列表授予某个租户对资源的访问权限，每个表项指定一个确定的权 限（只读、写、读写等）给指定的租户；ACL只能用来授予权限，不能禁止权限，如下图所 示：图312 ACL资源HUAWEI浮 Bucket Obje
31、ct ResourcesBucket Policy :控制单个用户或多个用户访问桶或桶下对象的访问权限；BucketPolicy 既可以用来授予权限，也可以禁止权限；桶策略即可作用于Account,也可作用于User; Policy相对于ACL权限控制更细粒度：比如可以控制到具体的操作(PUT , GET , DELETE 等)、控制必须启用HTTPS访问、控制某个IP E殳访问、控制只能访问指定前缀的对象，控 制指定客户端才能访问等，如下图所示：图313桶策略资源HUAWEI多租户图314多租户HUAWEI如上图所示，对象服务提供多租户管理能力，不同租户之间的数据逻辑隔离，便于资源 划分，价
32、值点主要体现在：单一系统：提供多客户端服务，减少初始投资；在线使用存储：一套系统集中管理，数据逻辑隔离；传输加密：支持HTTPS传输加密及用户鉴权，保证数据传输安全。3.2.5 QoS对象服务提供对象服务质量的控制能力QoS ,该特性可以合理分配系统资源，帮助客户 提供更好的服务能力。HUAWEI图315 QoS对于云环境等多租户场景，用户希望存储池的TPS和带宽资源能够合理分配给不同优先 级的租户或桶，同时希望保障核心业务TPS与带宽的供给。相比传统的对象存储系统，华为 分布式存储对象服务提供了精细控制的QoS能力，很好了解决了以上2个诉求：提供精细化控制I。的能力：系统能对不同优先级的租户
33、、桶提供差异化的服务。提供租户、桶级别的TPS和带宽粒度的服务质量控制，可以精确控制PUT , GET , DELETE和LIST等操作。对象服务的QoS特性，对于不同优先级的应用，可以配置不同的桶，通过QoS控制桶 的TPS以及带宽资源的分配，以达到存储池资源利用率最大化，并且避免核心业务受到其它HUAWEI业务的影响（应用分级应用场景）；针对同一系统中的VIP租户和普通租户，可以配置不同 QOS策略，以保证高优先级租户的服务质量（租户分级应用场景）o对象级重删对象重删，即重复对象删除（Deduplication ）,是一种可自动识别并删除重复对象的技 术。开启该功能后，系统将自动全局（整系
34、统级别，不局限于同一个帐户的对象，也不局限于 同一个桶内的对象，但前提是该帐户已经启动了对象重删特性）杳找重复对象，并将相同的对 象只保留一个副本而删除多余的重复数据，原来的重复数据则被替换成指向保留的单一副本的 引用。通过这种方式达到消除冗余数据、降低存储容量需求的目的。比如在网盘场景下，多个 客户端都上传了同样的一个文件（图片，视频，软件等任何类型都支持），那么在启用“对象 重删”功能后，最终只会保留一份数据，而这些文件都会指向这一份数据。如下图：图3-16对象级重删上图中,在系统中存在一些相同的对象，通过比较对象的MD5值、数据保护级别和大小 等信息，可判断对象是否相同。若为相同对象则删
35、除多余的对象副本，仅保留一份对象实体，其他重复对象仅指向对象实体。这样就可以消除冗余数据，极大节省存储空间，提升空间利用“对象重删”特性的开关是“帐户级”的，且默认情况下该特性是未启用的,一旦该帐户的“对 象重删”特性打开，系统就会自动扫描该帐户下的所有对象进行重复数据删除。HUAWEI。处理进程升级时间v1.5s ,与主机重新建立连接3.5s ,业务归零时间v5s。 SMB高级特性SMB ( Server Message Block )协议是一个网络文件访问协议，使本机程序可以访问局 域网内计算机上的文件并请求此计算机的服务。CIFS是SMB的一个公共版本。协议文件句柄用途SMB2.0Dur
36、able Handel协议定义用于防链路闪断的文件句柄SMB3.0Persistence Handel协议定义用于Failover的文件句柄SMB2.0 实现 Failover 原理：将 SMB2.0 Durable Handel 利用 SmartMatrix 技术将句柄 在多控间持续镜像。当控制器或接口卡故障时，系统进行NAS逻辑端口透明迁移。当主机从 新的控制器来恢复SMB2.0业务时，该控制器会从Durable Handel的句柄备份控制器去获取 句柄，从而保证业务连续性。SMB3.0 实现 Failover 原理：将 SMB3.0 Persistece Handel 利用 SmartM
37、atrix 技术将句 柄在多控间持续镜像。当控制器或接口卡故障时，系统进行NAS逻辑端口透明迁移。主机基 于SMB3.0 Failover标准来恢复句柄时，将句柄备份控制器上的Persistence Handel恢复到 指定控制器。 漂移组存储系统上可用于IP漂移的端口组合。漂移组包括系统默认漂移组、VLAN漂移组和用 户自定义漂移组。故障回切支持手工和自动回切，主用端口开始自动回切到恢复正常大概5 秒钟。HUAWEIWORMWORMfwrite once, read many）即一次写入，多次读出的技术。用户可设置对象的保护 期，在对象被保护期间只能读取，不能进行修改和删除；在对象保护期过期
38、后，对象只能被删 除和读取，不能进行修改。因此,WORM成为归档系统的必备特性。对象服务的WORM特性不提供任I可特权接口或方式对启用了 WORM特性的对象数据进 行删除或修改。系统可以在桶级配置WORM策略，不同的桶可以配置不同的策略。同时，WORM策略 支持配置不同的对象名前缀和不同的保护周期，比如对象名以prefixl为前缀的所有对象，配 置100天的保护期；对象名以prefix2为前缀的所有对象，保护期配置为365天。对象服务内置WORM时钟,用于WORM对象的计时。设置了 WORM时钟之后，系统 会在该时钟基础上进行计时，避免由于用户通过修改本地时钟导致对象提前过期。每个对象都 具有
39、基于WORM时钟的创建时间和过期时间,当一个对象被设置了 WORM属性后，该对象 将使用WORM时钟来计时，防止由于节点本地时间的变更导致对象保护时间的变化。WORM时钟能参考节点本地时间进行自动调整：如果节点本地时间早于WORM时钟，WORM时钟将每过1小时最多向前追赶128秒进 行调整。如果节点本地时间晚于WORM时钟，WORM时钟调整为节点的本地时间。WORM对象的状态主要有三种：“未保护状态”，“保护状态”和“保护过期状态”，如下图：图3-17 WORMDJift未保护状态启用WORM籁略保护状态ReadableUnprotectedWORM policy enabledProtect
40、edWORM policy nolactivated 24 hour:8代er creationProtectionperiodexpiredReadable and deletable创建WORM策略后， 24小0寸内未就Xi娜略保护过期Readable, modifiable,and deletable“未保护状态”：处于“未保护状态”的对象与普通对象一样，可以进行读取、修改和删除。HUAWEI“保护状态”：当桶启用WORM策略之后，满足条件的新创建的对象，就会进入“保护状 态”，该对象只能读取，不能被删除或修改。“保护过期”：当对象的WORM保护期过期后,对象进入“保护过期”状态，此时对
41、象只能 删除和读取，不能被修改。3.2.7 远程复制远程复制通过异步复制模式，对主从两端存储系统的数据进行周期性同步，实现系统容 灾，从而最大限度减少由于数据远程传输的时延而造成的业务性能下降。远程复制：远程复制是容灾备份的核心技术，同时也是保持数据同步和实现灾难恢复的 基础。它利用物理位置上分离的存储设备所具备的远程数据连接功能，在远程维护一套数据备 份，一旦灾难发生时，分布在异地存储上的数据备份并不会受到波及，通过异地备份的数据恢 复业务保证业务正常运行。远程复制按照客户端的写请求是否需要远程复制从站点的确认信 息，又可分为同步远程复制和异步远程复制。异步远程复制：客户端的数据发送给主站点
42、，主站点数据写完即返回写成功给客户端， 主站点周期性地同步数据到备站点,从而最大限度地减少由远程传输数据时延带来的业务性能 下降。同步远程复制：客户端的数据发送至主站点，主站点将数据实时地同步给从站点，主从 站点均写成功后返回写成功给客户端。同步远程复制最大限度保证主从站点数据的一致性，减 少灾难发生时的数据丢失量。默认集群与非默认集群：一个区域内有且仅有一个默认集群，其他集群都是非默认集 群。默认集群与非默认集群的区别在于：默认集群内的LS服务和POE服务都是主，具有 LS、POE操作的读写权限；非默认集群的LS服务和POE服务都是备，仅具备只读权限。默 认集群、非默认集群与复制组没有关系，
43、与下面描述的主集群、备集群也没有关系。主集群与备集群：主集群与备集群是基于桶的概念，源桶所在的集群是主集群，备集群 上存在源桶的备份。因此，某一集群是主集群不是绝对的，假设有Clusterl和Cluster2 : Bucketl的主集群是Clusterl ,备集群是Cluster2 ; Bucket2的主集群是Cluster2 ,备集群是 Clusterl.主备集群与默认或非默认集群之间没有关系，默认集群不一定是主集群,非默认集 群也不一定是备集群。复制组：复制组是桶的容灾属性，复制组中定义了桶的主集群、备集群、复制链路等。 桶及桶内所有对象会在主备集群同步，当其中的一个集群故障后，可以从其他
44、集群恢复数据。 一个桶仅归属一个复制组，创建桶时选择其归属的复制组，系统将对桶按照复制组的定义进行 远程复制；创建桶时如果没有选择其归属的复制组，系统会将桶归属至默认复制组。系统中最 多有1个默认复制组，由用户指定。首先将主集群和备集群建立复制关系，建立复制关系后，从主集群写入的数据将会异步 复制到备集群，具体流程如下：HUAWEI客户端向主集群put对象,对象上传成功后，将产生一条复制日志，日志中记录桶名和 对象名等复制任务需要的信息。主集群的同步任务读取复制日志，解析出桶名和对象名，将数据读取上来，并写到备集 群，完成一个对象的复制。遇到备集群故障或者主备之间网络故障时，复制任务短暂失败，
45、主 集群将会重试，直至对象复制成功。主备集群处于一个Region内，在配置异步复制后，写入主站点的数据会同步到备站点。 在主站点故障后，支持一键式切换手段，将备集群升主，继续对外提供服务。对象服务提供统一域名的访问方式，主集群故障后业务无缝切换，用户无需变更访问对 象服务的域名或URL。3.2.8 对象与文件互通华为分布式存储提供的对象/文件互通特性是基于对象存储系统上叠加NAS功能的方 式，在分布式对象服务基础上同时提供NFS接入能力的特性，可以接收标准的NFS客户端发 过来的I/O请求,解析请求并把对文件的请求转换为对相应对象的请求,利用对象存储系统的 存储能力完成I/O请求，并通过软件深
46、度优化，大幅提升客户对NFS的体验。对象存储系统中对桶进行了分类：普通对象桶和文件桶。普通对象桶只能通过对象协议 访问，文件桶可以同时支持通过标准的NFS协议和对象协议访问。在对象存储系统内置了一个NFS协议解析模块，该模块接收标准的NFS客户端发过来 的I/O请求，解析请求把要对某个文件系统内文件的操作转换为对某个文件桶内相应对象的操 作，然后使用内置的对象客户端将请求发送给对象存储处理。对数据的读写处理完全由对象服务完成，对象/文件互通模块只做NFS协议的处理与转 换以及数据缓存处理，不做数据的保存。所有的数据保存在对象存储系统的桶中，数据的保护 级别配置由桶的配置决定。客户从文件系统侧看
47、到的所有目录和文件对于对象存储系统来说就是一个对象，目录为 f 名为目录全路径+“/”的一个对象。这样对于目录的列举访问转换为对桶内对象的列举 (ListObject)访问,prefix为父目录,delimiter为对于文件的读写访问则转换为对名为文件 全路径的对象的读写访问。对象/文件互通特性的作用就是根据访问的文件/目录解析出对应的 对象名，根据所要进行的操作转换为对对象/桶的操作。3210对象服务视频监控云方案应用场景随着城市化规模的不断扩大，城市安全正在面临多元化的威胁，包括社会治安、公共卫 生、自然灾害、事故灾难等事件。视频监控系统是构建平安城市的不可或缺的一部分。提供的统一视图客户端软件，将多个地域的存储集群整合为一个存储资源池，在应对突 发事件时，为跨区域查看视频监控数据提供了便捷的方式。对象服务视频监控云方案具有以下几个特点：HUAWEI稳定低时延，保障客户访问流程：时延低，满足视频连续写入时延稳定性要求，以及提 升终端客户访问体