《2022年TFS海量小文件存储系统线上运维经验 .pdf》由会员分享，可在线阅读，更多相关《2022年TFS海量小文件存储系统线上运维经验 .pdf（3页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、微博为粉丝群紧急扩容TFS集群经验分享新浪微博平台架构师卫向军微博 12.21日发布客户端 5.0版本， 其中的粉丝群刚一上线， 流量马上暴涨，尤其是粉丝群内的语音、视频分享急剧增加，几天时间内，3 年前搭建的 TFS集群容量达到 80%，为了应对圣诞、元旦、春节的明星推广活动，平台对整个系统紧急扩容。首先简单介绍一下， TFS （Taobao File System ）是淘宝专门针对海量非结构化数据存储设计的分布式系统，其构建在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。平台的文件服务平台，构建在TFS集群上，为微博提供海量小文件存储，包括长微博、对象库底层的实体库、私
2、信附件、粉丝群附件等，这些文件通常文件大小不超过 1M，全部存储在文件服务平台。文件服务平台分为三层： 1）最上面是 proxy代理层， 根据 fid 做 hash sharding ，完成下行请求到 Download Node 的路由；2）中间是 Download Node，通过 fid 从wCache缓存读取文件返回或者穿透到TFS集群，并回源到 wCache ，由于有权限规则， 所以没有用 CDN； 3) 最下面是 TFS集群， 由数量众多的数据节点 （Data Node）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名
3、师精心整理 - - - - - - - 第 1 页，共 3 页 - - - - - - - - - 组成，支撑具体文件的下行访问请求。ProxyProxyProxyDownload NodewCacheDownload NodeDownload NodewCacheDownload NodeDownload NodewCacheDownload NodeDownload NodewCacheDownload NodeDownload NodewCacheDownload NodeData NodeData NodeData NodeData NodeTFS 集群应用以及缓存扩容前扩容后扩容前扩
4、容后Step 1 ：灰度上线 Download NodeStep 2 ：灰度上线 Proxy 节点，使用 1/N的QPS 请求量来预热Download Node的wCache 缓存Step 3 ：灰度上线 TFS 集群的 Data Node在平台扩容整个系统的过程中，一共分为三个主要阶段：1.灰度上线一部分的Download Node，这个时候这些节点还没有生效。2.灰度更新一台 proxy 的可调度 Download Nodes，这台灰度的 proxy 可以hash sharding到#1 扩容后的所有 Download Nodes上， 这一步的目的是逐步预热 #1 上线的 Download
5、Nodes节点上的 wCache ，防止穿透到 TFS集群，引起雪崩。重复步骤 2，完成所有 Download Nodes 的 wCache缓存预热后，全量更新所有的 proxy 节点。3.凌晨 2点， 所有 Data Nodes准备好后，每台机器上可以配置 12个 instance，每次所有机器灰度上线一个instance，观察集群状态，逐步启动更多的instance，在凌晨到早上这段业务低峰期，TFS集群可以做不同节点之间的数据均衡迁移。几个小时候后，我们完成了整个系统的扩容，最后还是有几点体会分享：1.按道理应该先扩容Data Nodes，这样可以提升存储的吞吐量，降低穿透DB造成的压力
6、，我们最后升级的原因是公司存储机型稀缺，到货最晚。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 3 页 - - - - - - - - - 2.实际扩容过程中，动态观察wCache预热的速度与 TFS集群的健康状态，不断调整灰度 Proxy的规模，加快扩容进度。3.需要制定应急备案， 我们在扩容过程中， 如果穿透 wCache对 TFS造成压力，可以立马回滚灰度的Proxy前端机。感谢大家的阅读，如果觉得有帮助，欢迎关注我的微博” 卫向军 _微博” 。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 3 页 - - - - - - - - -