《一体化数据管理技术平台.ppt》由会员分享，可在线阅读，更多相关《一体化数据管理技术平台.ppt（42页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1一体化数据管理技术平台汇报一体化数据管理技术平台汇报一体化数据管理技术平台 -True CDP项目开发方案及计划软件研发部CDP项目组2一体化数据管理技术平台汇报一体化数据管理技术平台汇报内容一体化数据管理技一体化数据管理技术平台平台LiveDPM产品开发需求主要竞争 CDP 对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPM Roadmap3一体化数据管理技术平台汇报一体化数据管理技术平台汇报什么是一体化架构？基于平台的产品开发模式功能模块化形成基于功能模块的产品开发平台软件架构的一体化设计软件架构可扩展性比较强，容易添加新功能适用于
2、基于平台的开发模式4一体化数据管理技术平台汇报一体化数据管理技术平台汇报 一体化数据管理平台的想法部署统一的解决方案。利用单一解决方案，提高了运营效率。与孤立、单独的单点解决方案相比，单一解决方案可共享一套通用技术引擎，所需资源比较少，而且更具成本效益。执行一整套数据管理功能。保护、归档、复制及搜索数据这一切只要借助一个统一的浏览器控制台，可集中及简化业务运营。管理整个企业的数据。简化所有应用程序、平台、设备和场地(从远程办事处到企业数据中心)上的数据管理功能。5一体化数据管理技术平台汇报一体化数据管理技术平台汇报一体化架构：LiveDPM6一体化数据管理技术平台汇报一体化数据管理技术平台汇报
3、内容一体化数据管理技术平台LiveDPM产品开品开发需求需求主要竞争 CDP 对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPM Roadmap7一体化数据管理技术平台汇报一体化数据管理技术平台汇报产品开发介绍产品开发代号:LiveDPM产品方向：持续数据保护、块级、容灾产品定位：中高端存储软件产品简介：CDP（Continuous Data Protection）连续数据保护，可在数据发生任何变化时将数据有效地保护起来。CDP技术将传统着眼于“数据备份”的备份技术，推进到着眼于快速恢复、最少数据丢失的数据保护的新阶段。主要竞争对手：飞康
4、CDP产品、EMC RecoverPoint产品形式：基于Cent OS 64位系统、兼容主流存储产品开发周期:2009年11月到2010年10月8一体化数据管理技术平台汇报一体化数据管理技术平台汇报产品架构STKHPIBMHDSEMCSANWANSANSAN支持异构存储平台及异构操作系统，可将数据反复恢复至分钟级别!LiveDPM:持续数据保护系统CDP:本地端持续性数据保护本地端持续性数据保护(Continuous Data Protection)CRR:异地端持续性数据复制异地端持续性数据复制(Continuous Remote Replication)HistorySnapshotHi
5、storySnapshotLiveDPMLiveDPMLocal siteRemote siteCDPCRRSTKHPIBMHDSEMC9一体化数据管理技术平台汇报一体化数据管理技术平台汇报产品需求功能功能描述描述数据备份数据备份备份磁盘备份磁盘能够给被保护的机器数据备份数据能够给被保护的机器数据备份数据备份分区备份分区数据恢复数据恢复恢复数据分区恢复数据分区能够给被保护的机器数据恢复数据能够给被保护的机器数据恢复数据恢复系统分区恢复系统分区恢复整个磁盘恢复整个磁盘恢复文件或目录恢复文件或目录快照功能快照功能快照挂载快照挂载能够对被保护的机器打快照并对快照进行管能够对被保护的机器打快照并对快照
6、进行管理，可支持最多理，可支持最多256256个快照个快照快照可写快照可写快照标签快照标签True CDPTrue CDP任意时间点恢复任意时间点恢复时间间隔至少精确到秒时间间隔至少精确到秒生成快照可写生成快照可写容灾能力容灾能力普通网卡引导恢复普通网卡引导恢复系统故障时，能够在允许的时间内恢复系统系统故障时，能够在允许的时间内恢复系统和业务和业务 HBAHBA卡远程引导卡远程引导10一体化数据管理技术平台汇报一体化数据管理技术平台汇报产品需求(续)功能功能描述描述压缩压缩网络传输压缩网络传输压缩支持压缩功能，提供传输效率支持压缩功能，提供传输效率加密加密网络传输加密网络传输加密网络传输时保持
7、数据的安全性，对数据进行网络传输时保持数据的安全性，对数据进行加密加密代理端管理功能代理端管理功能代理端与服务器的认证代理端与服务器的认证能够对代理端进行管理能够对代理端进行管理代理端的添加与删除代理端的添加与删除远程复制功能远程复制功能异步方式异步方式可以把可以把CDPCDP服务器上的备份数据通过广域网服务器上的备份数据通过广域网复制到异地复制到异地远程复制主机可直接恢远程复制主机可直接恢复到客户端复到客户端业务可直接从异地恢复业务可直接从异地恢复远程复制主机可直接恢远程复制主机可直接恢复到复到CDPCDP可以从异地恢复到本地可以从异地恢复到本地软件注册功能软件注册功能需要需要KEYKEY才
8、有软件的使用权（才有软件的使用权（AgentAgent个数、远个数、远程复制功能、系统盘、加密、压缩、快照、程复制功能、系统盘、加密、压缩、快照、True CDPTrue CDP）权限管理权限管理用户权限管理，谁备份随有权限恢复原则用户权限管理，谁备份随有权限恢复原则11一体化数据管理技术平台汇报一体化数据管理技术平台汇报内容一体化数据管理技术平台LiveDPM产品开发需求主要主要竞争争CDP对比比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPM Roadmap12一体化数据管理技术平台汇报一体化数据管理技术平台汇报主要竞争 CDP 对比（
9、Block级产品）功能模块功能模块功能描述功能描述LiveDPMLiveDPMEmc RPEmc RP飞康飞康 IPStorIPStorInmageInmage存存储功能功能支持Raid管理支持存储池管理支持iSCSI initiator/Target、FC Target支持SMB、FTP、NFS协议N/AN/AN/A数据保数据保护功功能能CDP级别truecdptruecdptruecdptruecdpCDP架构HostBaseHostBaseSANbaseHostBaseFailover容灾功能快照功能256不支持256不支持True CDP(任意时间点快照)支持快照回滚、快照挂载、快照可
10、写功能仅挂载远程复制功能普通网卡引导应用感知功能CDPServer集中管理恢复光盘N/A13一体化数据管理技术平台汇报一体化数据管理技术平台汇报内容一体化数据管理技术平台LiveDPM产品开发需求主要竞争 CDP 对比LiveDPM项目技目技术方案方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPM Roadmap14TrueCDPTrueCDP实现LD1LD1LD2LD2EthernetSwitchs s-11-11SnapshotTime-ViewDisk10:0011:0012:0012:15Group110:0012:0014:0016:00s s-11-1
11、1*基于IO+快照的TrueCDP实现Snapshot Snapshot Deletefile1Addfile215LiveDPMLiveDPM总体体实现原理原理应用IO 截获数据复制发送业务服务器CDP服务器容灾服务器数据复制接收IO 日志保存异步数据复制异步数据接收日志卷镜像卷原卷镜像卷日志卷16一体化数据管理技术平台汇报一体化数据管理技术平台汇报LiveDPM底层主要模块示意图17一体化数据管理技术平台汇报一体化数据管理技术平台汇报内容一体化数据管理技术平台LiveDPM产品开发需求主要竞争 CDP 对比LiveDPM项目技术方案LiveDPM项目主要模目主要模块及技及技术难点点Live
12、DPM项目开发计划LiveDPM Roadmap18一体化数据管理技术平台汇报一体化数据管理技术平台汇报技术难点和重点业务服务器端磁盘IO截获同步和异步数据镜像技术断点续传功能磁盘位图功能CDP服务端IO日志保存TimeMark实现可写快照设计虚拟卷技术异步远程复制普通网卡引导19一体化数据管理技术平台汇报一体化数据管理技术平台汇报技术难点和重点：磁盘磁盘IOIO截获截获技技术难点点：磁盘I/O截获需要使用底层磁盘过滤驱动技术来完成I/O的截获20一体化数据管理技术平台汇报一体化数据管理技术平台汇报技术难点和重点：同步和异步镜像同步和异步镜像-同步镜像同步镜像在IO写入本地磁盘同时将数据发送到
13、远程只有确认远程数据收到才开始接收下一个IO安全、但影响性能采用无损数据压缩算法：LZW21一体化数据管理技术平台汇报一体化数据管理技术平台汇报技术难点和重点：同步和异步镜像同步和异步镜像-异步镜像异步镜像对主机性能影响小主机和镜像卷数据会有时间差，不一定同步数据先缓存到内存中如果在缓存的IO队列中有相同的block进行合并采用无损数据压缩算法：LZW22一体化数据管理技术平台汇报一体化数据管理技术平台汇报技术难点和重点：同步和异步镜像同步和异步镜像-同步续传设计AutomaticHourlySnapshotsLiveDPM镜像卷镜像卷 主机源数据卷主机源数据卷9am9am10am11am14
14、7102581136912NewDataBlocksadded147102581136912StorageBlocksContaindata147102581136912NewDataBlocksadded26710点的时候，同步错误点的时候，同步错误26714253147102581136912用磁盘位图来记录磁盘数据变化当在同步的过程中，已经同步的数据如果被修改，先在位图中记录，然后重传重新同步则采用块校验的方式，先校验源盘与镜像盘数据是否一致(MD5)，只传校验不一致的块23CDP存存储项目目总结汇报技术难点和重点：IO 日志保存对代理端被保护盘的IO，需要在CDP服务端做保存。对每个被
15、保护的原始卷都与之分配可变扩展的独立卷日志卷。我们利用LINUX LVM 已经做好的功能做CDP上各种类型卷的创建、扩展、删除等等管理功能24CDP存存储项目目总结汇报技术难点和重点：IO 日志保存(续)对代理端被保护盘的发过来过来的每一个IO，我们根据时间戳和扇区号对之在日志卷进行保存被保被保护的磁的磁盘或分区或分区代理端此此处我我们基于基于LVM把把IO做做备备份份,写向不同的卷写向不同的卷25CDP存存储项目目总结汇报技术难点和重点：IO 日志保存-分分级目目录虚表虚表为了实现IO日志的在日志卷内增量保存，我们使用LVM的卷可扩展特性，从而可以少量逐渐增加预分配空间。为了方便从日志卷内方
16、便找到原始卷内的任意的块号所在日志卷内的位置。我们借用INTEL CPU的内存管理单元MMU的设计思路，MMU通过一个分级目录表实现不连续的物理内存地址到连续线性地址的映射。我们也仿照它为日志卷的管理引入-分级目录虚表采用64位中的44位来记录IO日志的变化，这40位就够我们对8000T(8K*240)大小的一个卷组作管理，目前来讲足够应用了，日后需要再扩展。26CDP存存储项目目总结汇报技术难点和重点：IO 日志保存-分分级目目录虚表（虚表（续1）27CDP存存储项目目总结汇报技术难点和重点：IO 日志保存-分分级目目录虚表（虚表（续2）下面给出一个具体日志卷内块号变换的例子，我们以8k为目
17、录块大小，64位表示地址（块号）：64位块号：0000000000 0000000000 0101100111 0101101100 0101100101 0111101100 1011好这个块号（地址）是在原始卷的，那么当新的块来覆盖的时候，新块被存在什么日志卷的什么地方呢：这个地址的根目录下标 0101100111-359：找到根目录快，然后以8字节步长前进358次，得到一个8字节的块号，这块号是次目录块的地址。得到次目得到次目录的起始地址的起始地址次级目录的偏移 0101101100-364：如上办法 得到得到3级级目目录录的起始地址的起始地址3级目录的偏移 0101100101-357
18、：如上办法 得到得到4级级目目录录的起始地址的起始地址4 级目录的偏移 0111101100492：如上办法 得到了得到了实际的数据的数据块的地址的地址28CDP存存储项目目总结汇报技术难点和重点：IO 日志保存-分分级目目录虚表（虚表（续3）29CDP存存储项目目总结汇报日志卷日志卷Am9:37:21Am10:23:34Am11:20:03pm1214710258113691210:00-10:5914710258113691211:00-11:591471025811369129:00-9:59147102581136912267910112267910112267267910技术难点和重
19、点：IO 日志保存-Timemark原始卷原始卷147102581136912老的数据块从老的数据块从日志区中日志区中查找，查找，根据分级目录虚表和根据分级目录虚表和TimeMark，数据块能够被一，数据块能够被一对一的找到，而且根据需要能对一的找到，而且根据需要能够建立静态的索引表指向日志够建立静态的索引表指向日志卷内固定块地址，从而提高挂卷内固定块地址，从而提高挂载访问速度载访问速度TimemarkTimemark30CDP存存储项目目总结汇报技术难点和重点：IO 日志保存-快照可写快照可写使用分分级目目录虚表虚表，我们可以建立若干多快照，每个快照并不需要和原始卷或者被保护磁盘同样的大小。
20、如果是只读快照，我们只要建立原始卷的分级目录虚表，把原始卷的数据块号一对一的映射到日志卷内块号即可，然后建立静态索引信息，加快块号的访问速度。对于可写快照，我们要使用写时拷贝技术并且给他分配独立的日志卷。最后，我们使用分分级目目录虚表虚表使用少量的存储空间，通过共享只读数据块来虚拟逻辑卷，方便应用层使用操作系统支持的文件格式来Mount 虚拟逻辑卷。31CDP存存储项目目总结汇报技术难点和重点：虚拟逻辑卷如图所示，为了虚拟原始卷，拦截所有的块号请求，然后重定向，通过某个时间点，从日志卷查找，如果通过四级目录查找的过程得到空地址（块号），那么这一块就从原始卷里读，如果非空，它肯定指向日志卷上的某
21、个有效块。这样就虚拟出来整个被保护的磁盘某时刻的快照32一体化数据管理技术平台汇报一体化数据管理技术平台汇报技术难点和重点：异步远程复制需要将镜像卷和日志卷都远程复制147102581136912147102581136912267CDPServer远程远程CDPServer源卷源卷采用客户端与CDP Server类似的异步同步机制，使用位图来表示当前变化的块是否已经发送到远程元数据IO数据日志卷日志卷元数据IO数据根据时间顺序，逐渐拷贝元数据和IO数据33一体化数据管理技术平台汇报一体化数据管理技术平台汇报技术难点和重点：普通网卡引导基于gPXE、微软Initiato、Sanbootconf
22、(开源软件，为SANBOOT提供配置信息)在CDP Server 根据快照设置Target(采用SCST实现)并且在CDP Server 设置DHCP、同时在客户端采用Pxe引导34一体化数据管理技术平台汇报一体化数据管理技术平台汇报主要功能模块总结模模块重要性重要性实现方式方式磁盘IO截获高完成自主研发同步和异步数据镜像技术高完成自主研发重新同步设计高完成自主研发IO日志卷数据保存高完成自主研发日志内存组织查询方案高完成自主研发TimeMark实现高完成自主研发可写快照设计高完成自主研发普通网卡引导高gpxe+initiator+自主研发异步远程复制高完成自主研发虚拟卷技术高完成自主研发35
23、一体化数据管理技术平台汇报一体化数据管理技术平台汇报内容一体化数据管理技术平台LiveDPM产品开发需求主要竞争 CDP 对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开目开发计划划LiveDPM Roadmap36一体化数据管理技术平台汇报一体化数据管理技术平台汇报项目团队建设角色角色知知识技能要求技能要求建建议人人选、人数、人数工工时估估计项目负责人协调内外部资源、控制项目开发进度刘正伟12 MouthsLinux/Solaris软件工程师具有良好的Linux软件开发能力和类似项目开发经验4人（缺三个人）12 MouthsWindows软件工程师具有良
24、好的Windows软件开发能力和类似项目开发经验3人12MouthsWeb 软件开发工程师具有良好的Web软件开发能力和类似项目开发经验1人12MouthsUI 美工良好的Web/GUI设计能力刘立中3 Mouths测试工程师熟悉存储产品，了解测试流程和方法，精通各种测试工具软件测试工程师 1人存储测试工程师 1人7 Mouths产品工程化熟悉公司产品化流程，较强的产品技术文档书写能力产品处工程师 1人1 Mouths配置管理员熟悉软件配置管理流程，熟练使用配置管理工具软件研发部配置管理员 1人10 Mouths37一体化数据管理技术平台汇报一体化数据管理技术平台汇报项目里程碑计划时间时间阶段
25、阶段任务任务输出输出2009/11(3周)项目启动项目可行性报告项目立项报告CDP产品测试报告CDP技术调研报告2009/12(3周)需求分析需求分析说明书、项目计划文档、总体设计方案、需求评审、需求设计说明书各种需求分析文档总体设计方案等等2010/1-2010/3软件设计NOW！概要设计说明书详细设计说明书CDP项目概要设计文档CDP项目详细设计文档2010/4-2010/7编码实现编码、调试、代码检查表代码检查记录在测试平台可演示所有功能2010/8-2010/10测试1、单元测试2、集成测试 测试计划测试大纲测试用例2010/11产品工程化产品文档齐全、功能测试完备、完成硬件兼容性列表
26、用户手册2010/11项目结项项目总结、培训产品维护指南项目总结38一体化数据管理技术平台汇报一体化数据管理技术平台汇报项目风险产品风险/需求风险可能风险：因为市场需求的变更，对于产品的形式、功能要求等发生重大变化措施：在研发过程中持续保持和产品部等相关部门的沟通和交流。技术风险可能风险：1、需要实现突破的技术点非常多，可能无法完成。2、关键技术点无法满足性能的要求措施：1、加强关键技术点的预测试和评审。2、做好代码检查和质量管理人员风险可能风险：人员未到位、开发人员技术能力不足，人员离职措施：规范软件开发过程管理，加强项目组学习能力，有针对性的专业技能培训39一体化数据管理技术平台汇报一体化
27、数据管理技术平台汇报方案总结完成实现从Near CDP 产品到 True CDP产品，提高产品档次积累一个一体化开发平台Web开发一体化功能模块化掌握大量的核心技术突破十几项核心技术（磁盘、IO、快照、文件系统）从会使用到会模仿制造，0到1的突破为后续产品开发(VTL、重复数据删除)打下基础锻炼队伍培养一批在Windows和Linux底层开发人才40一体化数据管理技术平台汇报一体化数据管理技术平台汇报内容一体化数据管理技术平台LiveDPM产品开发需求主要竞争 CDP 对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap41一体化数据管理技术平台汇报一体化数据管理技术平台汇报TrueCDP项目Roadmap 时间时间CDP解决方案解决方案1、True CDP2、支持256个快照3、支持普通网卡引导4、支持Windows Agent5、远程复制功能2010 年2011年2012年1、Linux Agent支持2、CDP Server集中管理3、支持2TB级1、应用感知功能2、监控告警功能3、快照支持1024个以上4、支持到PB级LiveDPMV1.0LiveDPMV2.0LiveDPMV3.04211/15/2022Inspurgroup 谢谢 谢谢