《智慧景区云存储建设方案.doc》由会员分享，可在线阅读，更多相关《智慧景区云存储建设方案.doc（21页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智慧景区云存储建设方案1.1.1 视频云存储1.1.1.1 传统模式的弊端传统存储模式主要以存储服务器+IPSAN和嵌入式存储设备（NVR为代表） 两种模式，这两种方式都存在较多弱点：1) 烟囱式建设形成数据孤岛，数据无法有效利用；2) 硬盘故障率高，导致数据容易丢失；3) 性能低下，录像下载速度很慢； 4) 存储系统没有集中式管理，管理较复杂；因为上述弊端，传统模式越来越不适应目前及未来海量数据的存储与应用，云存储应运而生。1.1.1.2 云存储定义云存储就是一种通过分布式文件系统技术，将多台存储设备，虚拟化为一个大的存储池，按需给用户提供存储空间的服务。1) 云存储是云计算的存储部分，即虚
2、拟化的、易于扩展的存储资源池；2) 云存储意味着存储可以作为一种服务，通过网络提供给用户；1.1.1.3 视频云存储定义视频云存储包括云存储功能及流媒体管理两大部分，即在已有云存储基础上增加了前端接入管理、配置、数据转发等功能；更好的支持视频流直存，相比于传统直存方案具备更高性价比，更高可靠性，可提供流媒体业务层以及数据层的双重保护。1.1.1.4 云存储的优势从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升监控存储的质量：1) 扩容方便，提供横向扩展技术，可以真正做到按需使用；2) 提供了设备间容错，设备内容错等多种保护机制，提高存储系统的安全性；3) 真正做到并
3、发读取，录像高速下载；4) 进行集中式管理，不用随时更换故障硬盘，管理成本可大幅度下降；1.1.1.5 应用的前景视频云存储对视频，图片，文档进行统一存储，作为大数据应用的基础，将在各行各业有广泛应用。在教育行业，视频云存储也有广泛的应用场景，例如在线教育场景，通过实时摄像头将教学内容等这些流媒体数据上传到云存储空间，再通过下载分发工具等将它分发到每个用户的现场，以达到更好的体验效果；同时提供大数据检索服务，可以更加方便学生检索到自己想要的关键内容，对于教学资源，例如教材，教学照片、视频存储等可以进行大容量的存储并进行共享。1.1.2 视频云存储产品1.1.2.1 视频云存储产品构成某云存储的
4、核心是分布式文件系统(EFS)，云存储产品由流媒体服务模块，数据存储节点(Data Node)、元数据服务器(Metadata Server)构成。硬件产品：元数据服务器、数据存储节点；软件产品：分布式文件系统、流媒体服务；某视频云存储总体架构流媒体服务器节点负责从前端获取视频、图像码流和流量的转发，数据存储节点负责数据的存储，元数据服务器节点负责管理整个集群的负载均衡和空间管理。1.1.2.2 技术架构系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需求： 某视频云存储技术架构1) 设备层：基于单个存储节点，管理本地的硬盘，文件和数据块；2) 存储管理层：提供单个集群和多
5、域的管理能力；3) 接入层：提供丰富的访问接口，适应各种应用；4) 应用层：主要为流媒体服务，提供视频流的拉去、转发和存储服务；1.1.2.3 分布式文件系统(EFS)1) EFS通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成一个统一的存储空间池；通过bucket名称全局唯一，以及bucket内文件名不重复实现文件访问的统一管理；Bucket在对象存储中的作用Bucket相当于文件目录，视频需要进行存储时，先做一个录像申请，EFS会建一个或者多个bucket，一个bucket里面有一个或者多个文件，一个文件就是一段指定时长的视频。 2) EFS实现数据流和控制流分离：数据存储
6、节点(DN)负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障；元数据管理服务器(MDS)负责控制流管理和服务；由于控制流流量相对有限，元数据服务器所能提供的存储空间，仅受限于服务器的内存量；数据流与控制流分离3) EFS通过集群技术，将众多存储服务器组建成一个集群，实现了Scale-out（横向扩展）方式的扩展，具备提供海量存储能力；4) 支持自身的配额管理，可以针对bucket和用户指定空间大小，当用户实际使用空间接近阈值时，报警提示；5) 负载均衡：集群内部，自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，
7、实现IO读写的负载均衡。1.1.2.4 元数据服务器(MDS)1) 负责控制流管理和服务；2) 提供集群的负载均衡：当客户端向MDS发送数据读写的请求时，MDS根据DN的磁盘使用情况、网络负担等情况，选择负担最轻的若干DN对外提供服务；3) 采用High Available技术热备：主备MDS之间通过单独网络连接进行实时同步元数据，快速检测异常，以及迅速接管服务，保证了系统的高可用。心跳机制保证主备服务器之间错误的实时检测和发现，为主备快速切换提供保证；主备MDS高可用性保证1.1.2.5 数据存储节点(DN)1) 负责提供存储空间容量和数据流服务；2) 提供磁盘级的负载均衡：DN根据磁盘的I
8、O负载，空间容量等情况，自动选择负载最轻的磁盘读写新的数据文件；3) 采用Erasure Code冗余方式实现容错，数据冗余分布存储在不同的数据节点上；节点间冗余技术示意图以节点间4+1冗余策略为例，前端摄像头视频数据通过切片在MDS的调度下，将一定长度的文件内容，切分成四个数据块，通过利用EC算法计算得到一份冗余数据，然后客户端将五份数据分发到MDS指定的五台存储节点上，就完成了一次数据写入动作。此方式优势：由于数据存储的时候被分片存储在不同的存储节点上，如果一台存储节点损坏的时候，所有的存储节点均会参与恢复，因此恢复的速度会很快, 从而实现了数据的高可靠性。1.1.3 某云存储产品特色某云
9、存储产品最大的优势为极速性能，开放共享，具体阐述为5个E的特色：即高性能(Efficient I/O)，易使用(Easy to use)，海量空间(Exabytes)，弹性扩展(Elastic Scale)，高可靠性(Enhanced Stability)。1. 易使用（Easy to use）：使用便捷：只需要获得云存储的访问IP，以及文件所在bucket名称和文件名，即可通过客户端在其他主机上访问这个文件，实现高共享能力；开放共享：通过多种保准接口（如SDK、REST、POSIX等）满足不同应用，一套云存储以服务形式提供给各种上层应用使用，例如在拥堵预防应用中，云存储中的视频，图片进行结构
10、化分析后通过开放接口提供给拥堵预防应用系统使用，与历史数据进行碰撞可预警拥堵路段，进行提前疏导。2. 高性能（Efficient I/O）：分布式存储架构，提供高速并发访问，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行；动态负载均衡，提升整体性能、避免单点故障、解决数据热点瓶颈等问题；高速并发访问示意图3. 海量空间（Exabytes）：EFS将控制流与数据流分离，保障海量存储，存储空间仅受限于MDS的内存，32G内存容量的元数据服务器可提供10PB级别的高效数据存储服务；EFS通过集群技术进行Scale-out扩展，提供海量存储；4. 弹性扩展（Elastic Scal
11、e）：云存储系统为一个整体，结合集群管理、数据冗余与恢复等机制，实现了在线动态增加删除节点，对业务层仅表现为存储容量的增加和删除；系统具有线性扩展的特性，容量增加时，整体的读写性能也同步增加。同时，系统容量和每个用户容量的扩展可快速生效，无任何数据迁移。5. 高可靠性（Enhanced Stability）：DN之间提供ES技术，保证数据高可靠性的同时，提供更高的存储利用率；MDS之间提供High Available技术提供热备，保证元数据服务器集群实时同步元数据，快速检测异常，以及迅速接管服务；系统硬盘监控示意图坏盘统一更换，免及时维护，降低维护成本，运维管理对系统做统一监控，临近安全线时可
12、以组织人员进行统一更换坏盘。1.1.4 设备介绍1.1.4.1 标准云产品元数据服务器(MDS)：DH-CSS9064系列型号存储容量DH-CSS9064X2亿文件DH-CSS9064X-400S4亿文件DH-CSS9064X-800S8亿文件数据节点(DN)：DH-CSS7100系列型号主要参数DH-CSS7124S4U高度 24盘位 SATA SAS 4T盘DH-CSS7136S4U高度 36盘位 SATA SAS 4T盘DH-CSS7148S8U高度 48盘位 SATA SAS 4T盘硬盘监控应用推荐使用3T/4T企业盘1.1.4.2 微云产品型号主要参数DH-CSS6036E-RM4U
13、高度 36盘位 SATA SAS 4T盘1.1.4.3 多云产品多云云存储系统=标准云存储系统（存储服务器硬件+分布式文件系统）+多云云存储系统软件包。元数据服务器与数据节点与标准云一样；定位服务服务器：1) 与MDS共同部署：不需要单独服务器。2) 独立部署：推荐采用DELL R220（CPU：Xeon E3-1220 v3，硬盘：500GB SATA硬盘，内存：4GB DDR3），比DELL R220性能高均可。多云云存储系统软件包=全局运维服务软件+定位服务软件+SDK升级软件。1) 全局运维软件：提供全局管理，全局运维功能。2) 定位服务软件：将客户端请求定位到指定的子域云存储中。3)
14、 SDK升级软件：增加支持管理员访问多云中各个子域，对各个子域进行管理。 详细参数见云存储_云计算-产品选型表 1.1.5 应用场景1.1.5.1 按照存储场景1. 海量视频录像存储具体可以分为直存场景与转存场景，如下图所示：视频图片直存应用场景云存储系统内置流媒体模块，具备前端摄像头产生的视频流直接存储到存储集群中，避免了中间环节的流量、性能开销，提供高可靠性流媒体存储能力，以及强大的媒体转发能力。视频图片转存应用场景云转存方案采用单独的服务器部署流媒体服务集群，通过转发的方式将视频数据切片后写入云存储集群。优势：提供海量存储空间，解决传统存储方式节点间无法保护，恢复速度慢等问题，提高存储的
15、可靠性、安全性，同时对象存储的高开放性，可以以服务的形式提供给上层应用。2. 高价值视图二次存储对高价值视图文件永久可靠保存；满足后续应用系统对数据的开放性访问需求；高价值视频二次转存应用场景弹性扩容，方便后续新的应用系统提供/接入高价值视图数据，保证存储系统建设的长期高可服务性；3. 视图智能分析大数据应用（目前学校大数据的应用模型还需探索）云存储高吞吐量和性能可以完美的配合视图智能分析大数据应用，开放的对象存储方式可以供不同大数据应用系统访问存储数据；视图智能分析大数据应用场景例如云存储作为视图库与车辆信息库，公安七大库，人员信息库等其它数据库通过云搜索服务进行数据统计与数据碰撞，可以应用
16、到拥堵分析，无牌车统计，高位时段统计，犯罪锁定等。4. 数据中心应用专业视频云存储系统能满足教育行业业务持续型的存储访问需求，提供性价比、规模、易扩展、高吞吐的存储系统。5. 通用数据存储除视频、图片存储外，还可以进行其他形式的存储，如办公数据以文档形式存储，金融数据表格形式存储等。1.1.5.2 按照存储规模1. 微云云存储系统应用某微云云存储系统内置流媒体模块，提供视频图片直存服务，内置元数据服务模块，无需配置元数据管理节点，仅仅由存储节点组成，系统最小规模2台，支持横向扩展。架构如下图所示：某微云云存储系统架构设计某微云云存储系统在横向扩展至8台以后需要增加一堆元数据服务器，即形成一套标
17、准云存储系统。典型应用场景微云云存储系统典型应用图在存储容量相对较小的分支机构放置微云系统，通过统一运维平台进行统一接入，为分支机构及中心提供高安全，高可靠的存储系统，同时具有横向扩容能力，按需购买存储空间，良好的开放共享能力为大数据应用提供帮助。典型应用行业如有多个校区的学校等。2. 标准云云存储系统应用某标准云云存储系统内置流媒体模块，提供视频图片直存服务，由元数据服务器，存储节点组成，建议系统最小规模6台，支持横向扩展。架构如下图所示：某标准云云存储系统架构设计典型应用场景例如越来越多的学校发布了网络课程，需要大量的课程存储，同时校园安全监控视频存储需求也越来越大，构建一套统一的云存储刻
18、不容缓，既满足大量的教学视频，教学资源的存储，方便学生共享学习，同时又满足实时性较高的海量监控存储，并与其它数据库进行大数据碰撞，对校园安全进行预警防控。3. 多云云存储系统应用：某多云云存储系统，由标准云存储系统组成，通过云存储管理中心进行分域管理，全局统一运维，架构如下图所示：某多云云存储系统架构设计多云云存储系统在标准云存储基础上增加：全局运维服务、定位服务（Location Service，简称LS）并对SDK进行升级。全局运维服务：对多云云存储系统进行统一管理、统一维护。定位服务：主要负责维护子域名称和子域云存储的入口IP，访问云存储统一通过这个IP地址，即将客户端请求定位到用户指定
19、的云存储中。定位服务既可部署在标准X86服务器上，也支持和MDS共同部署；SDK升级服务：以支持子域名字传递，便于管理员访问多云中各个子域。典型应用场景多云系统支持混合组网方案，中心机房组建大容量云存储系统，通过分域管理，根据不同状况进行不同方式的接入。网络状况好的情况（如带宽10GE）：分中心机房接入的监控视频可以直接通过城域网传送到中心机房云存储系统进行存储。网络状况不好的情况（如带宽10GE）：可以组建多云系统，分中心机房接入的监控视频可以再本地进行存储，中心机房进行统一管理，统一运维。方案优势：根据不同的网络状况，机房条件，业务需求等进行灵活组网，方案提供统一管理，统一运维，更灵活的满足的各行业视频、图片存储需求。参考组网图如下：多云云存储系统典型应用图中心机房建设一套大容量云存储系统，进行分域管理，如可将子域1划分给分中心1，分中心1因为网络带宽较好，可以直接将前端接入的监控视频传到中心机房进行存储，分中心2因为网络带宽不好，建议在本地建云存储，划分为子域M，将前端接入的监控视频在本地进行存储，通过多云云存储系统进行统一管理与维护。