《移动信令增值方案.pdf》由会员分享，可在线阅读，更多相关《移动信令增值方案.pdf（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1.1.背景背景2.2.项目内容项目内容3.3.项目方案项目方案3.13.1 cStorcStor 云存储系统介绍云存储系统介绍3.1.13.1.1 cStorcStor 云存储系统简介云存储系统简介cStor 云存储系统是南京云创存储科技有限公司自主研发的高科技产品，是一种软件与硬件相结合的系统，其中专有技术和软件是高附加值部分。与目前国际上知名的云存储技术相比，具有超高性价比、高可靠、通用、免维护的优势，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。特别地，cStor 每个标准机架的最高容量可达 1024TB 以上，是国际最高水平的 3 倍，拥有成本和
2、运营成本都仅为同类产品的几分之一。下图 1-1 为 cStor 云存储产品 C1000 系列存储机柜。图 1-1 cStor C1000 系列产品存储机柜3.1.23.1.2 C1000C1000 系列产品特性系列产品特性C1000 系列云存储产品是南京云创存储科技有限公司的第一代云存储产品，它具有如下特性：高可靠性高可靠性系统中采用廉价的大容量存储服务节点，通过 cStor 系统软件实现统一管理和容错，提供高效、稳定服务。与使用专用服务器相比，可以将系统构建成本节省 5-10 倍以上，且规模越大，优势越明显。在降低系统的构建成本的同时，系统的可靠性不仅没有收到影响，相反，通过一系列的可靠性保
3、障机制，使得 cStor 系统具有高可靠性的特性。在 cStor 云存储系统中，数据具有多个副本（默认情况下是 2 份，可以根据需要设置），任意节点出现故障，系统将会自动复制数据副本到新的节点上，不会丢失数据。这样，在节点发生故障的情况下，也可以实现数据的无间断服务。同时，元数据管理节点采用双机镜像模式容错，如果有一节点出现故障，另一节点自动接替。高性能高性能cStor 采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写；这样随着存储节点数目的增多，整个系统的吞吐量和 IO 性能将呈线性增长。同时，cStor 采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的
4、性能调节到最高。在线伸缩在线伸缩cStor 云存储系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。通用易用通用易用cStor 云存储系统提供标准 POSIX 接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的 API 接口，供开发人员调用。智能管理智能管理提供基于 WEB 的管理平台，所有的管理工作均由 cStor 管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过
5、管理平台，可以对 cStor 中的所有节点实行无间断监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况。3.1.33.1.3 产品技术架构产品技术架构C1000系列产品采用cStor分布式云存储文件系统对数据进行集中式海量存储和统一管理，其技术架构和关键技术在下面的章节中分别详细介绍。技术架构技术架构cStor 云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（MasterServer）和数据存储节点服务器（Chunk Server）以及客户端节点的结构构成一个虚拟的海量存储卷，如下图所示。图 2-1 cStor 云存储系统架
6、构其中，Master Server 保存系统的元数据，负责对整个文件系统的管理，Master Server 在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server 负责具体的数据存储工作，数据以文件的形式存储在 Chunk Server 上，Chunk Server 的个数可以有多个，它的数目直接决定了 cStor 云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在 Chunk Server 上，每一个块数据服务器，及时存储服务器也是客户端服务器。对每一个节点，cStor 云存储系统提供的管理监控中心都可以对其进行
7、管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如 FTP 账户添加等客户端管理和配置工具。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的 Chunk Server 即可，而不需要添加整套设备。下图 2-2 为 cStor 云存储系统部署示意图。图 2-2 cStor 云存储系统部署示意图cStor 云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错。所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统。通过增加或者减
8、少存储节点的方式，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。下面简单的介绍下 cStor 系统的工作原理和管理机制。工作原理工作原理对于 cStor 云存储的用户来说，通过 cStor 客户端可以将海量云存储系统映射成一个本地海量磁盘（Windows 客户端）或者映射到一个目录（Linux 客户端），对于此磁盘或者目录的读写操作，即可实现云存储系统数据的读写。同时，由于 cStor 文件系统支持 POSIX 接口规范，对于目前一般的应用不需要做二次开发即可使用。下面详细的介绍一下 cStor 云存储系统的实际读写过程。下图
9、 2-3 是 cStor 客户端向系统中写数据的流程图。图 2-3 cStor 客户端写数据流程其详细过程是：1)cStor 客户端向元数据服务器发起数据写请求；2)元数据服务器根据其管理的存储节点的工作和使用情况，根据负载均衡的原理，在相关存储节点上创建一些新的数据块；3)相关存储节点服务器创建成功，将结果返回给元数据服务器；4)元数据服务器一方面备份和同步此元数据信息，另一方面将相关存储节点信息返回给客户端；5)客户端根据得到的存储节点信息，向对应存储节点发出数据写请求，并向存储节点发送数据；6)存储节点接收数据并存储到相应块，同时也向其他存储节点发起备份；7)当本地写以及备份均成功后，存
10、储节点将成功信息返回给客户端；8)客户端收到成功信号后，即完成数据的存储。下图为 cStor 客户端读数据流程图如下所示：图 2-4 cStor 客户端读数据流程总的来说，cStor 云存储系统的控制流和数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正相关。管理机制管理机制cStor 云存储系统采用的是一种基于网络的管理工具，称之为cStor 网管监控中心，主要用来对 cStor 云存储系统进行远程监控和管理，其具体功能包括：1)提供存储机架的虚拟化管理；2)可以监测到每个节点服务器的运行状
11、态（包括主备元数据服务器和存储节点服务器的内存、CPU、系统盘的利用情况等）；3)磁盘的运行状态和使用情况监控；4)cStor 服务的启动和关闭；5)所有服务器的重启、关闭；6)卷管理服务器的设置和账户管理；7)FTP 账户的批量添加和删除等。3.1.43.1.4 关键技术关键技术负载自动均衡技术负载自动均衡技术cStor 采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在 Master Server 上，文件则划分为多个 chunk 存储在不同的 Chunk Server 上。Master Server 维护了一个统一的命名空间，同时掌握整个系统内 Chunk Server 的使
12、用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据 Chunk Server 的磁盘使用情况、网络负担等情况，选择负担最轻的 Chunk Server 对外提供服务，自动均衡负载负担。另外，当某有一个 Chunk Server 因为机器故障或者其他原因造成离线时，Master Server 会将此机器自动屏蔽掉，不再将此 ChunkServer 提供给客户端使用，同时存储在此 Chunk Server 上的数据也会自动的备份到其他可用的 Chunk Server 上，自动屏蔽 Chunk Server故障对系统的影响。高速并发访问技术高速并发访问技术客户端在访问 cStor
13、时，首先访问 Master Server 节点，获取将要与之进行交互的 Chunk Server 信息，然后直接访问这些 ChunkServer 完成数据存取。cStor 的这种设计方法实现了控制流和数据流的分离。Client 与 Master Server 之间只有控制流，而无数据流，这样就极大地降低了 Master Server 的负载，使之不成为系统性能的一个瓶颈。Client 与 Chunk Server 之间直接传输数据流，同时由于文件被分成多个 chunk 进行分布式存储，Client 可以同时访问多个 ChunkServer，从而使得整个系统的 I/O 高度并行，系统整体性能得到
14、提高。通常情况下，系统的整体吞吐率与 Chunk Server 的数量呈正比。高可靠性保证技术高可靠性保证技术对于元数据，cStor 通过操作日志来提供容错功能，当 MasterServer 发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。为了防止 Master Server 彻底死机的情况，cStor 还提供了 Master Server 远程的实时备份，这样在当前的 Master Server出现故障无法工作的时候，另外一台备 Master Server 可以迅速接替其工作。对于 Chunk Server，cStor 采用副本的方式实现容错。每一个chunk 有多个存储副本
15、（默认为两个），分布存储在不同的 ChunkServer 上。副本的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个 Chunk Server，必须将所有的副本全部写入成功，才视为成功写入。在其后的过程中，如果相关的副本出现丢失或不可恢复等状况，Master Server 会自动将该副本复制到其他 Chunk Server，从而确保副本保持一定的个数。在有多个 Chunk Server 的情况下，任意损失一个节点，数据都不会丢失，而且随着 Chunk Server 数目的增多，整个系统的可靠性越大。高可用技术高可用技术系统中的所有服务节点均是通过网络连接在一起，由于
16、采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用冗余备份机制，多个存储节点情况下，任意损失一个节点，数据不丢失，服务不停止。3.1.53.1.5 产品应用模式与部署方案产品应用模式与部署方案cStor 云存储系统主要是为海量数据的集中存储和处理提供解决方案。针对不同的应用场景，它主要有如下集中应用模式，下面分而叙之。企业典型云存储应用模式企业典型云存储应用模式随着社会信息化程度的不断提高，越来越多的企业对海量数据存储和
17、处理的需求越来越迫切。海量数据爆炸式增长，传统存储模式面临着扩容不方便、系统吞吐量不足、无法支持多用户高并发快速访问等问题。如下为传统存储模式的示意图：图 3-1 传统存储模式传统存储都是通过中心服务器来将数据转存到磁盘阵列或磁盘柜等存储介质中，这样的模式很容易成为系统的瓶颈。cStor 基于分布式的云存储架构，能够完美的解决传统存储模式所遇到扩容不方便、系统吞吐量不足、无法支持多用户高并发快速访问等问题。基于 cStor 云存储具体解决方案如下：图 3-2 cStor 云存储集中存储模式采用 cStor 云存储的典型云存储模式具有如下特点：1 1）动态伸缩动态伸缩系统增减节点不必停止服务，可
18、在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩，并且系统可提供 7*24 小时不间断的存储服务。很好的解决了传统存储模式扩容不方便的问题。2 2）优异性能优异性能采用控制流和数据流分离的技术，每个存储节点都对外提供数据访问服务，系统的总体性能与存储节点的规模成正比，整个系统的吞吐量随着节点的规模增加呈线性增长，系统的规模越大云存储系统的优势越明显。3 3）多用户高并发快速访问多用户高并发快速访问系统自动均衡负载，根据节点的空间使用比例将负载自动均衡到不同的存储服务器上，同时将不同的用户端的流量自动分担到不同的存储节点上，从而支持多用户高并发快速访问。大规模虚拟
19、机映像文件云存储应用模式大规模虚拟机映像文件云存储应用模式目前，虚拟化技术在企业中的运用是越来越多，特别是桌面云等云计算技术的应用，那么存储这些虚拟机镜像也越来越成为一个摆在企业面前的问题：在传统的存储模式下，系统通过单节点存储服务器对外提供虚拟机映像文件的访问，当访问的节点达到一定数量的时候，受访问的服务器便无法提供如此高的吞吐率，因此传统模式不能满足大规模的虚拟机映像文件的存储需求。为了解决传统存储模式的缺陷，我公司提出了基于 cStor 云存储的解决方案，如下图所示：图 3-3 大规模虚拟机映像文件存储由于 cStor 采用控制流和数据流分离的技术，用户访问时通过元数据管理服务器获取文件
20、存储的信息，然后直接与各个存储节点交互进行文件的存取访问，避免了元数据服务器超负载的现象，同时系统的整体吞吐率随着存储节点的增多呈线性增长，解决了传统方式的超大数量用户访问的瓶颈。广电媒资系统云存储应用模式广电媒资系统云存储应用模式随着视频技术的高速发展，以及高清、新媒体等业务的全面展开，媒资管理系统对可靠性、存储容量、访问宽带等要求不断提高，除了业务与设备高度耦合造成的设备共享困难外，广电媒体 IT 系统的管理复杂度也越来越高。针对目前的业务需求和存储策略，我们提出了如下的云存储解决方案：图 3-4 广电媒资系统 cStor 存储应用模式采用 cStor 云存储模式的系统，具有如下特点：1
21、1）高度可靠高度可靠针对小文件采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不丢失，实现数据完整可靠；针对大文件采用超安存（S3）编解码算法的方式实现高度可靠，任意同时损坏多个存储节点，数据可通过超安存算法解码自动恢复。该特性可适用于对数据安全级别极高的场合，同时相对于副本冗余的可靠性实现方式大大提高了磁盘空间利用率，不到 40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。元数据管理节点采用双机镜像热备份的高可用方式容错，其中一台服务器故障，可无缝自动切换到另一台服务器，服务不间断。整个系
22、统无单点故障，硬件故障自动屏蔽。2 2）超大规模超大规模可支撑的容量接近无限，理论容量为 1024 x 1024 x 1024 PB（1G个 PB 容量）。3 3）多用户高并发快速访问多用户高并发快速访问传统方式不能满足同时上传和下载的高速并发访问的要求，cStor云存储系统能够自动均衡负载，根据节点的空间使用比例将负载自动均衡到不同的存储服务器上，同时将不同的用户端的流量自动分担到不同的存储节点上，从而支持多用户高并发快速访问。4 4）智能管理智能管理一键式安装，智能化自适应管理，简单方便的监控界面，无需学习即可使用。城市视频监控云存储应用模式城市视频监控云存储应用模式随着城市视频监控布设的
23、越来越全面，如果采用 1080P 的高清视频监控，使用能获得最高压缩比的 H.264 图像压缩技术处理收集的高清视频，则压缩输出码率最高可达到 6Mbps，也就是每台摄像机每天将大约产生 50GB 左右的数据量，那如果是一个城市一年的视频数据的话是相当惊人的。因此传统处理方式已无法实现如此海量数据的存储与高效处理。针对这一现象，我们提出了如下的云存储解决方案：图 3-5 云视频监控系统框架本系统具有如下特点：1 1）高效处理高效处理本方案针对城市视频监控实际应用特点，结合云计算、云存储优势，利用云创存储自身云计算与云存储产品，创新地开发设计了城市云视频监控系统平台，结合云创 cStor 海量云
24、存储系统、cProc 高效云处理平台、cVideo 云视频监控管理系统、cTrans 高速云传输系统四大系统产品，充分发挥云存储与云计算针对海量数据处理时的优势，达到海量视频监控信息高效率存储与管理的目的。2 2）超大规模超大规模可支撑的容量接近无限，理论容量为 1024 x 1024 x 1024 PB（1G个 PB 容量），有足够的存储空间来存储城市视频。3 3）动态伸缩动态伸缩系统可以在不停止服务的情况下，动态加入新的存储节点，支持超大规模集群，满足海量数据集中存储的大容量的要求。公安图像侦查云存储应用模式公安图像侦查云存储应用模式近年来，视频监控在安防领域得到了大规模应用，海量的摄像头
25、完成了部署。视频监控信息在维护社会稳定，协助安全防卫过程中发挥了重要的作用，与此同时，海量视频数据的集中存储与共享、高度可靠以及多用户高速并发访问成为公安图像侦察应用领域的基本要求。cStor 云存储系统提供了海量数据的集中存储与共享，以及高度可靠的多用户高速并发访问解决方案，下图为公安图像侦查的云存储应用模式示意图：图 3-6 基于 cStor 云存储的公安图像侦查系统在本侦查系统中，图像视频数据通过专门的数据上传组进行上传，同时在多个侦查组可以进行数据的侦测（示意图中的数据下载区），通过这种模式可以大大的节省团队的协作时间，提高整体的执行效率。由于采用了分布式的云存储架构，各个侦查组在进行
26、数据的读写时，是直接与个存储节点进行数据的交互，不存储单节点性能瓶颈，而且随着存储节点数目的增多，系统的整体 IO 性能呈线性的增加。数据灾备中心云存储应用模式数据灾备中心云存储应用模式对于政府、银行、交通等行业，数据尤其重要，如果企业数据丢失，不仅会影响到业务的开展，更严重还会是企业丢失客户的信任以及企业赖以生存的市场。因此成功的容灾和备灾将是一个企业战略规划的核心部分。为了应对灾难对用户带来的威胁，我公司提供了数据灾备中心云存储系统的解决方案，如下示意图所示：图 3-7 数据灾备中心云存储应用模式各地有本地数据存储中心，重要数据则在本地系统空闲（如晚上）时通过网络上传至数据灾备中心进行集中
27、式备份。同时数据灾备中心的存储服务器也可以部署云处理平台，在没有数据备份的空闲时间段也可以对外提供云计算服务。这种基于云存储的数据灾备中心，通过云存储的分布式架构，将数据分块存储在不同的存储节点上，提高了数据的可靠性，同时cStor中提供的超安存（S3）技术，不仅提高了磁盘的利用率，还通过其加密技术增强的数据存储的安全性。通过这种专业的统一灾备中心的容灾，企业只需要根据需求购买相应容量的存储，不仅大大减少了各个企业建立数据中心的成本，同时大大的降低了数据丢失的风险。3.23.2 cProccProc 云处理平台介绍云处理平台介绍3.2.13.2.1 cProccProc 云处理平台简介云处理平
28、台简介cProc 云处理平台是搭建在云存储系统上，对业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台。3.2.2 cProc 云处理云处理平台优势平台优势实时性：实时性：平台在高效率并行分布式软件的支撑下，可以实时完成数据处理和分析工作，如数据处理、数据查询、和统计分析等。数据处理不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。响应速度快速：响应速度快速：在海量数据领域，cProc 的响应速度远远快于传统的数据库。采用分布式处理的方式，性能与节点数成正比，通过增加节点的方式，可将性能提升，以达到满足需求的处理要求。高可靠性：高可靠性：基于对云处理可靠
29、性深厚的研究积累，彻底解决了当前分布式处理平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。可伸缩性可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与资源池的无缝对接，根据处理和存储任务动态地申请或释放资源，最大限度地提高资源利用率。高性价比高性价比：采用 X86 架构廉价处理机构建云处理平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省 10 倍左右的成本。全业务支持全业务支持：采用 NoSQL关系数据库混合模式，绝大部分海量数据存放
30、于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。3.2.3 cProc 云处理云处理平台平台技术技术架构架构云存储层包括公司自主研发的云储存系统cStor和apache开源云储存系统 HDFS；而在数据管理层中，包含数据立方、Hbase；数据处理层包含 JobKeeper 和 MapReduce；最后的监控协调层则包括zookeeper 和 Chukwa 来实现对整个系统的实时监控和数据管理。下图为 cProc 云处理平台架构：通过数据立方，可以对元数据进行数据分析、清理、分割。
31、对结构化数据任意关键字索引，形成一个多维数据模型，数据立方的命名也由此而来。数据立方是独立于 cProc 云处理平台的技术架构，用户可以选择性采用数据立方，也可以单独采用 Hbase、Hive 等技术框架，通过数据立方或 Hbase，可以将结构化数据看成一张无限大的表，操作这张表跟操作传统关系型数据库一样，上层应用无需修改，完全符合用户原来操作习惯。对于非结构化数据，cProc 云处理平台采用公司自主研发的超安存算法，对这些数据块进行分割，散乱存储到云储存系统上，然后采用分布式并行处理，对数据进行实时处理，cProc 云处理平台的处理性能随着节点的增多而成倍数增长。cProc 云处理平台拥有以
32、下特点：1 1.对任意多关键字实时索引对任意多关键字实时索引2.2.支持类支持类 SQLSQL 复杂并行组合查询复杂并行组合查询3.3.分布式分布式万兆实时数据流秒级处理万兆实时数据流秒级处理4.4.高可靠性，系统无单点，确保意外情况下，系统的正常运行高可靠性，系统无单点，确保意外情况下，系统的正常运行以上特点由云创公司自主研发的下面几大功能来提供保证，分别是数据立方，分布式数据处理,调度均衡器、数据传输接口等。数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数据结构，该结构成功解决了海量数据的快速索引和查询问题，使得百亿条记录级的数据能够秒级处理。分布式数据处理是云创公司研发的
33、处理海量数据的处理框架，用于对大规模数据集的并行处理。处理能力可以通过增加或减少机器达到动态调整。采用先进的容错技术，确保处理任务的可靠性，即使在异常情况下，如机器宕机、断网的情况下，确保处理任务的实时性和准确性。调度均衡器是云创公司研发的解决单点故障的一项技术，用于解决系统内的单点问题，确保某机器的应用程序状态在宕机或断网时，可将状态从异常机器转移到其他机器上，中间无数据丢失。数据传输接口是云创公司经过多年积累，专门针对地面数据传输研究出高性能可靠文件传输协议，采用并行流水线方式、将传输与存储作联合优化，并支持多点中继高效传输。经过多项实地远程传输试验，结果表明该技术的传输效率在 1Gb/s
34、 光纤线路上达到了带宽的80%左右，处于国际最高水平。几大功能相辅相成，高效且可靠地处理海量数据，确保响应迅速，传输速度快，处理结果准确。3.2.4 cProc 云处理平台规格云处理平台规格规格说明项目内容可 管 理 的 数 据 总 量（）支持 100PB 量级的数据管理实时索引的数据流量（）支持 100GBps 以上量级的数据流实时索引任意关键字段实时创建索引（）根据提供的表结构解析元数据，并根据提供的任意关键字段实时创建索引。可移植性（）Java 语言实现，具有跨平台性，一次编程，任意操作系统都可运行。实时查询（）1小时范围查询：1秒内响应，24小时范围查询：1秒内响应，7*24小时范围查
35、询：1秒内响应。支持简单 SQL 组合查询（）采用和关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。负载均衡可靠性（）拔掉或增加一台节点后，仍能均匀地向各处理节点分发数据。支持并发查询（）1、20个查询都能正常下发执行、且都能正常返回结果，2、20个查询任务的总耗时差距不大，根据机器负载进行均衡分配查询任务。数据准确性（）查询条件相同情况下，每次查询结果相同。稳定性（）1、系统连续运行7*24小时，无任何故障，2、所有周期任务均正常执行，且
36、执行结果正确。可靠性（）没有单点故障，任意节点宕机，系统工作正常，可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。扩展性（）既可以在很小规模机器上跑,也可以在成千上万台的机器上运行，而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。分布式处理能力（）集群能增加节点、并且能正常执行查询任务，在流量没变、资源增加的情况下，增加机器前后，查询任务耗时按比例降低。支持对外接口（）支持 Web 访问和 Web Services 接口进行对外数据交互操作。监控功能（）提供 web 界面对分布式文件进行监控，支持查看、下载索引文件和元
37、数据文件。备注：为必须满足项。3.2.5 关键技术关键技术数据立方数据立方（DataCube）我们以 B+树的结构建立了字段的索引，每个 B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCube)”。如下图所示：数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。数据立方的原理：由一个或多个管理节点，一个或多个处理及存储节点（数据节
38、点）组成，系统在数据建立与查询时，分布式建立与应用数据立方索引结构，在数据建立及存储时，对规范化的数据设定1 个或多个关键字字段，将不同的关键字字段分别建立索引，每张不同的索引生成一张独立的 B+树结构，多个 B+树结构垛叠在一起，与全局数据表形成一个完整的数据立方结构。利用数据立方存储索引结构，可方便快捷的在海量数据云处理系统中准确检索定位数据。B+树的插入仅在叶结点上进行。每插入一个(关键码-指针)索引项后都要判断结点中的子树棵数是否超出范围。当插入后结点中的子树棵数大于 m 时,需要将叶结点分裂为两个结点。它们的双亲结点中应同时包含这两个结点的最大关键码和结点地址。此后,问题归于在非叶结
39、点中的插入了。在非叶结点中关键码的插入与叶结点的插入类似,非叶结点中的子树棵数的上限为m,超出这个范围也要进行结点分裂。在做根结点分裂时,因为没有双亲结点,就必须创建新的双亲结点,作为树的新根。这样树的高度就增加一层了。当有新的记录到来时，我们要将新的数据记录对应的一条索引记录插入到所有的字段索引中，这时要采取一定的写入策略。当新的记录积累到 n1 条或经过一定时间 t1 时，对于存储在 MemCache 中的字段索引，可以将这些数据记录对应的索引记录一次性批量写入；当新的记录积累到 n2 条或经过一定时间 t2 时，可以将这些数据记录对应的索引记录一次性批量写入 HDFS（固态磁盘）上的索引
40、文件。对 B+树的查找类似于二分查找，对于 m 阶，叶子节点中记录个数为 n 的 B+树来说，其查找的时间复杂度为 O(log m+(n+1)/2)。因此对于值匹配和范围查找来说，有很快的速度。此外，由于对值按照大小顺序进行了指针链接，因此 m 阶 B+树还可以进行对值进行顺序查找。我们对重要字段建立索引，存储在 HDFS（固态磁盘）上。将最近常用的字段索引加载到 MemCache 中，同时删除最不常用的字段索引以节省空间。详细来说，对于每次查询，系统统计每个字段索引被调用的次数，对于被调用次数最多的那些字段索引就被加载到MemCache中，而在 MemCache 中被调用次数最少的某些字段将
41、被删除。数据立方是凌驾于数据存储层和数据库系统之上的，通过数据立方解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。任务监控器（任务监控器（JobKeeper）JobKeeper 调度平台是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。JobKeeper 云调度技术架构图应用层是一组用于管理和结果反馈的显示组件。用于显示任务的处理情况以及集群
42、中机器的活动情况，同时其也是一个上层应用和底层服务的对接平台。是整个系统面向用户和开发人员的基础承载。业务层是对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。数据处理层是独立的数据处理程序，是对不同需求数据的统一处理方案，他的运行与监控的工作将由 JobKeeper 调度平台进行统一的配置管理。存储层是用来存储数据存储层的处理结果集或者其他中间结果集的单元。虚拟化资源层是将实体的机器进行虚拟化，形成更大范围的服务集群。JobKeeper 调度平台是由一组管理节点（Master Node）和一组处理节点（Task Node）组成，管理节点组是
43、一组基于 Webserver 的RPC(RPC 采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。)服务器，负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存，对应的信息镜像存储在基于 cStor 或者NFS服务的存储系统上，保证每个管理节点中的镜像信息的实时同步。同时架设
44、在管理节点上的 ZooKeeper 服务(ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，包含一个简单的原语集。分布式应用可以使用它来实现诸如：统一命名服务、配置管理、分布式锁服务、集群管理等功能。)用于对整个管理节点组进行统一的配置化管理。处理节点组通过 RPC 的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行对比，控制程序的执行和结束。（注：这里的程序，可以是任何语言任何形式的独立程序，但是必须提供执行脚本，和运行参数选项）处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活状态。如果在若干个心跳间隔后管理节点组仍然没
45、有获取到处理节点心跳报告，那么该处理节点将会被踢出处理节点组，同时该节点处理的所有处理任务也会被重新调度。随着集群处理数据量的不断增大，处理节点组提供了简单高效的自动化部署方案，当新机器加入处理集群后，会主动的与管理节点组同步心跳信息，从同一配置服务器 ZooKeeper上获取相关配置信息，通过 WebServer 服务获取任务列表，开始执行数据处理工作。JobKeeper 调度平台提供了一套基于 Web 的管理化界面，可以实时的观察各个处理节点的任务运行状态，以及任务列表的分配情况，机器的负载情况等。用户在管理系统界面上可以完成所有的工作，如新任务的添加，任务的手动调度以及集群日志的查看与分
46、析等。任务处理节点和管理节点之间维护一个心跳时间，实时向管理节点汇报任务处理信息，同时，任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表，并和本机正在处理的任务列表进行比对，完成相关的任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系，那么管理节点将会根据各机器的负载情况，将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。3.2.4 cProc 云处理平台成功案例云处理平台成功案例移动云信令平台案例移动云信令平台案例一、项目背景一、项目背景截至年第二季度，全国手机用户量已达到 9.6 亿，并且随着网络的推广，手机用户量还在不断攀升。与此同时，每天
47、手机网络产生的移动信令数据量也在上升。目前，每天仅语音业务产生的信令数据量就高达几百 TB，每月产生的信令数据量高达数 PB。如果想从这么大量的数据中查找所需要的信息，会是一件非常困难的事情。如此海量的数据难以保存在集中式的数据存储系统和常规的关系型数据库中。为了解决目前海量数据存储的困难，提高海量数据查询速度，广东移动开展了移动信令平台项目。移动信令平台具有数据量大，数据类型复杂。同时为了能够快速正确分析移动网络性能并对网络故障进行快速定位，系统还要求具有快速的查询和容错能力，保证系统 7*24 小时提供搜索服务。根据这些要求信令平台需要具备如下功能和特点：1.1.支持海量数据的实时入库支持
48、海量数据的实时入库采用大量机器组成的云平台，能够提高对海量数据的快速入库，入库速度高达千兆每秒。2.2.支持海量数据的实时索引支持海量数据的实时索引能够实时监控入库的新数据，并对其建立具有高效查询速度的索引，达到高速检索。3.3.支持海量数据的快速查询支持海量数据的快速查询能够将用户的查询任务分解到平台的各个机器上，实现分布式并行计算，从而高效的利用系统资源，能够快速响应用户查询请求。4.4.系统具有高度容错性系统具有高度容错性当任意一台机器宕机，系统能够自动分配新的机器接替宕机机器的任务，从而实现系统的高度容错，保证了结果的正确性。5.5.系统具有高度可伸缩性系统具有高度可伸缩性平台能够通过
49、动态的添加机器，达到吞吐量和用户相应时间的线性增长。二、移动云信令平台解决方案二、移动云信令平台解决方案信令数据的网络优化是一项技术难度大、涉及范围广、人员素质要求较高的工作，并且是一个长期的过程。网络容量的不断发展，网络用户数量的不断增加，网络设备的不断更新给网络优化提出了更高的要求。路测是当前实际网络优化过程中最有效的手段，它可以实现对测试过程中收集的数据进行分析，找出问题所在，不断对系统进行优化，最终达到系统在大业务量时稳定运行的目的。但是由于通信业务的数量和复杂程度的不断加大，海量的路测数据的处理和分析成为制约路测技术的最主要瓶颈。现在很多行业都面临着海量数据的存储和处理，摆在我们面前
50、的是一个非常严峻的考验。针对于移动行业信令海量数据的特点和要求，提出以下解决方案：1 1 平台解决方案架构平台解决方案架构在中国移动提供的计算资源池上，申请若干 X86 架构计算/存储节点，虚拟出海量存储空间、处理能力和数据管理能力。同时研制面向应用的分布式数据处理软件，满足信令合成、索引、查询、指标分析、专题分析、深度数据挖掘等应用需求。信令共享平台是一个处于信令采集与信令监测应用之间的系统。从系统基本组成与构架上来看，该共享平台由 7 个主要部分组成：信令数据合成处理系统，信令数据订阅系统，实时跟踪系统，信令数据存储系统，信令数据查询分析应用系统，网络管理系统以及系统管理。cProccPr