《（大数据资料）H3C DataEngine Lion技术白皮书.docx》由会员分享，可在线阅读，更多相关《（大数据资料）H3C DataEngine Lion技术白皮书.docx（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、（大数据资料）H3C DataEngine Lion技术白皮书H3C DataEngine Lion技术白皮书Copyright 2016杭州华三通信技术有限公司 版权所有,保留一切权利.非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播.本文档中的信息可能变动,恕不另行通知.目 录1 概述12 技术优势、特点12.1 技术特点12.1.1 领先的分布式架构12.1.2 线性扩展能力22.1.3 高可靠性42.1.4 良好的性能42.1.5 自动化运维42.1.6 开放兼容43 功能介绍43.1 数据采集43.2 格式解析53.3 数据存储53.4
2、 数据检索53.5 数据分析挖掘53.6 可视化53.7 告警53.8 分享64 关键技术指标65 典型应用场景75.1 使用场景75.1.1 日常IT 运维76 硬件规格86.1 硬件要求86.2 典型组网架构991 概述运维行业现状(TODO)H3C DataEngine Lion运维大数据平台能够帮助运维人员从传统被动救火的运维方式中解脱,利用大数据技术做到精准、智能的运维,主要解决用户如下运维难题：1) 运维日志分散,定位问题需要单独登陆设备、系统去分析.一个简单问题定位原因可能会涉及系统众多,需要很长时间多部门人员沟通协调,Lion可以做到运维日志的集中管理.2) 海量数据存储、检索
3、问题,每天新增大量的日志数据,历史数据存储成本高,存了无法有效分析利用、带来价值,Lion做到了存储的弹性扩展以及高效检索.3) 各种设备、应用提供的日志信息之间难以关联,一个问题的出现很可能从应用系统到硬件都有日志记录保存,利用Lion的机器学习、大数据技术能分析日志之间的关联性,可高效定位问题.4) 问题事件难以提前预警,往往是出了问题再去分析定位,Lion利用丰富的机器学习算法,做到运维问题事件的智能预警.5) 报表统计需要手工操作,日志数据可视化程度不够,Lion集成丰富的可视化图表、仪表盘,让数据更生动,让用户更易发现日志数据的关联.2 技术优势、特点2.1 技术特点Lion支持布式
4、搜索,它的特点有：分布式,索引自动分片,索引副本机制,零配置,自动发现,restful风格接口等.支持对日志进行收集、分析,并将其存储供后续使用.提供的日志分析友好的Web界面,可以帮助您汇总、分析和搜索重要日志数据.2.1.1 领先的分布式架构H3C DataEngine Lion基于 ElasticSearch架构,提供了一个分布式搜索引擎架构.Lion可以扩展到上千节点来存储、处理PB级的数据.分布式特性主要体现在：1、 当文档数据存储到不同分片时,可以分散在多个节点中.2、 分片会均匀的分配到各个节点,保证对索引建立、搜索的负载均衡.3、 每个分片存在冗余副本,保证集群的可靠性.4、
5、集群中任一节点收到请求会路由到数据对应节点.5、 节点的增加或删除时,分片数据会做到无缝扩展、迁移.当数据量或查询压力超过单机负载时,需要多个节点来协同处理,所有节点构成集群来处理,其中有1个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的.Lion实现了去中心化,从外部来看集群,在逻辑上是一个整体,你与任何一个节点的通信和与整个集群通信是等价的.当需要存储大规模文档时,由于内存、硬盘容量的限制,仅仅使用一个节点是不够的,Lion会把数据切分存储,每一部分都是一个单独的索引分片,每个分片可以存储在集群的不同节点上.当需要查询有多个分片构成的索引时,Lion会将查询发送到相
6、关分片,并将结果合并.这些过程对具体应用而言是透明的,无需关心分片的存在.2.1.2 线性扩展能力所谓线性扩展能力,主要体现在两个方面：一个是集群部署规模可以线性扩展,另一个方面,随集群规模的扩展,其性能要能够线性或近似线性扩展.当数据量或者查询负载超过当前集群负载时,会增加新节点来解决,新的节点配置好正确的集群名称后,会自动加入集群中来,并且Lion会重新平衡集群,转移一些数据到新加入的节点上.集群有两种自动发现策略：组播和单播Zen发现机制.当节点还未加入任何集群时,它会发出一个个多播的请求,这相当于通知所有可见节点和集群,它已经准备好加入集群了.当关闭默认组播方式后,可以使用单播方式,当
7、节点不是集群中节点时,它会发送请求给所有节点表示已准备好加入集群了.集群单节点场景：默认情况,一个索引5个主分片,这里以3个举例,副本设置为1,对于单节点集群,如果节点故障,数据可能会丢失,集群不能正常工作.图 集群单节点第二个节点加入集群,新节点会将三个复制分片分配,如丢失任意一个节点,依旧可以保证数据的完整性.文档的索引将首先被存储在主分片中,然后并发复制到对应的复制节点上,确保数据在主节点和复制节点上都可以被检索.图 集群两节点集群节点继续横向扩展,第三个节点加入集群,分片会重新分配以做到负载均衡.6个分片的情况下,一般最多扩展到6个节点,每个分片独享硬件资源.图 集群三节点2.1.3
8、高可靠性Lion的高可靠性利用副本机制来保证,每个索引分片创建冗余的副本,原始分片称为主分片,默认副本数为3(包含主分片),当主分片丢失或者所在节点宕机,副本可以升为主分片,从而保证整个集群的高可靠性.2.1.4 良好的性能Lion具有良好的检索性能,支持全文检索功能.支持近实时的搜索效果,一般查询在毫秒级响应,亿级数据查询在秒级内响应.2.1.5 自动化运维2.1.6 开放兼容强大的数据处理和方便的扩展能力,提供接口,满足用户开发自定义应用,兼容第三方探针采集.3 功能介绍3.1 数据采集支持采集服务器、网络设备、安全设备、操作系统、数据库、应用系统等日志文件;支持采集数据库访问日志;支持网
9、络流量采集;支持设备性能指标采集;支持端口监听收集数据等,几乎支持全数据源采集.3.2 格式解析支持自动化解析常见类型的日志,如JSON、Nginx、Log4j、XML等.支持配置解析规则对日志解析包含正则解析、KeyValue分解、数值型字段转换、url解码、时间戳识别、geo解析、字段值拆分、xml解析、自定义字典等.对于不能被自动识别的日志,会对其全文索引.3.3 数据存储采用分布式存储架构,节点可在线动态扩展增加存储容量,支持PB级以上海量数据存储,支持高可用、多副本机制、快照功能.3.4 数据检索1) 支持全文检索功能.支持近实时的搜索效果,一般查询在毫秒级响应,亿级数据查询在1秒内
10、响应.2) 支持检索条件的载入、保存,灵活、复杂的条件过滤.3) 支持基于快速时间点、时间段检索.4) 支持数据字段、事件字段的列表展示,支持字段别名功能.5) 支持定时页面刷新结果,时间序列结果展示.6) 支持自定义告警规则,智能预测发现问题,做到对告警事件及时响应.3.5 数据挖掘支持丰富的机器学习算法,能自我完善模型、训练数据.支持基于Spark、Storm等分布式计算框架,支持离线数据挖掘,实时数据分析,支持基于大数据的用户行为分析、多数据源关联分析.3.6 可视化1) 提供了折线图、面积图、饼图、地图、区域图、表格、曲线图、柱状图、雷达图、标签云、桑基图、时间轴、热力图、雷达图、雷达
11、扫描图等图表功能.2) 基于已有搜索创建可视化、支持可视化的载入、保存.3) 支持定时的可视化图表刷新.4) 基于搜索条件的可视化图表统计过滤.5) 支持自由组合可视化为仪表盘.6) 支持仪表盘的载入、保存.7) 支持已保存的可视化、仪表盘对象的编辑、预览、导入、导出以及批量导入和导出.3.7 告警能够定期执行,并依据搜寻结果发出各项警示通知,可以过email、声音提醒、web通知等方式通知用户.支持日程格式：时间戳、Cron表达式、实时执行.3.8 分享由各种设备所产生的机器数据是相当枯燥乏味的,通过lion可将它转化为切实可用的重要IT信息,并且能为任何人所用,不需要太多艰深的知识即可找出
12、想要的信息.搜索报表生成仪表盘,并可生成分享链接,嵌入到其他系统.4 关键技术指标1) 管理界面：B/S架构,全中文WEB界面,所有系统可以在任何地方随时通过浏览器在同一界面远程管理.2) 监测方式：集中式和分布式Agent检测3) 可自动建立日志、事件索引而不需提供原始格式属性4) 支持集中非代理式监测,无需在被监控对象上安装任何代理软件,对原有系统不产生任何影响.5) 跨平台监测：能跨平台支持Windows、Linux等操作系统,对Cpu、Memory、Disk、Service、Process、日志及文件等进行实时监测管理.6) 支持任何日志来源：能支持对不同厂商、不同型号的网络设备的日志
13、、流量、接口状态、接口丢包率、Cpu利用率、Memory、配置文件是否修改等进行集中监测管理.7) 事件统计报表功能：能通过对历史统计数据的分析,生成趋势报告,TOP N报告等,发现并消除网络瓶颈及安全隐患,为提高网络资源利用率,为网络规划提供依据.8) 报警方式：提供声音、Email、web通知等多种报警方式.9) 权限管理：可以详细设置不同身份的人员登录Lion所看到的菜单不同,数据权限可细粒度到索引、主机、仪表盘.10) 二次开发支持：开放式API,能进行功能扩展、二次开发或实现与其它日志系统的无缝集成,提供应用管理,管理用户插件.11) 协议支持：监测支持SNMP、TCP、UDP、IC
14、MP、SYSLOG、SSH、DNS、HTTP、THRIFT等协议,能广泛支持不同厂家设备;12) 数据库管理：能对ORACLE、POSTGRESQL、MongoDB、Redis等数据库进行有效的监控和管理, 可对这些服务的可用性、响应时间的趋势变化进行实时、集中的监控.13) 进程管理：对服务器的进程信息进行监视.包括进程的序列、名称、状态、类型、CPU利用率、内存利用率等.14) 服务器状态：实时监测网管中的服务器的性能与负载,界面上能清晰的反映所监视的服务器的各项指标、状态.性能指标包括CPU利用率、内存利用率、磁盘利用率.5 典型应用场景5.1 使用场景5.1.1 日常IT 运维如今,I
15、T管理的难度日益加剧,传统的IT管理方法受到来自新兴技术、企业组织的严格管理措施、安全审计等各个方面的压力.在IT的复杂程度不断攀升的背景下,系统管理员每日的工作犹如救火,他们在确保系统运行顺畅的基本前提下,需要掌握各个网络设备的配置情况,需要运用各种管理工具,实时监控系统或应用的运行情况,需要时刻准备着做繁杂的故障排除,需要动态调整系统配置参数,还需要防微杜渐做好备份防灾准备.而我们最常见的状况就是,在一个企业组织当中,如果出现了问题,故障工单、事件以及合规审计的需求通常会统统送到服务台.但是因为缺乏故障发生原因的各种具体信息,客服人员填写故障单后,就会直接把问题申报至网络运营部、应用开发部
16、、数据库管理部、安全部或者是系统管理部.如此冗长的工作流程以及相互孤立的数据信息阻碍了部门间的有效合作,各个部门之间就像是在踢皮球.行业分析公司Forrester Research估计,约有百分之七十的初级故障,一线人员根本没有对其进行处理直接做了问题申报.而手动浏览这些信息孤岛数据则需要花费数小时甚至数天的时间.然而实际上,实时地对这些故障问题做出响应,对绝大多数的业务来说都至关重要. 在这个业务快速发展的时代里,系统管理需要尽快从过去的”静默运维”升级到”智能运维”的范畴之中.系统管理可以通过建立从数据检索、日常监控和告警体系、性能衡量与评估到业务视图的深入流程体系.我们可以把日常的运维工
17、作和公司的业务营运目标精密结合起来.大量的系统日志、IT数据可以成为我们智能运维的基础,在此之上,进一步的挖掘、整理和呈现是表达我们思想的有力手段.无论是Windows, Linux, AIX, Solaris, HPUX等各类系统,或者是NetAPP, EMC等存储设备,以及Citrix, Vmware等各类虚拟机系统,各类的系统、设备都有丰富的IT数据产生,例如日志、运行状态数据、甚至是脚本运行的结果输出;通过收集这些IT数据,并进行Google式的快速搜索定位,各类问题的关联解决和快速诊断得到了有力的保障;而进一步利用这些问题故障的搜索可以演变成动态的报表和自动告警,形成了自动化系统管理
18、的快捷流程;把相关的报表、实时监控保存在一起则瞬间形成了面向任务、面向业务的仪表板视图.在IT运维领域,Lion实现了l 将所有来源的各类型IT数据编列索引,使您可由单一位置搜索、报告、监控和分析实时或历史的IT数据.l 能快速报告各项结果并轻松采纳变更项目,且无须遵循、维护任何复杂的模型或规则l 使您能更快速将问题复原、减少停机时间,以及改善服务效能等级.6 硬件规格6.1 硬件要求1. 服务器最少1个节点推荐 4个节点及以上2. 硬盘系统盘：必配,至少2块硬盘.2个硬盘做RAID 1用来安装DataEngine Lion等系统软件,不作为数据盘;系统盘建议使用SAS盘,容量、转速没有特殊要
19、求.数据盘：必配,至少1块硬盘1、转速建议10K以上,单盘做RAID0条带化;2、DataEngine Lion使用副本机制(2N副本)或纠删码机制保障可靠性.如果使用N副本,则可用容量是裸容量的N分之一.建议使用2-3副本,保持较好的性价比.如果对存储效率都有比较高的要求,也可以采用纠删码技术,此时对CPU要求有所提高.3、不同节点硬盘类型(容量、转速)可以不同,但为保证最佳性能,需要采用一定的配置策略.在一般项目中,为简化起见,建议不同节点配置相同类型的硬盘.为保证系统性能,建议配置10000rpm的硬盘.3. SSDSSD为系统提供快速写日志功能及缓存加速功能,建议每台服务器SSD硬盘容
20、量与机械硬盘的容量比为1：5.4. 内存根据服务器配置的数据盘容量计算DataEngine Lion占用内存容量：512M内存/TB磁盘容量.例如某服务器节点配置8块1T的数据盘,那么DataEngine Lion占用内存容量为：8*512M = 4G.注意：服务器还需要配置足够的内存供虚拟机使用.5. RAID控制器必配,H3C FlexServer服务器默认已自带硬件Raid卡.其他品牌服务器需确认形态及兼容性.RAID卡缓存推荐配置不少于2G.如果Raid卡没有电源保护,则关闭Cache.6. 网络至少配置3个网口,分别对应存储内网、管理网、业务网,其中存储内网为万兆网卡,其他可千兆;为进一步提升可靠性及性能,建议网口采用冗余配置,共6个网口(2个万兆,4个千兆).如果还要求提供外部存储服务,则需要另配网卡(千兆或者万兆均可).7. 以太网交换机在服务器节点较少的时候,多张网络可以共用交换机,通过VLAN隔离;存储内网交换机必须为万兆端口.6.2 典型组网架构在组网上,H3C DataEngine Lion既可以和虚拟计算融合组网,也可以作为IP SAN独立组网.在融合型组网中,H3C CAS系统和DataEngine Lion存储系统结合,以集群的形式对外提供服务.具体组网如下图所示：