《金山云-云上的大数据平台.docx》由会员分享，可在线阅读，更多相关《金山云-云上的大数据平台.docx（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、金山云云上的大数据平台数据应用四阶段论。电商企业有两个鲜明的特点，第一是，有许多促销运营的活动, 比如“双十一”、“双十二”；第二是，对大数据的依赖性很强，借 助对数据的分析进行精准推送。一家企业一天可以产生多少数据呢？几个例子可以说明问题：一 家中大型的游戏公司，每天玩家可以产生600GB的行为数据；一家互 联网企业，用户每天的点击流和行为数据可以达到500GB；而一家医 疗行业，或是生物分析行业的企业，假如想对几十万甚至上百万人做 基因的数据分析，人类的DNA是30亿个碱基对，那每个人DNA的数 据大概就是3GB,分析的数据量将逼近甚至达到PB级。对一些企业 来说，大数据能力不仅是一种追求
2、，而是企业运营的必需品。在这样的数据量面前，一个显而易见的问题是如果电商企业自建 机房，只为应对促销活动时的IT压力，这意味着购进大量设备，而 在平时，这些资源是被闲置的，这是成本上的浪费。另外，大数据平 台的运营和维护成本也比较高。随着云计算的兴起，企业纷纷将数据迁移到云上，以金山云为例, 其存储企业的总数据量已超过400PB,并以每天500TB的速度在不断 增加，在云上提供大数据服务成了一种必然。在电商企业使用云平台之后，实时数据则会通过万兆网的专线, 传输到金山云KMR (Kingsoft MapReduce,金山云托管Hadoop服务) 集群进行处理与分析，然后将处理结果传回电商的数据
3、中心。在促销 活动时，可以按需购买资源，只需几分钟就能灵活扩容与收缩，成本 下降效率却大大提升了。同时，也不必在运营维护上投入过多资源, 能更专注于本身的业务。对大多数技术不够强的企业来说，面对突发 情况，KMR的安全性也比自己搭建的大数据平台要更高。金山云大数据和AI技术总监张东进将企业对云上数据的应用分 为四个阶段：最基础的是将数据放到云上，包括对数据的存储和分发; 第二个阶段，是使用数据驱动决策和运营，包括商务智能和统计分析; 第三个阶段，不仅仅用数据来驱动决策和运营，还会利用数据来支撑 一些关键业务，比如电商的商品推荐功能，一些传统制造业企业，也 会用数据配合人工智能，去优化生产制造流
4、程；第四个阶段，完全以 数据为核心去构建业务模式，比如今日头条。“要是简单地把企业分为互联网企业和传统企业，前者的数据意 识比较高，又拥有较强的技术实力，业务模式通常也跟数据深度绑定, 在数据应用上会走得比较深入。而传统企业，早期主要是在商业智能 (BI)上应用数据，现在也开始思考如何来应用大数据。我们发现一 个趋势，两年前，传统企业认为大数据重要，是因为国家和媒体的宣 传，并没有真正的体会；而现在，他们的竞争对手在用大数据，他们 能感受到差别，也真的认为大数据很重要了。不管哪种企业，都可以 在这四个阶段中满足自己的需求。”硬件革命推动大数据“上云”大数据的关键是建立一个稳定高效的大数据分析平
5、台。2011年 Hadoop开始流行时,大数据在实际部署中有一系列难以解决的问题： 多租户模式导致对数据安全性的诟病；搭建大数据平台时，需要采购 大量设备，对人员的技术要求高，r间长达数月，难以快速部署；对 计算能力进行扩容，从采购机器到完成会耗时长，系统缺乏灵活性和 可靠性。与之对应的是，当时网络还在千兆网时代，硬盘是每秒写次50 的SATA,计算方面是Westmere处理器，硬件的不足导致移动海量数 据的成本高，计算需要在数据所在的地方进行，限制了大数据技术的 落地。而现在，100G网络已经出现，CPU的计算能力提升了 1020 倍，最近发布的英特尔闪腾P4800X固态硬盘，每秒写次达到5
6、0万。 硬件的革命性进步，让计算和存储可以分开到两个独立的集群中，通 过高速互联网来连接，云上大数据平台的实现成为可能。KMR就是金山云依托英特尔在硬件方面的实力，推出的云上大数 据服务，通过数据打通，企业客户在金山云上以及在自己的数据中心 产生的数据，可以在平台上一站式地做计算、做分析。起家于laaS的金山云，过去两年深耕PaaS领域，更擅长于偏基 础性的平台服务。“我们发现，SaaS更像是点上的需求，而PaaS则 是广泛的需求。比如说在一个大型集团中，都会用同一个PaaS来做 大数据服务。”针对企业对SaaS方面的需求，尤其是传统企业所需 要的能够直接面对运营和分析人员的数据服务，金山云除了自己开发, 还通过与合作伙伴合作的方式在KMR上达成。云上大数据平台可以满 足企业在数据处理第一和第二阶段的需求，更高阶段的数据应用，需 要云上大数据和人工智能进行深度融合，这也是金山云接下来的重点 方向。“我们可以通过人工智能技术改进大数据平台，在数据的接入、 转换、挖掘，和支撑、赋能企业业务做到更好。”