《大数据分析的六大工具介绍计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf》由会员分享，可在线阅读，更多相关《大数据分析的六大工具介绍计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据分析的六大工具介绍 2016年12月 一、概述 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞 大的数据，寻找一个合适处理工具非常必要，今天我们为大家分学在大数据处理分析过程中 六大最好用的工具。我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得 很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可 以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设il 的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。
2、这些数据集收集自各种各样 的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括 购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析 是在研究大量的数据的过程中寻找模式，相矢性和其他有用的信息，可以帮助企业更好地适应 变化，并做出更明智的决策。二第一种工具:Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是 以一种可黑、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存 储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它
3、以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外 Hadoop依赖于社区服务器因此它的成本比较低 任何人都可 以使用。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地 在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下儿个优点：，高可黑性。Hadoop按位存储和处理数据的能力值得人们信赖。，高扩展性。Hadoop是 在可用的计算机集簇间分配数据并完成讣算任务 的，这些集簇可以方便地扩展到数以千计的节点中。，高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动 态平衡，因此处理速度非常快。，高容错
4、性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败 的任务重新分配。,Hadoop带有用Java语言编写的框架j因此运行在Linux生产平台上是非 常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C+。第二种工具:HPCC HPCC,High Performance Computing and Communications(高性能计算与通信)的缩写T993年，LLI美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项 U:高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项 U,其U的是通过加强研究与幵发解决一批重要的科学与技术挑战 问
5、题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿 美元，其主要U标要达到:开发可扩展的计算系统及相矢软件，以支持太位级网络 传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。High Pedormance Computing Clusw(HPCC)庞大的数据寻找一个合适处理工具非常必要今天我们为大家分学在大数据处理分析过程中六大最好用的工具我们的数据来自各个方面在面对庞大而复杂的大数据选择一个合适的处理工具显得很有必要工欲善其事必须利其器一个好的向大数据是一个含义广泛的术语是指数据如此庞大而复杂的他们需要专门设的硬件和软件工具进行处理该数据通常是万亿或的
6、大小这些数据收自各种各样的来源传感器气候信息公开的信息如杂志报纸文章大数据产生的其他例子包括模式相矢性和其他有用的信息可以帮助企业更好地适应变化并做出更明智的决策二第一种工具是一个能够对大量数据进行分布式处理的软件框架但是是以一种可黑高效可伸缩的方式进行处理的是可靠的因为它假设计算元素和存储会该项U主要由五部分组成：，高性能计算机系统(HPCS),内容包括今后儿代11 算机系统的研究、系统 设计工具、先进的典型系统及原有系统的评价等；，先进软件技术与算法(ASTA),内容有巨大挑战问题的软件支撑、新算法 设计、软件分支与工具、计算计算及高性能il 算研究中心等；，国家科研与教育网格 (NREN
7、),内容有中接站及10亿位级传输的研究与开 发；，基本研究与人类资源(BRHR),内容有基础研究、培训、教育及课程教 材，被设计通过奖励调查者开始的，长期的调査在可升级的高性能计算中 来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练 的和训练有素的人员的联营，和来提供必需的基础架构来支持这些调查和 研究活动；，信息基础结构技术和应用(IITA),U的在于保证美国在先进信息技术幵 发方面的领先地位。四、第三种工具:Storm Storm是自山的开源软件，一个分布式的、容错的实时计算系统。Storm可以 非常可黑的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，
8、支持许多种 编程语言，使用起来非常有趣 Storm th Twitter源而来，其它知名的 应用企业包括 Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。Stonn有许多应用领域:实时分析、在线机器学习、不停顿的计算、分布式 RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、ETL(Ext ract ion-Transformat ion-Loading的缩写，即数据抽収、转换和加载)等 等。Storm的处理速度惊人:经测 试，侮个节点侮秒钟可以处理100万个数据元组。Storm 是可扩展、容错，很容易设置和操作。庞大的数据寻找一个合适处理工具非常必要今天
9、我们为大家分学在大数据处理分析过程中六大最好用的工具我们的数据来自各个方面在面对庞大而复杂的大数据选择一个合适的处理工具显得很有必要工欲善其事必须利其器一个好的向大数据是一个含义广泛的术语是指数据如此庞大而复杂的他们需要专门设的硬件和软件工具进行处理该数据通常是万亿或的大小这些数据收自各种各样的来源传感器气候信息公开的信息如杂志报纸文章大数据产生的其他例子包括模式相矢性和其他有用的信息可以帮助企业更好地适应变化并做出更明智的决策二第一种工具是一个能够对大量数据进行分布式处理的软件框架但是是以一种可黑高效可伸缩的方式进行处理的是可靠的因为它假设计算元素和存储会五、第四种工具:Apache Dri
10、ll 为了帮助企业用户寻找更为有效、加快Hadoop数据査询的方法，Apache软件 S金会近日发起了一项名为“Drill”的开源项Uo Apache Drill实现了 Google*s Dreme1.据 Hadoop J 商 MapR Technologies 公司产品经理 Tomer Shiran 介绍，“Did 11”S经作为Apache孵化器项U来运作，将面向全球软件工程师持续推广。该项U将会创建出开源版本的谷歌Dreme 1 Hadoop I具（谷歌使用该工具来为 Hadoop数据分析工具的互联网应用提速）。而MDrilln将有助于Hadoop用户实现 更快査询海量数据集的U的。SO
11、AP、HTTP、Java JavaScriptPortals 等技术集成到 Pentaho平台中来。Pentaho的发行，主要以Pentaho SDK的形式进行。Pentaho SDK共包含五个部分:Pentaho平台、Pentaho示例数据库、可独立运 行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的Pentaho网络服务 器。其 中Pentaho平台是Pentaho平台最主要的部分，粪括了 Pentaho平台源代码 的主体:Pentaho数据库为Pentaho平台的正常运行提供的数据服务5包括配置信 息、Solution相矢的信息等等，对于Pentaho平台来说它不是必
12、须的，通过配置 是可以用其它 数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独 立运行模式的示例，它 演示了如何使Pentaho平台在没有应用服务器支持的悄况下 独立运行:Pentaho解决方案示 例是一个Eclipse I程，用来潼示如何为Pentaho平台开发相矢的商业智能解决方案。Pentaho BI平台构建于服务器，引擎和组件的基础之上。这些提供了系统的 J2EE服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据 集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。庞大的数据寻找一个合适处理工具非常必要今天我们为大家分学在大数据处理分析过程中六大最好用的工具我们的数据来自各个方面在面对庞大而复杂的大数据选择一个合适的处理工具显得很有必要工欲善其事必须利其器一个好的向大数据是一个含义广泛的术语是指数据如此庞大而复杂的他们需要专门设的硬件和软件工具进行处理该数据通常是万亿或的大小这些数据收自各种各样的来源传感器气候信息公开的信息如杂志报纸文章大数据产生的其他例子包括模式相矢性和其他有用的信息可以帮助企业更好地适应变化并做出更明智的决策二第一种工具是一个能够对大量数据进行分布式处理的软件框架但是是以一种可黑高效可伸缩的方式进行处理的是可靠的因为它假设计算元素和存储会