《基于云计算的大数据技术.docx》由会员分享，可在线阅读，更多相关《基于云计算的大数据技术.docx（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、基于云计算的大数据技术随着网络时代的飞速发展，特别是信息数据的爆炸式发展，当代信息传播的容量、数量都 变得异常丰富。信息传播过程中对媒介的容量、效率及安全性提出了新的要求。大数据有着这 样一条摩尔定律：人类社会中的信息数据增长速度为每两年翻一倍。信息传递急需技术手段， 来提高传递的效率、准确度以及媒介容量，大数据应运而生。云技术在数据的处理中展现出了 越来越多优势，基于云计算的大数据技术全面的革新了传统的数据处理技术。就目前信息数据 的爆破性扩张，不久的将来，云计算技术以及大数据仍旧需要进一步开发拓展，才能够满足时 代需求，云计算技术与大数据处理也是当代一大重要研究课题。【关键词】云计算大数据
2、网络云计算技术是基于网络，提供数据计算服务、存储服务的新型网络管理调度技术，统筹的 将网格计算、并行计算以及分布式计算加以实现，应用到了网络数据管理中，并结合其他软 件、硬件提供给用户多种服务。利用云技术，可以大幅度的提高资源利用率，这一新型的超级 计算其数据非常密集，能够实现集数据存储、数据计算、服务器功能、应用软件功能、IT 软硬件设备资源虚拟化。当今全球互联网的流量也在爆炸式的增涨着，云计算与大数据的应用是 数据处理的重要技术。并且，随着网络技术、软件技术的发展，云技术在数据的处理中展现出 了越来越多优势，如表 1 所示。大数据是在云技术之上兴起的新课题，大数据往往具备以下四个特征：（1
3、） 大量的数据；（2） 多种类型的数据；（3） 数据生成及处理速度快；（4） 大数据的巨大价值；这也就是大数据的4V 特征。并且随着基于云计算技术的大数据不断的发展，还提出了大数据的第五点特征及要求，便 是强化大数据处理分析中的准确性（Veracity），目前的大数据处理已经进入了 5V 时代。1 大数据的特点大数据技术对比传统数据的诸多特性来分析，具有非常明显的差异。这些差异主要体现在 数据的计算、存储以及检索等多方面。传统的数据线性特征显著，对比离散型显著的大数据而言，大数据的发散性、随机性、爆发性显得更为复杂，但是这种复杂的数据能够体现出更为客 观的现象，具备更有效的价值。2 关键技术2
4、.1 数据存储技术信息数据在进行存储时的可靠性、安全性以及读写时的效率是云计算技术的基础，利用云 计算技术在存储时，往往采用分布式存储，将大量的数据进行汇总并储存到集群服务器中。这 种存储技术往往会对数据进行备份储存，利用先进的数据加密技术配合冗余存储能够确保数据 的可靠性、安全性。以HDFS 为例：HDFS 是一种分布式文件存储系统，被广泛应用在通用硬件中。这一系统具备较高的容错 功能，能够在廉价设备上实现应用，并且其对数据访问的吞吐量也很大，适合应用在大数据集 的处理上。HDFS 系统可以进一步的实现文件系统中的数据流式读取，在大数据处理中， HDFS 常被设计成能够实现平台间便于迁移的系
5、统，这就令大数据集的应用更便捷，如图1 所 示。2.2 虚拟化数据管理云计算的主要功能在于针对大量的数据进行分布式的分析处理，并且为用户提供高效的服 务，这就需要强大的数据管理能力作为支撑，而基于云计算的大数据技术在数据管理中具备虚 拟化特征。将数据处理的计算机系统转换成了虚拟层，利用硬件设备资源，配合操作系统建立 了这样一个虚拟的空间链接数据处理的各层级。令上下层的配合更灵活，极大程度的缩减了开 销，提高了资源利用率。3 大数据与云计算的关联大数据的处理是将云计算技术视为一种技术平台，大数据在进行数据处理时的首选处理形 式则是云计算技术，云计算为大数据的处理分析提供了最适的存储空间及计算能力
6、，可以令大 量的数据信息迅速的分析出结果，便于使用付诸现实。而云计算技术的主要功能在于计算能 力，大数据则可以视为接受计算处理的对象，前者对于计算能力更为注重，后者则是更倾向于 存储功能。将存储的大数据付诸应用的重点在于数据处理，而云计算恰好满足了这一功能性要 求。4 总结大数据处理技术与云计算在信息处理中展现出了极大的潜力，结合这两种技术能够实现信 息传递的高效性、准确性、大容量。在很多领域，应用基于云计算的大数据处理技术表现出强 大的功能。随着网络信息技术的高速发展，信息数据的传播数量及速度都亟待提升。基于云计算的大数据处理仍需进一步的开发，并对这一新技术加以应用，相关技术的研究也是当前学
7、术 界的关注点。参考文献1 丁有伟，秦小麟，刘亮，王涛春.一种异构集群中能量高效的大数据处理算法J.计算机 研究与发展，2015（02）：377-390.2 李贞强，陈康，武永卫，郑纬民.大数据处理模式系统结构，方法以及发展趋势J.小型微型计算机系统，2015（04）：641-647.3 李敏，倪少权，邱小平，黄强.物联网环境下基于上下文的Hadoop 大数据处理系统模型J.计算机应用，2015（05）：1267-1272.4 彭建华，李臣明，邱军林，李晓芳，徐立中.接收与处理分离的实时大数据处理模型J.计算机科学与探索，2015（08）：906-913.5 张少敏，毛冬，王保义.大数据处理技术在风电机组齿轮箱故障诊断与预警中的应用J.电力系统自动化，2016（14）：129-134. 作者单位贵州大学继续教育学院贵州省贵阳市 550000