《云计算技术在计算机数据处理的应用.docx》由会员分享，可在线阅读，更多相关《云计算技术在计算机数据处理的应用.docx（9页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、云计算技术在计算机数据处理的应用摘要：大数据及云计算信息技术的不断进展，使得不同行业都开始借助于云服务器、后台数据库，进行网络海量数据资源的虚拟化处理、分布式计算、并行计算处理，以实现对多源数据的高效搜集、统计处理与存储。该文从云计算的Hadoop架构、SOA服务体系、数据挖掘、分布式计算和HDFS存储等技术着手，探讨将多种云计算技术，应用到海量数据信息处理中的实施策略，来为网络大数据服务系统的正常运转提供保障。关键词：云计算技术；计算机；数据处理；应用移动互联时代下的数据处理，面临着数据信息的海量化、实时化、低质化，如何对多种网络数据资源进行快速筛选、准时处理与分类存储，成为各企业网络数据信
2、息传输、业务处理的主要逆境。因此引入大数据及云计算技术，依托云服务器、数据中心交换机、后台数据库等硬件设备，对广域网或局域网内的数据资源，进行采集、处理、分析与存储，将数据处理结果发送至客户终端设备进行显示，实现对计算机数据的实时掌控与应用。1云计算技术的主要内容及其与计算机数据处理的关联性1.1大数据及云计算技术的内容概述“云计算是美国国家标准与技术讨论院提出的概念，其作为一种分布式计算技术，主要依据不同客户的数据资源处理需求，通过网络“云将巨大的数据计算处理任务，分解为一个个小的数据计算任务，在多个后台服务器上进行数据处理、分析的工作执行。特殊随着虚拟化技术、并行计算技术的快速进展，网络云
3、计算平台也开始将多种软硬件虚拟化，包括网络通信接口、服务器、存储模块等的虚拟化。之后利用虚拟化计算机，进行虚拟系统多个主节点、从节点的任务安排，来完成数据资源的配置、处理与存储工作。因此现阶段云计算技术基础架构，通常由SOA服务体系、物理资源层、资源虚拟化层、用户与映像管理层等层级组成，具体如图1所示。图1云计算技术基础架构1SOA服务体系层。SOA服务架构主要为不同应用程序的功能服务，提供相应的网络通信协议、服务接口，通常包含服务接口、服务注册、服务查找、服务访问、服务工作流等组件。依据网络应用组件的粗粒度、调用需求，对多个分布式的服务模块进行封装，再通过相应面向对象的定义接口，提供客户需要
4、的Web服务。2映像管理层。映像管理层是对不同客户权限请求、虚拟资源管理的层级，包含用户管理、映像管理、资源管理等安全管理等内置组件。其中用户管理负责对用户访问权限、数据处理请求等进行管理，映像管理层则用于任务映像建立、映像排布与映像库管理，掌握后台服务器端、客户终端之间的映像周期。而虚拟资源管理，主要是对虚拟计算机负载状况的监测、统计，以保障数据资源处理过程中的虚拟机负载均衡。3资源虚拟化层。资源虚拟化层是在物理资源层的基础上，依托网络计算机、存储器和数据库等硬件，构建起存储资源池、计算资源池、数据资源池等虚拟模块，为后台服务器中硬件资源的虚拟化提供支持。而硬件资源虚拟化层，在收到客户端数据
5、处理的任务请求后，会向其安排相对应的数据在云计算基础架构中间的任务管理层，会在收到用户相应的任务请求后，将与之匹配的虚拟资源。1.2云计算技术与计算机数据处理的关联性网络大数据信息传输环境下，不同企业局域网内的海量计算机数据处理，通常具有数据资源海量化、多元化与低质化的特征，且各种数据之间存在着紧密的关联性。因此如何对不同网络平台的计算机数据、业务服务等，进行更为实时高效的采集、分类、预处理、处理分析与存储，成为计算机数据处理系统面临的主要难题。而云计算作为一种分布式计算、数据分类管理技术，其通常可以借助于云计算管理平台、Hadoop分布式架构、后台服务器等软硬件，在计算机任务请求访问掌握、数
6、据资源共享，以及数据信息搜集、分析、处理与存储过程中，负责多种虚拟化资源的配置、数据任务安排、信息处理工作。通常云计算数据信息处理平台，包括平台即服务、软件即服务、基础架构即服务等服务类型，其中基础架构层为云计算平台的最底层，包含大量的云服务器、存储器、后台数据库等硬件。而Hadoop分布式数据处理架构，存在于平台即服务层级，主要负责明细数据的汇总(Collect)、(Map)、归约(Reduce)，对某一类型某一数据进行规则映射、归约服务，并动态安排虚拟主机主节点、从节点的处理任务。最终，软件即服务层级，则为面向软件开发的服务类型，通过不同主节点中虚拟化运算模块的安排，对相关的计算机数据处理
7、任务，做出按需匹配。来为客户终端的Web远程访问、数据资源处理与掌握管理的工作提供支持。2计算机数据处理中的云计算关键技术2.1数据挖掘技术数据挖掘技术是从大量网络数据资源中，快速找到自身需要的有效数据信息的技术，这一技术是对网络原有数据资源的深度加工与开发。当下对于局域网中计算机数据信息处理，通常围绕海量化、冗杂程度高、关联性差的数据资源，对其中存在的有价值、关联性数据内容进行挖掘，包括数据收集、数据预处理、数据清洗、数据变换、数据挖掘等执行流程，通过数据挖掘技术强大的运算、筛选、整合能力，才能从浩大的数据库中查找到有用数据资源，将其提取至相应的数据仓库库来完成存储管理。这里数据挖掘的预处理
8、技术，主要实行均值法、平滑法和预报法等方式，对网络中错误率、冗余度、重复率高的数据信息，进行空值、噪声等的主动过滤处理。如采纳均值法的数据挖掘预处理技术，其计算公式为Ci(i-1)(i-k)Cj|K，是对数据全部已知属性的均值作出处理，然后根据既定规律进行数据排布，整理出的数据处理结果最接近于真实状况。2.2分布式计算技术分布式计算包括Agent技术、Webservice技术和中间件技术等，主要将步骤冗杂的数据处理问题，分解为若干个并行处理应用服务，在计算机虚拟化硬件资源中，完成多种数据资源处理任务的执行工作。这一虚拟化系统的联合信息处理过程中，通常存在多个节点，不同节点负责不同分布式任务安排
9、、资源调度活动，可以将单个任务的数据处理安排给多个虚拟机，对于数据批量处理的效率较高，往往被用于多线程的数据信息处理执行中。2.3HDFS存储技术HDFS云计算数据存储文件系统，是以分布式形式对数据进行存储，该系统囊括多种数据管理节点、存储节点。其中HDFS框架的中心服务器为Namenode，在客户端的数据文件访问过程中，主要通过Namenode管理系统对数据信息做出访问掌握。而且HDFS云计算存储系统底层，会自动分割已创建的名目文件，生成便于存储的Block数据文件，来完成对不同数据资源的处理与存储。3云计算技术在计算机数据处理中的应用流程讨论3.1数据采集基于云计算技术的海量数据处理系统，
10、通常包含数据采集、数据判比、数据读取、数据分析、信息互通等模块，具体组成架构如图2所示。其中数据信息采集模块，主要用于局域网内海量的计算机数据信息、文档信息采集。当前在不同企业数据资源采集方面，通常涉及财务数据、产品数据、经营数据、商贸数据、销售数据等，对于大量临时文件信息、文档信息或日志信息的采集，要保证信息来源的精确性。3.2数据处理在完成数据信息采集后，对网络计算机一周内存在的数据资源进行处理，设置时间系数为Q、负荷系数为W、缓存系数为E。以企业财务数据信息的搜集与处理为例，当海量数据资源上传至云服务平台后，其在虚拟化资源池中的处理时长，分别设定为一、二、三的时间等级，依次对应时间系数Q
11、的A1、A2和A3预设值。而虚拟化硬件设施在不同工作时长下，分别对应的负载系数W，依次为B1、B2和B3；云计算平台的数据资源缓存量，也分为高量级、中量级和低量级，分别对应着缓存系数E的C1、C2和C3预设值。之后依据不同等级，依次设置不同数据处理过程中，虚拟化资源池使用程度的权重，安排预设值q、w和e，且qwe。则利用云计算服务平台的数据处理公式为：R=Qq+Ww+Ee再将以上数据处理后的结果，传输至数据判比模块。判定云计算数据处理的系数R，与预设值r之间比较状况。在满足Rr状况下，生成云计算任务处理的过度使用信号，否则生成正常使用信号，并将最终信号传输至数据分析模块。3.3虚拟化资源任务调
12、度整个云计算任务调度的流程，需要将m个任务Task，调度到n个Resources进行任务执行。由于云计算数据处理的动态异构性，在NP-hard目标函数下的虚拟化资源任务调度。只能得到约束条件内的最优解。设置任务执行时间为TET(TaskEx&8259;ecutionTime)，则第i个任务在第j个资源中的执行时间为：ETC(i,j)=starttime(j)+TET(i,j)。全部数据处理任务在虚拟化资源集合Resources中的完成总时间为：T=MinC1，C2，C3.Ci。3.4数据分析当掌握器接收到数据分析模块的传输信号后，掌握器与指示灯之间形成通信，掌握指示灯开始闪耀。从掌握读取模块中
13、，提取出一周内数据信息处理，存在的云服务器、存储器、后台数据库等硬件占用率，依次标定为Ti、Yi和Ui。最终，将不同硬件占用率的平均改变量值，与虚拟化资源安排的预设值t、y和u进行比较，得出数据处理过程中，特别客观精确的云计算平台使用程度结果。参考文献：1陈栋栋.云计算技术在计算机数据处理中的应用与进展对策探究J.现代信息科技,2022,3(18):116-118.2杨洋.云计算技术在计算机数据处理中的应用J.数字通信世界,2022(9):206.3崔瑶.云计算技术在计算机数据处理中的应用评云计算：概念、技术与架构J.中国科技论文,2022,14(7):822.4杨秋红.云计算在计算机数据处理中的有效性讨论J.信息与电脑(理论版),2022,32(24):156-157.5郑洋.云计算技术在计算机网络安全存储中的应用J.无线互联科技,2022,16(10):24-25. 廖宇翔 单位：山西万合佳宜科技有限公司本文来源：网络收集与整理，如有侵权，请联系作者删除，谢谢！第9页 共9页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页第 9 页 共 9 页