《第2章-云计算与大数据的相关技术(楷体)5419199.pptx》由会员分享，可在线阅读，更多相关《第2章-云计算与大数据的相关技术(楷体)5419199.pptx（55页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、云计算与大数据技术云计算与大数据技术 人民邮电出版社王鹏 黄焱 安俊秀 张逸琴 编著 3/28/2023目目 录录 CONTENTS CONTENTSpp第第第第1 1 1 1章章章章 云计算与大数据基础云计算与大数据基础云计算与大数据基础云计算与大数据基础 pp第第第第2 2 2 2章章章章 云计算与大数据的相关技术云计算与大数据的相关技术云计算与大数据的相关技术云计算与大数据的相关技术 pp第第第第3 3 3 3章章章章 虚拟化技术虚拟化技术虚拟化技术虚拟化技术 pp第第第第4 4 4 4章章章章 集群系统基础集群系统基础集群系统基础集群系统基础 pp第第第第5 5 5 5章章章章 MPI
2、 MPI MPI MPI面向计算面向计算面向计算面向计算pp第第第第6 6 6 6章章章章 Hadoop Hadoop Hadoop Hadoop分布式大数据系统分布式大数据系统分布式大数据系统分布式大数据系统pp第第第第7 7 7 7章章章章 HPCC HPCC HPCC HPCC面向数据的高性能计算集群系统面向数据的高性能计算集群系统面向数据的高性能计算集群系统面向数据的高性能计算集群系统 pp第第第第8 8 8 8章章章章 Storm Storm Storm Storm基于拓扑的流数据实时计算系统基于拓扑的流数据实时计算系统基于拓扑的流数据实时计算系统基于拓扑的流数据实时计算系统pp第第
3、第第9 9 9 9章章章章 服务器与数据中心服务器与数据中心服务器与数据中心服务器与数据中心 pp第第第第10101010章章章章 云计算大数据仿真技术云计算大数据仿真技术云计算大数据仿真技术云计算大数据仿真技术第第2 2章云计算与大数据的相关技术章云计算与大数据的相关技术 pp云计算与大数据技术云计算与大数据技术 3/28/2023第第2 2章章 云计算与大数据的相关技术云计算与大数据的相关技术 pp2.12.12.12.1云计算与大数据云计算与大数据云计算与大数据云计算与大数据pp2.22.22.22.2云计算与物联网云计算与物联网云计算与物联网云计算与物联网pp2.32.32.32.3一
4、致性哈希算法一致性哈希算法一致性哈希算法一致性哈希算法2.3.12.3.1一致性哈希算法的基本原理一致性哈希算法的基本原理2.3.2 2.3.2 一致性哈希算法中计算和存储位置的一致性一致性哈希算法中计算和存储位置的一致性pp2.42.42.42.4非关系型数据库非关系型数据库非关系型数据库非关系型数据库2.4.12.4.1从关系型数据库到非关系型数据库从关系型数据库到非关系型数据库2.4.22.4.2非关系型数据库的定义非关系型数据库的定义2.4.32.4.3非关系型数据库的分类非关系型数据库的分类pp2.52.52.52.5集群高速通信标准集群高速通信标准集群高速通信标准集群高速通信标准I
5、nfiniBandInfiniBandInfiniBandInfiniBandpp2.62.62.62.6云计算大数据集群的自组织特性云计算大数据集群的自组织特性云计算大数据集群的自组织特性云计算大数据集群的自组织特性3/28/20232.12.1云计算与大数据云计算与大数据pp2.12.12.12.1云计算与大数据云计算与大数据云计算与大数据云计算与大数据pp云计算与大数据相比云计算更像是对一种新的技术模式的描述而云计算与大数据相比云计算更像是对一种新的技术模式的描述而云计算与大数据相比云计算更像是对一种新的技术模式的描述而云计算与大数据相比云计算更像是对一种新的技术模式的描述而不是对某一项
6、技术的描述，而大数据则较为确切地与一些具体的不是对某一项技术的描述，而大数据则较为确切地与一些具体的不是对某一项技术的描述，而大数据则较为确切地与一些具体的不是对某一项技术的描述，而大数据则较为确切地与一些具体的技术相关联。技术相关联。技术相关联。技术相关联。目前新出现的一些技术如目前新出现的一些技术如HadoopHadoop、HPCCHPCC、StormStorm都较为确切地与都较为确切地与大数据相关，同时并行计算技术、分布式存储技术、数据挖掘技大数据相关，同时并行计算技术、分布式存储技术、数据挖掘技术这些传统的计算机学科在大数据条件下又再次萌发出生机，并术这些传统的计算机学科在大数据条件下
7、又再次萌发出生机，并在大数据时代找到了新的研究内容。在大数据时代找到了新的研究内容。3/28/2023大数据其实是对面向数据计算技术中对数据量的一个形象描述，大数据其实是对面向数据计算技术中对数据量的一个形象描述，通常也可以被称为海量数据。通常也可以被称为海量数据。云计算整合的资源主要是计算和存储资源，云计算技术的发展也云计算整合的资源主要是计算和存储资源，云计算技术的发展也清晰地呈现出两大主题清晰地呈现出两大主题计算和数据。伴随这两大主题，出现了计算和数据。伴随这两大主题，出现了云计算和大数据这两个热门概念，任何概念的出现都不是偶然的，云计算和大数据这两个热门概念，任何概念的出现都不是偶然的
8、，取决于当时的技术发展状况。取决于当时的技术发展状况。李国杰院士认为：李国杰院士认为：“信息系统需要从数据围绕着处理器转改为处信息系统需要从数据围绕着处理器转改为处理能力围绕着数据转，将计算用于数据，而不是将数据用于计算理能力围绕着数据转，将计算用于数据，而不是将数据用于计算”。2.12.1云计算与大数据云计算与大数据3/28/2023海量的数据本身很难直接使用，只有通过处理的数据才能真正地海量的数据本身很难直接使用，只有通过处理的数据才能真正地成为有用的数据，因此云计算时代计算和数据两大主题可以进一成为有用的数据，因此云计算时代计算和数据两大主题可以进一步明确为步明确为数据数据数据数据和和针
9、对数据的计算针对数据的计算针对数据的计算针对数据的计算，计算可以使海量的数据成为有，计算可以使海量的数据成为有用的信息，进而处理成为知识。用的信息，进而处理成为知识。目前提到云计算时，有时将云存储作为单独的一项技术来对待，目前提到云计算时，有时将云存储作为单独的一项技术来对待，只是把网络化的存储笼统地称为云存储，事实上在面向数据的时只是把网络化的存储笼统地称为云存储，事实上在面向数据的时代不管是出现了云计算的概念还是大数据的概念，存储都不是一代不管是出现了云计算的概念还是大数据的概念，存储都不是一个独立存在的系统。特别是在集群条件下，计算和存储都是个独立存在的系统。特别是在集群条件下，计算和存
10、储都是分布分布分布分布式式式式的，的，如何让计算如何让计算如何让计算如何让计算“找找找找”到自己需要处理的数据到自己需要处理的数据到自己需要处理的数据到自己需要处理的数据是云计算系统需是云计算系统需要具有的要具有的核心功能核心功能核心功能核心功能。2.12.1云计算与大数据云计算与大数据3/28/2023面向数据面向数据要求计算是面向数据的，那么数据的存储方式将会深刻要求计算是面向数据的，那么数据的存储方式将会深刻地影响计算实现的方式。地影响计算实现的方式。在分布式系统中在分布式系统中实现实现实现实现计算和数据有效融合计算和数据有效融合从而从而提高数据处理能力提高数据处理能力，简化分布式程序设
11、计难度简化分布式程序设计难度，降低系统网络通信压力降低系统网络通信压力从而从而使系统能使系统能有效地面对大数据处理有效地面对大数据处理的机制称为的机制称为计算和数据的协作机制计算和数据的协作机制计算和数据的协作机制计算和数据的协作机制。在这种协作机制中在这种协作机制中计算如何找到数据并启动分布式处理任务计算如何找到数据并启动分布式处理任务计算如何找到数据并启动分布式处理任务计算如何找到数据并启动分布式处理任务的问的问题是需要重点研究的课题，这一问题被称为题是需要重点研究的课题，这一问题被称为计算和数据的位置一计算和数据的位置一计算和数据的位置一计算和数据的位置一致性致性致性致性问题。问题。2.
12、12.1云计算与大数据云计算与大数据3/28/2023面向数据也可以更准确地称为面向数据也可以更准确地称为“面向数据的计算面向数据的计算面向数据的计算面向数据的计算”，面向数据要，面向数据要求系统的设计和架构是求系统的设计和架构是围绕数据为核心围绕数据为核心围绕数据为核心围绕数据为核心展开的，面向数据也是云展开的，面向数据也是云计算系统的一个基本特征，而计算系统的一个基本特征，而计算与数据的有效协作计算与数据的有效协作计算与数据的有效协作计算与数据的有效协作是面向数据是面向数据的的核心要求核心要求核心要求核心要求。回顾计算机技术的发展历程，可以清晰地看到计算机技术从面向回顾计算机技术的发展历程
13、，可以清晰地看到计算机技术从面向计算逐步转变到面向数据的过程。从面向计算到面向数据是技术计算逐步转变到面向数据的过程。从面向计算到面向数据是技术发展的必然趋势，并不能把云计算的出现归功于任何的个人和企发展的必然趋势，并不能把云计算的出现归功于任何的个人和企业。这一过程的描述如图业。这一过程的描述如图2.12.1所示，该图从硬件、网络和云计算所示，该图从硬件、网络和云计算的演进过程等方面以时间为顺序进行了纵向和横向的对比。的演进过程等方面以时间为顺序进行了纵向和横向的对比。2.12.1云计算与大数据云计算与大数据3/28/2023在计算机技术的早期由于硬件设备体积庞大，价格昂贵，这一阶段数据在计
14、算机技术的早期由于硬件设备体积庞大，价格昂贵，这一阶段数据的产生还是的产生还是“个别个别”人的工作。这个时期的数据生产者主要是科学家或人的工作。这个时期的数据生产者主要是科学家或军事部门，他们更关注计算机的计算能力，计算能力的高低决定了研究军事部门，他们更关注计算机的计算能力，计算能力的高低决定了研究能力和一个国家军事能力的高低。能力和一个国家军事能力的高低。图2.1计算机技术向云计算的演进19691969年年ARPANETARPANET的出现改变了整个计算机技术的发展历史，网络逐步成为推动技的出现改变了整个计算机技术的发展历史，网络逐步成为推动技术发展的一个重要力量，术发展的一个重要力量，1
15、9891989年年Tim Berners-LeeTim Berners-Lee发明的万维网改变了信息的交发明的万维网改变了信息的交流方式，特别是高速移动通信网络技术的发展和成熟使现在数据的生产成为全球流方式，特别是高速移动通信网络技术的发展和成熟使现在数据的生产成为全球人的共同活动，人们生产数据不再是在固定时间和固定地点进行，而是随时随地人的共同活动，人们生产数据不再是在固定时间和固定地点进行，而是随时随地都在产生数据。微博、博客、社交网、视频共享网站、即时通信等媒介随时都在都在产生数据。微博、博客、社交网、视频共享网站、即时通信等媒介随时都在生产着数据并被融入全球网络中。生产着数据并被融入全
16、球网络中。相对而言由于这时数据量很小，数据在整个计算系统中的重要性并不突相对而言由于这时数据量很小，数据在整个计算系统中的重要性并不突出。这时网络还没有出现，推动计算技术发展的主要动力是硬件的发展，出。这时网络还没有出现，推动计算技术发展的主要动力是硬件的发展，这个时期是硬件的高速变革时期，硬件从电子管迅速发展到大规模集成这个时期是硬件的高速变革时期，硬件从电子管迅速发展到大规模集成电路。电路。从云计算之父从云计算之父John McCarthyJohn McCarthy提出云计算的概念到大数据之父提出云计算的概念到大数据之父GrayGray等人提出科学等人提出科学研究的第四范式，时间已经跨越了
17、半个世纪。以硬件为核心的时代也是面向计算研究的第四范式，时间已经跨越了半个世纪。以硬件为核心的时代也是面向计算的时代，那时数据的构成非常简单，数据之间基本没有关联性，物理学家只处理的时代，那时数据的构成非常简单，数据之间基本没有关联性，物理学家只处理物理实验数据，生物学家只处理生物学数据，计算和数据之间的对应关系是非常物理实验数据，生物学家只处理生物学数据，计算和数据之间的对应关系是非常简单和直接，这个时期研究计算和存储的协作机制并没有太大的实用价值。简单和直接，这个时期研究计算和存储的协作机制并没有太大的实用价值。到了以网络为核心的时代数据的构成变得非常复杂，数据来源多样化，不同数据到了以网
18、络为核心的时代数据的构成变得非常复杂，数据来源多样化，不同数据之间存在大量的隐含关联性，这时计算所面对的数据变得非常复杂，如社会感知、之间存在大量的隐含关联性，这时计算所面对的数据变得非常复杂，如社会感知、微关系等应用将数据和复杂的人类社会运行相关联，由于人人都是数据的生产者，微关系等应用将数据和复杂的人类社会运行相关联，由于人人都是数据的生产者，人们之间的社会关系和结构就被隐含到了所产生的数据之中。人们之间的社会关系和结构就被隐含到了所产生的数据之中。数据的产生目前呈现出了：大众化、自动化、连续化、复杂化的趋势。云计算、数据的产生目前呈现出了：大众化、自动化、连续化、复杂化的趋势。云计算、大
19、数据概念正是在这样的一个背景下出现的。这一时期的典型特征就是计算必须大数据概念正是在这样的一个背景下出现的。这一时期的典型特征就是计算必须面向数据，数据是架构整个系统的核心要素，这就使计算和存储的协作机制研究面向数据，数据是架构整个系统的核心要素，这就使计算和存储的协作机制研究成为需要重点关注的核心技术，计算能有效找到自己需要处理的数据，可以使系成为需要重点关注的核心技术，计算能有效找到自己需要处理的数据，可以使系统能更高效地完成海量数据的处理和分析。统能更高效地完成海量数据的处理和分析。云计算和大数据这两个名词也可看作是描述了面向计算时代信息技术的两个方面，云计算和大数据这两个名词也可看作是
20、描述了面向计算时代信息技术的两个方面，云计算侧重于描述资源和应用的网络化交付方法，大数据侧重于描述面向数据时云计算侧重于描述资源和应用的网络化交付方法，大数据侧重于描述面向数据时代由于数据量巨大所带来的技术挑战。代由于数据量巨大所带来的技术挑战。信息技术领域提出的面向数据的概念同时也开始深刻地改变了科学研究的模式，信息技术领域提出的面向数据的概念同时也开始深刻地改变了科学研究的模式，20072007年著名的数据库专家年著名的数据库专家GrayGray提出了科学研究的第四范式。他认为利用海量的数提出了科学研究的第四范式。他认为利用海量的数据可以为科学研究和知识发现提供除经验、理论、计算外的第四种
21、重要方法。科据可以为科学研究和知识发现提供除经验、理论、计算外的第四种重要方法。科学研究的四个范式的发展历程也同样反映了从面向计算走向面向数据的过程。学研究的四个范式的发展历程也同样反映了从面向计算走向面向数据的过程。2.12.1云计算与大数据云计算与大数据3/28/2023如图如图2.22.2所示，人类早期知识的发现主要依赖于所示，人类早期知识的发现主要依赖于经验、观察和实验经验、观察和实验经验、观察和实验经验、观察和实验，需，需要的计算和产生的数据都是很少的。人类在这一时期对于宇宙的认识都要的计算和产生的数据都是很少的。人类在这一时期对于宇宙的认识都是这样形成的，就像伽利略为了证明自由落体
22、定理，是通过在比萨斜塔是这样形成的，就像伽利略为了证明自由落体定理，是通过在比萨斜塔扔下两个大小不一的小球一样，人类在那个时代知识的获取方式是原始扔下两个大小不一的小球一样，人类在那个时代知识的获取方式是原始而朴素的。而朴素的。图图2.22.2科学研究四个范式的发展历程科学研究四个范式的发展历程当人类知识积累到一定的程度后，知识逐渐形成了理论体系，如牛顿力当人类知识积累到一定的程度后，知识逐渐形成了理论体系，如牛顿力学体系、学体系、MaxwellMaxwell的电磁场理论，人类可以利用这些理论体系去预测自的电磁场理论，人类可以利用这些理论体系去预测自然并获取新的知识，这时对计算和数据的需求已经
23、在萌生，人类已可以然并获取新的知识，这时对计算和数据的需求已经在萌生，人类已可以依赖这些理论发现新的行星，如海王星、冥王星的发现不是通过观测而依赖这些理论发现新的行星，如海王星、冥王星的发现不是通过观测而是通过计算得到。是通过计算得到。计算机的出现为人类发现新的知识提供了重要的工具。这个时代正好对计算机的出现为人类发现新的知识提供了重要的工具。这个时代正好对应于面向计算的时代，可以在某些具有完善理论体系领域利用计算机仿应于面向计算的时代，可以在某些具有完善理论体系领域利用计算机仿真计算来进行研究。这时计算机的作用主要是计算，例如人类利用仿真真计算来进行研究。这时计算机的作用主要是计算，例如人类
24、利用仿真计算可以实现模拟核爆这样的复杂计算。计算可以实现模拟核爆这样的复杂计算。现在人类在一年内所产生的数据可能已经超过人类过去几千年产生的数现在人类在一年内所产生的数据可能已经超过人类过去几千年产生的数据的总和，即使是复杂度为的数据处理方法在面对庞大的时都显得力不据的总和，即使是复杂度为的数据处理方法在面对庞大的时都显得力不从心，人类逐步进入面向数据的时代。第四范式说明可以利用海量数据从心，人类逐步进入面向数据的时代。第四范式说明可以利用海量数据加上高速计算发现新的知识，计算和数据的关系在面向数据时代变得十加上高速计算发现新的知识，计算和数据的关系在面向数据时代变得十分紧密，也使计算和数据的
25、协作问题面临巨大的技术挑战。分紧密，也使计算和数据的协作问题面临巨大的技术挑战。2.12.1云计算与大数据云计算与大数据3/28/20232.22.2云计算与物联网云计算与物联网pp2.22.22.22.2云计算与物联网云计算与物联网云计算与物联网云计算与物联网云计算和物联网在出现的时间上非常接近，以至于有一段时间云云计算和物联网在出现的时间上非常接近，以至于有一段时间云计算和物联网两个名词总是同时出现在各类媒体上。计算和物联网两个名词总是同时出现在各类媒体上。物联网的出现部分得益于网络的发展，大量传感器数据的收集需物联网的出现部分得益于网络的发展，大量传感器数据的收集需要良好的网络环境，特别
26、是部分图像数据的传输更是对网络的性要良好的网络环境，特别是部分图像数据的传输更是对网络的性能有较高的要求。能有较高的要求。在物联网技术中传感器的大量使用使数据的生产实现自动化，数在物联网技术中传感器的大量使用使数据的生产实现自动化，数据生产的自动化也是推动当前大数据技术发展的动力之一。据生产的自动化也是推动当前大数据技术发展的动力之一。3/28/2023物联网的英文名称为物联网的英文名称为“The Internet of ThingsThe Internet of ThingsThe Internet of ThingsThe Internet of Things”，简称：简称：IOTIOTI
27、OTIOT。物联网就是。物联网就是“物物相连的互联网物物相连的互联网”。这有两层意思：这有两层意思：l第一，物联网的核心和基础仍然是互联网，是在互联网基础之上的第一，物联网的核心和基础仍然是互联网，是在互联网基础之上的延伸和扩展的一种网络；延伸和扩展的一种网络；l第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信换和通信。2.22.2云计算与物联网云计算与物联网3/28/2023因此，因此，物联网物联网物联网物联网的定义是的定义是通过通过通过通过射频识别射频识别(RFID)(RFID)装置、红外感应器、装置、红外感应器、
28、全球定位系统、激光扫描器等全球定位系统、激光扫描器等信息传感设备信息传感设备信息传感设备信息传感设备，按约定的协议，把，按约定的协议，把任何物品与互联网相连接，进行任何物品与互联网相连接，进行信息交换信息交换信息交换信息交换和和通信通信通信通信，以实现，以实现智能化智能化智能化智能化识别识别识别识别、定位定位定位定位、跟踪跟踪跟踪跟踪、监控监控监控监控和和管理管理管理管理的一种的一种网络网络网络网络。明确的物联网概念最早是由美国麻省理工大学明确的物联网概念最早是由美国麻省理工大学Auto-IDAuto-IDAuto-IDAuto-ID实验室实验室实验室实验室在在19991999年提出的，最初是
29、为了提高基于互联网流通领域信息化水平年提出的，最初是为了提高基于互联网流通领域信息化水平而设计的。而设计的。物联网这个概念可以认为对一类应用的称呼，物联网与云计算技物联网这个概念可以认为对一类应用的称呼，物联网与云计算技术的关系从定义上讲是应用与平台的关系。术的关系从定义上讲是应用与平台的关系。2.22.2云计算与物联网云计算与物联网3/28/2023物联网系统需要大量的存储资源来保存数据，同时也需要计算资源来处物联网系统需要大量的存储资源来保存数据，同时也需要计算资源来处理和分析数据，当前我们所指的理和分析数据，当前我们所指的物联网传感器连接呈现出以下的特物联网传感器连接呈现出以下的特物联网
30、传感器连接呈现出以下的特物联网传感器连接呈现出以下的特点点点点：l连接传感器种类多样；连接传感器种类多样；l连接的传感器数量众多；连接的传感器数量众多；l连接的传感器地域广大。连接的传感器地域广大。这些特点都会导致物联网系统会在运行过程中产生大量的数据，物联网这些特点都会导致物联网系统会在运行过程中产生大量的数据，物联网的出现使数据的产生实现自动化，大量的传感器数据不断地在各个监控的出现使数据的产生实现自动化，大量的传感器数据不断地在各个监控点产生，特别是现在信息采样的空间密度和时间密度不断增加，视频信点产生，特别是现在信息采样的空间密度和时间密度不断增加，视频信息的大量使用，这些因素也是目前
31、导致大数据概念出现的原因之一。息的大量使用，这些因素也是目前导致大数据概念出现的原因之一。2.22.2云计算与物联网云计算与物联网3/28/2023物联网的物联网的产业链产业链产业链产业链可以细分为可以细分为标识标识标识标识、感知感知感知感知、处理处理处理处理和和信息传送信息传送信息传送信息传送4 4个环节，个环节，每个环节的每个环节的关键技术关键技术关键技术关键技术分别为分别为RFIDRFIDRFIDRFID、传感器传感器传感器传感器、智能芯片智能芯片智能芯片智能芯片和电信运营和电信运营商的商的无线传输网络无线传输网络无线传输网络无线传输网络。云计算的出现使物联网在互联网基础之上延伸和发展成
32、为可能。云计算的出现使物联网在互联网基础之上延伸和发展成为可能。l物联网中的物，在云计算模式中，它相当于是带上传感器的物联网中的物，在云计算模式中，它相当于是带上传感器的云终端，与上网本、手机等终端功能相同。云终端，与上网本、手机等终端功能相同。l这也是物联网在云计算日渐成熟的今天，才能重新被激活的这也是物联网在云计算日渐成熟的今天，才能重新被激活的原因之一。原因之一。2.22.2云计算与物联网云计算与物联网3/28/2023pp新的平台必定造就新的物联网，把云计算的特点与物联网的实际相结新的平台必定造就新的物联网，把云计算的特点与物联网的实际相结新的平台必定造就新的物联网，把云计算的特点与物
33、联网的实际相结新的平台必定造就新的物联网，把云计算的特点与物联网的实际相结合，合，合，合，云计算技术将给物联网带来以下深刻变革云计算技术将给物联网带来以下深刻变革云计算技术将给物联网带来以下深刻变革云计算技术将给物联网带来以下深刻变革：（1 1）解决服务器节点的不可靠性问题，最大限度降低服务器的出解决服务器节点的不可靠性问题，最大限度降低服务器的出解决服务器节点的不可靠性问题，最大限度降低服务器的出解决服务器节点的不可靠性问题，最大限度降低服务器的出错率。错率。错率。错率。l近年来，随着物联网从局域网走向城域网，其感知信息也呈指数型增长，同近年来，随着物联网从局域网走向城域网，其感知信息也呈指
34、数型增长，同时导致服务器端的服务器数目呈线性增长。时导致服务器端的服务器数目呈线性增长。l服务器数目多了，节点出错的概率肯定也随之变大，更何况服务器并不便宜。服务器数目多了，节点出错的概率肯定也随之变大，更何况服务器并不便宜。l节点不可信问题使得一般的中小型公司要想独自撑起一片属于自己的天空，节点不可信问题使得一般的中小型公司要想独自撑起一片属于自己的天空，那是难上加难。那是难上加难。l而在云计算模式中，因为而在云计算模式中，因为“云云”有成千上万、甚至上百万台服务有成千上万、甚至上百万台服务器，即使同时宕掉几台，器，即使同时宕掉几台，“云云”中的服务器也可以在很短的时间中的服务器也可以在很短
35、的时间内，利用冗余备份、热拔插、内，利用冗余备份、热拔插、RAIDRAID等技术快速恢复服务。等技术快速恢复服务。l例如，例如，GoogleGoogle公司不再是一味追求单个服务器的性能参数，而是更多地公司不再是一味追求单个服务器的性能参数，而是更多地关注如何用堆积如山的集群来弥补单个服务器的性能不足。关注如何用堆积如山的集群来弥补单个服务器的性能不足。l在对单个服务器性能要求的降低的同时也减少了相应的资金需求。至于在对单个服务器性能要求的降低的同时也减少了相应的资金需求。至于对于宕机的服务器，对于宕机的服务器，GoogleGoogle采用的是直接换掉。采用的是直接换掉。l云计算集群的加入，能
36、够保证物联网真正实现无间断的安全服务。云计算集群的加入，能够保证物联网真正实现无间断的安全服务。2.22.2云计算与物联网云计算与物联网3/28/2023（2 2 2 2）低成本的投入可以换来高收益，让限制访问服务器次数的瓶）低成本的投入可以换来高收益，让限制访问服务器次数的瓶）低成本的投入可以换来高收益，让限制访问服务器次数的瓶）低成本的投入可以换来高收益，让限制访问服务器次数的瓶颈成为历史。颈成为历史。颈成为历史。颈成为历史。l服务器相关硬件资源的承受能力都是有一定范围的，当服务器同时响应的数服务器相关硬件资源的承受能力都是有一定范围的，当服务器同时响应的数量超过自身的限制时，服务器就会崩
37、溃。而随着物联网领域的逐步扩大，物量超过自身的限制时，服务器就会崩溃。而随着物联网领域的逐步扩大，物的数量呈几何级增长，而物的信息也呈爆炸性增长，随之而来的访问量空前的数量呈几何级增长，而物的信息也呈爆炸性增长，随之而来的访问量空前高涨。高涨。l因此，为了让服务器能安全可靠地运行，只有不断增加服务器的数量和购买因此，为了让服务器能安全可靠地运行，只有不断增加服务器的数量和购买更高级的服务器，或者限制同时访问服务器的数量。然而这两种方法都存在更高级的服务器，或者限制同时访问服务器的数量。然而这两种方法都存在致命的缺点：服务器的增加，虽能通过大量的经费投入解决一时的访问压力，致命的缺点：服务器的增
38、加，虽能通过大量的经费投入解决一时的访问压力，但设备的浪费却是巨大的。而采用云计算技术，可以动态地增加或减少云模但设备的浪费却是巨大的。而采用云计算技术，可以动态地增加或减少云模式中服务器的数量和提高质量，这样做不仅可以解决访问的压力，还经济实式中服务器的数量和提高质量，这样做不仅可以解决访问的压力，还经济实惠。惠。2.22.2云计算与物联网云计算与物联网3/28/2023（3 3 3 3）让物联网从局域网走向城域网甚至是广域网，在更广的范）让物联网从局域网走向城域网甚至是广域网，在更广的范）让物联网从局域网走向城域网甚至是广域网，在更广的范）让物联网从局域网走向城域网甚至是广域网，在更广的范
39、围内进行信息资源共享。围内进行信息资源共享。围内进行信息资源共享。围内进行信息资源共享。l局域网中的物联网就像是一个超市，物联网中的物就是超市中的商品，商品局域网中的物联网就像是一个超市，物联网中的物就是超市中的商品，商品离开这个超市到另外的超市，尽管它还存在，但服务器端内该物体的信息会离开这个超市到另外的超市，尽管它还存在，但服务器端内该物体的信息会随着它的离开而消失。其信息共享的局限性不言而喻。随着它的离开而消失。其信息共享的局限性不言而喻。l但通过云计算技术，物联网的信息直接存放在但通过云计算技术，物联网的信息直接存放在InternetInternet的的“云云”上，而每个上，而每个“云
40、云”有几百万台服务器分布在全国甚至是全球的各个角落，无论这个物走有几百万台服务器分布在全国甚至是全球的各个角落，无论这个物走到哪儿，只要具备传感器芯片，到哪儿，只要具备传感器芯片，“云云”中最近的服务器就能收到它的信息，中最近的服务器就能收到它的信息，并对其信息进行定位、分析、存储、更新。用户的地理位置也不再受限制，并对其信息进行定位、分析、存储、更新。用户的地理位置也不再受限制，只要通过只要通过InternetInternet就能共享物体的最新信息。就能共享物体的最新信息。2.22.2云计算与物联网云计算与物联网3/28/2023（4 4 4 4）将云计算与数据挖掘技术相结合，增强物联网）将
41、云计算与数据挖掘技术相结合，增强物联网）将云计算与数据挖掘技术相结合，增强物联网）将云计算与数据挖掘技术相结合，增强物联网的数据处理能力，快速做出商业抉择。的数据处理能力，快速做出商业抉择。的数据处理能力，快速做出商业抉择。的数据处理能力，快速做出商业抉择。l伴随着物联网应用的不断扩大，业务应用范围从单一领域发展到所有的各行伴随着物联网应用的不断扩大，业务应用范围从单一领域发展到所有的各行各业，信息处理方式从分散到集中，产生了大量的业务数据。各业，信息处理方式从分散到集中，产生了大量的业务数据。l运用云计算技术，由云模式下的几百万台的计算机集群提供强大的计算能力，运用云计算技术，由云模式下的几
42、百万台的计算机集群提供强大的计算能力，并通过庞大的计算机处理程序自动将任务分解成若干个较小的子任务，快速并通过庞大的计算机处理程序自动将任务分解成若干个较小的子任务，快速地对海量业务数据进行分析、处理、存储、挖掘，在短时间内提取出有价值地对海量业务数据进行分析、处理、存储、挖掘，在短时间内提取出有价值的信息，为物联网的商业决策服务。的信息，为物联网的商业决策服务。这也是将云计算技术与数据挖掘技术相这也是将云计算技术与数据挖掘技术相结合给物联网带来的一大竞争优势。结合给物联网带来的一大竞争优势。2.22.2云计算与物联网云计算与物联网3/28/2023pp任何技术从萌芽到成型，再到成熟，都需要经
43、历一个过程。任何技术从萌芽到成型，再到成熟，都需要经历一个过程。任何技术从萌芽到成型，再到成熟，都需要经历一个过程。任何技术从萌芽到成型，再到成熟，都需要经历一个过程。云计算技术云计算技术云计算技术云计算技术作为一项有着广作为一项有着广作为一项有着广作为一项有着广泛应用前景的新兴前沿技术，尚处于成型阶段，自然也泛应用前景的新兴前沿技术，尚处于成型阶段，自然也泛应用前景的新兴前沿技术，尚处于成型阶段，自然也泛应用前景的新兴前沿技术，尚处于成型阶段，自然也面临着一些问题。面临着一些问题。面临着一些问题。面临着一些问题。首先是标准化问题。首先是标准化问题。首先是标准化问题。首先是标准化问题。l虽然云
44、平台解决的问题一样，架构一样，但基于不同的技术、应用，其细虽然云平台解决的问题一样，架构一样，但基于不同的技术、应用，其细节很可能完全不同，从而导致平台与平台之间可能无法互通。节很可能完全不同，从而导致平台与平台之间可能无法互通。l目前在目前在GoogleGoogle、EMCEMC、AmazonAmazon等云平台上都存在许多云技术打造的应用程序，等云平台上都存在许多云技术打造的应用程序，却无法跨平台运行。这样一来，物联网的网与网之间的局限性依旧存在。却无法跨平台运行。这样一来，物联网的网与网之间的局限性依旧存在。其次是安全问题。其次是安全问题。其次是安全问题。其次是安全问题。l物联网从专用网
45、到互联网，虽然信息分析、处理得到了质的提升，但同时物联网从专用网到互联网，虽然信息分析、处理得到了质的提升，但同时网络安全性也遇到了前所未有的挑战。网络安全性也遇到了前所未有的挑战。InternetInternet上的各种病毒、木马以及恶上的各种病毒、木马以及恶意入侵程序让架于云计算平台上的物联网处于非常尴尬的境地。意入侵程序让架于云计算平台上的物联网处于非常尴尬的境地。2.22.2云计算与物联网云计算与物联网3/28/2023云计算作为互联网全球统一化的必然趋势，其统一虚拟的基础设云计算作为互联网全球统一化的必然趋势，其统一虚拟的基础设施平台，方便透明的上层调用接口，计算信息的资源共享等特点
46、，施平台，方便透明的上层调用接口，计算信息的资源共享等特点，完全是在充分考虑了各行各业的整合需求下才形成的拯救互联网完全是在充分考虑了各行各业的整合需求下才形成的拯救互联网的诺亚方舟。的诺亚方舟。尽管，目前云计算的应用还处在探索测试阶段，尽管，目前云计算的应用还处在探索测试阶段，但随着物联网界但随着物联网界对云计算技术的关注以及云计算技术的日趋成熟，云计算技术在对云计算技术的关注以及云计算技术的日趋成熟，云计算技术在物联网中的广泛应用指日可待。物联网中的广泛应用指日可待。2.22.2云计算与物联网云计算与物联网3/28/20232.32.3一致性哈希算法一致性哈希算法pp2.32.32.32.
47、3一致性哈希算法一致性哈希算法一致性哈希算法一致性哈希算法pp2.3.12.3.12.3.12.3.1一致性哈希算法的基本原理一致性哈希算法的基本原理一致性哈希算法的基本原理一致性哈希算法的基本原理 主从结构主从结构主从结构主从结构的云计算系统的云计算系统负载的均衡负载的均衡负载的均衡负载的均衡往往通过往往通过主节点主节点主节点主节点来完成来完成 ，而一些而一些对对对对等结构等结构等结构等结构的云计算系统可以采用的云计算系统可以采用一致性哈希算法一致性哈希算法一致性哈希算法一致性哈希算法来实现负载的均衡，这种来实现负载的均衡，这种模式模式避免避免避免避免了主从结构云计算系统了主从结构云计算系统
48、对主节点失效的敏感对主节点失效的敏感对主节点失效的敏感对主节点失效的敏感。哈希算法哈希算法哈希算法哈希算法是一种从稀疏值范围到紧密值范围的映射方法，在存储和计算是一种从稀疏值范围到紧密值范围的映射方法，在存储和计算定位时可以被看作是一种定位时可以被看作是一种路由算法路由算法路由算法路由算法，通过这种路由算法文件块能被，通过这种路由算法文件块能被惟一惟一惟一惟一地定位到一个节点的位置地定位到一个节点的位置地定位到一个节点的位置地定位到一个节点的位置。3/28/20232.3.12.3.1一致性哈希算法的基本原理一致性哈希算法的基本原理传统的哈希算法的传统的哈希算法的容错性容错性容错性容错性和和扩
49、展性扩展性扩展性扩展性都都不好不好不好不好，无法有效地适应面向，无法有效地适应面向数据系统节点的数据系统节点的动态变化动态变化动态变化动态变化。19971997年年David KargerDavid Karger提出了一致性哈希算法来定位数据，实现了提出了一致性哈希算法来定位数据，实现了云计算系统在节点变化时的云计算系统在节点变化时的单调性单调性单调性单调性，实现了，实现了较小较小较小较小的的数据迁移代价数据迁移代价数据迁移代价数据迁移代价。AmazonAmazon的云存储系统的云存储系统DynamoDynamo改进了基本的一致性哈希算法，引入改进了基本的一致性哈希算法，引入了了虚拟节点虚拟节
50、点虚拟节点虚拟节点，使系统具有更加均衡地存储定位能力。，使系统具有更加均衡地存储定位能力。FacebookFacebook开发的开发的CassandraCassandra系统也是采用了一致性哈希算法的存系统也是采用了一致性哈希算法的存储管理算法。储管理算法。3/28/20232.3.12.3.1一致性哈希算法的基本原理一致性哈希算法的基本原理 一致性哈希算法及其改进算法一致性哈希算法及其改进算法一致性哈希算法及其改进算法一致性哈希算法及其改进算法已成为已成为分布式存储领域分布式存储领域分布式存储领域分布式存储领域的一个的一个标准技术标准技术标准技术标准技术。使。使用一致性哈希算法的系统无需中心