《云计算期末考试总结【强烈推荐】.pdf》由会员分享,可在线阅读,更多相关《云计算期末考试总结【强烈推荐】.pdf(7页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第一章第一章什么是“新摩尔定律什么是“新摩尔定律:每 18 个月全球新增信息量是计算机有史以来全部信息量的总和。云计算具有哪些特点:云计算具有哪些特点:(1)、超大规模(2)、虚拟化(3)、高可靠性(4)、通用性(5)、高可伸缩性、(6)、按需服务(7)、极其廉价云计算按照服务类型大致分为三类:云计算按照服务类型大致分为三类:将基础设施作为服务(Iaas)、将平台作为服务(Paas)、将软件作为服务(SaaS)什么是 Iaas?将硬件设备等基础资源封装成服务供用户使用,如 AWS 的弹性计算云 EC2 和简单存储服务 S3。什么是 Paas?对资源的抽象层次更进一步,它提供用户应用程序的运行环
2、境,典型的如 Google AppEngine.什么是 SaaS?它的针对性更强,它将某些特定应用软件功能封装成服务,如 Salesforce 公司提供的在线客户关系管理 CRM 服务。云计算技术体系结构分为四层云计算技术体系结构分为四层:物理资源层、资源池层、管理中间件层和SOA 构建层(管理中间件层和资源池层是云计算技术的最关键部分)物理资源层物理资源层包括计算机、存储器、网络设施、数据库和软件.资源池层资源池层是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、数据资源池。构建资源池更多的是物理资源的集成和管理工作。管理中间件层管理中间件层负责对云计算的资源进行管理,并对众多
3、应用任务进行调度,使资源能够高效、安全地为应用服务。大数据具有大数据具有 4V+1C4V+1C 的特征:的特征:(1)、数据量大(2)、多样(3)、快速(4)、价值密度低(5)、复杂度全球企业的全球企业的 ITIT 开销分为三部分开销分为三部分:硬件开销、能耗和管理成本。云计算的优势:云计算的优势:云计算有更低的硬件和网络成本、更低管理成本和电力成本以及更高的资源利用率。云计算与大数据之间的关系:大数据是需求,云计算是手段。没有大数据,就不需要云计算。没有云计算就无法处理大数据.什么是云计算:长定义:云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需
4、要获取计算力、存储空间和信息服务。短定义:云计算是通过网络按需提供可动态伸缩的廉价计算服务。云计算的管理中间件层:负责资源管理、任务管理、用户管理、和安全管理等工作。资源管理:负责均衡地使用云资源节点,检测节点的故障并试图恢复或屏蔽它,并对资源的使用情况进行监视统计;任务管理:负责执行用户或应用提交的任务,包括完成用户任务映像部署和管理、任务调度、任务管理、生命周期管理。简述亚马逊的云计算:AWS 率先在全球提供了弹性计算云EC2 和简单服务存储服务 S3,为企业提供计算和存储服务。亚马逊是最大的服务商,谷歌是最大的云计算技术的使用者。第二章第二章GoogleGoogle 云计算技术包括:云计
5、算技术包括:Google 文件系统 GFS、分布式计算编程模型 MapReduce、分布式锁服务 Chubby、分布式结构化数据表 Bigtable.当前主流分布式文件系统有哪些当前主流分布式文件系统有哪些?各有什么优缺点?答:RedHat 的 GFS(Global File System)、IBM 的 GPFS、Sun 的 Lustre 等。优缺点:GFS 采用廉价的商品机器构建分布式文件系统,同时将GFS 的设计与 Google 应用的特点紧密结合,简化实现,GFS 将容错的任务交给文件系统完成,利用软件的方法解决系统可靠性问题,使存储成本下降;GFS 将服务器故障视为正常现象,并采用多种
6、方法、从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务。IBM GPFS 并行文件系统软件在设计上不存在任何性能瓶颈,因此 GPFS 并行文件系统可以充分发挥硬件系统的性能。换句话说,GPFS 并行文件系统的性能完全取决于硬件配置的好坏,而文件系统软件本身对性能的影响微乎其微.IBM GPFS并行文件系统与其它并行文件系统之间最大的区别在于GPFS 不需要专用的元数据(Meta Data)管理服务器,所有元数据分散在磁盘阵列中,并可以由任何 I/O 节点管理。这样的设计避免了并行文件系统中最可能产生性能瓶颈的因素Meta Data Server。Lustre 文
7、件系统为例,它只对元数据管理器MDS 提供容错解决方案,而对于具体的数据存储节点 OST 来说,则依赖其自身来解决容错的问题。例如,Lustre 推荐 OST 节点采用 RAID技术或 SAN 存储区域网来容错,但由于Lustre 自身能提供数据存储的容错,一旦OST 发生故障就无法恢复,因此对 OST 的稳定性就提出了相当高的要求,从而大大增加了存储的成本,而且成本会随着规模的扩大线性增长GFSGFS 容错机制包含:容错机制包含:1、Master 容错:Master 上保存了 GFS 文件系统的三种元数据。(1)、命名空间,也就是整个文件系统的目录结构.(2)、Chunk 与文件名的映射表(
8、3)、Chunk 副本的位置信息,每一个 Chunk 默认有三个副本.前两种 GFS 通过操作日志来提供容错功能。第三种直接保存各个 Chunk Server上,当 master发生故障时,迅速恢复以上元数据。为了防止master 彻底死机,GFS 提供了 master 远程的实时备份。2、Chunk Server 容错:GFS 采用副本的方式实现其容错。如果相关副本丢失或不可恢复,master 自动将副本复制到其他 Chunk Server。GFS 把每一个文件划分成多个Chunk,MapReduceMapReduce 与传统的分布式程序设计相比的优点与传统的分布式程序设计相比的优点答:与传
9、统的分布式程序设计相比,MapReduce 封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的接口。ChubbyChubby 的设计目标主要有?的设计目标主要有?Paxos 算法在 Chubby 中起什么作用?(1)、高可用性(2)、高扩展性(3)、支持粗粒度的建议性锁服务(4)、服务信息的直接存储(5)、支持通报机制(6)、支持缓存机制.Chubby 内部一致性问题的实现用到 Paxos 算法什么是分布式结构化数据表什么是分布式结构化数据表 Bigtable?Bigtable?Bigtable 是 Google 开发的基于 GFS 和 Chubby 的分布式存储系
10、统,它的设计应达到以下几个目标:(1)、广泛的适用性(2)、很强的可扩展性(3)、高可用性(4)、简单性Bigtable 是:一个分布式多维映射表,表中的数据通过一个行关键字、一个列关键字以及一个时间戳进行索引.在 Bigtable 中 Chubby 主要有以下几个作用:(1)选取并保证同一时间内只有一个主服务器(Master Server)(2)获取子表的位置信息(3)保存 Bigtable 的模式信息及访问控制列表Bigtable 主要由三个部分组成:客户端程序库、一个主服务器和多个子表服务器PaxosPaxos 算法中节点被分成了三种类型:算法中节点被分成了三种类型:proposers、
11、acceptors、和learners,其中proposers 提出决议,acceptors 批准决议、learners获取并使用已经通过的决议。一个节点可以兼有多重类型,满足三个条件保持数据的一致性,(1)、决议只有在被 Proposers 提出后才能批准(2)、每次只能批准一个决议(3)、只有决议确定被批准后 learners 才能获取这个决议。BigtableBigtable 性能优化性能优化:1、局部性群组 2、压缩 3、布隆过滤器GFS 将整个系统的节点分为哪几类角色:Client(客户端)、Master(主服务器)、Chunk Server(数据块服务器)。Master 是 GFS
12、 的管理节点,在逻辑上只有一个,他保存系统的元数据,负责整个文件系统的管理,是 GFS 文件系统中的“大脑”。Chunk Server 负责具体的存储工作。数据以文件的形式存储在Chunk Server 的个数可以有多个,他的数目直接决定了GFS 的规模。GFS 将文件按照固定大小进行分块,默认是 64MB,每一块称为一个 Chunk(数据块),每个 Chunk 都有一个对应的索引号(Index)。GFSGFS 具有哪些特点:具有哪些特点:1、采用中心服务器模式:GFS 采用中心服务器模式管理整个文件系统,增加新的 ChunkServer 是一件非常容易的事情.2、不缓存数据:缓存机制是提升文
13、件系统的性能的一个重要手段,通用文件系统为了提高性能,一般需要实现复杂的缓存机制。GFS 文件系统根据应用的特点,没有实现缓存,因为GFS 的数据在 Chunk Server 上是以文件的形式存储。3、在用户态下实现4、只提供专用接口什么是什么是 MapReduce?MapReduce?Map(映射)Reduce(化简)是 Google 提出的一个软件架构,是一种处理海量数据的并行编程模式,用于大规模数据集的并行计算。第三章第三章AWSAWS 提供的服务包括提供的服务包括:弹性计算云 EC2、简单存储服务S3、简单数据库服务Simple DB、简单队列服务SQS、弹性MapReduce 服务、
14、内容推送服务、电子商务服务、FPS.改进的一致性哈希算法优点:改进的一致性哈希算法优点:可以减小数据分布不均衡的可能性。采用数据分区后,在添加或删除设备节点时,会引起娇小的数据传输。可以在很小的数据传输代价下,保证整个系统数据分布的均衡性.在在DynamoDynamo 中添加一个新的节点时中添加一个新的节点时,原先各节点保存的数据是原先各节点保存的数据是否需要改变?如果改变,应该如何变化?否需要改变?如果改变,应该如何变化?需要改变;原存储在前驱节点上的那部分数据会迁移到新的节点上.而其他节点保存的数据不变.同样,在删除节点时,被删除节点的数据会迁移到其前驱节点上,而对其他节点没有影响。私有私
15、有 IPIP、公有、公有 IPIP 和弹性和弹性 IPIP 的区别在哪里的区别在哪里?EC2 的 IP 地址包括三大类:私有 IP、公有 IP 和弹性 IP。EC2 的实例一旦被创建,就会动态地分配两个IP 地址,即私有IP 和公有 IP。私有IP 地址与实例相对应,由动态主机配置协议(DHCP)分配产生。公有 IP 地址和私有 IP 地址之间通过网络地址转换(NAT)技术实现相互之间的转换。公共IP 和特定的实例相对应,在某个实例终结或被弹性IP地址替代之前,公共IP 地址会一直存在,实例通过这个公有IP 地址和外界通信。实例每次启动时,公有 IP 都会发生变化。弹性 IP 则是与用户账号绑
16、定,使用时可以代替公有IP 通过 NAT 的方式实现与私有 IP 转换,从而连接到 EC2 实例。地理区域和可用区域有哪些区别?地理区域和可用区域有哪些区别?AWS 中采用了两种区域(Zone),地理区域(Region Zone)和可用区域(Availability Zone).地理区域是按实际的地理位置划分的。可用区域是根据是否有独立的供电系统和冷却系统划分,通常将每个数据中心看作一个可用区域。EC2 系统中包含多个地理区域,而每个地理区域又包含多个可用区域。AmazomAmazom 云平台中,云平台中,SQSSQS 的目的及组成部分,其中“消息”的的目的及组成部分,其中“消息”的格式是什么
17、?格式是什么?简单队列服务(SQS)是 Amazon 为了解决其云计算平台之间不同组件的通信而设计开发的。SQS 由三个基本部分组成:系统组件、队列、消息。系统组件是SQS 的服务对象,而SQS 则是组件之间沟通的桥梁。组件有双重角色,既是消息的发送者,也可以是消息的接受者。“消息”格式:消息由以下四部分组成:消息 ID:由系统返回给用户,用来标识队列中的不同消息。接收句柄:当 从队列中接收消息时就会从消息那里得到一个接收句柄,这个句柄可以用来对消息进行删除等操作。消息体:消息的正文部分,需要注意的是消息存放的是文本数据并且不能是URL 编码方式.消息体摘要:消息体字符串的 MD5 校验和。非
18、关系型数据库和传统关系数据库的区别非关系型数据库和传统关系数据库的区别1.数据模型关系数据库对数据有严格的约束,包括数据之间的关系和数据的完整性。非关系数据库的keyvalue 存储形式中,key 和 value 可以使用任意的数据类型。2.数据处理:关系数据库满足 CAP 原则的 C 和 A,在 P 方面很弱,所以在可扩展性方面弱,所以导致其在可扩展性方面面临很多问题。非关系型数据库满足 CAP 原则的 A 和 P,而在 C 方面较弱,所以使得其无法满足 ACID 要求。3.接口层关系型数据库都是以 SQL 语言对数据进行访问的,提供了强大的查询功能,并便于在各种关系数据库间移植。非关系型数
19、据库对数据库的操作大多通过API 来实现,支持简单的查询功能,且由于不同数据库之间API 的不同而造成移植性较差.综上所述,关系数据库具有高一致性,在 ACID 方面很强,移植性很高;但在可扩展性方面能力较弱,只能通过提高服务的配置来提高处理能力.非关系型数据库具有很高的可扩展性,可以通过增加服务器数量来不断提高存储规模,具有很好的并发处理能力;但由于缺乏数据的一致性保证,所以处理事务性问题能力较弱,并且难以处理跨表,跨服务器的查询。第四章第四章微软云计算平台包括几部分微软云计算平台包括几部分?每部分的作用是什么每部分的作用是什么?当前版本的 Windows Azure 平台包括 4 个组成部
20、分:(1)Windows Azure.位于云计算平台最底层,是微软云计算技术的核心。它作为微软云计算操作系统,提供了一个在微软数据中心服务器上运行应用程序和存储数据的 Windows 环境。(2)SQL Azure.它是云中的关系数据库,为云中基于 SQL Azure 的关系型数据提供服务。(3)Windows Azure AppFabric。为在云中或本地系统中的应用提供基于云的基础架构服务。部署和管理云基础架构的工作均由AppFabric 完成,开发者只需关心应用逻辑。(4)Windows Azure Marketplace。为购买云计算环境下的数据和应用提供在线服务。WindowsWin
21、dows AzureAzure 存储服务提供了几种类型的存储方式?阐存储服务提供了几种类型的存储方式?阐述每种存储方式主要的存储对象。述每种存储方式主要的存储对象。答:Windows Azure 存储服务目前主要提供了4 种主要的数据存储结构:(1)Blob 类型。Blob 数据类型存储二进制数据,可以存储大型的无结构数据,容量巨大,能够满足海量数据存储需求(2)Table 类型.Table 数据类型能够提供更加结构化的数据存储,但是它不同于关系型数据库管理系统中的二维关系表,查询语言也不是大家熟悉的关系查询语言SQL。(3)Queue 类型。Queue 类型的作用和微软消息队列(MSMQ)相
22、近,用来支持在 WindowsAzure 应用程序组件之间进行通信。(4)File 类型。File 类型使用标准 SMB2。1 协议支持 Windows Azure 虚拟机和云服务,可通过装载的共享在应用程序组件之间共享文件数据,本地应用程序可通过文件存储API来访问共享中的文件数据。SQL AzureSQL Azure 数据同步技术主要有几种?分别如何实现?数据同步技术主要有几种?分别如何实现?答:(1)SQL Azure 数据库与 SQL Server 数据库之间的数据同步。用户选择这类同步的原因有很多,除了网络故障等因素外,数据调度也需要数据副本在某一区域范围内进行,同时需要防止某些操作
23、失误所带来的数据丢失.这时用户可以通过 SQL Azure 数据库和 SQL Server数据库的信息同步在本地数据库保存副本。(2)SQL Azure 数据库之间的同步.某些 ISVs(独立的软件开发商)或全球化的企业需要创建一个应用,为了满足高性能的需求,应用的创建者也许会选择在三个不同的Windows Azure数据中心运行这个应用。如果这个应用将数据存放在SQL Azure 数据中,需要使用 SQLAzure 数据同步服务保持三个数据中心之间的信息同步。SQL Azure 数据同步服务使用“轮辐式”模型,所有的变化将会首先被复制到 SQL Azure 数据库“hub上,然后再传送到其他
24、“spoke”以上。这些“spoke”成员可以是一个 SQL Azure 数据库,也可以是本地 SQL Server 数据库.上述的同步过程可以同步整个数据库,也可以只同步有更新的数据库表格。SQL AzureSQL Azure 和和 SQL ServerSQL Server 的相同点和不同点的相同点和不同点相同点:SQL Azure是云中的关系数据库,和本地的SQL Server数据库有很多相识的地方。比如SQL Azure 提供了一个表格数据流(TDS)接口供基于TransactSQL的数据库进行访问,这和SQL Server 中的实例访问数据库情况是相似的。不同点:在SQL Azure中
25、,由于物理管理工作是由微软进行的,所以在管理、服务提供、TransactSQL支持和编程方式等方面,与SQL Server有所不同。Windows Azure最新版本包含5个部分:1.计算服务,2.存储服务,3.Fabric控制器,4.内容分发网络CDN,5.Windows Azure Connect。存储名空间被划分为三部分:账户名,分区名和对象名SQL Azure关键技术:1.SQL Azure数据库,2。SQL Azure报表服务,3。SQL Azure数据同步AppFabric关键技术:1.服务总线,2。访问控制,3。高速缓存.Windows Azure是微软云计算战略的核心:云计算操
26、作系统WAS 的一个重要特征是能够存储和访问达到甚至超过EB 级的海量数据,其产品系统由存储域和位置服务构成存储域的层次结构包括哪三层:1、文件流层,2、分区层,3、前段文件流层包括流管理器和区块节点两大部分.分区层包括一个分区管理器、多个分区服务器和一个锁服务三个主要的体系结构模块.分区管理器:负责保存对象表到分区段的划分和每个分区段到相应分区服务器的分配情况.分区服务器:负责处理由分区管理器分配给它的一组分区段的请求.锁服务:Paxos 锁服务用于分区服务器的主服务器选举。WAS 将分区 B 拆成新的分区段 C 和 D 如何实现?步骤 1:分区管理器通知分区服务器将段B 拆分为 C 和 D
27、.步骤 2:分区服务器处理 B 的检查点,再暂停相应的服务请求.步骤 3:分区服务器使用一种“MultiModify”的特殊流操作处理 B 的每个流,并分别生成与 B 中区块顺序相同的 C 和 D 流子集,再追加 C 和 D 的新分区键值范围到他们的元数据流。步骤 4:分区服务器开始将服务请求发送至新的分区C 和 D.步骤 5:分区服务器通知分区管理器拆分操作完成,并且分区管理器更新分区映射表和相应的元数据信息,分区管理器将其中一个拆分的分区迁移到一个不同的分区服务器.第七章第七章虚拟机迁移的步骤虚拟机迁移的步骤步骤 1:预迁移。步骤 2:预定资源。步骤 3:预复制。步骤 4:停机复制.步骤
28、5:提交.步骤 6:启动。存储虚拟化的三种实现方式存储虚拟化的三种实现方式?(1)基于主机的存储虚拟化:基于主机的存储虚拟化,也称基于服务器的存储虚拟化或者基于系统卷管理器的存储虚拟化,其一般是通过逻辑卷管理来实现的。(2)基于存储设备的存储虚拟化:基于存储设备的存储虚拟化,也称基于存储控制器的存储虚拟化。它主要是在存储设备的磁盘、适配器或者控制器上实现虚拟化功能。(3)基于网络的存储虚拟化:基于网络的存储虚拟化方法是在网络设备上实现存储虚拟化功能,它包括基于互联设备和基于路由器两种方式。服务器虚拟化的底层实现:1.CPU 虚拟化,2。内存虚拟化,3。I/O 设备虚拟化主流X86虚拟技术:1.
29、VMware威睿(VMware vSphere 5)2。Microsoft微软(Windows2008 R2 Hyper-V)3.Citrix思杰(XenServer 6)4。Oracle甲骨文(Oracle VM3。0)5.RedHat红帽(Red Hat Enterprise Virtualization 3)X86虚拟化基本功能:1。快照,2。创建和部署虚拟机,3。创建模板,4.克隆虚拟机,5。部署模板,6。配置虚拟机硬件、选项和资源数据中心网络虚拟化划分为:核心层(主要指数据中心核心网络设备的虚拟化),接入层(可以实现数据中心接入层的分级设计),虚拟机网络虚拟化(虚拟机网络交互包括物理网卡虚拟化和虚拟网络交换机)云计算中运用虚拟化技术主要体现在对数据中心的虚拟化上。数据中心的虚拟化是通过服务器虚拟化,存储虚拟化和网络虚拟化实现的。服务器虚拟化分为:寄居虚拟化和裸机虚拟化