《大型数据中心云平台建设中网络的知识 原理及实践 附大数据云服务平台的原理与设计.docx》由会员分享，可在线阅读，更多相关《大型数据中心云平台建设中网络的知识 原理及实践 附大数据云服务平台的原理与设计.docx（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、【导读】本文介绍了云计算中网络的的一些重要知识和原理，以及结合实际 业务分享行业云的一些架构设计。最简单的总结SDN主流选择了 OverLay。虚拟集群的规模（非物理机所能比拟）使得Vxlan 的组播传播（虚拟机构成的集群包含的MAC地址数量往往多一两个数量级MAC 地址表）对网络设备性能要求巨大（你不可能每个交换机都买核心交换机一样的 配置吧）。Overlay通过隧道技术（VxLAN或GRE）和控制平面可以减少集群中 MAC地址表和ARP请求（H3CVXLAN解决方案基于SDN架构，通过引入全网 的SDNController来实现VXLAN的管理和维护，使得VTEP之间的信息可以通 过Con
2、troller来进行反射。这样，VTEP的MAC地址表映射关系不再通过组播 向全网其他VTEP传达，而是统一上报给控制器，由控制器统一下发给需要接受 此消息的其他VTEP,由具体的VTEP执行转发机），VxLan中Vian内部只走2 层网关，只有VxLan之间（不同租户，云主机和裸金属之间）才需要走3层网 关。进而有效降低二层核心网络设备压力。常见网络术语普通的VLAN数量只有4096个，无法满足大规模云计算IDC的需求，而IDC 为何需求那么多VLAN呢，因为目前大部分IDC内部结构主要分为两种L2, L3。L2（二层网关）：位于同一网段的终端用户通信，L2网关收到用户报文后， 根据报文中包
3、含的目的MAC类型进行转发。L2网关主要解决的就是同一 VNI下的VM之间的互访。L3 （三层网关）：用于非同一网段的终端用户通信或VXLAN和非VXLAN 用户间的通信。L3网关解决的就是不同VNI （VXLANNetworkldentifier）以及VXLAN和非 VXLAN之间的互访VTEP （VXLANTunnelEndpoints, VXLAN 隧道端点）为 VXLAN 隧道的端 点，封装在NVE中，用于VXLAN报文的封装和解封装。VTEP与物理网络相 连，分配的地址为物理网络IP地址。VXLAN报文中源IP地址为本节点的VTEP 地址，VXLAN报文中目的IP地址为对端节点的VT
4、EP地址，一对VTEP地址 就对应着一个VXLAN隧道。L2结构里面，所有的服务器都在一个大的局域网里面，TOR透明L2,不同 交换机上的服务器互通靠MAC地址，通信隔离和广播隔离靠的vlan,网关在内 网核心上。而L3结构这是从TOR级别上就开始用协议进行互联，网关在TOR 上，不同交换机之间的互通靠IP地址。ToR （TopofRack）：接入方式就是在服务器机柜的最上面安装接入交换机。EoR （EndofRow）：接入交换机集中安装在一列机柜端部的机柜内，通过水 平缆线以永久链路方式连接设备柜内的主机/服务器/小型机设备。EoR对设备机 柜需要敷设大量的水平缆线连接到交换机。对比：EOR
5、布线方式的缺点：从服务器机柜到网络机柜的铜缆多（约有2040根铜 缆），且距网络机柜越远的服务器机柜的铜缆，在机房中的布线距离越长，由此 导致线缆管理维护工作量大、灵活性差。TOR布线的缺点：每个服务器机柜受电源输出功率限制，可部署的服务器 数量有限，由此导致机柜内交换机的接入端口利用率不足。在几个服务器机柜间 共用1-2台接入交换机，可解决交换机端口利用率不足的问题，但这种方式增加3.3 功能要求3.3.1 门户网站搭建采用目前较为主流的技术架构搭建，易于扩展，美观实用的门户网站。要求 网站实现异地部署，统一用户信息。各类资源可以方便的集成到该门户中。3.3.2 模板、内容管理模块网站内容管
6、理提供统一的内容采编、模板和栏目管理；提供用户自定义页面 布局。提供页面预览功能，在内容编辑完成后和发布之前可以看到实际效果。333单点登录、统一权限管理用户访问统一登录人口地址，进入统一登录认证界面。平台具有独立的用户 信息管理库，当用户登录该平台时，根据其权限显示相应的内容，包括：操作项、 服务和开发资源等。所有的注册服务都必须经由该平台启动，平台的权限管理只 到服务级别，提供用户信息调用服务接口。3.3.4 服务统一管理提供服务界面开发规范和开发工具、模板的下载，指导用户如何开发服务界 面并实现服务在该平台上注册、发布，方便用户开发服务界面并且能够快速集成 至服务平台中。将现有的通用支持
7、平台（图计算处理、实时计算处理和内存计算 处理）和业务支撑平台（业务数据可视化工具和交互式分析挖掘环境）等应用通 过改造后以界面集成的方式集成到该平台中。3.3.5 元数据服务界面根据元数据服务要求编写相应界面，调用相关服务实现该应用功能。3.3.6 多源异构数据综合查询界面根据多源异构数据综合查询系统流程和要求编写相应界面，组织符合统一查 询标准的SQL语句，调用统一数据查询接口，实现相应查询功能。3.3.7 平台管理提供平台日志管理，包括；查询、删除和导出等。根据用户使用情况，在不 改变平台架构的情况下，对平台进行修改，以满足使用的需求。3.4 技术指标1）网页响应时间：2S；2）平台并发
8、用户数：N1000个。4小结随着科技的进一步发展，大数据将逐渐成为信息处理的主流和必然发展趋 势。在大数据场景下，云服务的应用满足了海量数据存储的需求，能够实现对大 数据的科学有效管理。本文简单介绍了大数据、云服务的概念原理和基本特点，并依此设计了一个 大数据云服务平台，同时也对该平台的功能要求和技术指标做了一些简单有益的 探讨。了线缆管理工作量。从网络设计考虑，TOR布线方式的每台接入交换机上的VLAN量不会很多, 在网络规划的时候也要尽量避免使一个VLAN通过汇聚交换机跨多台接入交换 机，因此采用TOR布线方式的网络拓扑中，每个VLAN的范围不会太大，包含 的端口数量不会太多。但对于EOR
9、布线方式来说，接入交换机的端口密度高， 在网路最初设计时，就可能存在包含较多端口数的VLAN。TOR方式的接入交换机数量多，EOR方式的接入交换机数量少，所以TOR 方式的网络设备管理维护工作量大。随着用户数据业务需求的猛增，数据中心机房服务器密度越来越高，虚拟化 和云计算等新技术趋势日益流行，使得服务器对应的网络端口大大增加，并且增 加了管理的复杂性，另外以太网（LAN）与光纤存储区域网络（SAN）的融合也 越来越常见，这就必然要求一种新的网络拓扑结构与之相对应。在云计算的大潮 下，这种分布式架构的业务扩展性极强，要求的服务器数量也越来越多。例如新 的ApacheHadoop0.23支持60
10、00-10000台服务器在一个集群内，海量的服务器数 量要求充分利用数据中心机柜空间的同时，海量的业务数据也需要更快更直接的 高性能链路把数据传送到网络核心。在这样的趋势下，显然ToR更加适用，在 业务迅速扩展的压力下，ToR的方式可以更好的实现网络的更快速扩展。一.SDN在SDN解决方案中overlay与underlay是最为常见的二个网络术语.UnderLay指的是物理网络，它由物理设备和物理链路组成。常见的物理设 备有交换机、路由器、防火墙、负载均衡、入侵检测、行为管理等，这些设备通 过特定的链路连接起来形成了一个传统的物理网络，这样的物理网络，我们称之 为UnderLay网络。实现SD
11、N的技术主要有overlay, OpenFlow,和思科的onePKo Overlay已 成主流，该类方案主要思想可被归纳为解耦，独立，控制三个方面。OverLay其实就是一种隧道技术，VXLAN, NVGRE及STT（都是OverLay 实现方式之一）是典型的三种隧道技术，它们都是通过隧道技术实现大二层网络。 将原生态的二层数据帧报文进行封装后在通过隧道进行传输。总之，通过 OverLay技术，我们在对物理网络不做任何改造的情况下，通过隧道技术在现有 的物理网络上创建了一个或多个逻辑网络即虚拟网络，有效解决了物理数据中 心，尤其是云数据中心存在的诸多问题，实现了数据中心的自动化和智能化。与U
12、nderLay网络相比，OverLay实现了控制与转发的分离，这是SDN的核 心理念。Overlay技术与SDN可以说天生就是适合互相结合的技术组合。Overlay网 络虚拟机物理位置无关特性就需要有一种强有力的集中控制技术进行虚拟机的 管理和控制。而SDN技术恰好可以完美的做到这一点。二.OverLay解决哪些痛点Overlay由于其简单、一致的解决问题方法，加上重新定义的网络可以进行 软件定义，已经成为数据中心网络最炙手可热的技术方案。然而，它并不是一张 完全由软件定义的网络，Overlay网络解决方案必定是一种软硬结合的方案，无 论是从接入层VTEP混合组网的组网要求、组播或SDN控制层
13、协议的支持，还 是VXLAN网络与传统网络的互通来看，都需要硬件积极的配合和参与，必须构 建在坚实和先进的物理网络架构基础上。考虑到服务器接入的可以是虚拟交换机，也可以是物理交换机，因此存在三种不同的构建模式:2.1OverLay 类型网络 Overlay所有终端均果用物理交操机作为VTEP节点在网珞Overlay方案和混合Oveday方案中, 都需要有物理交换机设备支持VXLAN协议 楼,并能与虚拟交换机构建的VTEP互通. 由于在实际蛆网环境中.服务器肿类很 多，高吞吐高性能要求的业务一般都采用 单独物理服务器甚至1的硬色环境，而 非虚拟化的蝠6服务孤.这就没法使用 vSwrtch来接入V
14、XLAN网络,只能让支持 VXLAN的物理交换机来接入了.主机Overlay方案所有终岗均果用虚拉交换即作为VTEP节点所有Oveda闲备都是虚拟设备.适用服务器全虚拟化的场景，物理网络无帚改动1.定位主机Ch/eriay不能接入非虚拟化服务器,所以主机Overlay主要定位是无合VMware、KVM等主流HypeMsor 平台的Oved8y方案：2面向客户主机Overlay主要面向已经选择了虚拟化平台并且希钝对幼理网络资源进行利旧的客户.在主机Overlay况下,H3C vSvKch既承担了VTEP （flVXLAN L2 GW）功能.也可以承担东西向流三层 网关的功能.三层网关同时亦可以由
15、NFV、物理交换机分别承担。vSwitch功能也可以实现Overlay网络内虐 机到虚机的跨网段转发.混合Overlay方案既有物理交换机接入,又有虚拟交换机接入.且软件VTEP和硬件VTEP之间可以基于标准的议互通” 功理设备和虚拟设备都可以作为Overlay边缘设备，灵活组网，可接入各即形态胺务器,可以充分发挥理信 网关的高性能和虚拟网关的业务灵活性。1.定位混合OveriayiS网灵活，既可以支拉虚拟化的服务21,也可以支持利旧的未虚拟化物理股务器,以及必须使 用物理服务器提升性能的数据降等业务，所以混合Overlay的主要定位是Overlay整体解决方案,它可以为害 户提供自主化、多样
16、化的选择.2面向客户混合Overlay主要面向愿意既要保持虚拟化的灵活性,又需要英顽对于离性能里务的需求，或者充分利旧服 务器的要求,满足客户从传统数据中心向基于SDN的数据中心平滑演进的需求。混合Overlay是网络Overlay和主机Overlay的混合组网,可以支持物瑁服务器和虚拉服务部之间的组网互 通.它联合了两种Overlay方案的优点,既可以充分利用虚拟化的低成本优势,又可以发挥硬件GW的转发 性能、将非虚拉化设备融入Overlay网络,它可以为客户提供自主化、多样化的选择2.20verlay网络主要解决的问题虚拟机动态迁移降低一层核心网络设备压力虚拟机动态迁移，就是在保证虚拟机上
17、展务正常运行的同时，将一个虚拟机系统从一个物理服务器移动到另一 个物理朕务器的过程。咳过程对于最终用户来说是无感知的，从而使得管理员能等在不影响用户正常使用的情 况下,灵活调配服务器资源,或者对物理服务器进行维修和升级e而要实现虚机迁移业务不0断，则需要保证 虚机迁移前后IP地址保持不变，而且虚拟机的运行状态也必须保持原状（例如TCP会话状态）。可能有人会 问，虚拟机迁移前后IP地址不变为啥非得在同一个一层域内呢？这是因为一旦服务器迁移到其他二短域，就需 要变更IP地址，TCP连接等运行状态也会中断,那么原来这台服务把所承载的业务就会中断，而且同时与此业 务相关的其他服务器（比如WEB-APP
18、-DB服务器之间都是相互关联的）也要变更相应的配置.所以虚拟机的动 态正移只能在同一个二层域中进行，而不能跨2层域迁移,虚拟机迁移是将虚拟机从一个物理硬件设备移到另一个设备的过程,因为日常的更新维护,集群中的大规模虚 拟机迁移是比较常见的事情，上千台物理机组成的大集群使得集群内的资源调度变得更加容易,我们可以通过 虚拟机迁移来提高资源的利用率、容忍虚姒机的错送并提高节点的可移植性。当虚拟机所在的宿主机因为维护或者其他原因宕机时，当前实例就得要迁移到其他的宿主机上,为了保证业务 不中断.我们需要保证迁移过程中的IP地址人变，因为Overlay是在网络层实现二层网络，所以多个物理机之 间只要网络层
19、可达就能组建虚姒的局域网，虚姒机或者容器迁移后仍然处于同一个二层网络,也就不需要改变 IP地址。在大二层角络环境下,数据流均需要通过明确的网络寻址以保证准确到达目的地,因此网络设备的二层地址表 项大小（即MAC地址表），成为决定了云计声环境下虚拟机的规模上限，并且因为表项并非百分之百的有效 性，使得可用的虚拟机数量进一步降低。特别是对于低成本的接入设备而言，因其表项一般规格较小,限制了 葬个证十算数据中心的烯以机数量,但如果箕地圻表项设计为与核心或双关设备在同一档次 力会混尸河络建 设成本（这一点其实和上面的一点类型.我们总不能把交换机都换成核心交换机吧）。虽然核心或网关设备的MAC 与ARP
20、规格会随君虚拟机增长也面临挑战，但对于此层次设备能力而言.大规格是不可避免的业务支撑要求。减 小接入设备规格压力的做法可以是分渡河关能力，如采用多个网关来分担虚拟机的终结和承载,但如此也会带 来成本的巨幅上升.大规模的数据中心往往都会对外提供云计为强务，同一个物理集群可能会祓拆分成多个小块分配给不同的租户 （Tenant）,因为二三网络的数据帧可能会进行广播,所以出于安全的考虑这些不同的租户之间需要进行网络 隔高，避免租户之间的流量互相影响其至恶意攻击传统的网络隔离会使用虚拟局域网技术（Virtual LAN.网络隔高VLAN） , VLAN会使用12比特表示虚拟网络ID,虚拟网络的上限是40
21、96个（2的12次方）。提供更大规模的虚拟网络数量4096个虚拟网络对于大规模的数据中心,尤其是公有云业务而言微不足道.网络隔离和分离要求轻易突破4096.VxLAN会使用24比特的VNI表示虚拟网络个数，总共可以表示16,777,216个虚姒网络，这也就能满足数据中 心多租户网络隔高的需求了。但其实像大多数银行,包括我们卡中心要建设私有云,其实是足够了哈三,为什么需要Vxlan在云计算IDC里，要求服务器做到虚拟化，原来这个服务器挂在TORA上, 我可以随意把它迁移到TORB上，而不需要改变IP地址，这个有点就是L2网 路的特长，因为我这个虚拟服务器和外界（网关之外）通信还靠L3,但是我网
22、关内部互访是走L2的，这个在L3里是无法做到的。因为L3里每个IP都是唯 一的，地址也是固定位置的，除非你整网段物理搬迁。因此如何在L3网络里传 输L2数据呢，这就是overlay技术。因此VXLAN （VirtualeXtensibleLAN可扩展虚拟局域网）诞生了，基于IP 网络之上，采用的是MACinUDP技术，本来OSI7层模型里就是一层叠一层的, 这种和GRE/IPSEC等tunnel技术是不是很像，这种封装技术对中间网络没有特 殊要求，只要你能识别IP报文即可进行传送。好了，解释清楚了，那么现在总结为何需要Vxlan：虚拟机规模受到网络规格的限制，大L2网络里，报文通过查询MAC地
23、址 转发，MAC表容量限制了虚拟机的数量。网络隔离的限制，普通的vlan和VPN配置无法满足动态网络调整的需求， 同时配置复杂虚拟器搬迁受到限制，虚拟机启动后假如在业务不中断基础上将该 虚拟机迁移到另外一台物理机上去，需要保持虚拟机的IP地址和MAC地址等 参数保持不变，这就要求业务网络是一个二层的网络。3.1 报文的封装与解封装VXLAN的核心在于承载于物理网络上的隧道技术，这就意味着要对报文进 行封装和解封装，因此需要硬件来加速处理。在VXLAN网络中，用于建立VXLAN隧道的端点设备称为VTEP （VXLANTunnelingEndPoint, VXLAN隧道终结点，起到网关的作用），封
24、装和 解封装在VTEP节点上进行。在云数据中心，部分业务是不适合进行虚拟化的（如小机服务器，高性能数 据库服务器），这些服务器会直接与物理交换机互联，而他们又必须与对应租户/ 业务的VXLAN网络互通，此时就必须要求与其互联的硬件交换机也能支持 VXLAN协议，以接入VXLAN网络。3.2 组播协议传播简单总结，vxlan用组播协议传播，每个VTEP都需要清楚源和目的MAC, 新增MAC地址需要组播通知一实例下所有VTEPo另，本地VTEP找不至U目的 MAC处于哪一个远程VTEP时，也需要组播报文查找目的MAC主机所属远端 VTEPo租户很多时，组播条数指数增加，对物理网络承载组播处理能力有
25、较大 要求。引入SDNController来实现VXLAN的管理和维护，VTEP的MAC地址 表映射关系不再通过组播向全网其他VTEP传达，而是统一上报给控制器，由控 制器统一下发给需要接受此消息的其他VTEP,由具体的VTEP执行转发机制。VXLAN网络的MAC表与隧道终端的绑定关系要用组播协议传播，而大规 格组播协议离不开物理网络设备的支持。按照VXLAN的标准，每一个VTEP都需要了解其接入的终端MAC地址， 同时还需要知道整网（该VXLAN实例中）其他VTEP下所有的终端MAC地址。 只有这样，在本地的VTEP收到报文后需要转发时，才能根据目的MAC查询到 需要送到远端的目的VTEP那
26、里。按照IETF中对VXLAN网络的定义,负责在网络中传播MAC地址和VTEP 对应关系的机制，正是依托于物理网络中的组播协议。VTEP将本地的MAC地 址表利用组播协议在整个组播中传播，从而使得整网中所有组播成员，也就是其 他VTEP都知道本地的MAC地址表。当VTEP下的终端接入情况有所更改，如 新增了 MAC地址或者减少了 MAC地址，也需要利用组播协议通知同一个实例 下的所有VTEPo另外，当本地VTEP找不至U目的MAC处于哪一个远端VTEP 时，也需要发送组播报文来查找目的MAC主机所属的远端VTEPo实际组网中，VXLAN利用了物理网络的组播组，在建立好的组播组中加入 VXLAN
27、中所有VTEP成员，传递VTEP变更信息。在多用户多业务情况下，组 播组要求与VXLAN数量息息相关。由于VXLAN网络规模的不断拓展（最大可 达到16M个VXLAN网络），所需要的组播条目数会不断增加，这实际上对于物 理网络承载组播处理能力和规格提出了要求。由于标准VXLAN架构下使用组播协议，对物理网络组播数规格要求较大， 因此H3CVXLAN解决方案基于SDN架构，通过引入全网的SDNController来实 现VXLAN的管理和维护，使得VTEP之间的信息可以通过Controller来进行反 射。这样，VTEP的MAC地址表映射关系不再通过组播向全网其他VTEP传达, 而是统一上报给控
28、制器，由控制器统一下发给需要接受此消息的其他VTEP,由 具体的VTEP执行转发机制。在SDN架构下，硬件形态的VTEP需要能够支持集中控制器下发的业务控 制信息，同时基于Openflow进行流表转发。而传统硬件交换机不能支持上述特 性，必须由新硬件设备来执行和完成的。3.3 VXLAN网络互通在传统L2网络中，报文跨VLAN转发,需要借助三层设备来完成不同VLAN 之间的互通问题。VXLAN网络与传统网络、以及VXLAN网络的互通，必须有 网络设备的支持。VXLAN网络框架中定义了两种网关单元。VXLAN三层网关。用于终结VXLAN网络，将VXLAN报文转换成传统三 层报文送至IP网络，适用
29、于VXLAN网络内服务器与远端终端之间的三层互访; 同时也用作不同VXLAN网络互通（可理解为不同VPC）o当服务器访问外部网络 时，VXLAN三层网关剥离对应VXLAN报文封装，送入IP网络；当外部终端 访问VXLAN内的服务器时，VXLAN根据目的IP地址确定所属VXLAN及所 属的VTEP,加上对应的VXLAN报文头封装进入VXLAN网络。VXLAN之间 的互访流量与此类似，VXLAN网关剥离VXLAN报文头，并基于目的IP地址 确定所属VXLAN及所属的VTEP,重新封装后送入另外的VXLAN网络。VXLAN二层网关。用于终结VXLAN网络，将VXLAN报文转换成对应的 传统二层网络送
30、到传统以太网络，适用于VXLAN网络内服务器与远端终端或远 端服务器的二层互联。如在不同网络中做虚拟机迁移时，当业务需要传统网络中 服务器与VXLAN网络中服务器在同一个二层中，此时需要使用VXLAN二层网 关打通VXLAN网络和二层网络。如图7所示，VXLAN 10网络中的服务器要和 IP网络中VLAN 100的业务二层互通，此时就需要通过VXLAN的二层网关进行 互联。VXLAN 10的报文进入IP网络的流量，剥掉VXLAN的报文头，根据 VXLAN的标签查询对应的VLAN网络（此处对应的是VLAN1。），并据此在二 层报文中加入VLAN的802.1Q报文送入IP网络；相反VLAN 100
31、的业务流量进 入VXLAN也需要根据VLAN获知对应的VXLAN网络编号，根据目的MAC获 知远端VTEP的IP地址，基于以上信息进行VXLAN封装后送入对应的VXLAN 网络。可见，无论是二层还是三层网关，均涉及到查表转发、VXLAN报文的解封 装和封装操作。从转发效率和执行性能来看，都只能在物理网络设备上实现，并 且传统设备无法支持，必须通过新的硬件形式来实现。四.两层网络，三层网络详细区别应用层（HTTP,SSH）表示层应用层（HTTP,SSH）表示层会话层链路层（交换机，以太网）L2物理层（光纤，网线）二层网络仅仅通过MAC寻址即可实现通讯，但仅仅是同一个冲突域内； 三层网络则需要通过
32、IP路由实现跨网段的通讯，可以跨多个冲突域。首先看L2链路层，这一层以帧（Frame）为单位组织物理信号，每个帧都 需要有一个源地址和目的地址，绝大多数情况下使用的都是网卡MAC地址。而交换机则具有MAC地址学习功能，能够向各个端口准确投放数据帧，这 样就大大提高了数据传输效率。对于L2层，交换机只能转发一个子网内的数据 帧（子网是通过IP地址划分的），如果要将一个数据帧跨网转发，则需要借助于 L3层的路径规划功能，这个一会再说。现在假设有如下网络拓扑结构，ABCD四台主机属于1000.0子网，网关都 指向路由器的10.001端口, EFGH属于10O L0子网，网关指向路由器的10.0.1.
33、1 端口。10. 0.0. 1XX.xx:ca10.0. 2.1xx. xx:ch10.0. 2.2XX. . xx:ccxx. xx ： ba xx xx ： bb xx. xx:hc xx. xx:hdo 6 o 610.0. 0.210.0.0. 310. 0. 0. 410.0. 0. 5xx. xx:aa xx. xx:ah xx. xx:ac xx. xx:adxx. xx: da xx. xx:dh xx. xx:dc xx xx: dd0 010. 0. 0. 610. 0. 0. 2xx. xx:ae xx. xx:ea0 010. 0. 1. 3xx. xx:eh xx.
34、xx:ec先看同一子网内的通信的情况（A向C发送数据，这种情况下都是通过IP 地址指定的），假如所有的主机、交换机和路由器都刚刚加电，内部没有缓存任 何MAC映射表和路由表。A在发送之前，发现C和A在同一个子网内，于是A 试图先在物理子网内找一下C,但是在同一物理子网内是通过硬件MAC地址来 寻址的，而A此时并不知道C的MAC地址，于是A通过ARP广播来试图获取, 发出的广播包包括如下类似内容：（注：广播时用的MAC地址是源MAC目的MAC源IP目的IPxx:xx:xx:xx:xx:aa下面再来看跨物理网络通信的情况（A向E发送数据），同样假设设备都刚 刚加电，缓存为空。A发现E的IP也是同一
35、网段的，于是又开始广播，但是这 次BCD都没有回应。我们此时把视线转到路由器1上，当路由器1收到这个ARP 广播包后，为了避免广播风暴的产生，路由器1不会继续广播这个ARP包，但 是路由器1会把自己的MAC告诉A,回发如下类似格式的内容：源MAC目的MAC源IP目的IPxx:xx:xx:xx:xx:caxx:xx:xx:xx:xx:aaA在等待超时后，发现当前物理子网内找不到E,但是A已经知道了网关路 由器的MAC地址，于是便会将发给E的数据包扔给网关（也就是路由器1的1 口），路由器1收到这个包后，发现E的IP在自己内部也没有缓存，于是路由器 1也开始了寻找E的过程。相比交换机的子网内“广播
36、找人、路由器的选路范围 更大也更复杂，很多情况下是整个Internet,并且要夸多个运营商，所以在L3层 面路由器的路径计算协议较多，包括：RIP、OSPF、IS-IS、BGP、IGRP等协议。 路由器之间计算路径时，任何一台路由器都是无法窥探整个网络的，因此每台路 由器都只是通过选路算法找到下一跳的最优路径，这些最优路径连接起来便形成 了一条完整的路径。换句话说，路由器的转发路径不是一个路由器选择出来的， 而是一群路由器共同选择出来的下一跳地址序列。具体的路由选路无法一一讲 解，大家感兴趣可以自己调查一下，这里假设路由器1直接找到了路由器2。我们继续往下探索，当路由器2接到寻找主机E的广播包
37、后，发现E位于 自己的网络中（当然也提前需要一个广播学习的过程才能知道），便向前一跳路 由器（即路由器1）反馈自己离主机E最近，最终经过这样一个“A一网关路由器 一路由器间选路一找到主机E所在子网”的过程A终于可以与E进行通信了，由 于A和E之间经历了多个物理子网，因此需要多次的L2转发才能实现数据包的 到达，这个过程中L3层IP包外包帧的MAC地址会不断变换。A-B-A这个 过程中，数据帧和IP包的地址经历过程如下（假设A使用的是本机的88端口， B使用的是本机的99端口）：L2 Frame是在IP包之外包装MAC地址赢面形成L3 IP Packet数据源MAC目的MAC9IP目的IP源造口
38、 |目的端口用户故据蟆尾去包A -路由Hlxx：xx：xx:xx:xx:aaxx:xx:xx:xx:xx:ca8899跖由Hl -xx:xx:xx:xx:xxxbXX：XX：XX：XX：XX：CC8899跖由BR - Exx:xx:xx:xx:xxxdxx：xx：xx：xx;xx:ae8899回 包E -踣由日2xx:xx:xx:xx:xx:aexx:xx:xx:xx:xx：cd9988跖由H2 T婷由日1xx:xx:xx:xx:xx:ccxx:xx:xx:xx:xxxb9988遇由H1-Axx:xx:xx:xx:xxxaxx:xx：xx：xx:xx:aa9988在这个过程中，数据包在路由器1
39、和2的口之间传递时，由于是在 一个设备内部，因此可以直接转发，而不用变换帧头，从而提高转发效率。如果 A要与其它子网的FGH主机通信，过程基本是一样的，只不过刚开始不会先在 当前子网内“广播找人 而是直接将数据包投递给出口网关。浅谈大数据云服务平台的原理与设计大数据云服务平台大数据云服务平台单点登录用户管理权限管理服务界面开发规范服务界面开发支持服务审核管埋服务曾管埋日志管理大数据云服务平台的功能组成摘要；近年来，大数据和云服务得到了广泛的关注和迅猛的发展，而结合两 者特点搭建的大数据云服务平台更已成为科研领域中的重要焦点。本文简述了大 数据、云服务的概念原理和基本特点，并依此设计了一个大数据
40、云服务平台，同 时也对该平台的功能要求和技术指标做了一些简单有益的探讨。关键词：大数据；云服务；数据安全近年来，随着信息技术的迅速发展，人类社会发生了前所未有的变革，各行 各业已经普遍认识到海量信息的重要性。目前，在众多的新兴科技中，大数据和 云服务是最受人们关注的两个典型代表，而两者的结合已经成为科研领域中的重 要焦点，众多成果已经越来越多地渗透到了现实生活。1大数据技术1.1 大数据的定义当今的信息社会中到处都充满着种类繁多、信息多样化的数据，例如电子商 务平台的购物数据、即时聊天工具的文字数据、视频服务提供商的影音数据等， 它们无时无刻地影响着人们的日常工作和衣食住行。根据国际咨询公司G
41、artner 给出的定义，“大数据”是一种需要新处理模式才能具有更强的决策力、洞察发现 力和流程优化能力的海量、高增长率和多样化的信息资产。而麦肯锡全球研究所 给出的“大数据”定义是：一种规模大到在获取、存储、管理、分析方面大大超出 了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据 流转、多样的数据类型和价值密度低四大特征。1.2 大数据的特点美国IBM公司用5V来概括了大数据的性能特点，分别是：Volume （规模 性）、Variety （多样性）、Velocity （高速性）、Veracity （准确性）、Value （高值性）。 其中，规模性指的是大数据的数据规模即
42、可以达到TB、PB,甚至EB的规模。 多样性指的是大数据能够包含各类形态和格式的数据。高速性指的是大数据一般 需要在有限的时间限度内获得及时处理。准确性指的是大数据的处理结果务必要 保证相当高的准确性。高值性是指大数据含有诸多深层次的价值，能够通过数据 分析和数据挖掘给整个社会带来巨大的生产价值和商业价值。1.3 大数据对存储的要求大数据的数据类型一般可以分为三大类:传统企业数据、机器和传感器数据、 社交数据等。大数据的出现，使得社会信息总量呈指数增长的趋势，同时也对数 据存储提出了更高的要求，同时也对如何有效管理大数据提出了更高的要求。大数据对相关存储设备的容量、读写性能、可靠性、扩展性等都
43、提出了更高 的要求，需要综合考虑数据安全性、数据稳定性、功能集成度、系统可扩展性、 性能及成本各方面因素，为此云服务平台就应运而生了。2云服务平台2.1 云服务的定义目前，在大数据实时性越来越高、计算量越来越大、数据越来越多的背景下, 云服务已经成为信息技术行业的一种主流基础架构和成熟商业模式。那么，什么 是云服务平台呢？云服务平台，又被称为云计算技术，是并行计算、分布式计算 和网格计算进一步发展的产物。根据美国国家标准和技术研究院NIST的定义，云计算是一种通过互联网随 时随地、便捷按需地访问共享资源池（如应用服务、计算设施、存储设施等）的 计算模式。也可以把云计算可以看做是一种模型，该模型
44、可以方便按需地访问可 配置的计算资源公共集（计算机网络、计算机服务器、相关存储设备、应用程序 以及服务等等）。2.2 云服务的特点一般来说，云服务具有以下5个特性：1）按需服务，可以依据终端用户的实际需求对云服务所提供的各种资源进 行自动分配。2）泛在接入，终端用户可以依托各种智能终端（如笔记本、智能手机、平 板电脑等）通过互联网访问云服务。3）资源池化，云服务资源依托资源池的方式，利用虚拟化等相关技术，按 照用户需求以多租户的形式提供服务。4）快速伸缩，云服务的规模必须根据用户需求快速响应，以能够自动适应 业务负载的动态变化。5）按使用计费，要求能够实时监控云服务的资源使用量，并依据实时使用
45、 情况对服务精确计费。3大数据云服务平台3.1 任务简介大数据云服务平台主要实现主数据中心和区域数据中心具有统一的门户建 设，该门户具备登录人口，统一的权限认证。实现现有应用的集成，服务接口的 调用以及服务的统一管理（包括服务的注册、发布和查询等）。根据需求开发相 应的界面，结合调用指定服务实现相应功能。止匕外，具体的开发任务还应包括； 文档撰写、研制开发、配套服务、培训与技术支持等几个方面。3.2 系统框架针对大数据云服务平台的系统需求，该平台主要包括以下几个功能。以门户 网站形式展现系统平台，将各类资源集成到门户中；用户访问统一登录人口、统 一认证界面、统一权限管理；将现有的应用通过改造后进行界面集成；制定服务 界面开发规范，提供服务界面开发规范和开发工具、模板的下载，方便用户开发 服务界面并且能够快速集成至服务平台中。大数据云服务平台的功能组成如图1 所示。