《负载均衡的基础原理说明.docx》由会员分享，可在线阅读，更多相关《负载均衡的基础原理说明.docx（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、负载均衡的基础原理说明大家都知道一台服务器的处理能力，主要受限于服务器本身的可扩展硬件能力。所以，在需要处理大量用户请求的时候，通常都会引入负载平衡器，将多台普通服务器组成一个系统，来完成高并发的请求处理任务。之前负载平衡只能通过DNS来实现，1996年之后，出现了新的网络负载平衡技术。通过设置虚拟服务地址IP，将位于同一地域Region的多台服务器虚拟成一个高性能、高可用的应用服务池；再根据应用指定的方式，将来自客户端的网络请求分发到服务器池中。网络负载平衡会检查服务器池中后端服务器的健康状态，自动隔离异常状态的后端服务器，进而解决了单台后端服务器的单点问题，同时提高了应用的整体服务能力。网
2、络负载平衡主要有硬件与软件两种实现方式，主流负载平衡解决方案中，硬件厂商以F5为代表目前市场占有率超过50%，软件主要为NGINX与LVS。但是，无论硬件或软件实现，都逃不出基于四层交互技术的“转发或基于七层协议的“代理这两种方式。四层的转发形式通常性能会更好，但七层的代理形式能够根据更多的信息做到更智能地分发流量。一般大规模应用中，这两种方式会同时存在。2007年F5提出了ADCApplicationdeliverycontroller的概念为传统的负载平衡器增加了大量的功能，常用的有：SSL卸载、压缩优化和TCP连接优化。NGINX也支持很多ADC的特性，但F5的中高端型号会通过硬件加速卡
3、来实现SSL卸载、压缩优化这一类CPU密集型的操作，进而能够提供更好的性能。F5推出ADC以后，各种各样的功能有很多，但其实我们最常用的也就几种。这里我也简单的总结了一下，并和LVS、Nginx比照了一下。SSL卸载和压缩优化，主要是将CPU密集型的加解密和压缩操作移到负载平衡器上进行；TCP连接优化主要指的是用户和负载平衡器短连接的同时，负载平衡器和后端服务器建立长连接。不过我们本次主要介绍四层负载平衡，所以这些高级ADC功能不会涉及到。F5的硬件负载平衡产品又分单机BigIP系列和集群VISRION系列，都是X86架构，配合自研的TMOSTrafficManagementOperating
4、System，再加上硬件加速卡Cavium提供处理SSL和压缩等CPU密集型操作。L4CPS：四层每秒新建连接数。测试的时候一般采用TCP短连接，每次请求128字节。体现CPU性能，最重要的性能指标，没有之一。L4最大并发连接数：体现内存大小L7RPS：七层每秒请求数。测试时每连接10个128字节HTTP请求。主要体现HTTP协议栈性能这些性能指标实际上就是一个负载平衡器最关键的指标了。大家如有采购硬件负载平衡器一定要看这个。有很多小牌子的硬件负载平衡器经常不标注L4CPS，只是笼统地讲10G负载平衡，其实差异很大的。硬件负载平衡在功能、易用性和可扩展性上都做得不错，但是也有不少缺点。从商业角
5、度来讲，硬件负载平衡产品过于昂贵，高端产品动辄五十万甚至数百万的价格对于用户是几乎不可承受的负担。从使用角度来讲，硬件负载平衡是黑盒，有BUG需要联络厂商等待解决，时间不可控、新特性迭代缓慢且需资深人员维护升级，也是变相增加昂贵的人力成本。相信除了很多不差钱的公司，大家还是用软件负载平衡比拟多。软件四层负载平衡最常见的就是LVS了。LVS最常用的有NAT、DR以及新的FULLNAT形式。上图比拟了几种常见转发形式的优缺点。我们以为LVS的每种转发形式都有其优点和缺点，但最大的问题还是其复杂性。我第一次看到这三种转发方式、还有F5的单臂形式、双臂形式都会有云里雾里的感觉。雪上加霜的是咱们还需要考
6、虑LVS的性能扩展和容灾方法，这使得整个方案愈加的复杂。常见的有基于Keepalived的主备方式和ECMP两种。Keepalived主备形式设备利用率低；不能横向扩展；VRRP协议，有脑裂的风险。而ECMP的方式需要了解动态路由协议，LVS和交换机均需要较复杂配置；交换机的HASH算法一般比拟简单，增加删除节点会造成HASH重分布，可能导致当前TCP连接全部中断；部分交换机的ECMP在处理分片包时会有Bug，讲起来心中满满的都是血泪呀。如图：UCloudVortex负载平衡器的设计理念用户使用负载平衡器最重要的需求是“HighAvailability和“Scalability，Vortex的
7、架构设计重心就是知足用户需求，提供极致的“可靠性和“可收缩性，而在这两者之间我们又把“可靠性放在更重要的位置。值得一提的是今年3月举办的第十三届网络系统设计与实现USENIX研讨会NSDI16上，来自谷歌、加州大学洛杉矶分校、SpaceX公司的工程师们共享了（Maglev：快速、可靠的软件网络负载平衡器），介绍了从2020年开场在生产环境投入使用的软件负载平衡器。其设计理念和我们非常类似，同样是ECMP+一致性哈希；同样是KernelBypass形式；单机性能也和我们的Vortex非常接近。关于Vortex的HighAvailability实现四层负载平衡器的主要功能是将收到的数据包转发给不同
8、的后端服务器，但必须保证将五元组一样的数据包发送到同一台后端服务器，否则后端服务器将无法正确处理该数据包。以常见的HTTP连接为例，假如报文没有被发送到同一台后端服务器，操作系统的TCP协议栈无法找到对应的TCP连接或者是验证TCP序列号错误将会无声无息的丢弃报文，发送端不会得到任何的通知。假如应用层没有超机会制的话，服务将会长期不可用。Vortex的可靠性设计面临的最大问题就是怎样在任何情况下避免该情况发生。Vortex通过ECMP集群和一致性哈希来实现极致程度的可靠性。首先，我们来考察一下负载平衡服务器变化场景。这种场景下，可能由于负载平衡服务器故障被动触发，可以能由于运维需要主动增加或者
9、减少负载平衡服务器。此时交换时机通过动态路由协议检测负载平衡服务器集群的变化，但除思科的某些型号外大多数交换机都采用简单的取模算法，导致大多数数据包被发送到不同的负载平衡服务器。Vortex服务器的一致性哈希算法能够保证即便是不同的Vortex服务器收到了数据包，仍然能够将该数据包转发到同一台后端服务器，进而保证客户应用对此类变化无感悟，业务不受任何影响。这种场景下，假如负载平衡器是LVS且采用RR(RoundRobin)算法的话，该数据包会被送到错误的后端服务器，且上层应用无法得到任何通知。假如LVS配置了SH(SourceHash)算法的话，该数据包会被送到正确的后端服务器，上层应用对此类
10、变化无感悟，业务不受任何影响；假如负载平衡器是NGINX的话，该数据包会被TCP协议栈无声无息地丢弃，上层应用不会得到任何通知。其次，来考察后端服务器变化的场景。这种场景下，可能由于后端服务器故障由健康检查机制检查出来，可以能由于运维需要主动增加或者减少后端服务器。此时，Vortex服务器会通过连接追踪机制保证当前活动连接的数据包被送往之前选择的服务器，而所有新建连接则会在变化后的服务器集群中进行负载分担。同时，Vortex一致性哈希算法能保证大部分新建连接与后端服务器的映射关系保持不变，只要最少数量的映射关系发生变化，进而最大限度地减小了对客户端到端的应用层面的影响。这种场景下，假如负载平衡
11、器是LVS且SH算法的话，大部分新建连接与后端服务器的映射关系会发生变化。某些应用，例如缓存服务器，假如发生映射关系的突变，将造成大量的cachemiss，进而需要从数据源重新读取内容，由此导致性能的大幅下降。而NGINX在该场景下假如配置了一致性哈希的话能够到达和Vortex一样的效果。最后，让我们来看一下负载平衡服务器和后端服务器集群同时变化的场景。在这种场景下，Vortex能够保证大多数活动连接不受影响，少数活动连接被送往错误的后端服务器且上层应用不会得到任何通知。并且大多数新建连接与后端服务器的映射关系保持不变，只要最少数量的映射关系发生变化。假如负载平衡器是LVS且SH算法的话几乎所
12、有活动连接都会被送往错误的后端服务器且上层应用不会得到任何通知。大多数新建连接与后端服务器的映射关系同样也会发生变化。假如是NGINX的话由于交换机将数据包送往不同的NGINX服务器，几乎所有数据包会被无声无息的丢弃，上层应用不会得到任何通知。可收缩性的设计是基于ECMP集群的ScalingOut设计Vortex采用动态路由的方式通过路由器ECMPEqual-costmulti-pathrouting来实现Vortex集群的负载平衡。一般路由机支持至少16或32路ECMP集群，特殊的SDN交换机支持多达256路ECMP集群。而一致性哈希的使用是的ECMP集群的变化对上层应用基本无感悟，用户业务不受影响。固然ECMP提供了良好的ScalingOut的能力，但是考虑到网络设备的价格仍然希望单机性能够尽可能的强。例如，转发能力最好是能够到达10G甚至40G的线速，同时能够支持尽可能高的每秒新建连接数。