《详叙CDN的工作原理及工作过程.doc》由会员分享，可在线阅读，更多相关《详叙CDN的工作原理及工作过程.doc（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、详叙CDN的工作原理及工作过程1.简介Internet的高速发展，给人们的工作和生活带来了极大的便利，对Internet的服务品质和访问速度要求越来越高，虽然带宽不断增加，用户数量也在不断增加，受Web服务器的负荷和传输距离等因数的影响，响应速度慢还是经常抱怨和困扰。解决方案就是在网络传输上利用缓存技术使得Web服务数据流能就近访问，是优化网络数据传输非常有效的技术，从而获得高速的体验和品质保证。网络缓存技术，其目的就是减少网络中冗余数据的重复传输，使之最小化，将广域传输转为本地或就近访问。互联网上传递的内容，大部分为重复的Web/FTP数据，Cache服务器及应用Caching技术的网络设备
2、，可大大优化数据链路性能，消除数据峰值访问造成的结点设备阻塞。Cache服务器具有缓存功能，所以大部分网页对象（Web page object）,如html, htm, php等页面文件，gif,tif,png,bmp等图片文件，以及其他格式的文件，在有效期（TTL）内，对于重复的访问，不必从原始网站重新传送文件实体, 只需通过简单的认证（Freshness Validation）- 传送几十字节的Header，即可将本地的副本直接传送给访问者。由于缓存服务器通常部署在靠近用户端，所以能获得近似局域网的响应速度，并有效减少广域带宽的消耗。据统计，Internet上超过80%的用户重复访问20%
3、的信息资源，给缓存技术的应用提供了先决的条件。缓存服务器的体系结构与Web服务器不同，缓存服务器能比Web服务器获得更高的性能，缓存服务器不仅能提高响应速度，节约带宽，对于加速Web服务器，有效减轻源服务器的负荷是非常有效的。高速缓存服务器（Cache Server）是软硬件高度集成的专业功能服务器，主要做高速缓存加速服务，一般部署在网络边缘。根据加速对象不同，分为客户端加速和服务器加速，客户端加速Cache部署在网络出口处，把常访问的内容缓存在本地，提高响应速度和节约带宽；服务器加速，Cache部署在服务器前端，作为Web服务器的前置机，提高Web服务器的性能，加速访问速度。如果多台Cach
4、e加速服务器且分布在不同地域，需要通过有效地机制管理Cache网络，引导用户就近访问，全局负载均衡流量，这就是CDN内容传输网络的基本思想。2什么是CDN？CDN的全称是Content Delivery Network，即内容分发网络。其目的是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络边缘，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因，解决用户访问网站的响应速度慢的根本原因。狭义地讲，内容分发布网络(CDN)是一种新型的网络构建方式，它是为
5、能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度，CDN代表了一种基于质量与秩序的网络服务模式。简单地说，内容发布网(CDN)是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理个要件，而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来说，内容服务基于缓存服务器，也称作代理缓存(Surrogate)，它位于网络的边缘，距用户仅有一跳(Single Hop)之遥。同时，代理缓存是内容提供商源服务器（通常位于CD
6、N服务提供商的数据中心）的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户，即内容供应商，向最终用户提供尽可能好的体验，而这些用户是不能容忍请求响应时间有任何延迟的。据统计，采用CDN技术，能处理整个网站页面的70%95的内容访问量，减轻服务器的压力，提升了网站的性能和可扩展性。与目前现有的内容发布模式相比较，CDN强调了网络在内容发布中的重要性。通过引入主动的内容管理层的和全局负载均衡，CDN从根本上区别于传统的内容发布模式。在传统的内容发布模式中，内容的发布由ICP的应用服务器完成，而网络只表现为一个透明的数据传输通道，这种透明性表现在网络的质量保证仅仅停留在数据包的层面，而不
7、能根据内容对象的不同区分服务质量。此外，由于IP网的尽力而为的特性使得其质量保证是依靠在用户和应用服务器之间端到端地提供充分的、远大于实际所需的带宽通量来实现的。在这样的内容发布模式下，不仅大量宝贵的骨干带宽被占用，同时ICP的应用服务器的负载也变得非常重，而且不可预计。当发生一些热点事件和出现浪涌流量时，会产生局部热点效应，从而使应用服务器过载退出服务。这种基于中心的应用服务器的内容发布模式的另外一个缺陷在于个性化服务的缺失和对宽带服务价值链的扭曲，内容提供商承担了他们不该干也干不好的内容发布服务。纵观整个宽带服务的价值链，内容提供商和用户位于整个价值链的两端，中间依靠网络服务提供商将其串接
8、起来。随着互联网工业的成熟和商业模式的变革，在这条价值链上的角色越来越多也越来越细分。比如内容应用的运营商、托管服务提供商、骨干网络服务提供商、接入服务提供商等等。在这一条价值链上的每一个角色都要分工合作、各司其职才能为客户提供良好的服务，从而带来多赢的局面。从内容与网络的结合模式上看，内容的发布已经走过了ICP的内容（应用）服务器和IDC这两个阶段。IDC的热潮也催生了托管服务提供商这一角色。但是，IDC并不能解决内容的有效发布问题。内容位于网络的中心并不能解决骨干带宽的占用和建立IP网络上的流量秩序。因此将内容推到网络的边缘，为用户提供就近性的边缘服务，从而保证服务的质量和整个网络上的访问
9、秩序就成了一种显而易见的选择。而这就是内容发布网(CDN)服务模式。CDN的建立解决了困扰内容运营商的内容集中与分散的两难选择。无疑对于构建良好的互联网价值链是有价值的，也是不可或缺的。3CDN新应用和客户目前的CDN服务主要应用于证券、金融保险、ISP、ICP、网上交易、门户网站、大中型公司、网络教学等领域。另外在行业专网、互联网中都可以用到，甚至可以对局域网进行网络优化。利用CDN，这些网站无需投资昂贵的各类服务器、设立分站点，特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息，应用CDN网络，把内容复制到网络的最边缘，使内容请求点和交付点之间的距离缩至最小，从而促进Web
10、站点性能的提高，具有重要的意义。CDN网络的建设主要有企业建设的CDN网络，为企业服务；IDC的CDN网络，主要服务于IDC和增值服务；网络运营上主建的CDN网络，主要提供内容推送服务；CDN网络服务商，专门建设的CDN用于做服务，用户通过与CDN机构进行合作，CDN负责信息传递工作，保证信息正常传输，维护传送网络，而网站只需要内容维护，不再需要考虑流量问题。CDN能够为网络的快速、安全、稳定、可扩展等方面提供保障。IDC建立CDN网络，IDC运营商一般需要有分部各地的多个IDC中心，服务对象是托管在IDC中心的客户，利用现有的网络资源，投资较少，容易建设。例如某IDC全国有10个机房，加入I
11、DC的CDN网络，托管在一个节点的Web服务器，相当于有了10个镜像服务器，就近供客户访问。宽带城域网，域内网络速度很快，出城带宽一般就会瓶颈，为了体现城域网的高速体验，解决方案就是将Internet网上内容高速缓存到本地，将Cache部署在城域网各POP点上，这样形成高效有序的网络，用户仅一跳就能访问大部分的内容，这也是一种加速所有网站CDN的应用。4CDN 的工作原理在描述CDN的实现原理，让我们先看传统的未加缓存服务的访问过程，以便了解CDN缓存访问方式与未加缓存访问方式的差别：负载均衡技术现在互联网上有多少客户？十分钟后客户数目会增长吗？这些问题恐怕谁也回答不了。互联网的快速增长已经使
12、网络服务器面对的访问数量大大增加并且更加不可预知。如今，服务器必须具备提供大量并发访问服务的能力，其处理能力和I/O能力已经成为提供服务的瓶颈。如果客户的增多导致通信量超出了服务器能承受的范围，那么其结果必然是宕机。显然，单台服务器有限的性能不可能解决这个问题，一台普通服务器的处理能力只能达到每秒几万个到几十万个请求，无法在一秒钟内处理上百万个甚至更多的请求。但若能将10台这样的服务器组成一个系统，并通过软件技术将所有请求平均分配给所有服务器，那么这个系统就完全拥有每秒钟处理几百万个甚至更多请求的能力。这就是负载均衡最初的基本设计思想。最早的负载均衡技术是通过DNS来实现的，在DNS中为多个地
13、址配置同一个名字，因而查询这个名字的客户机将得到其中一个地址，从而使得不同的客户访问不同的服务器，达到负载均衡的目的。DNS负载均衡是一种简单而有效的方法，但是它不能区分服务器的差异，也不能反映服务器的当前运行状态。其实，这种负载均衡的基本设计思想只能算是负载均衡技术的最初应用。现代负载均衡技术除了可以做到合理、平均、实时地均衡系统负载外，还能够确保系统正常运行的高可用性和高可靠性。负载均衡服务能够平衡服务器群中所有的服务器和应用之间的通信负载，根据实时响应时间进行判断，将任务交由负载最轻的服务器来处理，以实现真正的智能通信管理和最佳的服务器群性能。假设每个服务器能响应的请求为每秒10万个。如
14、果不采用负载均衡，那么该系统就只能达到每秒 10万个的响应，即使采用三台服务器，也有可能在不到每秒30万个响应的时候就会出现某台服务器由于访问量过大而宕机；如果某台服务器出现故障，则可能导致数万个请求不能得到正确的响应。但如果采用负载均衡，不仅当服务器出现故障时可以自动将指向该服务器上的响应分担到其他服务器，还可以在数据量不太大时也将任务分配到各个服务器中，避免出现有些服务器数据量很小而有的已因数据量接近极限导致性能急剧下降的现象。如果数据量超出了服务器的响应能力，只需增加服务器数目就可以平滑升级。也就是说，负载均衡技术不仅可以维持网络系统中负载的均衡分配，还能够维护网络系统的高可用性运行，因
15、而是保证网络系统高性能的重要技术。现代负载均衡技术通常操作于网络的第四层或第七层。负载均衡器可以根据实际的响应时间制定优先级交付决策，从而实现高性能、智能化流量管理，达到最佳的服务器群性能。采用第七层应用控制还可以减少通信高峰期的错误讯息，因为差错控制和流量管理技术可以侦测到一些错误信息并透明地将会话重定向到另一个服务器，使用户顺利地进行使用。例如，图一中服务器A不可用或者数据库出现错误，错误信息将会返回到负载均衡器上，然后会将客户的访问指向服务器B或者将消息重放到其他数据库中去，整个过程对用户是透明的。由于采用了负载均衡技术，自动故障恢复得以实现，服务的时间可以延长，247可靠性和持续运行成
16、为可能。另外，负载均衡器一般也支持路径外返回模式，即绕过流量分配器，为那些焦急等待大量数据文件请求响应的客户提供更快的响应时间。在最新的负载均衡产品中，智能化越来越明显。一些智能化的负载均衡器能够侦测到像数据库错误、服务器不可用等信息，从而采取措施使会话恢复和重定向服务器使电子商务能够得以顺利进行。多址负载均衡器可以对客户发来的访问请求进行解析，计算出最佳地址，然后将该地址返回客户，使客户自动连接到对其请求来说最佳的数据中心。负载均衡技术解决了出现大流量数据时服务器的智能化分配，但统计发现，在网络应用的需求中存在着许多冗余的内容，这些重复的需求占用了大量的网络资源。具体地说，在互联网上80%的
17、用户都在访问20%的热门网站，而在这些热门网站中又有一些热门的内容吸引了绝大多数访问者的注意；对于企业局域网而言，员工所发出的网络指令也存在着很大的重复。以上的情况造成了计算机执行的指令具有很高的重复性，这是仅用负载均衡技术不能解决的。缓存技术就是基于以上的情况产生的。缓存设备会监视Web请求，检索它们，然后存储为它的对象。后来的用户将直接从本地的缓存设备而不是真正的目标站点获取该对象，从而达到提高响应性能，减少带宽压力的目的。有效放置的缓存设备可以及时向最终用户传送Web网页，提高Web站点的效率，减少WAN访问费用，甚至可以建立起一道抵御外部黑客攻击的安全防线。因此，不仅对于那些能够迅速地
18、从缓存技术节省下来的费用中盈利的ISP和电信公司，而且对于企业而言，缓存技术也同样具有着越来越大的吸引力。缓存技术的基本概念是：由于从网络的边缘索取对象比从Internet中索取的速度更快、费用更低廉，因此将Web数据靠近最终用户保存，可以使服务提供商保留带宽，节省费用。缓存设备工作在比路由器更高的层次上，能够把用户所要访问的网络信息 “抓”到本地，在最短的时间内将信息连续、完整、实时地传递给最终用户，不仅大大缩短了访问响应时间，而且极大地提高了高峰时间网络所能承受的访问容量。可以说，缓存技术降低了目前广域网通讯带宽成本，是提升互联网访问性能的最好方法。早期的缓存技术可用来节省带宽以减少网络拥
19、塞，但它们不可避免地引起了以下问题：一是用户有可能得不到网页的及时更新，因为缓存区不可能自动跟踪网页的变化；二是为得到最新网页，用户访问时需要首先查询真正的服务器上的内容，这将导致访问速度的降低。目前使用最多的缓存技术产品是Web Cache。一提Cache，大家自然会想到计算机里面的高速缓存，实际上，Web Cache的功用远不止存储和提供数据这么简单。Cache是作为基于软件的代理服务器的一部分或专门的硬件（appliances，容器）出现的，本文主要谈后者。与前者相比，它可以提供更好的性能。不同的生产商提供的产品在许多方面存在着差异，其中包括配置和设置的难易程度、使用的协议、安全性能、远
20、程管理、能够用于缓存的Web传输的类型以及价格、售后技术支持等。Cache设备可在用户端储存最常浏览的网页内容，随时提供给用户存取，还可同时监控内容的来源，以测知网页是否已更新，并同步更新储存的内容。一般来说，在配置了互联网加速设备后，由于很多用户浏览的内容可以从高速缓存中直接调出，网络效能会有明显的大幅提升：网页响应时间最多可以减少90%以上；频宽使用率将增加30%50%。SSL/XML加速解决了服务器分配和缓存的问题之后，在网络传输的内容上，由于SSL和XML仍占用相当的服务器资源，仍然会影响网络的传输速度。它们能加速吗？SSL（加密套接字协议层）是一种应用极为广泛的WEB信息安全传送协议
21、。最初由 Netscape开发以提供Internet上的安全连接和传送，目前，98%的Web上的安全传送都运用SSL。SSL已经成了安全互联网交易中数据加密的工业标准，采用SSL的网站在1998年和1999年间增加了两倍。由于SSL运用加密算法和密码，其加密/解密过程需大量占用服务器的CPU资源，使CPU利用率接近100%，从而大大降低了服务器性能。当网络用户大大增加后，网络性能将急剧降低，很可能用户会因网络响应欠佳而失去耐心离开网站。电子商务时代，服务器反应速度至关重要，为根本解决SSL给服务器运行带来的不利影响，必须采用专门设备处理SSL协议，以使服务器CPU从繁重的加密/解密过程中解脱出
22、来。当使用SSL加速器时，所有非SSL数据流可以未受任何改变地通过加速器；但是当由SSL加密过的数据流经过SSL加速器时，进入的SSL数据流被解密并干净地传给服务器，而外流的SSL数据流被加密并传向客户。这样服务器只需简单地处理SSL 请求，原本消耗众多计算资源的HTTP/SSL现在被专用的SSL加速设备负责处理。使用了SSL加速器之后，系统每秒处理的安全连接数可由原来几十个增长到数百个。当然，如果需要最大限度地利用服务器，也可以卸载SSL处理工作。此外，SSL加速器可以实现灵活的动态堆叠，实行自动的“任务分担”以得到最大的扩展能力。一般SSL加速器可以自动与所有类型的服务器协同运行，并可以支
23、持一台或多台服务器。XML（扩展标识语言）是SGML（标准通用标识语言）的一个子集，它已经快速取代EDI （电子数据交换）成为B2B网上交易的统一格式。事实已经证明，XML所采用的标准技术最适合Web开发。XML支持结构化的数据，可以更详细地定义某个数据对象的数据结构，例如，描述产品，详细定义该产品的生产厂、产品名、产品号、产地等信息，这种定义不仅为标记该产品提供方便，而且这种XML数据很容易按生产厂、产品名等排序，使用户的查询变得更方便。XML加速器可以将XML交易进行分类，如按照商业合作伙伴名称或类型、交易价值或数量以及时刻或时区为依据，配置业务优先级，从而提高响应速度，解放服务器资源，更
24、快地处理交易。智能化的XML加速器可以使用多变量分类包括与、或，以满足复杂业务的优先级要求。还有的XML加速器自身提供服务器的负载均衡，以达到快速、安全的目的。带宽的重要性对网络来说不言而喻。但在实际应用中，由于众多数据流同时使用带宽却无法按照任务的关键性和时间的敏感性分级，所以关键应用带宽往往未被高效使用，带宽的使用效率低下，成为网络传输的瓶颈。例如，与Web浏览相比，电子邮件的任务关键性要高一些，但对时间的敏感性并没有过高的要求；而实时的游戏等，对时间非常敏感，但任务的关键性并不大。如果对这些数据流不加分析地传输，必然会影响网络传输的效率。带宽管理器使用户可以高效地管理网络通信、提供差别服
25、务并控制广域网络带宽分配。由于使用带宽管理器可以赋予带宽优先级，因此可以加大关键业务的带宽，限制非关键或大容量应用的带宽，提高众多应用和服务的功能。带宽管理器适用于高速局域网和广域网的交界处，是所有数据流的唯一路径。它根据定制的带宽计划进行网络分析，进行精确的流量控制，智能地将通信进行分类。在大容量数据流的情况下，关键应用得以保证，带宽获得高效应用。由于各种应用、多种服务级别都能得到高质量服务，带宽使用效率达到了最大化。带宽管理器不仅可以分析网络通信状态，还可以提供网络报告，使服务提供商可以根据具体数字进行容量规划并评估配置变化所产生的影响。值得说明的是，以上谈到的负载均衡、高速缓存、SSL加
26、速和带宽管理等各项技术既可以单独使用，也可以相互结合，或者集成到交换机或服务器中去。目前许多厂家已经生产了集合两种或两种以上加速技术的产品。也许几年以后，我们可以看到更为集成的 “互联网加速器”或者已经集成所有加速技术的新型互联网服务器。选择适合自己的加速产品随着电子商务开始真正腾飞，网络加速设备的重要性越来越明显，渐渐从服务器中分离出来，成为网络环节中的重要部分。从全球市场上看，从1995年市场开始启动，到目前已经进入快速增长期。预计从明年起到2003年，网络加速市场将进入成熟期。在中国，目前几乎所有的数据中心、大型ISP/ICP都已经采用了一种或数种网络加速设备。相信随着市场的竞争加剧和互
27、联网的进一步发展，此类产品将被越来越多的企业网站和ISP、ICP采用。如前所述，网络加速系列产品种类较多。目前市场上此类设备的主要厂家有Intel、 Alteon WebSystems（已被北电收购，现称北电网络内容传输部，下仍简称耀腾公司）、CacheFlow、ArrowPoint Communications（已被Cisco收购）、F5 Networks、Foundry等公司。负载均衡产品、流量管理和宽带管理产品主要用于数据中心等数据量非常大的场所，对动态的电子交易尤为重要。国内市场Intel、Cisco和耀腾公司都有相当的份额，如世纪互联、263、中国万网等都采用了他们的产品。此类产品种
28、类较多，从基本的基于响应时间的负载均衡，到可以提供智能会话恢复和服务器错误恢复的智能负载均衡器，以及DNS多址负载均衡，都有相应比较成熟的产品。用户选择负载均衡产品时，需要考虑自己的流量、服务器负载能力和数目等情况，根据自己的需求选择适当的产品。宽带管理器目前产品还不太丰富，许多被集成在其他产品中。Intel公司拥有网络流量管理的全套解决方案，有以上介绍的各种类型的负载均衡产品。耀腾公司的系列Web交换机提供服务器负载均衡和带宽管理，尤其是其防火墙的负载均衡技术被许多数据中心采用。Cisco公司将ArrowPoint的产品更名为Cisco11000系列内容服务转换器，采用负载均衡技术避免服务器
29、的超负荷工作。高速缓存技术可以适用于企业用户、服务提供商和信息提供商，具体说来，DDN用户、有众多分支的单位（如银行、石油、电力、证卷、政府、学校等）以及ISP、ICP（如教育网、科技网、各大型网站等）和电子商务站点都可以从高速缓存中受益。Cache的性能指标有很多，如同时支持的连接数、每秒钟的供应对象数、吞吐量以及平均对象命中率（用户从Cache中取到的对象数与所获得的总对象数包括从Internet上获取的对象数和从Cache中获得的对象数的比值）和平均字节命中率（用户从Cache中获取对象的平均字节数和从网上获取的全部对象的平均字节数的比值）等。连接的数目是选择适当容量、确定产品种类的依据
30、，用户可以根据自身环境选择支持数百个连接或者几万个连接的产品；吞吐量是影响性能的另一个重要因素，如果选择不好，Cache反而会成为网络中的瓶颈；对象命中率和字节命中率则显示了Cache的效果，例如某个Cache的命中率是50，就意味着Cache可以满足一半的数据请求，而另外一半数据则需要通过 Inernet得到。目前大多数Cache的命中率都在30左右，容量大一些的Cache通常可以达到60到65。根据性能的不同，用户可以选择适合自身环境的Cache设备。目前市场有CacheFlow、Cisco、耀腾、Intel、联想等数十家厂商提供 Cache产品。CacheFlow提供了从入门级到顶级的各
31、种产品。Alteon的系列内容智能交换机能对进入的客户端请求具备智能过滤能力，避免将不可缓存的请求传递给高速缓冲服务器。Cisco、Intel也都有数款系列缓存器。联想iCache是硬件和软件组合的解决方案，它借助Novell公司的高速缓存文件系统，拥有面向各级各类企业、ISP、ICP的产品。由于SSL一般适用在互联网交易中，所以SSL加速产品广泛应用在商业网站服务器上。但这并不意味着其他场合不需要进行SSL加速。在企业的内联网，随着越来越多的资源和工具都开始面向因特网，对潜在的敏感性数据（如工资表或个人信息）进行加密的需求使公司内部网络也在逐渐采用SSL技术。另外远程公司与公司合作伙伴之间的
32、安全通信也通常采用SSL来加密HTTP文件传输。目前在SSL加速器市场上Intel和耀腾都有自己的产品，CacheFlow公司也于今年推出了SSL加速设备。作为一种完整的解决方案，Cicso提出了全面的CDN（内容传播网络）解决方案，包括内容分发和管理、内容路由、内容交换、内容边缘交付、智能的网络服务等。其中Cisco CSS（Content Smart Switch）系列交换机是整个体系结构的重要组成部分。除了高速智能Web内容交付、防火墙负载均衡功能、高质量的Cache服务外，Cisco CSS系列还配备了Cisco WebNS软件，它知道用户是谁、希望干什么以及如何在一个全球性的Web网络内最佳地服务于用户的请求，能使Web和应用服务供应商、Web内容供应商以及参与电子商务的企业为电子商务和Web内容交付建立优化的全球Web网络。