《万人连麦的幕后技术详解.docx》由会员分享，可在线阅读，更多相关《万人连麦的幕后技术详解.docx（16页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、万人连麦的幕后技术详解。02MCUMCU(MultipointConferencingUnit)方案出现得比拟早相应的技术也非常成熟该方案由一个效劳器以及多个客户端组成一个星形构造各个端都将音视频数据发送给效劳端效劳端会把所有客户端的音视频数据经过解码同步重采样布局混流编码等最后把媒体数据推送给所有的客户端。实际上效劳器端就是一个音视频混合器这种方案效劳器的计算压力会非常大。一般情况下在音频数据混流之前效劳端会把目的用户自己的音频数据移除防止客户端听到自己的回声。在视频数据混流前效劳端可能检测每个目的用户是否有自定义的布局否那么就按系统默认的布局混流编码。在一些网络比拟复杂的环境下MCU可以以
2、按目的用户的带宽对视频数据的编码码率做一些自适应的调整。03SFUSFU(SelectiveForwardingUnit)是最近几年度流行的新架构SFU的方案跟MCU类似每个客户端都把音视频数据发给效劳端然后由效劳端转发给不同的客户端。跟MCU不同的地方SFU不对音视频进展混流收到某个客户端的音视频数据后按需(目的客户端是否订阅)将音视频数据原封不动的转发给目的客户端。它实际上就是一个音视频路由转发器。在这种方案里所有的混流都是在客户端做的对效劳端的计算要求大大降低。在一些复杂的网络环境视频的数据源端会使用Simulcast或者SVC发送多层不同分辨率的视频流数据效劳端根据目的客户端的不同网络
3、带宽以及网络状况转发最适宜的分辨率给目的客户端使每个客户端的体验到达最正确。04比照以及总结直连MCUSFU复杂度非常低低高灵敏性高低高受NAT防火墙的影响影响大无无网络带宽消耗高低高延迟非常低高低网络的自适应可以做但随着人数增加会变得非常困难可以做对效劳端要求高技术比拟成熟对客户端的计算才能要求高低适中对效劳端的计算才能要求根本无高低系统才能单会并发数非常低低非常高内容审核没法做可以可以从上面的比照我们可以看到直连方案根本不大合适大会场景而且无法对网络内容进展审核直连方案目前市场上根本只有在免费场景中看到。而随着计算本钱以及带宽本钱的大幅度下降及超大并发的需求SFU方案的优势变得非常明显而M
4、CU方案在一些企业内基于音视频终端的通讯等传统应用场景目前还是比拟常见的。上面的音视频通讯架构是最根底的音视频效劳架构还没有方法做到高可用以及高并发假设效劳器宕机效劳就变的不可用了。#02构建实时通信的网络拓扑01环状网络构造环型构造由网络中假设干节点通过点到点的链路首尾相连形成一个闭合的环这种构造通过公共传输链路组成环型连接数据在环路中沿着一个方向在各个节点间传输信息从一个节点传到另一个节点。这种网络实现构建以及路由选路都很简单没有中心依赖。但环状网络构造增加删除节点比拟困难环中任何一个节点失效环路传输就会中断导致整个网络瘫痪。环状网络构造开场主要用于令牌网目前已经很少被采用。02星型/树型
5、网络构造星型拓扑构造是一个中心多个分节点。它构造简单连接方便管理以及维护都相对容易而且扩展性强网络延迟小。中心节点是瓶颈一旦失效整个网络就瘫痪单叶子结点相互独立互不影响。树形拓扑构造形状像一棵倒置的树,顶端是树根树根向下分支每个分支还可再向下分支树根接收各站点发送的数据然后再播送发送到全网。好扩展容易诊断错误根节点是瓶颈。在音视频效劳架构中当需要大规模扩展并发用户的时候一般都会采取部署多个边缘计算控制节点并通过树型方式连接到中心DC。通过这样方式接入的用户延迟会略有增加。03网状网络构造在网状拓扑构造中网络的每台设备之间均有点到点的链路连接网状拓扑构造是应用最广泛的。它的优点是没有中心节点可靠
6、性高容错才能强延迟低但构造复杂因有多条传输途径选路以及流量控制比拟复杂消息的时序一致性无法保证。在音视频效劳架构中我们的设计目的是极低的延迟传输高效吞吐量大但对不同用户来的媒体数据的时序性一致性并没有要求。因此网状构造一般是音视频效劳架构中主DC效劳控制节点间组网的首选拓扑构造。#03实际场景的多样性01网络接入的多样性挪动网络3G/4G/5G的接入带宽各不一样(3G:2Mbps4G:10100Mbps5G:10Gbps)并且信号强弱接入基站随挪动变化。有线宽带LAN接入分享出口带宽容易出现用户间带宽竞争ADSL接入上下行带宽不对称上行带宽低PONFTTH直接光纤接入带宽稳定。无线接入主流路由
7、器150Mbps(2.4G频段最大300Mbps5G频段最大867Mbps)。02传输途径上设备的多样性传输途径上路由器、交换机吞吐量各不一样出现性能瓶颈时丢包策略以及资源预留策略会有差异。03终端设备的多样性我们需要面对的设备有桌面设备、挪动设备、穿戴设备、物联网设备等这些设备上的关键模块的质量性能参差不齐。这些关键模块包括网络模块、媒体收集模块(Camera/Mic)、计算模块(CPU)、渲染模块(GPU)等。04效劳端接入的多样性BGP(BorderGatewayProtocol)机房实现单IP多线接入具备智能路由选择线路备份故障后自动切换到可用线路等。多运营商专线接入需要从应用层处理选
8、路故障时线路切换等。单运营商专线接入无法解决不同运营商之间的互联互通的问题。正是由于实际场景的复杂性多样性导致了网络的动态变化带宽丢包抖动延迟等收集数据的动态变化噪音(噪点)畸变输出数据抖动等。#04架构演进以及拍乐云理论01效劳的高并发高可用要做到效劳高并发高可用主要涉及到下面几项技术高并发效劳集群我们在音视频效劳根底架构中讲到单机效劳并发量受限于效劳器的计算资源当需要非常高并发的时候我们必须扩展效劳端计算资源组成效劳集群并通过前面的负载平衡使客户端来效劳恳求被平衡的分配到集群中的每个计算资源。效劳故障的自动恢复以及降级我们知道任何代码都或者多或者少会存在逻辑缺陷即使是世界上最厉害的大牛也无
9、法防止因此我们需要一个机制来保障当故障发生时系统能自动捕获错误并恢复效劳的可用性。当一些物理上的瓶颈出现的时候比方效劳计算资源网络带宽出现瓶颈的时候继续按正常方式提供效劳可能会产生雪崩效应导致整个效劳不可用在这个时候我们需要通过效劳降级的方式来保障最主要的功能是可用的。比方关闭视频并不会对沟通造成严重的影响但关闭音频可能使沟通无法继续那就保存音频关闭视频来保证整个效劳的可用性。效劳资源弹性伸缩在虚拟化SDN等技术的加持下使得计算资源网络资源的动态分配成为可能因此在效劳资源成为瓶颈时动态伸缩效劳资源在技术上是可行的。异地容灾备份在一些极端情况下比方我们部署效劳集群的机房发生火灾怎样来保证我们的效
10、劳可用这个时候我们会在不同地理位置部署多个效劳集群在正常情况下不同地理位置的效劳集群都会同时提供效劳当某个集群发生不可用的时候我们的效劳监控会检测到相应的事件并及时调整路由把新的效劳恳求调度到可用的其他效劳集群。在以上几个主要技术的加持下拍乐云目前已经可以做到99.95%的高可用并效劳于全球用户。02效劳的高质量面对复杂多变的网络环境怎样保证提供高质量的音视频效劳是音视频效劳系统非常重要的任务在这方面拍乐云主要使用了这些技术来保证效劳的高质量带宽评估、拥塞控制以及平滑发送、丢包重传以及前向冗余纠错、错误隐藏以及恢复、基于时域以及空域的多层分发(SVCSimulcastAVC)、基于图像以及语音
11、的去噪以及增强、回音消除、音量自适应调整、网络资源预留。通过这些技术的应用拍乐云即使在70%的丢包率下仍然能提供非常高质量的音视频效劳。03超大规模超高并发SFU架构中的有选择的数据转发大众知道在SFU方案中音视频数据是全量转发的也就是讲在10个人的会议中效劳端要把每个人的数据转发给其他9个用户(10*9),在用户数小的时候问题不会太严重但随着用户量的增加问题会变的越来越严重。假设会中有100个人每个人的视频数据是1Mbps实际效劳端需要转发的是100*999.9Gbps在现实情况下这几乎是不可能的。在实际情况中受屏幕大小的限制每个人不可能同时去看另外99个用户的视频最常见的情况是1大6小或者
12、2*2、3*3、4*4、5*5等几种形式这样通过按需转发的方式数据量可以大幅度的减少。边缘计算与加速节点在上面实时通讯系统的网络拓扑构造中我们讲到通过部署多个边缘计算节点按树型构造链接到主DC可以大幅度扩大会议的规模。边缘计算节点可以以通过就近接入来解决最后一公里的接入问题。在单向直播的场景中我们可以以通过第三方CDN网络来扩展会议规模但这种方案的延迟会比拟大会到达310秒的延迟根本无法互动沟通只能单向直播当需要互动沟通的时候必须切换接入方式到边缘计算节点或者中心DC。04拍乐云音视频系统技术架构架构图的左边主要是效劳的注册、认证、配置、发现、调度。右边主要是大数据分析平台效劳安康状况监控报警
13、效劳资源弹性伸缩。中间是拍乐云的产品效劳语音通话、视频通话、互动白板、互动直播云端录制等。#05业界动向与最新技术近年度来音视频通讯领域的开展非常快出现了各种前沿新兴的技术有的已经落地有的还在深化的研究之中很多技术的应用前景都非常看好。在这里我们举几个例子01WebRTC2020年度5月Google收买GlobalIPSolutions的GIPS引擎将其开源并改名为WebRTC。2021年度7月WebRTC成为W3C标准并发布阅读器标准API1.0。自此以后实时音视频通讯效劳的门槛大幅度降低很多基于WebRTC的实时音视频效劳如雨后春笋般蓬勃开展起来。可以讲WebRTC的出现改变了音视频通讯领
14、域的市场格局。WebRTC目前还在不停的演进之中有兴趣的可以从下面的链接获取最新的信息s:/webrtc.org/s:/groups.google/forum/#!forum/discuss-webrtcs:/twitter/webrtcs:/webrtcweekly/02SDNSoftwareDefinedNetwork即软件定义网络最初是由美国斯坦福大学CLeanState研究组提出的一种新型网络创新架构可通过软件编程的形式定义以及控制网络其控制平面以及转发平面别离及开放性可编程的特点被认为是网络领域的一场革命为新型互联网体系构造研究提供了新的实验途径也极大地推动了下一代互联网的开展。其核
15、心概念是控制与转发别离,管理与控制别离。其可编程以及虚拟化特点可以帮助快速定义网络并实现自动化部署以及运维。控制以及管理的集中使得网络途径最优化变得更加容易实现。03基于机器学习的新算法机器学习在很多领域都得到了广泛的应用在实时音视频通讯领域上也出现了很多应用方向比方网络传输相关智能拥塞算法智能带宽评估算法智能路由等视频图像相关虚拟背景超分辩率视频交融deepfake等语音相关的语音识别语音增强等。04虚拟现实、增强现实以及3D技术虚拟现实(VirtualReality)就是虚拟以及现实互相结合是一种可以创立以及体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境使用户沉浸到该环境中。增强现实(AugmentedReality)是一种将虚拟信息与真实世界巧妙交融的技术真实环境以及虚拟物体之间重叠之后可以在同一个画面和空间中同时存在。通过VRAR3D技术的结合相信不久的将来实时音视频通讯可以实现类似于现实世界中会议室一起开会的效果。技术沟通欢送加我微信ezglumes拉你入技术沟通群。私信领取相关资料推荐浏览觉得不错点个在看呗