《双 11 猫晚直播：看阿里文娱如何“擒住”高并发、多视角、 低卡顿！.docx》由会员分享，可在线阅读，更多相关《双 11 猫晚直播：看阿里文娱如何“擒住”高并发、多视角、 低卡顿！.docx（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、双11猫晚直播：看阿里文娱如何“擒住”高并发、多视角、低卡顿！简介在全民互动、红包与优惠券齐飞的双11盛会之下对于阿里内部而言实那么是练兵千日磨一剑用兵一时见功夫的实战训练场。对此阿里巴巴集团董事局主席兼首席执行官张勇逍遥子也曾讲过没有参加过双11的叫同事参加过双11的叫战友。而如今这场以技术为支撑的“战役终究有多复杂在面向瞬时的高并发场景时阿里人又是怎样做到无懈可击的|阿里文娱技术专家泫野在全民互动、红包与优惠券齐飞的双11盛会之下对于阿里内部而言实那么是练兵千日磨一剑用兵一时见功夫的实战训练场。对此阿里巴巴集团董事局主席兼首席执行官张勇逍遥子也曾讲过没有参加过双11的叫同事参加过双11的叫
2、战友。而如今这场以技术为支撑的“战役终究有多复杂在面向瞬时的高并发场景时阿里人又是怎样做到无懈可击的一、2019双11猫晚直播的技术战果首先回首下2019双11猫晚直播经过中的一些亮眼成果主要是四个方向第一是高清战略今年度猫晚直播超高清占比用户到达了93%。从明晰度档位投放上相较于往年度的1080P、720P高清档位今年度我们还大规模投放了4K、杜比720P、1080P、4K、50帧等更高画质音质档位的内容为用户提供极致的视听体验。第二是节省本钱今年度在高清战略的大背景下用户侧平均码率大幅提升对用户端的卡顿以及带宽本钱带来宏大挑战。我们为此加强并引入了新的带宽节约核心抓手最终今年度带宽消耗本钱
3、不升反降节省带宽本钱到达了35%同时达成了高画质以及低本钱俩个目的。第三是根底保障直播工程整个工程的一大特点就是实时制作消费内容并且链路非常长。从制作、消费、传输、转码、分发任何链路上的一个小问题都会导致用户体验上的下降比方出现卡顿、花屏、甚至无法播放等等问题。今年度我们也在流全链路以及效劳链路上做了大量优化工作。最终得到了0故障0降级操作的结果。第四是创新才能猫晚首次引入杜比全景声与帧对齐技术在音频以及视频两个层面来提升体验。二、目的与挑战第一是高体验目的。我们在目的落地经过中定义了三个技术方向1.高画质方向提升码率是提升用户画质的主要手段但是在千万用户量级下高码率的瞬间抖动很可能导致带宽消
4、耗超出我们准备的带宽资源水位造成用户侧出现整体卡顿甚至故障的发生。历届猫晚中经常出现分钟级别码率变化2-3倍的情况发生。这种情况下与我们使用VBR转码方式是分不开的。VBR优势在于简单画面下转码码率很低用户侧对于下载网速门槛要求不高有助于用户防止卡顿但是当出现复杂画面时转码码率会快速增高这种瞬间的码率抖动不仅影响我们的带宽水位还会导致用户卡顿提升。针对这个问题我们需要有效的峰值码率控制以及码率抖动控制手段。2.低卡顿方向用户侧的网络环境、硬件环境、设备才能参差不齐假如只是一味的提升码率而投放默认高明晰度档位就会造成用户侧的卡顿问题发生。因此我们要有效识别端侧环境的才能进而调整明晰度的手段。同时
5、直播内容在实时消费经过中任何节点发生故障都会造成用户侧的卡顿甚至无法播放的问题发生。我们需要一套可以实时、自动的故障容灾体系支撑我们复杂的直播链路场景。3.提升视听体验方向今年度猫晚进展了多视角的形式进展直播用户可以在C端进展多路视角内容间切换但是由于不同流的进度不一致会出现视音频回跳问题导致用户体验下降。猫晚作为综艺类直播历年度来音频体验同质化严重也是我们重点需要提升的局部。第二是低本钱目的。千万用户量级下带宽消耗宏大同时会带来高昂的带宽本钱。另外我们的带宽资源有限需要严格控量使用。因此我们要从省带宽、低码率上提供有效的技术抓手。保障我们的直播经过既能做到高画质又能拿到低本钱的结果。三、技术
6、策略核心抓手根底保障第一是高画质低本钱抓手今年度优酷直播首次引入FPGAH265转码技术目的提升整体H265覆盖率效果。FGPAH265具备的才能1提升转码压缩率可降低峰值码率进而降低带宽本钱2码率波动更小有效降低带宽水位风险3针对高分辨率高码率的实时转码才能。第二是高画质低卡顿抓手针对C端用户环境复杂问题今年度猫晚首次从制作域、视频云、播放域三域共同才能落地了直播智能档才能1具备基于QoE的自适应明晰度才能2流链路自动容灾预案才能。第三是视听体验提升抓手1针对于猫晚的多视角直播场景自研落地了一套视角帧对齐技术多路流间也能具备帧级别平滑切换才能提升切换经过中视音频的连续性与一致性2首次引入杜比
7、全景声技术让用户体验身临其境的效果。技术落地经过中建立了一套SRT低延迟回传链路。第四是根底保障在流的消费分发全链路中我们落地了完好的热备方案及对应的故障自动发现自动执行的预案机制保障直播经过中的万无一失。四、高画质低本钱FPGAH265H.265转码是一种常用有效的降低码率手段可以在保障画质的前提下压缩峰值码率进而到达节省带宽的目的。提升H265覆盖率的方法主要从2个端进展 C端播放器提升各端播放器H265解码播放才能做到全端全版本的覆盖。为了保证播放体验优酷直播优先采用硬件解码方式通过白名单的策略在测试覆盖范围内的设备开启H265解码播放低配机型上我们会慎重开启 S端转码层全部明晰度档位做
8、到H.265转码。让任何档位上播放的用户都可以有H.265的流。但是行业主流采取的CPUH.265转码方案在高分辨率高码率下存在吞吐瓶颈。如上图所示CPUH.265转码在720P50帧以上明晰度档位在保证画质以及压缩率的前提下存在吞吐方面瓶颈无法做到实时转码。交换方案上我们比照了GPU以及FPGA硬件架构。在GPU性能比照中发现GPU在同压缩码率下画质比CPU差很多无法到达我们的画质需求。我们进一步把选型目的放在FPGA上。 画质比照结果FPGAH265在同样压缩码率下到达x265slow级别的画质符合我们对于画质以及压缩率的要求。 吞吐比照结果FPGAH265吞吐才能是x265slow级别的
9、12倍。双FPGA实例可实时转码4K60单FPGA实例可实时转码4K30/1080p120或任意组合成一样吞吐的其他分辨率。在做到与CPU一样压缩以及画质效果下FPGA转码在吞吐才能上远远超出预期。双实例4K60的实时转码才能覆盖了我们目前所以明晰度档位对于H.265转码的需求。下面我们进一步验证了FPGAH265在实际转码中对于峰值码率降低以及码率波动控制方面的效果。在实际转码中的效果1相比H.264转码峰值码率下降超22%到达码率节省效果预期2码率抖动更平稳有利于防止用户卡顿问题3强大的吞吐才能各档位H265转码做到了全覆盖整体H265覆盖率得到了提升。五、高画质低卡顿智能档智能档的核心作
10、用就是基于用户端实际环境自动为用户适配成适宜的流进展播放。例如用户侧下载网速差1080P这种高码率档位无法做到流畅播放通过端侧智能档的QoE智能评分可以发现并帮助用户自动适配成一个与其网速匹配的流进展流畅的播放。那么智能档详细哪些才能呢1QoE智能评分对用户环境、设备、硬件、网络、带宽等等因素进展综合评分的才能2智能档播控配置在用户首次进入直播间时未对其QoE打分前我们需要播控提供默认的起播配置同时在智能档自动切换流的经过中同样需要播控提供流的调整范围。智能档M3u8相较于普通的M3u8文件不同智能档会在转码的M3u8文件外再封装一层MasterM3u8文件如图云端Masterm3u8切片其内
11、部是各个转码对应的子M3u8文件调整范围配置就是要在这些子M3u8文件间进展调整。主要作用支持针对于播放场景的自定义范围例如大屏在720P以及1080P间选择小屏那么在720P以及480P中选择这样做到云端消费一份Masterm3u8文件缓存多场景都可以使用。3帧级别平滑切换才能智能档核心作用是帮助用户自动适配适宜的流进展播放整个自动切换经过中对于用户是无感悟的我们要保障切换经过中用户在感官上的内容包括视频以及音频连续性不会产生卡顿的感觉。帧对齐的解决思路会在后文中进展阐述4自动容灾预案才能智能档对流的探活才能配合其帧级别平滑切换才能可以在流发生故障时帮用户快速进展流地址的切换防止发生卡顿或者
12、播放错误的情况。从转码层上为了防止转码链路的单点问题我们在华东以及华北双机房同时进展热备转码从切片层上封装MasterM3u8时会把华东以及华北的转码M3u8文件作为俩个组封装在一起。这样给到播放器播放器才有才能在某一路机房转码有问题时快速切换到另一路机房转码的m3u8文件让用户在流故障发生时也能得到顺畅的播放体验。六、视听体验视角帧对齐首先看一下业务场景猫晚直播经过中我们在现场舞台的各个角度架设了摄像机例如演员在唱歌摄像机1拍摄侧脸摄像机2拍摄正脸。在播放器中用户可以通过切换视角方式来自主选择看侧面还是正面。由于双路摄像机的流同通过不同的编码器、链路上传到云的会存在进度不一致的问题。用户切换
13、经过就会出现画面或者声音回跳的问题例如明星唱了一句歌词切换后可能由于画面回跳导致又唱了一遍造成用户体验的下降。所以帧对齐的目的就是通过技术解决多路流之间切换保证画面前后一致性连续性从而提升用户体验。主要应用场景包括自适应码率、多视角内容切换、云端画面合成、异地容灾预案等。1.画面不对齐的原因1不同的流编码器开场推流时间不同导致同一帧画面的PTS不同2同一路流视频云转码任务启动时间有差异并重写了PTS导致各转码的同一帧画面PTS不同。2.解决思路需要从制作域视频云播放域整体改造实现帧对齐才能1制作域多路编码器间推流时需要带入统一参考系用于云端对齐。在参考系选择上我们使用的从ntpserver获取
14、绝对时间戳时间戳本身不会被地域限制在异地推流场景下也适用2视频云针对不同转码间PTS不同的问题。云端实现了直接使用源流PTS透传PTSCOPY的方案这样各路转码任务启动时间固然有差异但是都是使用源流同一帧画面中的PTS进而保证了个转码的PTS一致在切片效劳中需要保证同一帧画面在同一切片内即保证切片序号一致因此我们改良了切片序号的算法从基于PTS计算改造为PTS推流时间戳来计算的方式3播放域做到多路流间同一帧画面在同一分片内TS文件播放器有才能并做到了非关键帧级别seek。解析编解码的同学应该清楚直接从非关键帧起播会出现花屏等无法播放的问题这里面我就需要从I帧进展解码但不显示出来直到解码到see
15、k的帧后进展解码并显示通过这个优化来实现非关键帧seek。整体方案在猫晚经过中到达了帧对齐的预期效果。我们相信这套技术的沉淀可以在将来多个场景中应用并促进直播内容制作的新思路。七、视听体验杜比全景声今天首次采用杜比全景声才能进展猫晚直播在音质体验提升目的上启动重要作用。整体技术方案落地难点除了C端播放器覆盖杜比e-ac3音频解码复原成杜比音效的才能更多问题存在于传输链路上。下面先看一下广电是怎么做杜比内容传输的广电方案中通过现场编码杜比音频信号通过光缆或者卫星回传给电视台的演播室再通过同轴或者光纤传输到家庭的机顶盒中进展解码播放。整体链路上到达广电级平安标准可靠性非常高。但对于线路上本钱也非常
16、昂贵并不适用于互联网方案。在互联网直播场景中我们分析了友商的方案根本是基于广电转播的形式。现场编码杜比音频通过光缆或者卫星回传到自己的演播室演播室通过UDPTS文件内网专线回传给云端云端最终分发给用户进展播放。其中的问题1演播室前方人力本钱由于现场要回传给演播室那么需要大量前方人力。面向中小型甚至个人提议的直播场次是无法cover住这局部本钱的。2网络部署本钱由于rtmp公网协议中我们无法传输杜比的e-ac3音频只能采用原始的TS文件UDP内网专线方式回传。云部署的机房只能开通白名单方式开通回传链路这样就增加了部署本钱并且无法做到回传链路的通用性。为解决以上方案的本钱问题今年度优酷直播协同阿里
17、云共同推进落地基于SRT公网协议的低延迟回传链路。SRT是一种可以在复杂网络环境下进展实时传输数据流的开源传输技术。传输层是采用UDP协议具备开销低、速度快的特点。SRT具备支持多种流类型的特性可以回传杜比的e-ac3音频阿里云收到回传流会进展云端解封装视频局部通过rtmp协议内部传输、转码、切片杜比音频局部那么会透传方式进展传递。从用户的体验来看用户听到的音频就是直接从现场制作好的杜比效果传来的保证了杜比效果的原汁原味。整套回传落地后我们节省了演播室大量的前方人力本钱以及网络的部署本钱。基于SRT协议公网传输链路支撑了中小型直播甚至个人提议的直播也能制作杜比直播的场景。八、根底保障现场视频云
18、链路如下图直播流链路非常长任何节点出现问题都是导致用户侧的无法播放、卡顿等问题发生。怎样做到绝对的万无一失核心思路有两点1全链路上的热备2故障自动发现以及自动预案执行才能以下详细解释一下全链路上的热备工作1信号热备猫晚的现场信号是从浙江转播车中通过线路给出的信号。假如线路或者信号源出现问题会导致我们无信号可播的状况。因此我们在杭州异地准备了机顶盒的广电信号进展备份如果现场信号有任何问题我们有才能直接使用广电信号为用户进展转播。广电信号的平安标准是非常高的假如出现问题讲明电视台播出也出现了故障这种情况根本不会发生。2现场硬件热备现场导播台、编码器等硬件我们会准备主备硬件以热备的方式同时进展推流。
19、阿里云侧实现了高可用的热备relay拉流转码才能可以实现优先从主编码器拉流转码当主编码器流链路故障时可以在6秒内自动切换到备编码器流链路上继续为用户提供流内容端侧用户无明显感悟。3网络热备假如现场Wi-Fi、有线网络断掉导致无法推流时我们现场还准备了4G背包通过4G网络可以将流推到云上保障链路畅通。4传输链路热备在现场与视频云间我们拉通了3根VPC专线分别是电信、联通、挪动运营商。由于现场在上海我们优先使用电信的网络专线当运营商链路出现问题时可以做到2秒中内自动切换到其他运营商链路上持续的保障链路畅通。5转码中心热备数据流千里迢迢到达视频云后转码任务也会存在单点问题。假如转码任务转出内容画面有
20、问题或者码率没有控制住此时必须降级并重启转码任务同时会造成局部用户播放的中断。针对转码问题我们同时在华东以及华北双机房配置了一样的转码任务并同时开启转码。这样当任何一个转码机房出现故障时我们有才能通过云端修改链路方式使用另外一个备用机房转码为用户提供效劳保障用户侧的观看体验。今年度猫晚在技术上做到了信号、硬件、网络、传输链路、回源中心、转码、切片、播放实现了全链路热备和故障快速发现自动修复才能保障了今年度晚会万无一失。九、根底保障效劳链路除了流链路稳定性我们在效劳链路也做了大量优化保障工作。效劳链路保障的目的是在千万级用户流量涌入到直播间后用户可以正常的进入直播间并且拿到流地址进展播放。整个优
21、化工作可以分成几步梳理流量入口尤其是触达类PUSH引流入口。PUSH引流才能具备快速将入口触达用户用户会在短时间快速涌入直播间的特点是影响效劳QPS峰值的核心稳定性因素。假如多个PUSH引流同时发送QPS峰值那么会出现叠加的情况1基于实际业务场景在网关层进展限流以及防刷同时要防止无意义的QPS叠加。在需要投放多个PUSH引流入口时我们尽力防止同时发送而是有节奏的间隔一段时间发送避免峰值叠加造成的稳定性风险同时造成效劳器资源浪费2除了网关层限流防止流量穿透导致应用层出现雪崩。应用层本身也要进展限流防止网关层出现没有限住流量的情况发生到达双重保障。另外应用效劳我们要进展多机房部署甚至异地部署躲避机
22、房单点问题带来的稳定性风险3核心链路效劳的下游依赖也要做限流防控防止流量过载导致宕机。同时针对下游依赖我们做到了秒级的自动熔断才能。整个流量洪峰会在几秒内到达通过人工方式发现以及进行熔断动作是来不及的存在下游依赖出现超时或者错误拖垮核心链路的风险。另外核心链路上的所有下游依赖我们都进展了弱依赖改造即使下游所有依赖包括存储都挂掉我们的效劳仍然可以给到用户一个可播的流地址进而在效劳链路上做到绝对的高可用性。今年度猫晚播放效劳可用性到达99.99%以上效劳平均RT(99)36ms0故障符合预期。同时猫晚工程1个月内共进展了5次全链路压测10屡次线上直播链路演练。几乎1周1次的全链路压测隔一天1次线上演练这也是以及链路上各个团队的努力分不开的共同保障了今年度猫晚的万无一失。阿里云开发者