《基于avs-m标准的参考帧选择算法研究-代志刚.docx》由会员分享，可在线阅读，更多相关《基于avs-m标准的参考帧选择算法研究-代志刚.docx（74页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、硕士学位论文 基于 AVS-M标准的参考帧选择算法研究 姓名：代志刚 申请学位级别：硕士 专业：交通信息工程及控制 指导教师：彭强 20080501 摘要 同其他视频编码标准一样， AVS-M视频编码标准采用基于块的混合编码技术 来对数据进行压缩，其压缩后的视频流，抗差错能力十分脆弱。通过带宽受限 的Internet或无线移动网络等主要通信网络实时传输视频流时，需要在满足带 宽限制的同时克服传输差错的影响。传输过程中 一 旦出现差错，错误信息将会 在时间和空间上迅速蔓延和扩散，使视频质量急剧下降，有时甚至会导致整个 视频通信完全失败。经典的率失真优化算法只考虑了带宽限制和编码器的量化 失真，用
2、于不可靠信道视频传输时，面临着众多技术挑战。因此，在带宽受限 的不可靠网络传输条件下，视频差错恢复技术成为当前视频压缩及视频通信领 域中十分关键的技术。 本文首先介绍了视频编码中率失真优化的基本思想；在综合分析 AVS-M视 频传输过程中扩散失真和掩盖失真的基础上，从像素级对端到端的视频传输失 真情况进行了详细地研究，实现了一种通用的传输失真度估算模型。基于包丢 失的仿真实验表明，该模型能够较好地近似估计出端到端的传输失真情况，为 在不可靠环境下实现编码参数的率失真优化选择提供了一种有效的估算方法。 研究了抑制差错扩散的无反馈参考帧选择技术，釆用了一种基于关键参考 帧的无反馈参考帧选择方法，同
3、时将通用传输失真度估算模型和率失真优化引 入关键参考帧选择算法，通过比较选择前一个关键参考帧和前一个参考帧的失 真度期望，来决定参考帧的选取，使传输失真达到最小，有效地阻止了两个关 键参考帧之间的视频差错扩散 9模拟实验表明，这个方法可以有效地提高视频 传输的鲁棒性，与不采用关键 参考帧的传统方法比较，明显地提高了图像的质 量。 本文还研究了在有反馈信道条件下的参考帧帧选择技术，设计了一种基于 关键帧反馈的参考帧选择算法，通过对关键帧信息的反馈来选择己经正确接收 的关键帧作为当前编码关键帧的参考帧。模拟实验表明，与其他方法相比，该 方法能在帧存开销不大的情况下准确的将差错控制在两个正确的关键帧
4、之间， 极大提高了视频差错恢复性能。 关键词 ：视频编码；差错恢复；率失真优化；端到端失真；参考帧选择 Abstract Block-based hybrid coding technique is used to compress video data in AVS video coding standard and all other video coding standards. The low bit-rate video stream compressed by motion compensated hybrid codecs is extremely vulnerable agai
5、nst transmission errors. Real-time video stream transmission in Internet or wireless environments is a challenging task requiring high-compression efficiency as well as robust error control. Once an error occurred in transmission, not only the effects of fault information would be propagated in spat
6、ial and temporal rapidly which may result in very poor objectionable visual quality severely, but also the video communication system could be in failure. Just bandwidth limitation and quantitative distortion are considered in traditional rate-distortion optimal algorithm which is not suitable for p
7、acket lossy environment. Hence how to improve the video quality with the limited available bit rate has become a serious task. This thesis first reviews the principle of rate-distortion optimal for video coding. In particular, the end-to-end error propagation distortion on pixel level precision is s
8、tudied based on the analysis of the propagation distortion and concealment distortion in AVS-M video encoding and transmission. Subsequently, this thesis adopts a general transmission distortion estimation model. The accuracy of this estimation is demonstrated via simulation results for video transm
9、ission over packet loss channel, which illustrates that actual distortion can be estimated by used expectation model approximately. This model provides an efficient method for coding parameters optimal selection over error prone environment. The reference picture selection methods with non-feedback
10、for error resilient coding are resea_ 西南交通大学硕士研究生学位论文 _ 第 III页 A reference picture selection algorithm based on the feedback of key pictures is proposed, which choose the correctly received key picture as the reference picture of the current coding key picture. Simulation results show that this meth
11、od can restrict the error propagation between two correctly received key reference pictures accurately and achieve better error-resilient performance. Key words: Video Coding; Error Resilience; Rate-Distortion Optimization; End-to-End Distortion; Reference Picture Selection 西南交通大学 学位论文版权使用授权书 本学位论文作
12、者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文复印件和电子版， 允许论文被查阅和借阅。本人授权西南交通大学可以将本学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1. 保密口，在 _年解密后适用本授权书 2. 不保密 d适用本授权书 (请在以上方框内打 V ） 学文论文作者签名 : 指导教师签名 ： 日期年 5月 日 日期： 年 r月心日 西南交通大学 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究工 作所取得的成果。除文中已经注明引用的内
13、容外，本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果。对本文研究做出贡献的个人和集体，均 己在文中做了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本文的创新点有以下 3个方面： 1. 在综合分析视频传输过程中扩散失真和掩盖失真的基础上，从像素级对 端到端的视频传输失真情况进行了详细地研究，在 AVS-M标准中实现了一种 通用的传输失真度估算模型，并通过模拟实验验证了该模型对于 AVS-M标准 的实用性。 2. 失真度估算模型在 AVS-M标准中的实用性得到验证之后，将其与传统 的率失真优化相结合，在 AVS-M标准中实现了基于率失真优化的无反馈参考 帧选择算法，提高了视
14、频传输的鲁棒性。 3. 在仔细研究了传统的有反馈参考帧选择技术的基础上，本文设计了一 种基于关键帧反馈的参考帧选择算法。该算法较传统算法既节省了帧存开销， 又能提高视频质量。 学位论文作者签名 : 曰期：年 月 以 曰 第 1 章绪论 1.1课题研究背景及意义 随着视频处理技术和网络通信技术的飞速发展，对多媒体通信业务的需求 日益增长，使多媒体通信逐渐深入到社会生活的各个方面。多媒体通信业务不 再局限于传输传统的文本信息和简单的语音信息，它除了可以为用户提供融合 声音、文字、图像、视频等多媒体信息之外，还支持诸如视频会议、可视电话 等实时多媒体通信功能。在移动通信领域中多媒体通信业务特别是实时
15、多媒体 通信业务必将会成为一个重要的发展方向，它将会使我们的生活变得更加丰富 多彩。 实时视频传输技术的新进展促进了视频标准的不断更新。 20世纪 80年代后 期以来，先后出现了用于电视 /电话会议的国际标准 CCITT的 H.261标准，用于 低码率可视电话的 ITU-T的 H,26311标准，用于活动视频图象压缩的 MPEG-1 标准、MPEG-2标准和 MPEG-4标准。 2001年 7月， ITU-T的视频编码专家 组 （ VCEG)与国际标准化组织的活动图象专家 组 （ MPEG)组成联合视频组 (JVT)， 并在2003年推出了最新的视频编码标准 H.264/AVC， 或者说 MP
16、EG-4 Part 102。2002年 6月， 数字音视频编解码技术标准工作组 （ AVS工作组 ） 成立，并制定了具有自主知识产权的数字音视频编解码技术标准 （ AVS)。 视频信息具有信息量大、传送带宽要求高的显著特点。因此在进行视频传 输前必须对视频信息进行压缩。目前的视频编码标准通常依赖于基于块的混合 编码(block-based hybrid coding)技术，采用运动补偿预测 (Motion Compensation Predication, MCP)、 离散余弦变换 (Discrete Cosine Transform,DCT)和可变长编码 (Variable Length C
17、oding,VLC)等技术来去除视频图像的各种冗余信息，以达到数 据压缩、降低视频信息在信道中传输所占用带宽的目的 14。 对于高效的视频通信系统，降低原始视频码率只是其中的一个方面，另一 个同等重要的任务就是处理通信网络中信息传输存在的不可避免的差错和损 失。对视频传输信道而言，其产生的差错可分类为 5:不可靠的有线 /无线信道 在传输比特流中引入的随机误码；由于网络阻塞，有线 IP网络中的 尽力 ”(Best Effort)传输而引起的包丢失；在无线信道或移动无线网中，由于多径传播而导 致的突发误码等。传统的基于块的混合编码技术的视频压缩编码方法，压缩后 _ 西南交通大学硕士研究生学位论文
18、 _ 第 2页 的码流数据对传输差错十分敏感，传输中一旦出现丢包等差错情况，错误信息 将会在时间和空间上迅速蔓延和扩散，使视频质量急剧下降。当其在误码率较 高的信道中传输时，不但服务质量无法得到保障，甚至整个视频通信都有可能 完全失败。 视频差错控制技术 (Eerror Resilience)， 又称抗误码技术，包含视频编解码 系统和传输系统中的 一 切处理及对付差错的方法和机制。根据控制机制作用的 位置和工作方式的不同，差错控制技术可粗略分为以下三个方面 K 71.“前向技术、 后处理技术或掩盖技术以及交互技术。前向技术又称为基于发送端 (sender-based)的技术，主要指差错恢复编码
19、 （ error resilient encoding, ERC) 技术，即编码器 在信源和信道编码中增加冗余信息，使比特流对潜在的传输差 错有更好的鲁棒性 （ robustness)，主要包括鲁棒熵编码 8,9、宏块模式选择 1)， 11、 限制区域预测 12、非对等保护的可扩展性编码 13，多描述编码 (multiple description coding， MDC)114*161， 多假设预测编码叫和传输控制技术 1181等。后处 理技术又称为基于接收端 （ receiver-based)的技术，既差错掩盖或遮掩 （ error concealment)技术，指解码器根据正确接收到的图
20、像信息中的有效冗余来修复 或掩盖被传输差错损坏的数据，使接收图像的视觉效果接近于原始图像。差错 掩盖以视频像素和运动场平滑特性为依据，使用空域 （ spatial) 19以及时域 (temporal) 和频域(frequency)的连续性或平滑性准则，通过像素和运动向量 插值等技术恢复受损图象 231。当视频序列有场景切换和物体突然出现等情况时， 空域和频域的掩盖技术通常比时域掩盖技术更有效，其它情况下一般时域掩盖 更有效。根据图象特性和差错情况，选择合适的掩盖算法很重要。交互技术指 当反馈信道存在时，编码器根据解码器的反馈信息，精确地估计解码器的实际 解码情况并选择更恰当的编码策略。交互式技
21、术主要包括自适应编码参数调整 241、差错跟踪(Error Tracking, ET)25 26和参考顿选择 (Reference Picture Selection, RPS) 27-31等技术。 本论文将主要研究基于 AVS-M标准的参考帧选择算法。由于编码器端不容 易准确的知道视频信息在网络传输过程中和接收端可能存在的信息丢失。因此 , 如果能够在编码时准确估算出各方面可能出现的失真或者利用反馈信道知道解 码器端的丢包情况，就可以在率失真 （ Rate Distortion， R-D)框架下选取最优的 编码模式，提高视频编码算法的抗误码能力，保证视频传输的鲁棒性。研究基 于 AVS-M的
22、视频差错控制技术，对于 AVS-M标准在各类视频通信系统中的成 功应用具有十分重要的现实意义。 1.2国内外研究现状 1.2.1失真度估算方法 视频通信的过程，可以分为编码，网络传输和解码三个过程。相应的，编 码器端的编码量化、网络传输错误而引起的差错扩散以及解码器端的差错掩盖 这三方面都会带来或有可能带来失真。文献 32将现有的各种失真度估算方法归 结为以下三类。 1) QDE (quantization distortion estimate)算法：此算法忽略了网络和解码 器端这两者可能引起的潜在的失真，将编码器端产生的量化失真作为总失真。 此算法简化了计 算，但准确性也最低，因此只能作为
23、无损情况下的失真计算 . 目前H.264/AVC标准采用的就是这种算法。 2) BWDE (block-weighted distortion estimate)算法丨 33,34】：此算法 不仅考虑到了编码器端的失真，而且还考虑了当发生传输错误后在解 码器端进行差错掩盖所带来的失真。若以表示编码器端量化过程产生 的一个宏块的失真度，表示解码器进行差错掩盖后产生的一个宏块的失真度， p表示网络丢包率，即传输发生错误的概率。则此算法使用式 (1-1)来对一 个宏块的总失真度进行估算。 D = pDc + (1 - p)DQ (1-1) 此算法在一定程度上考虑了网络和解码器行为，提高了估计的准 确
24、性。当传输不发生差错时，此算法认为产生的失真就只有量化失真。 但是，当对当前视频帧进行帧间编码时如果使用的预测帧中存在错误， 即使当前视频帧被解码器正确收到，错误也会扩散至当前帧。因此， 此算法未考虑到差错扩散造成的失真，也不能很好的估算出总失真。 3) ROPE (recursive optimal per-pixel estimate)算法 35 36】： 此算法使用一种基于像素级的递归估算方法，将整 个视频传输过程中 可能引起失真的各种因素都考虑在内，因此能够比较精确地估计出视 频帧经过网络传输后的总失真度。 此外，文献 37提出了一种通用失真度估算模型，在分析差错扩散、 掩盖以及信道丢
25、包率等基础上，从像素级对端到端的失真情况进行分析，通过 计算帧相关系数和掩盖系数得到了一种统一的涵盖各种掩盖方法的失真度通用 模型，估算解码端每个像素的失真度期望。该模型能够较准确地反映差错失真 情况，可以适应于各种不同的时域掩盖方法。 1.2. 2参考巾贞选择算法 参考巾贞选择 （ Reference Picture Selection， RPS)技术在差错控制方面效率明 显比帧内编码帧更新高，传统的基于反馈的 RPS技术根据反馈方式主要有 ACK 模式和 NACK模式 27,281。 在 ACK模式中，解码器端每正确收到一个编码段 (比如 H.264中的 slice), 就给编码器发送 A
26、CK反馈信号。编码器根据收到的 ACK， 对参考帧作相应的 更新。如果有差错出现，编码码器收不到 ACK信号，编码器端在编码下一个 P 帧时，其参考帧就会保持不变。在这种情况下，由于当前帧与其参考帧的间距 增大 ，编码效率将有所降低。由于编码器不得不使用经过确认后的正确接收信 息作参考，而该参考的确认信号需一个系统往返时延才能得到，因而，即使没 有传输差错发生，编码效率也会有所下降。从另一方面来看，正是由于这一特 点，才使得差错扩散得以完全避免。如果在反向信道中发生了差错，参考帧的 确认信号 ACK不能到达编码器；从编码器来看，其结果等同于前向信道数据传 输中发生差错情况，此时，尽管编码效率和
27、图像质量会有轻微下降，但比起真 正在前向信道发生差错的情况要好的多。 在 NACK模式中，当编码器没收到 NACK信号时，表明视频 数据流传输中 无差错，前一帧的相应编码区域可以被作为参考。当传输中发生差错时，解码 器将表明有差错的信息 NACK信号送给编码器，请求编码器用更早的、无差错 的图像帧提供参考。如果在传输 NACK时发生了差错，编码器将无法知道在正 尚信道传输时发生了差错，仍将前一个图像作为参考帧。由于参考图像不正确， 无法正确解码，解码器会连续不断地发出表明同一个无差错参考帧的 NACK信 号，直到 IH确的参考图像送回来为止。因此， NACK模式的 RPS在出现传输错 误时，差错会在一个系统往返延迟周期内扩散。 在无反馈信道的情况下， Wenger等人提出了在无反馈信道的情况下的参考 帧选择编码方案即视频冗余编码 （ Video Redundancy Coding， VRC) 38 39。 VRC 采用多参考帧和多预测线程的思想，相邻图像帧分别赋予在不同的线程，各个 线程之间相互独立预测编码，但同时起始于一个同步帧，结束于另一个同步帧。 同步帧等间隔设置，可以是 I帧，也可以是 P帧。当一个线程由于数据丢失而 损坏时，另一个线程虽然只能提供较低帧频的图像直到下一个同步帧，但仍然