《HEVC相关技术简介.ppt》由会员分享，可在线阅读，更多相关《HEVC相关技术简介.ppt（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、纲要vHEVC产生的背景vHEVC与H.264/AVC的联系与区别vHEVC编码层结构视频应用发展趋势HDTV3DTV自由多视点视频实时视频会议 IPTV业务 3G无线网络应用范围更应用范围更广广码率与带宽码率与带宽复杂的应用环境复杂的应用环境视频应用发展趋势 高清晰度(Higher Definition)：数字视频的应用格式从720P向1080P全面升级，在一些视频应用领域甚至出现了4Kx2K、8Kx4K的数字视频格式 高帧率(Higher frame rate)：数字视频帧率从30 fps向60fps、120fps甚至240fps的应用场景升级 高压缩率(Higher Compressio
2、n rate)：传输带宽和存储空间压缩要求更高压缩要求更高H.264编码的局限性 导致运动矢导致运动矢量幅值大幅增加量幅值大幅增加，H.264中用来中用来对运动矢量进行对运动矢量进行预测以及编码的预测以及编码的方法压缩率将逐方法压缩率将逐渐降低。渐降低。分辨率的分辨率的大幅增加大幅增加 单个宏块所表单个宏块所表示的图像内容的信示的图像内容的信息大大减少，这将息大大减少，这将导致相邻的导致相邻的44或或88块变换后的低块变换后的低频系数相似程度也频系数相似程度也大大提高，导致大大提高，导致出现出现大量的冗余大量的冗余。宏块个数的宏块个数的爆发式增长爆发式增长 针对针对DSP等等这种并行化程这种并
3、行化程度非常高的度非常高的CPU，H.264的这种串行化的这种串行化处理越来越成处理越来越成为为制约运算性制约运算性能能的瓶颈。的瓶颈。并行度并行度比较低比较低码率压缩趋势HEVCHEVC在在H.264/AVCH.264/AVC的的基础上提出基础上提出码率压码率压缩提升一缩提升一倍，符合倍，符合发展规律！发展规律！HEVC的提出 ISO-IEC/MPEG 和ITU-T/VCEG 成立了一个研究视频编码的联合协作小组JCT-VC (the joint collaborative team on video coding)，其宗旨是建立新一代的视频编码标准。 2010年4月在德国德雷斯顿召开了JC
4、T-VC 第一次会议，确定了新一代视频编码标准的名称：HEVC(High Efficiency Video Coding)。并且建立了测试模型TMuC (Test Model under Consideration)，分领域搜集和审阅技术提案。初步定于2012年7月完成标准的最终稿。 2010年10月在广州召开了JCT-VC第三次会议，会上确立了HEVC的第一个试验模型HM1。 新一代视频压缩标准的核心目标，是在H.264的基础上将压缩效率提高一倍。即在保证相同视频图像质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，可以允许编码端适当提高复杂度。 纲要vHEVC的背景vHEVC与H
5、.264/AVC的联系与区别vHEVC编码层结构 H.264 H.264和和HEVCHEVC关键特性对比关键特性对比H.264H.264HEVCHEVCMB/CUMB/CU大小大小4 441641616164 44644646464亮度插值亮度插值Luma-1/2Luma-1/2像素像素1,-5,20,20,-5,1Luma-1/4Luma-1/4像素像素1,1Luma-1/2Luma-1/2像素像素-1,4,-11,40,40,-11,4,-1Luma-1/4Luma-1/4像素像素-1,4,-10,57,19,-7,3,-1ChromaChroma-1/8-1/8像素像素-3,60,8,-
6、1MVPMVP预测方法预测方法空域空域MVP预测预测空域空域+时域时域MVP预测预测AMVPMergeAMVPMerge亮度亮度Intra预测预测4 44/84/88/168/1616:9/9/416:9/9/4模式模式3333种角度预测种角度预测+Planar预测预测+ +DC预测预测色度色度Intra预测预测DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DM,LM,planar,Vertical,Horizontal,DC,diagonalDC,diagonal变换变换DCT 4 44/84/88 8 DCT 4
7、44/84/88/168/1616/3216/3232 32 DST 4 44 4 去块滤波器去块滤波器4 44 4和和8 88 8边界边界Deblock滤波滤波较大的较大的CU尺寸，尺寸，4 44 4边界不进行滤波边界不进行滤波SAO和ALF。纲要vHEVC的背景v与H.264/AVC之比较vHEVC编码层结构HEVC编码器框架混合编码结构混合编码结构ReconstructedVideo outputHEVC编码器框架 HEVC以以LCU块为单位块为单位对输入视频帧进行处理，首先是进行对输入视频帧进行处理，首先是进行预测，可进行帧内预测或帧间预测。预测，可进行帧内预测或帧间预测。帧内预测帧内
8、预测：预测块由当前帧中已编码并解码重建的相邻块预：预测块由当前帧中已编码并解码重建的相邻块预测得到。测得到。帧间预测帧间预测：预测块通过基于一个或多个参考帧的运动估计和预测块通过基于一个或多个参考帧的运动估计和运动补偿得到。然后通过当前块减去预测块得到预测残差。运动补偿得到。然后通过当前块减去预测块得到预测残差。预测残差进一步进行变换编码和量化，从而得到量化后的残预测残差进一步进行变换编码和量化，从而得到量化后的残差系数。然后对量化后的残差系数、编码模式以及相关的编差系数。然后对量化后的残差系数、编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的比特流。同时码参数等信息进行熵编码，从
9、而得到压缩后的比特流。同时量化残差还要进行反变换和反量化，然后将残差和预测值相量化残差还要进行反变换和反量化，然后将残差和预测值相加起来重建图像，再进行滤波，生成参考帧。加起来重建图像，再进行滤波，生成参考帧。HEVC编码层结构 基于四叉树结构的分割技术 帧内预测编码技术 帧间预测编码技术 并行化设计CU、PU和TU CU(Coding Unit) CU是进行帧内预测和帧间预测编码的基本单元，它总是方形是进行帧内预测和帧间预测编码的基本单元，它总是方形的从的从SCU（8x8）到）到LCU（64x64），），CU块从块从LCU块开始递归划块开始递归划分，一个块被划分为四个相同大小的子块。通过率失
10、真代价分，一个块被划分为四个相同大小的子块。通过率失真代价（Rdcost=SAD+ Bits）选取最优的分割大小。）选取最优的分割大小。CU、PU和TUA CTU ( LCU ) CU(Coding Unit) n CU递归分割。n 支持8x864x64 CU总是平方块，且亮度单位常为总是平方块，且亮度单位常为8x8, 16x16, 32x32,64x64。基于四叉树结构的分割技术这种扫描顺序保证了对这种扫描顺序保证了对于于不同分割都能按照相不同分割都能按照相同的遍历顺序进行寻址同的遍历顺序进行寻址，有利于程序中的有利于程序中的递归实递归实现现。如果仍是采用如果仍是采用光栅扫描光栅扫描顺序顺序
11、，对，对CU的寻址会很的寻址会很不方便，因此，不方便，因此，HEVC定义了定义了Z扫描顺序扫描顺序。2. PU（Prediction unit） PU是用来传输和预测过程的信息的基本单元，它是是用来传输和预测过程的信息的基本单元，它是在编码单元在编码单元CU基础上进行划分的。一般来说，它不一定基础上进行划分的。一般来说，它不一定是正方形的，这是为了分块能更好与图像中真实物体存在是正方形的，这是为了分块能更好与图像中真实物体存在的边界匹配。每一个的边界匹配。每一个CU中可以包含一个或多个中可以包含一个或多个PU。2. PU（Prediction unit） InterIntraAsymmetri
12、c Motion Partition(AMP)帧内PU分割帧间PU分割Note：PART_NxN only for 8x8 CU AMP only for 64x64CUnCU划分完以后，针对每个CU划分PU，PU是进行预测的单元。n每个CU可以包含一个或多个PU。AMPAMP 模式示例 (RaceHorses) AMP modes are effectively used for textures which cannot be represented by square or symmetric partition modes. 3. TU（Transform unit） TU用于用于变换
13、和量化变换和量化的单元。与的单元。与PU相同，相同，TU也是在也是在CU基础上划分的。基础上划分的。TU的形状取决于的形状取决于PU的划分模式，当的划分模式，当PU为正方形时，为正方形时，TU也是正方形的（也是正方形的（4x4 to 32x32）当）当PU为为非正方形时，非正方形时，TU也是非正方形的（也是非正方形的（32x8、8x32、16x4、4x16）。一个）。一个CU可以包含一个或多个可以包含一个或多个TU，TU也是一个也是一个四叉树结构。四叉树结构。3. TU（Transform unit） 划分成最小的基于四叉树结构的分割技术CUvTU的由的由CU的大小决定，亮度和色度具有相同的分
14、级深度。的大小决定，亮度和色度具有相同的分级深度。vDCT:44、8x8、16x16、3232。vDST:4x4（仅适用于帧内预测（仅适用于帧内预测，在单边预测模式中，距离参考像素越远，预测在单边预测模式中，距离参考像素越远，预测误差越大，左边像素为参考像素，右边像素为预测像素，那么左边预测像素的预误差越大，左边像素为参考像素，右边像素为预测像素，那么左边预测像素的预测准确性高于右边预测像素的预测精度，离散正弦变换能够很好地适应这测准确性高于右边预测像素的预测精度，离散正弦变换能够很好地适应这种预测误差的统计特性）。种预测误差的统计特性）。Transform Unit (TU) structu
15、re编码单元、变换单元的四叉树结构关系图编码单元、变换单元的四叉树结构关系图帧内预测编码技术Intra Prediction帧内预测：利用图像的空间相关性，用周围重建帧内预测：利用图像的空间相关性，用周围重建像素值对当前编码块进行预测。像素值对当前编码块进行预测。帧内预测编码技术PU sizeNumber of intra modes435835163532356435Intra Prediction目前目前HMHM模型中共包含了模型中共包含了3535种预测模式，左图并未显示种预测模式，左图并未显示PlanarPlanar预测预测方方法。法。色度分量的帧内预测采用了色度分量的帧内预测采用了5
16、5种预测模式种预测模式 ，分别为水平、垂直、，分别为水平、垂直、DCDC预测、亮度模式以及对角模式预测、亮度模式以及对角模式。帧内预测编码技术Intra Prediction帧内预测编码技术Planar 模式模式在平面预测中，首先右下角的像素在平面预测中，首先右下角的像素 由图中重建像素由图中重建像素 和和平均平均得到，然后利用重建像素和与进行得到，然后利用重建像素和与进行线性线性插值插值计算出最下面一行和最右边一列像素值，如图中像计算出最下面一行和最右边一列像素值，如图中像素素 和，然后利用插值得到的像素进行和，然后利用插值得到的像素进行双线性插值双线性插值计计算其它预测像素值，如图中像素算
17、其它预测像素值，如图中像素线性插值线性插值双线性插值双线性插值最有可能模式（最有可能模式（MPM，Most Probable Mode）是指当前块周围已编码过的）是指当前块周围已编码过的左边块和上边块的最佳预测模式。左边块和上边块的最佳预测模式。帧内编码流程帧间预测编码技术Inter Prediction 帧间预测利用连续图像之间的相关性，通过运动估计和运动补偿的编帧间预测利用连续图像之间的相关性，通过运动估计和运动补偿的编码方法去消除视频信息的时间冗余。利用先前已编码重建帧作为参考帧码方法去消除视频信息的时间冗余。利用先前已编码重建帧作为参考帧进行预测。进行预测。1、帧间预测采用融合模式时，
18、当前、帧间预测采用融合模式时，当前PU块的运动信息块的运动信息(包括运动矢量、参包括运动矢量、参考索引、预测模式考索引、预测模式)都可以通过相邻都可以通过相邻PU的运动信息推导得到。编码时，当的运动信息推导得到。编码时，当前前PU块只需要传送融合标记块只需要传送融合标记(Merge Flag)以及融合索引以及融合索引(Merge Index)，无需传送其运动信息。无需传送其运动信息。2、帧间预测还可以通过空域相邻、帧间预测还可以通过空域相邻PU以及时域相邻以及时域相邻PU的运动矢量信息构的运动矢量信息构造出一个预测运动矢量候选列表，造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中
19、选遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。择最佳的预测运动矢量。（时空域时空域MVP）运动融合技术：SKIP模式和MERGE模式1）skip模式本身就是一种特殊的模式本身就是一种特殊的merge模式。模式。Skip=merge+（CBF=0）2）HEVC里的里的merge模式是整合了模式是整合了H.264中的中的direct模式和模式和skip模式。模式。H.264 中的中的direct模式是给定预先设定的值进行传输。而模式是给定预先设定的值进行传输。而HEVC里的里的merge和和 skip不是这样。不是这样。3）skip模式和模式和merge模式之间的区别：模式之间的区别：sk
20、ip模式不传残差，只传模式不传残差，只传 skip_flag和和merge_index。Merge模式传残差和模式传残差和merge_index。 Skip模式作用：节省码率。模式作用：节省码率。5）merge模式：不需要进行复杂的运动估计，只有运动补偿，当前模式：不需要进行复杂的运动估计，只有运动补偿，当前PU块块的的 运动信息都可以通过相邻运动信息都可以通过相邻PU的运动信息推导得到。的运动信息推导得到。INTER模式下预测运动矢量选取Note：只有左边超出slice或者帧内编码，才能缩放上边。 空域候选空域候选左边选择左边选择 一个，上边选择一个一个，上边选择一个获取顺序：左边获取顺序：
21、左边A0 A1 scaledA0 scaled A1上边上边B0 B1 B2 scaled B0 scaled B1 scaled B2缩放条件：周围块的运动矢量参缩放条件：周围块的运动矢量参考帧的考帧的POC和当前预测单元的参和当前预测单元的参考帧的考帧的POC不一致时才能缩放不一致时才能缩放如果空域得到的2个预测运动矢量都存在且不相等，则跳过时域候选时域候选先H后C3如果如果H位置的位置的PU和当前和当前PU不在同一个不在同一个对应的对应的LCU中，则标记不可用中，则标记不可用最后将时域候选和空域候选得到的预测最后将时域候选和空域候选得到的预测运动矢量加入列表，进行去冗余，添加运动矢量加入
22、列表，进行去冗余，添加0运动矢量，得到一个只有运动矢量，得到一个只有2个预测运动矢个预测运动矢量的列表，然后根据代价值选择最佳的量的列表，然后根据代价值选择最佳的预测运动矢量预测运动矢量环路滤波环路滤波环路滤波自适应环路滤波自适应环路滤波(ALF)去块滤波去块滤波采样点自适应偏移采样点自适应偏移(SAO)无无4X4块块采样点自适应偏移(Sample Adaptive Offset)带状偏移将像素值强度等级划分为若干个条带，每个条带状偏移将像素值强度等级划分为若干个条带，每个条带内的像素拥有相同的偏移值。带内的像素拥有相同的偏移值。现有的现有的HMHM模型将像素值强度从模型将像素值强度从0 0到
23、最大值划分为到最大值划分为3232个等个等级。同时这级。同时这3232个等级条带还分为两类，第一类是位于中间个等级条带还分为两类，第一类是位于中间的的1616个条带，剩余的个条带，剩余的1616个条带是第二类。个条带是第二类。编码时只将其中一类具有较大补偿值的条带偏移信息写编码时只将其中一类具有较大补偿值的条带偏移信息写入片头；另一类条带信息则不传送。这样的方式编码将具入片头；另一类条带信息则不传送。这样的方式编码将具有较小偏移值的一类条带忽略不计，从而节省了编码比特有较小偏移值的一类条带忽略不计，从而节省了编码比特数。数。带状偏移带状偏移 32级像素值条带分割示意图级像素值条带分割示意图采样
24、点自适应偏移(Sample Adaptive Offset)边缘偏移主要用于对图像的轮廓进行偏移。边缘偏移主要用于对图像的轮廓进行偏移。它将当前像素点值与相邻的它将当前像素点值与相邻的2 2个像素值进行对比，个像素值进行对比，用于比较的用于比较的2 2个相邻像素可以在图个相邻像素可以在图9 9中所示的中所示的4 4种种模板中选择，从而得到该像素点的类型：局部最模板中选择，从而得到该像素点的类型：局部最大、局部最小或者图像边缘。大、局部最小或者图像边缘。解码端根据码流中标示的像素点的类型信息进行解码端根据码流中标示的像素点的类型信息进行相应的偏移校正。相应的偏移校正。4种边缘样点偏移模板种边缘样
25、点偏移模板边缘偏移边缘偏移自适应环路滤波 自适应环路滤波自适应环路滤波(Adaptive Loop Filter, ALF)(Adaptive Loop Filter, ALF)在编解码环路内，位于在编解码环路内，位于DeblockDeblock和和SAOSAO之后。之后。 对于亮度分量，采用对于亮度分量，采用CUCU为单位的四叉树为单位的四叉树ALFALF结构。滤波使用结构。滤波使用5 55 5，7 77 7和和9 99 9三种大小的二维钻石型模板。滤波器计算每个三种大小的二维钻石型模板。滤波器计算每个4 44 4块的块的LaplacianLaplacian系系数值，并根据该值将所有数值，并
26、根据该值将所有4 44 4块分成块分成1616类，分别对应类，分别对应1616种滤波器。种滤波器。 对于色度分量，滤波的选择过程会简单许多。原因如下：首先，色对于色度分量，滤波的选择过程会简单许多。原因如下：首先，色度分量的滤波只需要在图像层级上进行。其次，滤波时色度分量统一使度分量的滤波只需要在图像层级上进行。其次，滤波时色度分量统一使用用5 55 5矩形滤波模板，不需要通过矩形滤波模板，不需要通过Laplacian Laplacian 系数来选择滤波器类型。系数来选择滤波器类型。 3种种ALF滤波模板滤波模板并行化设计（一）用垂直和水平的边界将图像划分为一些行和列，划分出的用垂直和水平的边
27、界将图像划分为一些行和列，划分出的矩形区域为一个矩形区域为一个TileTile，每一个，每一个TileTile包含整数个包含整数个LCULCU，TileTile之间可以互相独立，以此实现并行处理。之间可以互相独立，以此实现并行处理。Tile划分示意图划分示意图Tile并行化设计（二）Entropy Slice与与Slice的关系的关系Entropy slice一个一个entropy slice不能不能跨越跨越slice边界，也就是边界，也就是一个一个slice可以含有多个可以含有多个entropy slice，但是一，但是一个个entropy slice只能属只能属于一于一slice熵编码以熵
28、编码以sliceslice为单位，容易造成负载不均衡。为单位，容易造成负载不均衡。Entropy SliceEntropy Slice允许在一个允许在一个sliceslice内部再切分成多个内部再切分成多个Entropy SlicesEntropy Slices，从而实现并行编码或解码，提高了并行处理能，从而实现并行编码或解码，提高了并行处理能力。力。并行化设计（三）上一行的第二个上一行的第二个LCULCU处理完毕，即对当前行的第一个处理完毕，即对当前行的第一个LCULCU的熵的熵编码编码(CABAC)(CABAC)概率状态参数进行初始化。因此，只需要上一行的概率状态参数进行初始化。因此，只需要上一行的第二个第二个LCULCU编解码完毕，即可以开始当前行的编解码，以此提高编解码完毕，即可以开始当前行的编解码，以此提高编解码器的并行处理能力。编解码器的并行处理能力。WPP示意图示意图WPP(Wavefront Parallel Processing)