《视频芯片学习.pptx》由会员分享，可在线阅读，更多相关《视频芯片学习.pptx（49页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、高清AVS视频编码芯片结构设计与FPGA验证设计要求设计方案系统结构第1页/共49页应用前景 SmartphoneSmartphonePDAPDADVDVPMP PMP MP4MP4IPTVIPTVIPCAMIPCAMDVB-TDVB-TDVRDVRVideoVideophonephone第2页/共49页设计要求支持AVS-P2 基准档次。实时高清编码器：1920 x108030fps/1280 x72030fps支持I、P、B 帧支持所有帧内预测模式(采用重构像素作为参考像素)支持所有帧间预测模式整像素搜索范围达到256x192(分层全搜索)，支持1/4 像素运动补偿.B 帧前后向各一个参考
2、帧，P 帧2 个前向参考帧。支持前向、后向、对称双向、直接、跳过等全部模式。支持所有可变大小块模式16x16,16x8,8x16,8x8。第3页/共49页设计要求支持率失真优化(RDO)模式选择仅支持帧模式,不支持场模式。支持去块效应滤波。码率控制算法由嵌入式处理器软件实现。第4页/共49页设计方案编码芯片前端设计开发流程：系统模型RTL(寄存器传输级)netlist生成FPGA/ASCI.VHDL/VerilogHDL细化C/C+描述综合更底层设计载入第5页/共49页 AVS视频编码结构图熵编码反量化反变换运动补偿预测控制数据量化后的变换系数运动数据帧内/帧间编码控制解码器运动估计变换/量化
3、-0环路滤波帧内预测第6页/共49页针对ASICASIC设计的AVSAVS标准算法优化大窗口全搜索IME；全模式支持1/4像素精度FME，IME FME高效共享的片上搜索窗缓存结构；基于率失真优化的模式选择算法；对数据倚赖流水作业阻塞免疫的帧内预测算法；结构优化的宏块级和块级流水线结构设计;EC和MD复用的游程编码 码表切换 码变复用；适合VLSI实现的结构归整的运动矢量预测第7页/共49页硬件系统结构系统流水线结构：系统层控制DDR SDRAM视频输入分层IME全搜索亚像素差值FMESmall Luma Ref.Pels SRAMsLuma Ref.Pels SRAMsCur/Ref.Reg
4、 Array率失真模式选择DCT/IDCTQ/IQ熵编码去块滤波分层IME全搜索亚像素差值FMELuma Pred.Pels SRAMsCur.MB Org.SRAMs.Luma Pred.Pels SRAMsLuma Ref.Pels SRAMsCur/Ref.Reg ArraySmall Luma Ref.Pels SRAMsIntra预测Upper&Left pels SRAMIntra Pred.Pels SRAMsCodeNum MB SRAMRec.MB SRAMDeblock SRAMBitstream SRAMChroma Pred.Pels SRAMs色度像素滤波器Small
5、 Chroma Ref.Pels SRAMsChroma Ref.Pels SRAMsChroma Pred.Pels SRAMs色度像素滤波器Small Chroma Ref.Pels SRAMsChroma Ref.Pels SRAMsDDR访问接口状态机第一级（IME）第二级（FME）第三级（MD）第四级（EC/DB）NNN-1N-1NNN+1N+1第8页/共49页VLSI实现系统关键参数分析系统流水结构实时吞吐瓶颈 基于RDO模式选择代价函数RDcost复杂度分析:DCT-H，DCT-V，Q，IQ，Zigzag Scan,VLC IDCT-H，IDCT-V候选模式复杂度分析 帧内模式
6、Intra：5x4+4x2=28次RDcost计算。帧间模式:运动预测方向+可变大小块分割模式 运动预测方向(前,后,双向对称)由IME FME完成选择 RDO MD仅仅选择可变大小块分割模式和直接模式 Inter：6x6=36 次RDcost 计算。第9页/共49页RDO模式选择的可能性 H.264 颗粒度更小，模式更多 AVS相对颗粒度适中，模式相对比较少 AVS DCT IDCT块8x8比H.264的4x4块大，硬件消耗也大 权衡有实现RDO模式选择的可能性RDO模式选择算法简化思路:I帧intra模式选择不简化,RDO模式选择P,B帧中intra模式采用基于SAD判据P,B帧内inte
7、r模式中的预测方向(前,后,双向对称)由IME FME完成选择P,B帧内inter模式中的可变大小块模式选择由RDO模式选择实现第10页/共49页I帧 Intra：5x4+4x2=28次RDcost计算。P,B帧 8x8,8x16,16x8,16x16,skip/direct,intra 这些模式需要7x6=42 次RDcost计算RDcost计算 DCT-H，DCT-V，Q，IQ，Zigzag Scan,VLC,MD IDCT-H，IDCT-V,MD MD块级流水周期T=25cycles 如果不作简化，需要42+6=48T1200cycles 那么720P 30fps需要的系统时钟频率大约为
8、:108000MBs/sx1200=129.6Mhz 那么1080P 30fps需要的系统时钟频率大约为:244800MBs/sx1200=293.7Mhz第11页/共49页简化:P.B 帧 8x8(1),8x8(2),8x16,16x8,16x16,skip/direct,intra-skip/direct,intra,3种候选模式实际系统时钟频率：设RDO块级流水周期为25cycles，则RDO一级MB处理时间为25x37=925 cycles.MB级流水周期系统时钟频率：1920 x1088x30/256=244800MB/s 244800 x 925=226.44Mhz 1280 x7
9、20 x30/256=108000MB/s 108000 x 925=99.9Mhz第12页/共49页第13页/共49页流水线结构第一级：整像素运动估计（IME）:第二级：分像素运动估计（FME）:第三级：编码模式选择、intra预测（DB/IP）:第四级：可变长编码、去块效应滤波（EC/DB）:第14页/共49页流水线结构第15页/共49页流水线结构(1)第一级：整像素运动估计（IME）:算法描述：采用分层全搜索算法（3层）。搜索窗为256x192。搜索中心（0，0）点。P帧前向2个参考帧，B帧前后各1个参考帧。第16页/共49页整像素运动估计需求分析：假设采用并行256 个PE 结构，每个
10、时钟搜索一个侯选 MV，需要256192=49152个时钟完成整个窗口的搜索，如 果采用并行结构保证搜索速度，付出的硬件代价是无法接 受的。三层全搜索算法：分层搜索思路可以快速实现搜索收敛。分层搜索的思想是：将当前帧和参考帧按照一定比例降采样，然后逐层搜索。第17页/共49页整像素运动估计三层全搜索：4:14:1第18页/共49页整像素运动估计16:1降采样：13fedcba9876542g13fedcba9876542g13fedcba9876542g13fedcba9876542gc84gfedgc84gfedgg第19页/共49页第20页/共49页第21页/共49页第22页/共49页第2
11、3页/共49页整像素运动估计level-2层搜索：搜索全部-32 32 x-24 24区间64x48=3072个MV，选择SAD最小的3个 MV，以及预测得到的一个MV，保存这4个MV作为Level-1层搜索中心。13fedcba9876542g64481612第24页/共49页整像素运动估计level-1层搜索：在第Level-1层分别以level-2得到的四个MV为中心，在-8,8的范围内搜索，完成了4次迭代后,得到一个最优的点mv1，用于初步确定level-0层实际运动的大致范围,即mvp=mv1。1 3fedcba9876542gMVP12896第25页/共49页整像素运动估计leve
12、l-0层搜索：在第Level-0 层上以Level-1层得到的mvp这个点为中心在-12 12的范围内搜索，最后得到合适的MV。然后以这个点为中心进行亚像素运动估计。13fedcba9876542g25x25192256第26页/共49页On-chip Search Window Buffer Structure Optimization DDR SDRAM bandwidth consumption analysis 166MHz 64-bit DDR 2656MB/s available 1080P30Hz SW 256160 YUV Image input 94 MB/sCurrent
13、MB read 94 MB/sLuminance SW reference pixels read 1504MB/sBit Stream(VBV)W/R 40 MB/sChrominance displaced block read 94 MB/s Reconstructed Reference Image write 94 MB/sCAS,RAS,and bank activation,Auto refreshment 第27页/共49页第28页/共49页第29页/共49页第30页/共49页第31页/共49页流水线结构(2)第二级：分像素运动估计（FME）：以整像素得到的运动向量为中心，当前
14、宏块与1/2、1/4像素插值图象进行再度匹配，以寻找编码性能更好的运动向量。难点：整帧插值生成1/2，1/4像素分别是整像素的4倍和16倍数据量。如果以这样的方式进行亚像素计算和保存，则片外存储器的带宽和容量将是芯片设计的严重挑战。解决方案：采用即用即算的策略，因此FME中将包括两个功能：像素插值和像素匹配。第32页/共49页第33页/共49页分像素运动估计即算即用的方案：只对整像素搜索到的最佳MV所对应的匹配块进行亚像素插值，插值出一个8x8块周围的所有1/2和1/4像素点需要一个14x14的整像素块。1123456783123456786123456788123456784bc291079
15、105bc整像素1/2像素1/4像素第34页/共49页分像素运动估计1/21/2像素插值：一行14个整像素垂直滤波器水平滤波器水平/垂直滤波器第35页/共49页分像素运动估计1/21/2、1/41/4像素FMEFME搜索全过程：PE1PE8实现8个1/2 精度MV 的代价函数计算（SAD+bits_MVD）第36页/共49页流水线结构(3)第三级：率失真模式选择（RDO MDRDO MD）:帧内模式决策(采用重构像素作为参考像素预测)帧内块预测方法 I帧的帧内模式决策方法（基于RDO模式选择）P,B帧的帧内模式决策方法（基于SAD模式选择）帧间模式决策：简化的模式决策方法第37页/共49页帧内
16、模式决策帧内块预测方法：采用原始像素替代重构像素，可以提高计算速度，但在一定程度带来编码失真。(PSNR损失高达0.2-0.5dB)n n蓝色曲线为：蓝色曲线为：I I帧和帧和PBPB帧的帧的IntraIntra块都采用原始像素值预测。块都采用原始像素值预测。n n粉色曲线为：粉色曲线为：I I帧和帧和PBPB帧的帧的IntraIntra块都采用重构像素值预测块都采用重构像素值预测。第38页/共49页帧内模式决策I I帧的帧内模式决策方法：采用传统率失真优化的模式决策方法。PBPB帧的帧内模式决策方法：采用SADSAD判别的方法。第39页/共49页帧间模式决策方法模式组合=时域预测方向+可变大
17、小块分割模式 第40页/共49页预测方向由IME FME选择第41页/共49页帧间模式决策方法简化的模式决策方法：为了减小时钟资源，采用基于SAD和率失真优化联合判别的模式决策方法。减少候选模式（1）skip/direct模式发生的概率比较大，必选（2）16x16 16x8 8x16 8x8-1 8x8-2 利用SAD判据选择出最优的三种模式，（3）基于SAD判据选择出的最优intra模式 基于RDO判据从5种可能模式中选择最优模式第42页/共49页代价函数RDcost复杂度分析:DCT-H，DCT-V，Q，IQ，Zigzag Scan,VLC IDCT-H，IDCT-V候选模式复杂度分析 帧
18、内模式 Intra：5x4+4x2=28次RDcost计算。帧间模式:运动预测方向+可变大小块分割模式 运动预测方向(前,后,双向对称)由IME FME完成选择 RDO MD仅仅选择可变大小块分割模式和直接模式 Inter：6x6=36 次RDcost 计算。第43页/共49页第44页/共49页第45页/共49页第46页/共49页流水线系统结构(4)第四级：熵编码和环路滤波（EC/DB）：熵编码：在模式决策过程中采用预编码的方法，通过查询比特分配表的方式计算实际编码所需要的比特数，只有在得到最优的模式以后才进行实际的编码和写码流，这样以减少熵编码电路的代价。第47页/共49页环路滤波：以宏块为单位进行滤波，利用多级并行流水线完成各个宏块边界的滤波，提高了滤波的速度，减少了访问外部存储器的压力，保证了实时性，降低了整个硬件结构的复杂性。第48页/共49页感谢您的观看！第49页/共49页