《第四章 限失真信源编码精选文档.ppt》由会员分享，可在线阅读，更多相关《第四章 限失真信源编码精选文档.ppt（36页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第四章第四章限失真信源编码限失真信源编码本讲稿第一页，共三十六页第四章第四章限失真信源编码限失真信源编码限失真编码限失真编码：信源编码经过译码后能保留应用要求的信源编码经过译码后能保留应用要求的信息，允许信源有一定的失真。信息，允许信源有一定的失真。为什么要限失真编码为什么要限失真编码 1 1连续信源的绝对熵为无限大，由于信道的带宽有限，连续信源的绝对熵为无限大，由于信道的带宽有限，受信道容量的限制。受信道容量的限制。不可能实现完全无失真的信源信息的不可能实现完全无失真的信源信息的传输传输。(可能性可能性)2 2信道资源和技术经济因素的限制。信道资源和技术经济因素的限制。(可实现性可实现性)3
2、 3实际应用不必要无失真地恢复信源消息实际应用不必要无失真地恢复信源消息,不必要完全不必要完全无失真的信源信息的传输无失真的信源信息的传输.(必要性必要性)44数字系统的应用数字系统的应用,模拟量的采样模拟量的采样,量化也会引入失真量化也会引入失真.本讲稿第二页，共三十六页语音信号传输语音信号传输语音（音频）信号的带宽语音（音频）信号的带宽：2020000HZ实际应用音频范围实际应用音频范围:电话质量电话质量:3003.4KHZ电话公用网电话公用网调幅广播质量调幅广播质量:507KHZ有现场感的语音传输有现场感的语音传输高保真音频信号高保真音频信号:2020KHZ高保真音响高保真音响图像信号传
3、输图像信号传输一路一路6MHz的普通电视信号数字化后，其数码率将的普通电视信号数字化后，其数码率将高达高达167Mbps，对储存器容量要求很大，占有的带宽将，对储存器容量要求很大，占有的带宽将达达80MHz左右左右本讲稿第三页，共三十六页表表4 41 1 各种各种图像信号图像信号应用的码率应用的码率应用种类应用种类象素数象素数/行行行行数数/帧帧码率码率bps压缩前压缩前压缩后压缩后HDTV192010801.18G2025M普通电视普通电视720480167M48M会议电视会议电视35228836.5M1.52M电视电话电视电话1281125.2M56k本讲稿第四页，共三十六页一、连续消息的
4、统计特性一、连续消息的统计特性时间连续、取值连续2.描述:1.波形信源：在一个具体的时间点在一个具体的时间点ti，x(ti)为一个取值连为一个取值连续的随机变量，可用有限维续的随机变量，可用有限维概率密度函数概率密度函数族描述：族描述：4.1连续信源的熵和互信息连续信源的熵和互信息本讲稿第五页，共三十六页平稳随机过程：平稳随机过程：统计特性统计特性不随时间平移而变化不随时间平移而变化的随机过程。的随机过程。x(t)在时刻t=ti的集平均:x x(t t)在某一时刻在某一时刻t ti i变量变量x x(t ti i)的统计平均的统计平均一、波形信源的特性一、波形信源的特性2.描述:x(ti)的时
5、间平均：x(ti)某一样本函数某一样本函数x(t)的时间平均值的时间平均值遍历平稳过程遍历平稳过程：若一平稳随机过程：若一平稳随机过程 x(t)的的集平均以概率集平均以概率1 1等于等于其时间平均其时间平均，则称，则称 x(t)为遍历的平稳过程。为遍历的平稳过程。本讲稿第六页，共三十六页二、连续信源的熵变量X的概率分布与概率密度函数的关系为：1、方法N次扩展信源本讲稿第七页，共三十六页 对连续变量对连续变量X X的量化方法如下：的量化方法如下：将X的取值范围a,b作n等分，每份=(b-a)/np(x)ab0a+(i-1)a+iPix二、连续信源的熵则X落在第i区间内的概率为：本讲稿第八页，共三
6、十六页则连续信源X:此信源合理！此信源合理！二、连续信源的熵本讲稿第九页，共三十六页二、连续信源的熵2、相对熵本讲稿第十页，共三十六页三、平均互信息三、平均互信息波形信道x(t)y(t)采样后:基本公式基本公式本讲稿第十一页，共三十六页实际应用中实际应用中,允许信号有一定的失真允许信号有一定的失真,当失真超过一定当失真超过一定限度后限度后,信息将失去实用价值信息将失去实用价值,因此要规定失真的限度因此要规定失真的限度.信息率失真是信息率失真是A/D转换转换、量化、频带压缩和数据压缩的、量化、频带压缩和数据压缩的理论基础理论基础.4.2.1失真函数失真函数1)失真函数定义失真函数定义信源信源经过
7、信源编码后输出经过信源编码后输出对于每一对对于每一对(ui,vj),指定一个非负函数指定一个非负函数d(ui,vj)0i=1,2,n j=1,2,m 称称 d(xi,yj)为单个符号的失真函数为单个符号的失真函数.表示信源发出符表示信源发出符号号xi ,接收端再现接收端再现yj所引起的误差或失真所引起的误差或失真.d(xi,yj)=0无失真无失真,d(xi,yj)0有失真有失真.4.2信息率失真函数信息率失真函数本讲稿第十二页，共三十六页2)常用的失真函数常用的失真函数 11平方误差失真函数平方误差失真函数d(xi,yj)=(xi-yj)222绝对误差失真函数绝对误差失真函数d(xi,yj)=
8、|xi-yj|33相对误差失真函数相对误差失真函数d(xi,yj)=|xi-yj|/|xi|4误码失真函数误码失真函数失真函数失真函数1,2,31,2,3用于连续信源用于连续信源,失真函数失真函数4用用于离散信源于离散信源,失真函数失真函数4也称也称HanmmingHanmming失真函数失真函数.3)失真矩阵失真矩阵d n m 矩阵矩阵本讲稿第十三页，共三十六页4.2.2平均失真平均失真xi 和和yj均为随机变量均为随机变量,所以所以d(xi,yj)也为随机变量也为随机变量,d(xi,yj)的的平均失真平均失真用其用其数学期望数学期望或或统计平统计平均值均值描述描述,用用符号符号表示表示.本
9、讲稿第十四页，共三十六页4.2.3信息率失真函数信息率失真函数R(D)1)受信道容量的限制受信道容量的限制,实际应用中必须对信源进行压缩实际应用中必须对信源进行压缩,应应1使其压缩后的信息传输率小于信道容量使其压缩后的信息传输率小于信道容量;2保证压缩所引入的平均失真保证压缩所引入的平均失真不超过预先给定的不超过预先给定的允许失允许失真度真度D;3在满足在满足D的前提下的前提下,使编码后的信息率尽可能小使编码后的信息率尽可能小.不等式不等式D 称为称为保真度准则保真度准则本讲稿第十五页，共三十六页2)试验信道试验信道1有失真的信源编码器视作有干扰的信道有失真的信源编码器视作有干扰的信道(假想信
10、道假想信道)2当信源已知当信源已知(即即B(U)已知已知)时时,单个符号的失真度给单个符号的失真度给定定,选择一类假想信道选择一类假想信道,使得使得D,这类假想信道称为这类假想信道称为D 失真允许信道失真允许信道,或或D 失真允许试验信道失真允许试验信道.记为记为BD=p(v j|u i):D;i=1,2,n;j=1,2,m p(v j|u i)为信道的传递概率。为信道的传递概率。本讲稿第十六页，共三十六页3)离散信源的信息率失真函数离散信源的信息率失真函数在允许信道在允许信道BD 中中,寻求一个信道寻求一个信道p(V|U),使给定的信源经过此使给定的信源经过此信道后信道后,互信息量互信息量I
11、(U;V)达到最小达到最小.该最小互信息量称为该最小互信息量称为信息率信息率失真函数失真函数R(D),简称简称率失真函数率失真函数N维信源符号序列的信息率失真函数维信源符号序列的信息率失真函数RN(D):本讲稿第十七页，共三十六页4)连续信源的信息率失真函数连续信源的信息率失真函数连续信源平均失真度为连续信源平均失真度为:连续信源的信息率失真函数连续信源的信息率失真函数:本讲稿第十八页，共三十六页4)信息率失真函数信息率失真函数R(D)物理意义物理意义 1 1R(D)是信源给定的情况下是信源给定的情况下,在可容忍的失真度内再现在可容忍的失真度内再现信源消息所必须获得的最小平均信息量信源消息所必
12、须获得的最小平均信息量.2 2R(D)是反映给定信源可压缩的程度是反映给定信源可压缩的程度.3 3R(D)求出后求出后,就与选择的试验信道无关就与选择的试验信道无关,而只是信源而只是信源特性的参量特性的参量,不同的信源不同的信源,其其R(D)是不同的是不同的.5)信息率失真函数信息率失真函数R(D)的计算的计算已给定已给定信源概率信源概率P(X)和失真函数和失真函数d(xi,yj),求信息率求信息率失真函数失真函数R(D)的问题的问题,可以归结为在约束条件保真度准可以归结为在约束条件保真度准则则D 下下,求极小值的问题求极小值的问题.本讲稿第十九页，共三十六页6)限失真信源编码定理限失真信源编
13、码定理(香农第三定理香农第三定理)设离散无记忆信源设离散无记忆信源X的信息率失真函数的信息率失真函数R(D),并选并选定失真函数定失真函数,对于任意允许平均失真度对于任意允许平均失真度D0和任意小的和任意小的0,当信息率当信息率RR(D),只要信源序列只要信源序列L足够长足够长,则一定则一定存在一种编码方法存在一种编码方法,使其译码失真使其译码失真D+,反之反之,若若RR(D),无论用什么编码方法无论用什么编码方法,其译码失真必其译码失真必D存在性定理存在性定理 任何信源的信息率失真函数R(D)是该信源在限失真条件下进行编码的最小信息传输率。本讲稿第二十页，共三十六页4.3 标量量化编码w标量
14、量化-零记忆量化 每次只量化一个模拟样本值。w均匀量化：线性量化w最优量化：使量化器的均方误差e2最小或信噪比SNR最小的量化。（概率非均匀分布的最优量化算法）本讲稿第二十一页，共三十六页4.3.1 均匀量化w量化器输入：x，对应实数值域空间为R；w量化器输出：y，对应实数值域空间为Rc；对应取值范围a0,anw y=Q(x)w均匀量化：将区间a0,an分割为n个相等距离且互不重叠的子区间ai,ai+1，取每个小区间的中点值作为量化值yi，即aixai+1时，yi=(ai+1+ai)/2本讲稿第二十二页，共三十六页均匀量化的量化误差：均匀量化的量化误差：量化器均方误差：量化器均方误差：量化器输
15、入方差：量化器输入方差：量化器的信噪比量化器的信噪比SNR：本讲稿第二十三页，共三十六页量化器的工作区域：量化器的工作区域：1.正常量化区：正常量化区：量化器能得到正常量化。量化器能得到正常量化。2.限幅区：限幅区：量化器处于限幅或过载工作状态，量化器处于限幅或过载工作状态，产生较大失真。产生较大失真。3.空载区：空载区：（1）当）当x=ai时，量化器输出在两个量化级间往返跳动，形成时，量化器输出在两个量化级间往返跳动，形成一个矩形输出，结果将产生点状噪声。一个矩形输出，结果将产生点状噪声。（2）x在在ai之上或之下，量化输出分别为恒定值之上或之下，量化输出分别为恒定值本讲稿第二十四页，共三十
16、六页4.3.2 最优量化w最优量化与p(x)有关，区间分割也与p(x)有关，N足够大时，近似认为在各个区间ai,ai+1上的概率分布p(x)为一常数，各子区间上被视为均匀分布。w对于x的概率分布非均匀的标量量化采用Max-Livod算法。本讲稿第二十五页，共三十六页对对ai取偏导并置零取偏导并置零d(ai,yi-1)=d(ai,yi)对于均方失真和绝对失真，有对于均方失真和绝对失真，有ai=(yi+yi-1)/2可知此时边界点在相邻量化值之中点，可知此时边界点在相邻量化值之中点，e2最小。最小。本讲稿第二十六页，共三十六页量化值的选定则与概率密度有关。量化值的选定则与概率密度有关。对于均方失真
17、，对于均方失真，yi最佳位置在最佳位置在ai和和ai+1区间的概率中心。区间的概率中心。本讲稿第二十七页，共三十六页wMax-Livod迭代方法：迭代方法：1）任取）任取y0;2）由）由，计算，计算a1;3）根据公式）根据公式计算计算y1;4）重复步骤（）重复步骤（2）、（）、（3），分别计算出），分别计算出a2,y2,a3,y3,.,直至最后直至最后求得求得yn-15）检验）检验yn是否为是否为an-1,an的概率中心，的概率中心，即即是否成立，或在允许的一定误差范围内成立。是否成立，或在允许的一定误差范围内成立。6）若步骤（）若步骤（5）满足，则过程结束，否则，重新选）满足，则过程结束，否
18、则，重新选y0。本讲稿第二十八页，共三十六页实用化必须考虑的问题实用化必须考虑的问题代价问题代价问题-均匀量化均匀量化失真测度失真测度-符合主观特性符合主观特性量化噪声量化噪声-均方失真均方失真概率特性概率特性-近似测定近似测定截止幅度截止幅度-过载失真过载失真,动态范围动态范围使用环境使用环境-带宽带宽,质量要求等质量要求等本讲稿第二十九页，共三十六页4.4矢量量化编码矢量量化编码w把多个信源符号联合起来形成多维矢量，再把多个信源符号联合起来形成多维矢量，再对矢量进行标量量化，量化级数可进一步减对矢量进行标量量化，量化级数可进一步减小，码率可进一步压缩。小，码率可进一步压缩。矢量量化矢量量化
19、wLGB算法算法-最佳标量量化算法的推广最佳标量量化算法的推广本讲稿第三十页，共三十六页w量化器输入集：X=X1，X2，XN，Xj=（xj1,xj2,xjk）wRk划分为J=2n个互不相交的子空间R1，R2，RJ,w子空间的质心Yi (码字或码矢)构成量化器的输出空间Y,Y=Y1,Y2,YJ-码书w矢量量化实质上是判断输入Xj属于哪个子空间Ri,然后输出该子空间代表码字Yi：Yi=Q（X j）本讲稿第三十一页，共三十六页4.5语音压缩编码语音压缩编码w语音编码就是将模拟语音信号数字化，数字语音编码就是将模拟语音信号数字化，数字化之后可以作为数字信号传输、存储或处理，化之后可以作为数字信号传输、
20、存储或处理，可以充分利用数字信号处理的各种技术。为可以充分利用数字信号处理的各种技术。为了减小存储空间或降低传输比特率节省带宽，了减小存储空间或降低传输比特率节省带宽，还需要对数字化之后的语音信号进行压缩编还需要对数字化之后的语音信号进行压缩编码，这就是语音压缩编码技术。码，这就是语音压缩编码技术。本讲稿第三十二页，共三十六页w语音的压缩编码方法归纳起来可以分为三大语音的压缩编码方法归纳起来可以分为三大类：类：波形编码波形编码、参数编码参数编码和和混合编码混合编码。w波形编码波形编码比较简单，失真最小，方法简单，比较简单，失真最小，方法简单，但数码率比较高。但数码率比较高。w参数编码参数编码的
21、编码速率可以很低，但音质较差，的编码速率可以很低，但音质较差，只能达到合成语音质量，其次是复杂度高。只能达到合成语音质量，其次是复杂度高。w混合编码混合编码吸收了波形编码和参数编码的优点，吸收了波形编码和参数编码的优点，从而在较低的比特率上获得较高的语音质量，从而在较低的比特率上获得较高的语音质量，当前受到人们较大的关注。当前受到人们较大的关注。本讲稿第三十三页，共三十六页w语音压缩编码的主要技术：语音压缩编码的主要技术：1937年，年，A.H.Reeves提出提出PCM编码方法编码方法;1972年，年，CCITT确定确定64kb/s的的PCM语音编码语音编码G.711建议建议;1984年，通
22、过了年，通过了ADPCM语音编码语音编码G.721建议建议;1992年，公布了年，公布了G.728建议（建议（LD-CELP）1995年，年，G.729建议（建议（SC-ACELP）国际标准）国际标准本讲稿第三十四页，共三十六页目前，语音压缩编码技术主要有两个努力方向：目前，语音压缩编码技术主要有两个努力方向：一个是中低速率的语音编码的实用化，及如何使用一个是中低速率的语音编码的实用化，及如何使用化过程中进一步减低编码速率和提高其抗干扰、抗化过程中进一步减低编码速率和提高其抗干扰、抗噪声能力；噪声能力；另一个是如何进一步的降低其编码速率，目前已能在另一个是如何进一步的降低其编码速率，目前已能在5kb/s-6kb/s的速率上获得高质量的重建语音，下一的速率上获得高质量的重建语音，下一个目标则是要在个目标则是要在4kb/s的速率上获得短延时、高质量的速率上获得短延时、高质量的重建语音。的重建语音。本讲稿第三十五页，共三十六页Shannon Th1与与Shannon Th3区别区别 要求:无失真无失真限失真限失真理论极限:R R(D)目标:内容:客观冗余客观冗余次要信息次要信息本讲稿第三十六页，共三十六页