《第四章-限失真信源编码优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章-限失真信源编码优秀PPT.ppt（35页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第四章第四章限失真信源编码限失真信源编码限失真编码：信源编码经过译码后能保留应用要求的限失真编码：信源编码经过译码后能保留应用要求的信息，允许信源有确定的失真。信息，允许信源有确定的失真。为什么要限失真编码为什么要限失真编码1连续信源的确定熵为无限大，由于信道的带宽有限，连续信源的确定熵为无限大，由于信道的带宽有限，受信道容量的限制。不行能实现完全无失真的信源信息的受信道容量的限制。不行能实现完全无失真的信源信息的传输。传输。(可能性可能性)2信道资源和技术经济因素的限制。信道资源和技术经济因素的限制。(可实现性可实现性)3实际应用不必要无失真地复原信源消息实际应用不必要无失真地复原信源消息,
2、不必要完全不必要完全无失真的信源信息的传输无失真的信源信息的传输.(必要性必要性)4数字系统的应用数字系统的应用,模拟量的采样模拟量的采样,量化也会引入失真量化也会引入失真.语音信号传输语音信号传输语音（音频）信号的带宽语音（音频）信号的带宽：2020000HZ实际应用音频范围实际应用音频范围:电话质量电话质量:3003.4KHZ电话公用网电话公用网调幅广播质量调幅广播质量:507KHZ有现场感的语音传输有现场感的语音传输高保真音频信号高保真音频信号:2020KHZ高保真音响高保真音响图像信号传输图像信号传输一路一路6MHz的一般电视信号数字化后，其数码率将的一般电视信号数字化后，其数码率将高
3、达高达167Mbps，对储存器容量要求很大，占有的带宽将，对储存器容量要求很大，占有的带宽将达达80MHz左右左右表表4 41 1 各种各种图像信号图像信号应用的码率应用的码率应用种类应用种类象素数象素数/行行行行数数/帧帧码率码率bps压缩前压缩前压缩后压缩后HDTV192010801.18G2025M普通电视普通电视720480167M48M会议电视会议电视35228836.5M1.52M电视电话电视电话1281125.2M56k一、连续消息的统计特性一、连续消息的统计特性2.描述:1.波形信源：在一个具体的时间点ti，x(ti)为一个取值连续的随机变量，可用有限维概率密度函数族描述：4.
4、1 连续信源的熵和互信息平稳随机过程：统计特性不随时间平移而变更的随机过程。平稳随机过程：统计特性不随时间平移而变更的随机过程。x(t)在时刻t=ti的集平均:x x(t t)在某一时刻在某一时刻t ti i变量变量x x(t ti i)的统计平均的统计平均一、波形信源的特性一、波形信源的特性2.描述:x(ti)的时间平均：x(ti)某一样本函数某一样本函数x(t)的时间平均值的时间平均值遍历平稳过程遍历平稳过程：若一平稳随机过程：若一平稳随机过程 x(t)的的集平均以概率集平均以概率1 1等于其时间平均等于其时间平均，则称，则称 x(t)为遍历的平稳过程。为遍历的平稳过程。二、连续信源的熵变
5、量X的概率分布与概率密度函数的关系为：1、方法 对连续变量对连续变量X X的量化方法如下：的量化方法如下：将X的取值范围a,b作n等分，每份=(b-a)/np(x)ab0a+(i-1)a+iPix二、连续信源的熵则X落在第i区间内的概率为：则连续信源X:此信源合理！此信源合理！二、连续信源的熵二、连续信源的熵2、相对熵三、平均互信息三、平均互信息波形信道x(t)y(t)基本公式基本公式实际应用中实际应用中,允许信号有确定的失真允许信号有确定的失真,当失真超过确定当失真超过确定限度后限度后,信息将失去好用价值信息将失去好用价值,因此要规定失真的限度因此要规定失真的限度.信息率失真是信息率失真是A
6、/D转换、量化、频带压缩和数据压缩的转换、量化、频带压缩和数据压缩的理论基础理论基础.4.2.1失真函数失真函数1)失真函数定义失真函数定义信源信源经过信源编码后输出经过信源编码后输出对于每一对对于每一对(ui,vj),指定一个非负函数指定一个非负函数d(ui,vj)0i=1,2,nj=1,2,m称称d(xi,yj)为单个符号的失真函数为单个符号的失真函数.表示信源发出符表示信源发出符号号xi,接收端再现接收端再现yj所引起的误差或失真所引起的误差或失真.d(xi,yj)=0无失真无失真,d(xi,yj)0有失真有失真.4.2信息率失真函数信息率失真函数2)常用的失真函数常用的失真函数1平方误
7、差失真函数平方误差失真函数d(xi,yj)=(xi-yj)22确定误差失真函数确定误差失真函数d(xi,yj)=|xi-yj|3相对误差失真函数相对误差失真函数d(xi,yj)=|xi-yj|/|xi|4误码失真函数误码失真函数失真函数失真函数1,2,3用于连续信源用于连续信源,失真函数失真函数4用用于离散信源于离散信源,失真函数失真函数4也称也称Hanmming失真函数失真函数.3)失真矩阵失真矩阵dnm矩阵矩阵4.2.2平均失真平均失真xi 和和yj均为随机变量均为随机变量,所以所以d(xi,yj)也也为随机变量为随机变量,d(xi,yj)的的平均失真平均失真用其用其数学期望数学期望或或统
8、计平均统计平均值值描述描述,用用符号符号表示表示.4.2.3信息率失真函数信息率失真函数R(D)1)受信道容量的限制受信道容量的限制,实际应用中必需对信源进行压实际应用中必需对信源进行压缩缩,应应1使其压缩后的信息传输率小于信道容量使其压缩后的信息传输率小于信道容量;2保证压缩所引入的平均失真保证压缩所引入的平均失真不超过预先给定不超过预先给定的允许失真度的允许失真度D;3在满足在满足D的前提下的前提下,使编码后的信息率尽可使编码后的信息率尽可能小能小.不等式不等式D称为保真度准则称为保真度准则2)试验信道试验信道1有失真的信源编码器视作有干扰的信道有失真的信源编码器视作有干扰的信道(假想信道
9、假想信道)2当信源已知当信源已知(即即B(U)已知已知)时时,单个符号的失真度给单个符号的失真度给定定,选择一类假想信道选择一类假想信道,使得使得D,这类假想信道称为这类假想信道称为D 失真允许信道失真允许信道,或或D 失真允许试验信道失真允许试验信道.记为记为BD=p(v j|u i):D;i=1,2,n;j=1,2,m p(v j|u i)为信道的传递概率。为信道的传递概率。3)离散信源的信息率失真函数离散信源的信息率失真函数在允许信道在允许信道BD 中中,寻求一个信道寻求一个信道p(V|U),使给定的信源经使给定的信源经过此信道后过此信道后,互信息量互信息量I(U;V)达到最小达到最小.
10、该最小互信息量称该最小互信息量称为为信息率失真函数信息率失真函数R(D),简称简称率失真函数率失真函数N维信源符号序列的信息率失真函数维信源符号序列的信息率失真函数RN(D):4)连续信源的信息率失真函数连续信源的信息率失真函数连续信源平均失真度为连续信源平均失真度为:连续信源的信息率失真函数连续信源的信息率失真函数:4)信息率失真函数信息率失真函数R(D)物理意义物理意义1R(D)是信源给定的状况下是信源给定的状况下,在可容忍的失真度内再现在可容忍的失真度内再现信源消息所必需获得的最小平均信息量信源消息所必需获得的最小平均信息量.2R(D)是反映给定信源可压缩的程度是反映给定信源可压缩的程度
11、.3R(D)求出后求出后,就与选择的试验信道无关就与选择的试验信道无关,而只是信源而只是信源特性的参量特性的参量,不同的信源不同的信源,其其R(D)是不同的是不同的.5)信息率失真函数信息率失真函数R(D)的计算的计算已给定信源概率已给定信源概率P(X)和失真函数和失真函数d(xi,yj),求信息率求信息率失真函数失真函数R(D)的问题的问题,可以归结为在约束条件保真度准可以归结为在约束条件保真度准则则D下下,求微小值的问题求微小值的问题.6)限失真信源编码定理限失真信源编码定理(香农第三定理香农第三定理)设离散无记忆信源设离散无记忆信源X的信息率失真函数的信息率失真函数R(D),并选定失真函
12、数并选定失真函数,对于随意允许平均失对于随意允许平均失真度真度D0和随意小的和随意小的0,当信息率当信息率RR(D),只要信源序列只要信源序列L足够长足够长,则确定存在一种编码则确定存在一种编码方法方法,使其译码失真使其译码失真D+,反之反之,若若RR(D),无论用什么编码方法无论用什么编码方法,其译码失真必其译码失真必D存在性定理存在性定理 任何信源的信息率失真函数R(D)是该信源在限失真条件下进行编码的最小信息传输率。4.3 标量量化编码w标量量化-零记忆量化w 每次只量化一个模拟样本值。w匀整量化：线性量化w最优量化：使量化器的均方误差e2最小或信噪比SNR最小的量化。w （概率非匀整分
13、布的最优量化算法）4.3.1 匀整量化w量化器输入：x，对应实数值域空间为R；w量化器输出：y，对应实数值域空间为Rc；对应取值范围a0,anw y=Q(x)w匀整量化：将区间a0,an分割为n个相等距离且互不重叠的子区间ai,ai+1，取每个小区间的中点值作为量化值yi，即aixai+1时，yi=(ai+1+ai)/2匀整量化的量化误差：匀整量化的量化误差：量化器均方误差：量化器均方误差：量化器输入方差：量化器输入方差：量化器的信噪比量化器的信噪比SNR：量化器的工作区域：量化器的工作区域：1.正常量化区：正常量化区：量化器能得到正常量化。量化器能得到正常量化。2.限幅区：限幅区：量化器处于
14、限幅或过载工作量化器处于限幅或过载工作状态，产生较大失真。状态，产生较大失真。3.空载区：空载区：（1）当）当x=ai时，量化器输出在两个量化级间来回跳动，时，量化器输出在两个量化级间来回跳动，形成一个矩形输出，结果将产生点状噪声。形成一个矩形输出，结果将产生点状噪声。（2）x在在ai之上或之下，量化输出分别为恒定值之上或之下，量化输出分别为恒定值4.3.2 最优量化w最优量化与p(x)有关，区间分割也与p(x)有关，N足够大时，近似认为在各个区间ai,ai+1上的概率分布p(x)为一常数，各子区间上被视为匀整分布。w对于x的概率分布非匀整的标量量化接受Max-Livod算法。对对ai取偏导并
15、置零取偏导并置零d(ai,yi-1)=d(ai,yi)对于均方失真和确定失真，有对于均方失真和确定失真，有ai=(yi+yi-1)/2可知此时边界点在相邻量化值之中点，可知此时边界点在相邻量化值之中点，e2最最小。小。量化值的选定则与概率密度有关。量化值的选定则与概率密度有关。对于均方失真，对于均方失真，yi最佳位置在最佳位置在ai和和ai+1区间的概率中心。区间的概率中心。wMax-Livod迭代方法：迭代方法：w1）任取）任取y0;w2）由）由，计算，计算a1;w3）依据公式）依据公式计算计算y1;w4）重复步骤（）重复步骤（2）、（）、（3），分别计算出），分别计算出a2,y2,a3,y
16、3,.,直直至最终求得至最终求得yn-1w5）检验）检验yn是否为是否为an-1,an的概率中心，的概率中心，w即即是否成立，或在允许的确定误差是否成立，或在允许的确定误差范围内成立。范围内成立。w6）若步骤（）若步骤（5）满足，则过程结束，否则，重新选）满足，则过程结束，否则，重新选y0。好用化必需考虑的问题好用化必需考虑的问题代价问题代价问题-匀整量化匀整量化失真测度失真测度-符合主观特性符合主观特性量化噪声量化噪声-均方失真均方失真概率特性概率特性-近似测定近似测定截止幅度截止幅度-过载失真过载失真,动态范围动态范围运用环境运用环境-带宽带宽,质量要求等质量要求等4.4矢量量化编码矢量量
17、化编码w把多个信源符号联合起来形成多维矢量，再把多个信源符号联合起来形成多维矢量，再对矢量进行标量量化，量化级数可进一步减对矢量进行标量量化，量化级数可进一步减小，码率可进一步压缩。小，码率可进一步压缩。矢量量化矢量量化wLGB算法算法-最佳标量量化算法的推广最佳标量量化算法的推广w量化器输入集：X=X1，X2，XN，w Xj=（xj1,xj2,xjk）wRk划分为J=2n个互不相交的子空间R1，R2，RJ,w子空间的质心Yi (码字或码矢)构成量化器的输出空间Y,Y=Y1,Y2,YJ-码书w矢量量化实质上是推断输入Xj属于哪个子空间Ri,然后输出该子空间代表码字Yi：w Yi=Q（X j）4
18、.5语音压缩编码语音压缩编码w语音编码就是将模拟语音信号数字化，数字语音编码就是将模拟语音信号数字化，数字化之后可以作为数字信号传输、存储或处理，化之后可以作为数字信号传输、存储或处理，可以充分利用数字信号处理的各种技术。为可以充分利用数字信号处理的各种技术。为了减小存储空间或降低传输比特率节约带宽，了减小存储空间或降低传输比特率节约带宽，还须要对数字化之后的语音信号进行压缩编还须要对数字化之后的语音信号进行压缩编码，这就是语音压缩编码技术。码，这就是语音压缩编码技术。w语音的压缩编码方法归纳起来可以分为三大语音的压缩编码方法归纳起来可以分为三大类：波形编码、参数编码和混合编码。类：波形编码、
19、参数编码和混合编码。w波形编码比较简洁，失真最小，方法简洁，波形编码比较简洁，失真最小，方法简洁，但数码率比较高。但数码率比较高。w参数编码的编码速率可以很低，但音质较差，参数编码的编码速率可以很低，但音质较差，只能达到合成语音质量，其次是困难度高。只能达到合成语音质量，其次是困难度高。w混合编码吸取了波形编码和参数编码的优点，混合编码吸取了波形编码和参数编码的优点，从而在较低的比特率上获得较高的语音质量，从而在较低的比特率上获得较高的语音质量，当前受到人们较大的关注。当前受到人们较大的关注。w语音压缩编码的主要技术：语音压缩编码的主要技术：1937年，提出年，提出PCM编码方法编码方法;19
20、72年，年，CCITT确定确定64kb/s的的PCM语音编码语音编码G.711建议建议;1984年，通过了年，通过了ADPCM语音编码语音编码G.721建议建议;1992年，公布了年，公布了G.728建议（建议（LD-CELP）1995年，年，G.729建议（建议（SC-ACELP）国际标准）国际标准目前，语音压缩编码技术主要有两个努力方向：目前，语音压缩编码技术主要有两个努力方向：一个是中低速率的语音编码的好用化，及如何运一个是中低速率的语音编码的好用化，及如何运用化过程中进一步减低编码速率和提高其抗干扰、用化过程中进一步减低编码速率和提高其抗干扰、抗噪声实力；抗噪声实力；另一个是如何进一步的降低其编码速率，目前已另一个是如何进一步的降低其编码速率，目前已能在能在5kb/s-6kb/s的速率上获得高质量的重建语音，的速率上获得高质量的重建语音，下一个目标则是要在下一个目标则是要在4kb/s的速率上获得短延时、的速率上获得短延时、高质量的重建语音。高质量的重建语音。Shannon Th1与与Shannon Th3区分区分 无失真无失真限失真限失真R R(D)客观冗余客观冗余次要信息次要信息