《应用信息论第讲率失真函数.ppt》由会员分享，可在线阅读，更多相关《应用信息论第讲率失真函数.ppt（41页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、应用信息论第讲率失真函数2022-9-61现在学习的是第1页，共41页4.1.1 引言4.1.2 失真度与平均失真度4.1.3 信息率失真函数的定义4.1.4 信息率失真函数的性质4.1 基本概念2022-9-62现在学习的是第2页，共41页(1)“消息完全无失真传送”的可实现性l信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若RC，则传输总要失真。l完全无失真传送不可实现：l实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大；l实际信道带宽是有限的，所以信道容量受限制。要想无
2、失真传输，所需的信息率大大超过信道容量RC。4.1.1 引 言4.1 基本概念2022-9-63现在学习的是第3页，共41页(2)实际中允许一定程度的失真l 技术发展的需要l随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。l人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息 集合占用的空间域、
3、时间域和频率域资源。l如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000Km，数据流之大可见一斑。4.1.1 引 言4.1 基本概念2022-9-64现在学习的是第4页，共41页l实际生活中的需要l实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。l例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。l放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。l有
4、些失真没有必要完全消除。4.1.1 引 言4.1 基本概念2022-9-65现在学习的是第5页，共41页(3)信息率失真理论l信息率失真函数l香农定义了信息率失真函数R(D)。l定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。l信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。4.1.1 引 言4.1 基本概念2022-9-66现在学习的是第6页，共41页l信息率失真函数极小值问题lI(X;Y)是P(X)和P(Y/X)的二元函数；l在讨论信道容量时：规定了P(Y/X)，I(X;Y)变成了P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是
5、上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求出的也是极大值，但求极值时还要一些其它的限制条件。l在讨论信息率时可规定：p(xi)，变更p(yj/xi)来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y)是p(yj/xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立(p(yj/xi)=p(yj)，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。l引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变长有意义了。4.1.1 引 言4.1 基本概念2022-9-67现在学习的是第7页，共
6、41页4.1.2 失真度与平均失真度(1)信息率与失真的关系(2)失真度(3)常用的失真函数(4)平均失真度(5)N次扩展信道的平均失真度4.1 基本概念2022-9-68现在学习的是第8页，共41页(1)信息率与失真的关l信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真l误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息所需的信息率也越小。4.1.2 失真度与平均失真度4.1 基本概念2022-9-69现在学习的是第9页，共41页4.1.2 失真度与平均失真度(2)失真度l失真度l设离散无记忆信源为)(,),(),(,)(2
7、121mmjypypypyyyypYY到接收端信源符号通过信道传送4.1 基本概念)(,),(),(,)(2121nnixpxpxpxxxxpX)/()/()/()/()/()/()/()/()/()/(212222111211nmnnmmxypxypxypxypxypxypxypxypxypXYp信道的传递概率矩阵2022-9-610现在学习的是第10页，共41页4.1.2 失真度与平均失真度l对每一对(xi,yj)，指定一个非负函数d(xi,yj)0 i=1,2,n j=1,2,m 称d(xi,yj)为单个符号的失真度/失真函数。表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真
8、。4.1 基本概念2022-9-611现在学习的是第11页，共41页4.1.2 失真度与平均失真度l失真矩阵l失真度还可表示成矩阵的形式l称D为失真矩阵。它是nm阶矩阵。l连续信源和连续信道的失真函数l在连续信源和连续信道情况下，失真度定义为d(x,y)04.1 基本概念),(),(),(),(),(),(),(),(),(212221212111mnnnmmyxdyxdyxdyxdyxdyxdyxdyxdyxdD2022-9-612现在学习的是第12页，共41页4.1.2 失真度与平均失真度(3)常用的失真函数l第一种l当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以定义失真度为0
9、；l当ij时，用Y代表X就有误差。l这种定义认为对所有不同的i和j引起的误差都一样，所以定义失真度常数a。l失真矩阵的特点是对角线上的元素均为0，对角线以外的其它元素都为常数a。4.1 基本概念 0000000),(aaaaaaaaaaaaDjiaajiyxdji2022-9-613现在学习的是第13页，共41页4.1.2 失真度与平均失真度l当a=1时的失真函数称为汉明失真函数。l 第二种：d(xi,yj)=(yjxi)2l这种函数称为平方误差失真函数，失真矩阵称为平方误差失真矩阵。l若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重，严重程度用平方表示。l失
10、真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。4.1 基本概念 0111010111101111010),(Djijiyxdji2022-9-614现在学习的是第14页，共41页4.1.2 失真度与平均失真度(4)平均失真度l平均失真度定义ld(xi,yj)只能表示两个特定的具体符号xi和yj之间的失真。l平均失真度：平均失真度为失真度的数学期望，4.1 基本概念nimjjiijijijiyxdxypxpDyxdEDXYPYXyxd11),()/()(),()(),(由数学期望的定义中的统计平均值的联合概率空间和在即，2022-9-615现在学习的是第
11、15页，共41页4.1.2 失真度与平均失真度l平均失真度意义l 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi)、信道统计特性p(yj/xi)和失真度d(xi,yj)的函数。当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。l如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。l保真度准则l人们所允许的失真指的都是平均意义上的失真。l保真度准则：规定平均失真度 不能超过某一限定的值D，即 ，则D就是允许失真的上界。该式称为保真度准则。4.1 基本概念DDDDD2022-9-6
12、16现在学习的是第16页，共41页4.1.2 失真度与平均失真度(5)N 次扩展信道的平均失真度lN次扩展l单符号离散无记忆信源X x1,x2,xn的N次扩展信源XN=X1X2XN，在信道中的传递作用相当于单符号离散无记忆信道的N次扩展信道，输出也是一个随机变量序列YN=Y1Y2YN。l此时输入共有nN个不同的符号l信道的输出共有mN个不同的符号4.1 基本概念NNniiiiiiininiiixxxxxxxxxNN,2,1,2,1,)(21212121aNNmjjjjjjjmjmjjjyyyyyyyyyNN,2,1,2,1,)(21212121b2022-9-617现在学习的是第17页，共41
13、页4.1.2 失真度与平均失真度l定义离散无记忆信道X P(Y/X)Y的N次扩展信道的输入序列ai和输出序列bj之间的失真函数为l上式说明：离散无记忆信道的N次扩展信道输入输出之间的失真，等于输入序列ai中N个信源符号xi1,xi2,xiN各自通过信道X P(Y/X)Y，分别输出对应的N个信宿符号yj1,yj2,yjN后所引起的N个单符号失真d(xik,yjk)(k=1,2,N)之和。4.1 基本概念NkjijijijijjjiiijikkNNNNyxdyxdyxdyxdyyyxxxdd1),(),(),(),(),(),(11112121ba2022-9-618现在学习的是第18页，共41页
14、lN次扩展的失真度 定义N次离散无记忆扩展信源和信道的平均失真度为 ，则)(ND),()/()()(11jiijnimjidppNDNNbaaba4.1.2 失真度与平均失真度4.1 基本概念2022-9-619现在学习的是第19页，共41页l“N次扩展”与“单符号”平均失真度的关系l由扩展信源和扩展信道的无记忆性有NkyxdxypxpDxypxpDDDDyxdxypxpyxdxypxpyxdxypxpyxdxypxypxpxpdppNDmjnixyppxppkkkkkkkkkkkkNNNNNNNkkNNNNNNNkkkjiijnimjiknjijniiNkkNjiijnimjijiijnim
15、jijiijnimjiNkjiijijininimjmjijiijnimjiNNNkijijNkii,2,1),()/()(1)/(1)(),()/()(),()/()(),()/()(),()/()/()()(),()/()()(,2,1,2,1)/()/()()(1111121111111111111112222222111111111111 其中baabaaba4.1.2 失真度与平均失真度4.1 基本概念2022-9-620现在学习的是第20页，共41页l实际上，(k=1,2,N)是同一信源X在N个不同时刻通过同一信道X P(Y/X)Y所造成的平均失真度，因此都等于单符号信源X通过信道
16、X P(Y/X)Y所造成的平均失真度，即l上式说明：离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N倍。kDDNNDyxdxypxpDDnimjjiijik)(),()/()(11因此4.1.2 失真度与平均失真度4.1 基本概念2022-9-621现在学习的是第21页，共41页lN次扩展的保真度准则 离散无记忆N次扩展信源通过离散无记忆N次扩展信道的保真度准则为DNND)(4.1.2 失真度与平均失真度4.1 基本概念2022-9-622现在学习的是第22页，共41页4.1.3 信息率失真函数的定义(1)试验信道(2)信息率失真函数(3)
17、求信息率失真函数的方法(4)研究信道编码和率失真函数的意义4.1 基本概念2022-9-623现在学习的是第23页，共41页4.1.3 信息率失真函数的定义(1)试验信道l单符号信源和单符号信道的试验信道l当固定信源（P(X)已知），单个符号失真度也给定时，选择信道使 。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。l所有试验信道构成的集合用PD来表示，即lN次扩展的试验信道 对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道集合PD(N)为4.1 基本概念DDmjniDDxypPijD,2,1,2,1:)/(NNijNDmjniNDNDabpP,2,1,2,
18、1;)(:)/()(2022-9-624现在学习的是第24页，共41页(2)信息率失真函数l单符号信源和单符号信道的信息率失真函数l在信源和失真度给定以后，PD是满足保真度准则 的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj/xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即 这个最小值R(D)称为信息率失真函数，简称率失真函数。l在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。4.1.3 信息率失真函数的定义4.
19、1 基本概念);(min)()/(YXIDRDijPxypDDDD 2022-9-625现在学习的是第25页，共41页l“N次扩展”的信息率失真函数l对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，在所有满足保真度准则 的N维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值RN(D)，这个最小值称为它的信息率失真函数。l由信源和信道的无记忆性，可以证明RN(D)=NR(D)。4.1.3 信息率失真函数的定义4.1 基本概念);(min)()()/(NNPabpNYXIDRNDijDD2022-9-626现在学习的是第26页，共41页(3)求信息率失真函数的方法l对偶问
20、题 平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函数，又是信道传递概率p(yj/xi)的下凸函数。率失真函数R(D)是在允许失真D和信源概率分布p(xi)已给的条件下，求平均互信息的极小值（最小）问题，而信道容量C是在信道特性p(yj/xi)已知的条件下求平均互信息的极大值（最大）问题。这两个问题是对偶问题。4.1.3 信息率失真函数的定义4.1 基本概念2022-9-627现在学习的是第27页，共41页l求信道容量的方法 信道容量是假定信道固定的前提下，选择一种试验信源，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。4.1.3
21、 信息率失真函数的定义4.1 基本概念2022-9-628现在学习的是第28页，共41页l求信息率失真函数的方法 信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。4.1.3 信息率失真函数的定义4.1 基本概念2022-9-629现在学习的是第29页，共41页(4)研究信道编码和率失真函数的意义l研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利
22、用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。l 研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。4.1.3 信息率失真函数的定义4.1 基本概念2022-9-630现在学习的是第30页，共41页4.1.4 信息率失真函数的性质(1)率失真函数的定义域l什么是率失真函数的定义域l允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度 的上限值。l率失真函数的定义域问题就是在信
23、源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。lD的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi,yj)，在平均失真度 的可能取值范围内。4.1 基本概念DD2022-9-631现在学习的是第31页，共41页4.1.4 信息率失真函数的性质l信源最小平均失真度Dminl 是非负函数d(xi,yj)的数学期望，也是一个非负函数，显然其下限为0。因此允许平均失真度D的下限也必然是0，这就是不允许有任何失真的情况。l允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。l信源最小平均失真度Dmin：对于每一个xi，找出一个yj与之对应，使d(xi,yj
24、)最小，不同的xi对应的最小d(xi,yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。4.1 基本概念DnijijiyxdxpD1min),(min)(2022-9-632现在学习的是第32页，共41页4.1.4 信息率失真函数的性质l只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。当Dmin=0时（信源不允许任何失真存在），信息率至少应等于信源输出的平均信息量（信源熵），即R(0)=H(X)。l连续信源有 。这时虽然信源熵是有限的，但信息量是无穷
25、大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真（R(D)为有限值），传送才是可能的。4.1 基本概念)(lim0DRD2022-9-633现在学习的是第33页，共41页4.1.4 信息率失真函数的性质l信源最大平均失真度Dmaxl信源最大平均失真度Dmax：必须的信息率越小，容忍的失真就越大。当R(D)等于0时，对应的平均失真最大，也就是函数R(D)定义域的上界值Dmax。l信息率失真函数是平均互信息的极小值：l当R(D)=0时，即平均互信息的极小值等于0；l当DDmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。这相当于输入X和输出Y统计独立
26、。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。4.1 基本概念2022-9-634现在学习的是第34页，共41页4.1.4 信息率失真函数的性质l计算Dmax的值l令试验信道特性 p(yj/xi)=p(yj)(i=1,2,n)这时X和Y相互独立，等效于通信中断，因此I(X;Y)=0，即R(D)=0。l满足上式的试验信道有许多，相应地可求出许多平均失真值，从中选取最小的一个，就是这类平均失真值的下界Dmax。l上式是用不同的概率分布p(yj)对Dj求数学期望，取数学期望当中最小的一个作为Dmax。4.1 基本概念jmjjypjinii
27、jjimjniijypmjnijijiypDypDyxdxpDyxdxpypyxdypxpDjjj1)(max111)(11)(max)(min),()(),()()(min),()()(min则令2022-9-635现在学习的是第35页，共41页4.1.4 信息率失真函数的性质l实际是用p(yj)对Dj进行线性分配，使线性分配的结果最小。当p(xi)和d(xi,yj)给定时，必可计算出Dj，Dj随j的变化而变化，p(yj)是任选的，只需满足非负性和归一性。若Ds是所有Dj当中最小的一个，可取p(ys)=1，其它p(yj)为0，这时Dj的线性分配（数学期望）必然最小，即4.1 基本概念),mi
28、n(01)(21maxmjDDDDsjsjyp2022-9-636现在学习的是第36页，共41页4.1.4 信息率失真函数的性质4.1 基本概念2022-9-637现在学习的是第37页，共41页4.1.4 信息率失真函数的性质例4.1.1 二元信源 ，相应的失真矩阵 ，计算Dmax。l先计算Dj：D10.4 D2=0.6l所以 Dmax=min(D1,D2)=0.44.1 基本概念6.04.021xx00),()(1jiniijyxdxpD2022-9-638现在学习的是第38页，共41页4.1.4 信息率失真函数的性质l结 论lR(D)的定义域为 (Dmin,Dmax)；l一般情况下Dmin
29、=0，R(Dmin)=H(X)；l当DDmax时，R(D)=0；l当DminDDmax时，0R(D)H(X)。4.1 基本概念2022-9-639现在学习的是第39页，共41页4.1.4 信息率失真函数的性质(2)率失真函数对允许平均失真度的下凸性 对任一01和任意平均失真度D，DDmax，有 RD+(1)DR(D)+(1)R(D)(3)率失真函数的单调递减和连续型l由于函数R(D)具有凸状性，保证了它在定义域内是连续的。l在DminDDmax范围内R(D)单调递减。4.1 基本概念2022-9-640现在学习的是第40页，共41页4.1.4 信息率失真函数的性质图说明：R(0)=H(X)，R(Dmax)=0，决定了曲线边缘上的两个点；在0和Dmax之间，R(D)是单 调递减的下凸函数；在连续信源时，当D0时，R(D)，曲线将不与 R(D)轴相交。4.1 基本概念2022-9-641现在学习的是第41页，共41页