《应用信息论-第12讲-率失真函数2.ppt》由会员分享，可在线阅读，更多相关《应用信息论-第12讲-率失真函数2.ppt（61页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第四章 信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值4.5 信道容量与信息率失真函数的比较4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结第四章 信息率失真函数20-Jan-231第四章 信息率失真函数l平均失真度l离散随机变量X：lN维离散随机序列：l信息率失真函数l离散信息X：概率分布为P(X)，失真度为d(xi,yj)小 结20-Jan-232第四章 信息率失真函数l信息率失真函数的性质l定义域(Dmin,Dmax)：Dmin是最小允许失真度，Dmax是最大允许失真度l下凸性l单调递减和
2、连续性小 结20-Jan-233第四章 信息率失真函数4.2 离散信源的信息率失真函数l对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；lC是求平均互信息的条件极大值，R(D)是求平均互信息的条件极小值。4.2.1 离散信源信息率失真函数的参量表达式4.2.2 二元及等概率离散信源的信息率失真函数20-Jan-234第四章 信息率失真函数4.2.1 离散信源率失真函数的参量表达式(1)求极小值方法l用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。l已知信源概率分布函数p(xi)和失真度
3、d(xi,yj)，在满足保真度准则 的条件下，在试验信道集合PD当中选择p(yj/xi)，使平均互信息4.2 离散信源的信息率失真函数20-Jan-235第四章 信息率失真函数(2)离散信源的信息率失真函数 已知平均互信息在(4.2.5)的(n+1)个条件限制下求I(X;Y)的极值，引入拉格朗日乘数S和i(i=1,2,n)，构造一个新函数4.2 离散信源的信息率失真函数4.2.1 离散信源率失真函数的参量表达式20-Jan-236第四章 信息率失真函数4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数20-Jan-237第四章 信息率失真函数4.2.1 离散信源率失真函
4、数的参量表达式4.2 离散信源的信息率失真函数20-Jan-238第四章 信息率失真函数4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数20-Jan-239第四章 信息率失真函数第一步：求i4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数20-Jan-2310第四章 信息率失真函数4.2.1 离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi)将解出的i和求p(yj)代入式(4.2.10)，可求得mn个以S为参量的p(yj/xi)。4.2 离散信源的信息率失真函数20-Jan-2311第四章 信息率失真函数第四步：求D
5、(S)将这mn个p(yj/xi)代入(4.2.5)得到以S为参量的允许平均失真函数D(S)。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数20-Jan-2312第四章 信息率失真函数第五步：求R(S)将这mn个p(yj/xi)代入(4.2.4)得到以S为参量的率失真函数R(S)。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数20-Jan-2313第四章 信息率失真函数第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如图4.2.1。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数20-Ja
6、n-2314第四章 信息率失真函数4.2.1 离散信源率失真函数的参量表达式(3)参量S的说明l可以证明S就是R(D)函数的斜率 。l斜率S必然负值；S是D的递增函数，D从0变到Dmax，S将逐渐增加；l当D=0时(R(D)的斜率)：S的最小值趋于负无穷。4.2 离散信源的信息率失真函数20-Jan-2315第四章 信息率失真函数4.2.1 离散信源率失真函数的参量表达式l当D=Dmax时：S达到最大；这个最大值也是某一个负值，最大是0。l当DDmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域0,Dmax内，除某些特例外，S将是D的连续函数。4.2
7、 离散信源的信息率失真函数20-Jan-2316第四章 信息率失真函数(1)二元离散信源的率失真函数 设二元信源 计算率失真函数R(D)4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2317第四章 信息率失真函数 先求出Dmax4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2318第四章 信息率失真函数第一步：求i，由式(4.2.12)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2319第四章 信息率失真函数第二步：求p(yj)，由式(4.2.11
8、)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2320第四章 信息率失真函数第三步：求p(yj/xi)，由式(4.2.10)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2321第四章 信息率失真函数第四步：求D(S)，将上述结果代入式(4.2.14)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2322第四章 信息率失真函数第五步：求R(S)，将上述结果代入式(4.2.15)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的
9、信息率失真函数20-Jan-2323第四章 信息率失真函数对于这种简单信源，可从D(S)解出S与D的显式表达式。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2324第四章 信息率失真函数4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2325第四章 信息率失真函数第六步：通过以上步骤计算出来的R(D)和S(D)如图4.2.2。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2326第四章 信息率失真函数(2)信息率失真函数曲线图说明l若=1，把d(xi,
10、yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以d(xi,yj)的数学期望就是平的数学期望就是平均误码率均误码率。能容忍的失真等效于能容忍的误码率。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2327第四章 信息率失真函数lR(D)不仅与D有关，还与p有关。概率分布不同，R(D)曲线就不一样。当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R(Dmax)=0的含义。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2328第四章 信息率失真函数l当
11、D相同时，信源越趋于等概率分布，R(D)就越大。由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2329第四章 信息率失真函数l关于S(D)l它与p无直接关系，S(D)曲线只有一条，p=0.5和p=0.25都可以用，但它们的定义域不同；lp=0.25时定义域是D=00.25，即到A点为止，此时 Smax=1.59。D0.25时，S(D)就恒为0了。所以在A点S(D)是不连续的；l当p=0.5时，
12、曲线延伸至D=0.5处，此时Smax=0，故S(D)是连续曲线，定义域为D=00.5。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2330第四章 信息率失真函数(3)二元等概率离散信源的率失真函数l当上述二元信源呈等概率分布时，上面式子分别退化为4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2331第四章 信息率失真函数l这个结论很容易推广到n元等概率信源的情况。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数20-Jan-2332第四章 信息率失真函数4.3.1
13、连续信源的信息率失真函数的参量表达式4.3.2 高斯信源的信息率失真函数4.3 连续信源的信息率失真函数20-Jan-2333第四章 信息率失真函数l条件l信源XR=(,)l信源X的概率密度函数为p(x)l信道的传递概率密度函数为p(y/x)l信宿YR=(,)l信宿Y的概率密度函数为p(y)lX和Y之间的失真度d(x,y)04.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数20-Jan-2334第四章 信息率失真函数l平均失真度为l平均互信息为4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数20-Jan-2335第四章 信息率失真函数lPD
14、为满足保真度准则 的所有试验信道集合。l信息率失真函数为l相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。lR(D)函数的参量表达式：l一般情况，在失真度积分存在情况下，R(D)的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数20-Jan-2336第四章 信息率失真函数(1)高斯信源特性及失真度l设连续信源的概率密度为正态分布函数l数学期望为l方差为l失真度为d(x,y)=(xy)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度
15、随误差增大呈平方增长。4.3.2 高斯信源的信息率失真函数4.3连续信源的信息率失真函数20-Jan-2337第四章 信息率失真函数4.3.2 高斯信源的信息率失真函数(2)曲线图说明 曲线如图4.3.2。当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。4.3连续信源的信息率失真函数20-Jan-2338第四章 信息率失真函数4.3.2 高斯信源的信息率失真函数l当D=2时，R(D)=0：这就是说，如果允许失真（均方误差）等于信源的方差，只需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；l当D=0时，R(D)：这点说明在连续信源情况下，要毫
16、无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量；4.3连续信源的信息率失真函数20-Jan-2339第四章 信息率失真函数4.3.2 高斯信源的信息率失真函数l当0D0，当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度 ；反之，若R0，当信息率 RR(D)，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ；反之，若 RR(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。l信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的
17、过程中虽然有失真，但仍能满足要求，否则就不能满足要求。第四章 信息率失真函数20-Jan-2359第四章 信息率失真函数l研究信道编码和率失真函数的意义l研究信道容量的意义：研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。l 研究信息率失真函数的意义：研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D 的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。第四章 信息率失真函数20-Jan-2360第四章 信息率失真函数l设信源 ，其失真度为汉明失真度，试问当允许平均失真度 D=(1/2)p 时，每一信源符号平均最少需要几个二进制符号？解：失真矩阵第四章 信息率失真函数20-Jan-2361