《2022年信息率失真函数 .pdf》由会员分享，可在线阅读，更多相关《2022年信息率失真函数 .pdf（18页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第四章信息率失真函数（第九讲）（2 课时）主要内容： （ 1）平均失真和信息率失真函数（2）离散信源和连续信源的R(D) 计算重点：失真函数、平均失真、信息率失真函数R(D) 、信息率失真函数的计算。难点：信息率失真函数R(D) 、信息率失真函数的计算。作业： 4、 1。说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 4-1 引言（一）引入限失真的必要性：失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，
2、但对通信质量的影响不大，也可以称它为允许范围内的失真；我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D) ，而不是无失真情况下的信源熵H(U). 显然H(U) R(D). 当且仅当D=0 时，等号成立；为了定量度量D，必须建立信源的客观失真度量，并与D 建立定量关系；R(D) 函数是限失真信源信息处理的理论基础；（二）R(D) 函数的定义信源与信宿联合空间上失真测度的定义：()ijdu v: 0,)UVR其中：iuU（单消息信源空间）jvV（单消息信宿空间）则有() ()
3、ijijijuvdp u v d u v称d为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质1()0ijd u v, 当ijuv2,()0minijijuU vVd uv名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 18 页 - - - - - - - - - 30()ijd u v对离散信源：i=j=1,2 .n, (),ijijd u vd则有：0,ij()0,ij()ijd当无失真当有失真若取ijd为汉明距离，则有：0,ij()1,ij()ijd当无失
4、真当有失真对连续信源，失真可用二元函数d(u,v) 表示。则有：2( , )()d u vuvuv推而广之，d(u,v) 可表示任何用v 表达 u 时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。进一步定义允许失真D 为平均失真的上界：(,) (,)ijijijiijijijDdp u v d u vp P d- 对离散在讨论信息率失真函数时，考虑到信源与信宿之间有一个无失真信道，称它为试验信道，对离散信源可记为jiP，对限失真信源这一试验信道集合可定义为：:DjiijiijijPPDdp P d根据前面在互信息中已讨论过的性质：(;)(;)ijiI U VI p P且互信息是i
5、p的上凸函数，其极限值存在且为信道容量：max (;)iijipCI p P这里，我们给出其对偶定义：2()m i n(;)m i n(;)4j iDj iDij iPPPPR DI U VIpPba c即互信息是jiP的下凸函数。其极限值存在且为信息率失真函数。它还存在下列等效定义：( )min: (;)()jiRijiijPPijRjiD RDdp P dPPI U VR 给定速率称D(R) 为失真信息率函数，是R(D) 的逆函数，它是求在允许最大速率情况下的最大失真 D 。至此，我们已给定R(D) 函数一个初步描述。名师资料总结 - - -精品资料欢迎下载 - - - - - - - -
6、 - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 18 页 - - - - - - - - - )0()(RUH连续离散是下凸函数0D由定义，R(D) 函数是在限定失真为最大允许失真为D 时信源最小信息速率，它是通过改变试验信道jip特性（实际上是信源编码）来达到的。所以R(D) 是表示不同D 值时对应的理论上最小信息速率值。然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性jip并可以求解出不同的信息率失真R (D) 函数，它与理论上最佳的R(D) 之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D) 函数
7、的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D) 函数具有更大的价值。例：若有一个离散、等概率单消息（或无记忆）二元信源：011()()2p up u,且采用汉明距离作为失真度量标准：即jijiijuuuud当当, 1,0若有一具体信源编码方案为：N 个码元中允许错一个码元，实现时N 个码元仅送N-1 个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）。此时，速率R 及平均失真D 相应为：111/111,2211()112122NRbNNDNNR DDNN符号若已知这一类信源理论上的1()()()2R DHH D（后面将进一步给出计算），则有)(DR（理论）)(DR)(
8、 实际DRD2/11阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 18 页 - - - - - - - - - 4-2 R(D) 函数的性质讨论R(D) 性质以前先简要介绍R(D) 的定义域。对离散：max0, D对应R(D) 值：(0)max()()RR DHpmax()min(),0R DR DRD即当时值。对连续：m
9、inmax,DDminmax()( )()min(),0cR DHpR DR DRD即当时值R(D) 函数性质可用下列定理总结：定理4 21：对离散、单个消息限定失真信源，其R(D) 函数满足下列性质：（ 1）R(D)是 D 的下凸（）函数；（ 2）R(D)是 D 的单调非增函数；（ 3）R(D)是 D 的连续函数；（ 4）(0)()R DHp；证明：（1）证明思路：根据R(D) 函数定义，与下凸函数定义，只需证明：(1)()(1)()R DDDR DR D首先证jiDPP，再利用互信息对jiP的下凸性。即：若用jiP与jiP表示达到()R D与()R D时的条件分布，且(1)jijijiPP
10、P则有：()(1)jiijiijijijiijijijd Pp P dpPP d(1)()(1) ()(1)ijiijijiijijijjijip P dp P dd Pd PDDD这里()jid PD，()jid PD由:()jijiDPPd PD可得jiDPP再利用互信息对jiP的下凸性，有()min(;)(;)(;)(1) (;)()(1)()jiDijiPPijiijiijiR DIp PIp PI p PI p PR DR D名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第
11、4 页，共 18 页 - - - - - - - - - （ 2）设21DD则21DDPP2121min(;)min(;)()()jiDjiDijiijiPPPPI p PIp PR DR D即 R(D) 是 D 的单调非增函数。（ 3）设0DDDD当。由DP定义，有DDPP。同时，由于(;)ijiI p P是jiP连续函数。即当0,jiP有(;)(;)ijijiijiI p PPIp P()min(;)()min(;)jiDjiDijijiijiPPPPR DI p PPR DIp P即()()R DR D， R(D) 是 D的连续函数。（ 4）当0D，即无失真时，ijuv，一一对应1,0j
12、iijijPij时，时，(0)(;)(;)log1log( )ijiiijijiijijiiijiRI p PI pppppH p 4-3 离散信源R(D) 函数计算：()min(;)jiDijiPPR DI pp可见，求解R(D) 实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（ R(D) 的斜率S）来描述的参量表达式，并借助计算机进行迭代运算。由信道容量C 与 R(D)数学上对偶关系：max (;)()min(;)jiDiPPpCI X YR DI U V其迭代运算与求信道容量迭代运算相仿的。在正式讨论R(D) 迭代运算前，这里，我们先介绍特殊情况下的
13、R(D) 计算。具有等概率、对称失真信源的R(D) 计算：例 1：有一个二元等概率平稳无记忆信源U，且失真函数为：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 18 页 - - - - - - - - - 0000121110()110ijd试求其R(D)=? 解：由：ijiijijDdp P d为了运算方便，取ijiijijDp P d上式中，已知：12ip，D（允许失真）给定。则jiijPd一一对应。这时，由概率归一性，可进一步假设：1001jiAAPAA可见：01
14、10AA代入上述公式，有1100(1) 100(1) 12211(1)(1)(1)22ijiijijDp P dAAAAAAA再将 它 代 入 转 移概 率 公式中：1001jiDDPDD由：jijiiqp P，得：11()(,)22jDDqD则：11()()(,)22jDDH VH qHD名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 18 页 - - - - - - - - - (/)()(1,)jiH VUH PHD D()(;)()(/)11(,(1,)22112
15、loglog(1)log(1)log22(1)log 2(1)log(1)(1)log(1)(1)log 2DDR DI U VH VH V UDDHDHD DDDDDDDDDDDDDDD参量参量）)(DR2log0D1D例 2：若有一个n元等概率、平稳无记忆信源U，且规定失真函数为：1122nn0001/n-11/n-1011111101111110)(nnnnnndij试求R(D)=? 解：110110()()11011ijjiAAnnAdPAAnn由1ipn，求得1(1)101(1)ijiijijAADp P dn nnAn nn1111(1)1jijiiAqp Pnnnnn1111(1
16、)1jijiiAqp Pnnnnn()(;)()()jjiDDR DI U VH qH P参量参量名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 18 页 - - - - - - - - - ()(;)()()jjiDDR DI U VH qH P参量参量11()(1,)11DDHHDnnnnlog(1)log(1)(1)log11DDnDDnnnlog(,1)log(1)nH DDDn取2n， 4，8，有A=3BC=2DE=1Fn=8n=4n=200.20.40.60.
17、81.0DR(D)由上图可见无失真0D时8(0)( )3nRHpbit，4(0)()2nRHpbi，2(0)( )1nRHpbit，有失真，比如0.2D时OFOEKnODOCKnOBOAKn248248，压缩比：，压缩比：，压缩比：显然248KKK，进制n越小，压缩比K越大；DK，但相对关系不变，允许失真D越大，压缩比亦越大。R(D) 的参量表达式：要讨论R(D) 的计算， 由 R(D) 函数定义， 需要求下列约束条件下的互信息极值。:;DjiijiijijPPp P ddD名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精
18、心整理 - - - - - - - 第 8 页，共 18 页 - - - - - - - - - 112jijPiin，对，；011jiPijinjm，对， ，；求解这类极值有好几种方法：变分法、拉氏乘子法、凸规划方法等等。这里引用最简单的拉氏乘子法。但是它不能处理不等式约束关系，因此需对上述条件进行必要的修改，这时上述问题可归纳为在下列(1)n组约束条件下：）组约束（，对12111nniiPdPpdDmjjiijijjii求互信息(;)logjijjiijiijjPI qPp Pq的极小值。引用拉氏乘子法，并设S与(1 2iin，）分别表示(1)n个约束条件的待定参数，则有： (;)0(1l
19、og)(1log)0ijiijiijjijijiiiijiI p PSDPPqpPpSpd求得ijSdjijiPqe由归一化条件有1ijSdjijiijPqe求得1ijiSdjjq e再将式两边同乘ip并对 i 求和，且设qj0，则有ijSdjijiijiiiqpPp qe1ijSdiiipe代入，得：11ijijSdiSdijjpeq e名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 18 页 - - - - - - - - - 当信源给定0iipp，选定S与ijd以后
20、，它是一个求解m个jq的方程组，则可按下列顺序求解：(1,2)(1,)( )( )jijiqjminPD SR S最后求得参量方程如下：( )( )logijijijSdijiijijSdSdjiijiijjD Sp qedqeR Sp qeq棗(l o giiiSD Sp）这就是用参量s()R D的斜率 表达的()R D函数形式，又称为参量方程。定理4-3-1 ：()R DS，即 R(D) 斜率为参量S。证明从略。例 ： 引 用 上 述 参 量 方 程 求 解 一 个 二 进 不 等 概 率 离 散 信 源 ：121pppp， 且01ijijdij，当，当，其中12ij，试求()?R D解：
21、首先求参量1与2由公式，有：1111222111122222exp()exp()1exp()exp()1pSdpSdpSdpSd求得12111(1)1SSpepe将它带入式，有111212112122221exp()exp()1exp()exp()qSdqSdqSdqSd求得12(1)1(1)1SSSSpp eqeppeqe再将1212q q，带入式( )D S中：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 18 页 - - - - - - - - - 111111
22、11121212()exp()exp()D Sp q dSdp q dSd22121212222222exp()exp()p q dSdp q dSd1SSeelog1DSD再将它带入)(SR，有：12loglog11()( )()log(1)logDDSSDDR DR SSD Spplog(1)log(1)log(1)log(1),1,1ppppDDDDH ppH DD取1 1 12 4 8p，的曲线：00.20.40.60.1DR(D)(b/符号)0.20.40.60.81.021p41p81p由图可见：无失真：12001DRbit， （ ）1400.8Rbit（ ）1800.6Rbit（
23、 ）限失真，比如0.1D时1112481.00.80.60.670.450.17KKK结论： 1) 信源概率分布越不均匀，压缩比越大；2) D越大，压缩比也越大。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 18 页 - - - - - - - - - R(D) 函数的迭代算法首先让我们从信道容量C与()R D函数定义与数学上的对偶性来分析：max (;)()max (;)()max(;)ijiDiiipPPp fFCI X YR DI U VC FI X Y，显然，
24、我们可以利用求解信道容量的计算迭代公式的方法与思路求解()R D函数。其关键步骤为：1) 寻 求 两 个 决 定 互 信 息 的 互 为 因 果 关 系 的 自 变 量 对 ， 这 里 选0(;),jjiiiI q Ppp，且通过jiP求极值；2)对互信息求条件极值（极小值），引用拉氏乘子法；具体求解步骤如下：1) 两个自变量中首先固定jiP值，则在满足1jjq和ijiijijDp P d的约束条件下求(;)jjiI qP的极小值。引用拉氏乘子法，有： (;)0jjijjjI qPSDqq即0jiijiPpq，求得：1jijiiqp P，再由归一化条件111jijijijqp P1，再代入原式
25、得：*jij iiqp P2) 再固定jq值，在满足1jijP（对所有i值）和ijiijijDp P d的约束条件下求(;)jjiI qP极值：(;)0jj iij iijjiI qPSDPP1log0jiiiijijPpSpdqexp(1)ijijijiPqSdp由归一化条件，有名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 18 页 - - - - - - - - - 11iijiSdpjijjjPq ee求出：11iiijpSdjjeq e再将它带入jiP表达式，
26、求得*ijijSdjjiSdjjq ePq e式与式是两个基本迭代公式若假设一个S值，比如1SS，通过逐次迭代，求得*11(),()jjiq SPS，代入互信息公式中，求得*111()(),()jjiR SI qSPS再继续假设2SS、3S、4S、5S等。求得相应的2()R S、3()R S、4()R S、5()R S。最后再将其值连成一个曲线，即为()R D函数曲线。下面，为了迭代方便，可将改写为：1ijijnnjijiiSdnjnjiSdnjjqp Pq ePq e棗迭代公式棗假设1SS，则可按下列顺序迭代：（当信源给定0iipp，选一初始分布11jiPm）12111rjirjrjijij
27、jiPqPPqmP)1()()1()21() 11(rrRrrRrrRRR，)(1SR上述迭代至前后两值间误差小于给定值为止。可求得111()l imm in() ;() jijrrjjirP qR SI qSPS重新假设2SS、3S、4S、5S，分别求得2()R S、3()R S、4()R S、5()R S。最后连接各()iR S值为一条曲线，即为所求的()R D函数曲线。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 18 页 - - - - - - - - - 4
28、-4 连续信源R(D) 函数连续信源比离散信源更需要R(D) 函数。因为连续信源信息量为无限大（取值无限），传送信息量既无必要，也不可能。所以连续信源都是属于限失真范畴；连续信源R(D) 与离散信源R(D) 类似：只需将概率换为概率密度( )ipp u求和换为积分idu( ; )ijdd u vmininf则当已知信源概率分布密度为( )p u、条件密度为()vPu、失真函数为( , )d u v、信源平均失真( , )( ) () ( , )vd u vp u Pd u v dudvu而() :( ) () ( , )DvvPPDdp u Pd u v dudvuu则有：()()inf(;)
29、DvPPuR DI U V同样，可以求出类似于离散的参量表达式：即在下述限制条件下：( ) () ( , )()1vDp u Pd u v dudvuvPdvuu（对所有值）求互信息(;)( ) ()log()( )log( )vvI U Vp u PPdudvuuq vq v dv的下确界。引用变分，并引入待定常数S和任意函数( )u，再对()vPu取变分，并置之为0。所谓变分是指求泛函的极值。即 (;)( )()0vI U VSDu duPdvu其求解顺序完全类似于离散情况，但需求解一个积分方程。最后结果为：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - -
30、- - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 18 页 - - - - - - - - - ( , )( )( ) ( )( ) ( , )( )( )( )log( )Sd u vD Sp u q v eu d u v dudvR SSD Sp uu du连续信源能否有类似于离散信源的一些特殊情况，不需求解繁琐的积分方程呢？的确存在，在某些情况下，比如( , )()d u vd uv时，求解可大大减化。即若二元函数( , )d u v仅与u与v差值有关，比如22()( , )uvd u vuv这时令参量( )( )( )k Sup u，设( )0
31、p u，其中()1( )Sdk Sed，且( )( )( )SdSk S eg，这时可求得：0( )( )( )Sp uq ugu可见，由上述卷积表达式，无需求解积分方程就可以求得分布密度0( )q u。进一步，若令( )pz、( )Sgz和0( )qz分别表示( )p u、( )Sgu和0( )qu的特征函数，则由以上时域的卷积关系，求得下列特征函数间的关系如下：0( )( )( )Spgqzzz0( )( )( )Spqgzzz则001()()2i z uqquz ed z再由类似于离散信源的下列求解顺序：0( )( )( )()quuD SR S例：若22()2221( )2( , )(
32、)ump ued u vuv棗正态棗均方准则当0S时，求21( )SSk Sed则2()( )( )SdSSSgk S ee211221122SeS即1()( 0 ,)2SgNS名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 18 页 - - - - - - - - - 2222111()2 242( )gsSzzzSSgzeee而信源p(u) 的特征函数为2 2122 212211224204( )()( )2104( )( ),imzzpszgssimzzpzimz
33、zeqzeszezeqNm再由00( )( )qD sR s最后求得：22()2221( )2( , )()u mp ued u vuv棗正态棗均方准则1121()logDR D当时定理2-4-1 ：对任一连续非正态信源，若已知其方差为2，熵为()cHU，并规定失真函数为2( , )()d u vuv，则其R(D) 满足下列不等式：21122()log2()logDH UeDR D（正态）（上限）可见，在平均功率2受限条件下，正态分布R(D) 函数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。例：对连续有记忆信源R(D) 函数计算
34、相当复杂，下面考虑一个简单的特例：对一个广义平稳遍历马氏链信源，且有2( )R，其中01。现求其R(D) 函数。下面我们仅给出结果：22(1)12()logDR D而2(1)1D名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 18 页 - - - - - - - - - R(D)2D0312121311结论：1）（越大） ，()R D（越小） ，压缩比2）2D，()R D，压缩比K下面利用连续信源的R(D) 函数，进一步分析语音的波形编码：为了分析方便，假设语音遵从平稳
35、正态分布：例 1：分析PCM 编码及其压缩潜力：现有PCM 编码是8KHz采样率，8 位编码，8*8=64Kb/s，它认为样点间独立，且每 个 样 点8bit ， 这 时 信 噪 比 可 达 到 入 公 用 网26dB的 要 求 ， 在 语 音 编 码 中 信 噪 比 是2226400()DDdB倍，其中D 为噪声（允许失真）功率，由正态分布的信息率失真函数的公式：2122122()loglog 4004.3DR Dbit实际语音的R(D) 值要小于4.3bit ，因为语音不遵从正态分布，而是近似遵从Laplace分布（一级近似）、Gamma 分布（二级近似）。它们的R(D) 函数值均小于正态
36、分布的R(D)值，。可见，4.3bit 至 PCM 8bit ，大约有一倍差距。例 2：若对语音编码进一步计入相关性，则其 R(D) 函数为：2212()log(1)R DD，则可算出其R(D) 值，即对应压缩比（相对于PCM 编码 64Kb/s ）信噪比（dB）35 32 28 25 23 20 17 R(D)(bit) 4 3.5 2.5 2.34 2 1.5 1 压缩倍数2 2.28 3.2 3.42 4 5.3 8 若计入语音分布R(D) 值小于正态分布值，以及R(D) 的主观特征，在25-26dB要求下，实际R(D) 值大约等于2 左右，可以获得大约4 倍的压缩比。例 3：参量编码：
37、以英语为例，其音素大约为128256个，按照通常讲话速率，每秒大约平均发出名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 17 页，共 18 页 - - - - - - - - - 10 个音素，这时语音信源给出的信息率为：102102log (256)80/log (128)70/64914706480080IbitsIbitsKbitKbitKbitKbit上限下限上限下限（倍）（倍）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 18 页，共 18 页 - - - - - - - - -