《信息论基础与编码 (9).ppt》由会员分享，可在线阅读，更多相关《信息论基础与编码 (9).ppt（12页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、5.2信息速率的失真函数性质信息速率的失真函数性质5.1熵压缩编码与信源的信息速率失真函数熵压缩编码与信源的信息速率失真函数5.3连续随机变量下的熵与互信息连续随机变量下的熵与互信息texttext第五章第五章5.4 离散无记信源下的信息速率失真函数的计算离散无记信源下的信息速率失真函数的计算第五章第1讲1.11.1字母失真矩阵的引入字母失真矩阵的引入 1.21.2离散无记忆信源下的率失真函数的优化模型离散无记忆信源下的率失真函数的优化模型 1.31.3连续无记忆信源下的率失真函数定义连续无记忆信源下的率失真函数定义 信息速率失真函数 该理论是熵压缩编码的基础，该函数有效地将信息与失真这两种不
2、同的量度联系在一起，为信号处理中同时考虑这两个因素提供了可能。互信息与信息速率失真函数关系熵压缩编码 主要针对的连续信源，但是为了讨论的方便，本章建议从离散无记忆信源展开讨论，离散无记信源熵压缩编码只有理论意义。第第1讲讲 信源的信息速率失真函数与熵压缩编码信源的信息速率失真函数与熵压缩编码1.11.1字母失真矩阵的引入字母失真矩阵的引入（1）,由于熵压缩编码是多对一的映射，所以一般而言，类似的可以得到一个由源字母与码字母之间的失真组成的字失真接矩阵，设与分别是信源字母与码字，其中，则在失真度量下字失真矩阵的值为 (2)字失真的统计平均就自然成为码失真的量度，称为码的平均失真码的平均失真。考虑
3、信源字的集合为,码字的集合记作 则熵压缩编码就可以借助于一个条件概率组成的的字转移概率矩阵来表示。1.1.1.字母失真矩阵的解析字母失真矩阵的解析1.1.2.最大的平均失真度最大的平均失真度1.1.3.率失真函数率失真函数(6)性质1 的定义域为 性质2 是 的下凸函数，也就是说，若有,以及 ,其中，则有 性质3 对于离散无记信源，有 性质4 是定义域上非增函数。1.1.4.率失真函数性质率失真函数性质信道转移概率增加的约束条件这是一个复杂的优化问题1.21.2离散无记忆信源下的率失真函数的优化模型离散无记忆信源下的率失真函数的优化模型 1.31.3连续无记忆信源下的率失真函数定义连续无记忆信源下的率失真函数定义，(9)此时，信息速率失真函数也是在内的连续严格递减函数。定义域的上界与下界分别为 （10）(11)与离散无记忆信源不同的是，连续无记忆信源的是转移概率密度函数的泛函，要使优化问题的目标函数取得最大值，约束条件为 约束条件下的泛函求解极大值的优化问题与约束条件下的求解极大值的问题类似，利用拉格朗日数乘方法将问题转化为无约束极值问题。用变分法代替微分，就可以得到无记信源下信息速率失真函数求解的充要条件。约束条件约束条件