《信息论与编码信息的度量优秀课件.ppt》由会员分享，可在线阅读，更多相关《信息论与编码信息的度量优秀课件.ppt（65页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码信息的度量1第1页，本讲稿共65页2.5 联合熵和条件熵 联合熵：联合自信息量的统计平均。联合熵：联合自信息量的统计平均。条件熵：条件自信息量的统计平均条件熵：条件自信息量的统计平均各类熵之间的关系：与各类熵之间的关系：与各类自信息量之间的关系各类自信息量之间的关系对对应。应。2第2页，本讲稿共65页1 联合熵设联合概率空间为 联合符号 的先验不确定性称为联合自信息量:统计平均联合熵熵 的物理意义:信源 的平均不确定性。3第3页，本讲稿共65页2 条件熵设联合概率空间为 条件自信息量:统计平均条件熵4第4页，本讲稿共65页3 各类熵之间的关系同理总之熵的强可加性 推广5第5页，本讲
2、稿共65页各类熵之间的关系(续)于是因此，熵之间的关系简化：熵的可加性 推广：当 与 相互独立，则统计独立时，有6第6页，本讲稿共65页X01P2/31/3例 已知某离散信源如下，且其符号转移概率如右下所示，求H(X)、H(Y|X)和H(X,Y)7第7页，本讲稿共65页解：8第8页，本讲稿共65页另一方面：后验概率可以求出：可以求出条件熵：同样可以求出联合熵：9第9页，本讲稿共65页例例 已知一离散二维平稳信源已知一离散二维平稳信源一维概率一维概率 分布分布 二维概率分布二维概率分布 表表2.2 ajai0 01 12 20 01/41/41/181/180 01 11/181/181/31/
3、31/181/182 20 01/181/187/367/36求两种熵。求两种熵。10第10页，本讲稿共65页解解:(1)(1)计算条件概率计算条件概率二维条件概率分布表二维条件概率分布表2.3 ajai0 01 12 20 09/119/111/81/80 01 12/112/113/43/42/92/92 20 01/81/87/97/911第11页，本讲稿共65页(2)(2)(3)(3)另另12第12页，本讲稿共65页2.6 平均互信息量及其性质平均互信息量 平均互信息量的基本性质 13第13页，本讲稿共65页n 互信息量互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信
4、息量；互信息量可能为正数、负数、0；对于无干扰信道，I(xi;yj)=I(xi)xiyj信道p(xi):发送端发送 xi 的概率；P(xi|yj):接收端收到 yj 后，发送端发送 xi 的概率定义:14第14页，本讲稿共65页 为什么需要定义平均互信息量？互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。定义互信息量 在联合概率空
5、间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。15第15页，本讲稿共65页 平均互信息量：与 之间的平均互信息量 是统计平均意义下的先验不确定性与后验不确定性之差，也是互信息量 的统统计平均计平均：16第16页，本讲稿共65页1.对称性对称性根据互信息量的对称性，容易推得根据互信息量的对称性，容易推得I(X;Y)=I(Y;X)说明说明从集合从集合Y中获取中获取X的信息量，等于从的信息量，等于从集合集合X中获取中获取Y的信息量的信息量。17第17页，本讲稿共65页 2.与各种熵的关系与各种熵的关系I(X;Y)=H(X)H(X|Y)I(Y;X)=H(Y)H(
6、Y|X)I(X;Y)=H(X)+H(Y)H(XY)H(XY)为为X集合和集合和Y集合的集合的共熵共熵，或称，或称联合熵联合熵。共熵应该是共熵应该是联合符号集合联合符号集合XY上的每个元素对上的每个元素对xy的自信息量的的自信息量的概率加权统计平均值概率加权统计平均值。18第18页，本讲稿共65页I(X;Y)=H(X)+H(Y)H(XY)根据各种熵的定义，从该式可以清楚看出根据各种熵的定义，从该式可以清楚看出平均互信息量平均互信息量是一个表征信息流通的量是一个表征信息流通的量其物理意义就是其物理意义就是信源端的信息通过信道后信源端的信息通过信道后传输到信宿端的平均信息量传输到信宿端的平均信息量。
7、19第19页，本讲稿共65页 3有界性 各种熵以及平均互信息量之间的关系可用以下文氏图表示。熵、平均互信息量关系图20第20页，本讲稿共65页例例 已知信源空间已知信源空间 信道特性如图所示，求在该信道上传输的信道特性如图所示，求在该信道上传输的 平均互信息量平均互信息量I(X;Y)。图 信道特性21第21页，本讲稿共65页解解（1）根据根据P(xiyj)=P(xi)P(yj|xi)，求各联合概率，得，求各联合概率，得P(x1y1)=P(x1)P(y1|x1)=0.50.98=0.49P(x1y2)=P(x1)P(y2|x1)=0.50.02=0.01P(x2y1)=P(x2)P(y1|x2)
8、=0.50.20=0.10P(x2y2)=P(x2)P(y2|x2)=0.50.80=0.40（2）根据根据 ，求，求Y集合中各符号的概率，集合中各符号的概率，得得P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.50.980.50.2=0.59P(y2)=1 0.59=0.4122第22页，本讲稿共65页（3）根据）根据P(xi|yj)=P(xi yj)/P(yj)，求各后验概率，得，求各后验概率，得P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169P(x1|y2)=P
9、(x1y2)/P(y2)=0.01/0.41=0.024P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.97623第23页，本讲稿共65页（4）求熵，有 I(X;Y)=H(X)+H(Y)H(XY)=1+0.98-1.43=0.55 比特比特/信符信符24第24页，本讲稿共65页2.7 2.7 离散无记忆信源的扩展离散无记忆信源的扩展 DMSDMSDMS研究信源输出研究信源输出的的单个符号单个符号的的统计特性统计特性研究信源输出的研究信源输出的符号串符号串的统计特性的统计特性单符号信源单符号信源 的 次扩展信源多符号信源多符号信源?25第25页，本讲稿共65页输出的消息序列
10、中各符号之间无相互依赖关输出的消息序列中各符号之间无相互依赖关系的信源。亦称为系的信源。亦称为单符号离散平稳无记忆信单符号离散平稳无记忆信源的扩展信源源的扩展信源。序列长度就是扩展次数序列长度就是扩展次数。单符号信源单符号信源0，1经过扩展，经过扩展，变成了：变成了：00，01，10，11例2.2.126第26页，本讲稿共65页27第27页，本讲稿共65页 N 次扩展信源：离散无记忆信源 ，考虑任意N 个相邻时刻的输出随机变量 把 看成是一个新的离散无记忆信源的输出，称为 的N 次扩展信源。扩展信源 的熵：bit/N 元符号 28第28页，本讲稿共65页扩展信源的熵扩展信源的熵DMSDMS?因
11、为是DMS，故 独立同分布，所以29第29页，本讲稿共65页单符号信源如下单符号信源如下,求二次扩展信源熵求二次扩展信源熵扩展信源：扩展信源：例30第30页，本讲稿共65页31第31页，本讲稿共65页 扩展信源模型的求法扩展信源模型的求法例 设有离散无记忆信源 。（1）求 和 ；（2）当 时，计算 。解解 （1 1）求）求2 2次和次和3 3次扩展信源的符号表次扩展信源的符号表:32第32页，本讲稿共65页扩展信源模型的求法扩展信源模型的求法(续一续一)求概率：求概率：根据信源的无记忆特性，有根据信源的无记忆特性，有 同理可得：同理可得：33第33页，本讲稿共65页 扩展信源模型的求法扩展信源
12、模型的求法(续二续二)（2）当 时，计算 。有两种求法。方法一：方法一：Bit/Bit/符号符号Bit/Bit/三元符号三元符号方法二：方法二：Bit/Bit/三元符号三元符号34第34页，本讲稿共65页2.8 离散有记忆信源的熵离散有记忆信源的熵 N阶平稳信源 的联合熵 bit/N 长符号串 或 bit/符号 一般离散有记忆信源的极限熵：考虑 ，bit/符号 进一步推导可得出 35第35页，本讲稿共65页 如果 是无记忆的，则有 于是 bit/符号36第36页，本讲稿共65页2.10 离散信源的信息（速）率和信息含量效率信息率 信息速率 信息含量效率 相对冗余度 37第37页，本讲稿共65页
13、 信息率 用来衡量信源发出信息的能力。定义为平均一个符号所携带的信息量，即信源的实在信息，在数值上等于信源的极限熵。bit/符号信息速率 信源单位时间内发出的平均信息量。如果信源平均秒发出一个符号，则 bit/秒 38第38页，本讲稿共65页 信息含量效率 定义为实际的实在信息与最大的实在信息之比。显然 当且仅当 是DMS且等概率分布 （）时，。39第39页，本讲稿共65页 相对冗余度 表示信源含无效成份的程度。定义为当然也有当且仅当 ，。对于DMS，只须把公式中的极限熵 换成普通熵 即可。40第40页，本讲稿共65页信源的信息含量效率 ：信源的相对冗余度 ：当且仅当信源是DMS且等概率分布（
14、）时 例 设DMS为 。求信源的信息含量效率和相对冗余度。解：41第41页，本讲稿共65页作业:PP.2.6;2.10(1);2.11;42第42页，本讲稿共65页2.11 连续随机变量下的熵和平均互信息量2.11.1 连续随机变量下的熵2.11.2 连续随机变量下的平均互信息量2.11.3 微分熵的极大化问题2.11.4 连续信源的熵功率43第43页，本讲稿共65页作业：P.50 2.6 2.1144第44页，本讲稿共65页2.11.1 连续随机变量下的熵连续随机变量下的熵连续信源的数学模型 连续随机变量的微分熵 45第45页，本讲稿共65页连续信源 的数学模型 是连续随机变量，其取值集合是
15、连续区间 ，概率密度函数是 ，连续信源 的数学模型为：46第46页，本讲稿共65页连续随机变量 的微分熵 把连续熵看成离散熵的极限情况，将 的值域 等分为K 个子区间：，第k个子区间内的概率 为 ，这样得到一个离散随机变量 ，其概率空间为47第47页，本讲稿共65页 且概率空间是完备的：根据离散熵公式，有48第48页，本讲稿共65页 将区间 无限细分，即 ，对离散熵 取极限即可得连续熵 的实际值：第二项为无穷大，因此，连续熵为无穷大，失去意义。第一项表示连续熵的相对值，称其为连续随机变量 的微分熵，记为 。49第49页，本讲稿共65页 微分熵的更一般的定义式为 微分熵 就不当作连续随机变量的真
16、正测度。在考虑熵的变化时，微分熵仍具相对意义。微分熵是去掉无穷大项后剩下的有限项，因此失去作为不确定性度量的某些重要性质，如：不具备非负性，可能出现负值；在随机变量的一一变换之下，微分熵可能改变。50第50页，本讲稿共65页连续随机变量 和 之间的平均互信息量51第51页，本讲稿共65页平均互信息量与微分熵之间的关系 即 连续情况下的平均互信息量有实际的物理意义，仍具有互易性和非负性，即 52第52页，本讲稿共65页求均匀分布的连续信源熵例2.3.153第53页，本讲稿共65页2 2 平均互信息量的物理解释平均互信息量的物理解释信源观察过程 从从从从 中获得的关于中获得的关于中获得的关于中获得
17、的关于 的信息的信息的信息的信息 的先验的先验的先验的先验(平均平均平均平均)不确定性不确定性不确定性不确定性 的后验的后验的后验的后验(平均平均平均平均)不确定性不确定性不确定性不确定性54第54页，本讲稿共65页3 3 公式推导公式推导?推导推导:55第55页，本讲稿共65页4 4 平均互信息量的性质平均互信息量的性质（1 1）互易性）互易性:说明说明:56第56页，本讲稿共65页（2 2）非负性：）非负性：注意：可正可负。条件熵不会大于无条件熵，增加条件只可能使不确定性减小，不会增大不确定性 推广：条件多的熵不会大于条件少的熵推广：条件多的熵不会大于条件少的熵 。即。即57第57页，本讲
18、稿共65页（3 3）有界性）有界性 ：简证：简证：58第58页，本讲稿共65页例例 均匀分布随机变量的熵均匀分布随机变量的熵设连续随机变量服从均匀分布，即概率密度函数为：设连续随机变量服从均匀分布，即概率密度函数为：由微分熵定义式，由微分熵定义式，有有注意：注意：微分熵不具备非负性！微分熵不具备非负性！59第59页，本讲稿共65页60第60页，本讲稿共65页2.11.3 微分熵的极大化问题微分熵的极大化问题 求连续随机变量的最大微分熵，还须附加一些约束条件，如幅值受限、功率受限等等。1 幅值受限 2 方差受限61第61页，本讲稿共65页1 幅值受限 即随机变量的取值受限于某个区间之间。幅值受限
19、和峰值功率等价。在幅值受限条件下，随机变量服从均匀分布时，微分熵最大。定理定理 设 的取值受限于有限区间 ，则 服从均匀分布时，其熵达到最大。62第62页，本讲稿共65页2 方差受限 设 的方差受限为 ，即 式中 为 的均值。而 所以 也就是说，均值一定时，方差受限为 等价于平均功率受限于 。方差受限条件下，随机变量服从高斯分布时，微分熵最大。63第63页，本讲稿共65页 定理定理 设 的均值为 ，方差受限为 ，则 服从高斯分布时，其熵达到最大。当 服从均值为 、方差为 的高斯分布时，其熵最大，最大熵为 特例：当均值为零时，这时，定理的结论为 的高斯分布时，其熵达到最大，最大熵为64第64页，本讲稿共65页65第65页，本讲稿共65页