信息论讲义第三讲精选PPT.ppt-淘文阁

资源描述

《信息论讲义第三讲精选PPT.ppt》由会员分享，可在线阅读，更多相关《信息论讲义第三讲精选PPT.ppt（68页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、信息论讲义第三讲1第1页，此课件共68页哦第二章第二章信息的统计度量信息的统计度量内容提要内容提要 2.1 自信息量自信息量和和条件自信息量条件自信息量 2.2 互信息量互信息量和和条件互信息量条件互信息量 2.3 离散集的离散集的平均平均自信息量自信息量 2.4 离散集的离散集的平均平均互信息量互信息量 2第2页，此课件共68页哦2.3 2.3 离散集的平均自信息量离散集的平均自信息量2.3.1平均自信息量（熵平均自信息量（熵,Entropy）熵的定义熵的定义熵的性质熵的性质2.3.2 条件熵和联合熵条件熵和联合熵2.3.3 各种熵的关系各种熵的关系2.3.4 加权熵加权熵加权熵定义加

2、权熵定义加权熵性质加权熵性质3第3页，此课件共68页哦2.3.1 平均自信息量（熵平均自信息量（熵,Entropy）一、平均自信息量定义一、平均自信息量定义在离散集在离散集X上，上，随机变量随机变量I(xi)的的数学期望数学期望定义为定义为平平均自信息量均自信息量又称作集又称作集X的的信息熵信息熵，简称，简称熵熵。信息熵信息熵H(X)表示表示信源输出前信源输出前,信源的信源的平均不确定性平均不确定性。信信息息熵熵H(X)表表示示信信源源输输出出后后,每每个个离离散散消消息息所所提提供供的的平平均均信信息息量量。信息熵信息熵H(X)反映了变量反映了变量X的的随机性随机性 4第4页，此课件共

3、68页哦香农熵与热力学中热熵的关系相似相似热熵，热熵，是表示分子混乱程度的一个物理量，描述一个系统在描述一个系统在某时刻可能出现的有关某时刻可能出现的有关状态状态的的不确定程度不确定程度。香农引用它来描述信源的平均不确定性，含义是类似的。区别区别在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵负热熵。释：释：（1）信息熵借鉴了）信息熵借鉴了统计力学统计力学中中热熵热熵的概念。的概念。5第5页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）(2)信息熵信息熵H(X)是信源输出消息是信源输出消息x

4、i的自信息量的自信息量I(xi)的的概概率加权平均值率加权平均值，即统计平均值。，即统计平均值。信息熵信息熵H(X)是从平均意义上表征信源总体的一个量，是从平均意义上表征信源总体的一个量，是信源的是信源的统计平均不确定性统计平均不确定性的描述的描述。6第6页，此课件共68页哦有两个信源，其概率空间分别为有两个信源，其概率空间分别为有两个信源，其概率空间分别为有两个信源，其概率空间分别为信息熵分别为信息熵分别为信息熵分别为信息熵分别为H(X)=-0.99log0.99-0.01log0.01=0.08 H(X)=-0.99log0.99-0.01log0.01=0.08 H(X)=-0.99lo

5、g0.99-0.01log0.01=0.08 H(X)=-0.99log0.99-0.01log0.01=0.08 比特比特比特比特/符号符号符号符号H(Y)=-0.5log0.5-0.5log0.5=1 H(Y)=-0.5log0.5-0.5log0.5=1 H(Y)=-0.5log0.5-0.5log0.5=1 H(Y)=-0.5log0.5-0.5log0.5=1 比特比特比特比特/符号符号符号符号可见可见可见可见 H(Y)H(X)H(Y)H(X)H(Y)H(X)H(Y)H(X)结论：结论：结论：结论：信源信源信源信源Y Y Y Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的

6、二个输出消息是等可能性的，所以事先猜测哪一个消息出现的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大；的不确定性要大；的不确定性要大；的不确定性要大；信源信源信源信源X X X X的二个输出消息不是等概率的，事先猜测的二个输出消息不是等概率的，事先猜测的二个输出消息不是等概率的，事先猜测的二个输出消息不是等概率的，事先猜测x x x x1和和和和x x x x2哪一个出现，虽哪一个出现，虽哪一个出现，虽哪一个出现，虽然具有不确定性，但大致可以猜出然具有不确定性，但大致可以猜出然具有不确定性，但大致可以猜出然具有不确定性，

7、但大致可以猜出x x x x1会出现，所以信源会出现，所以信源会出现，所以信源会出现，所以信源X X X X的不确定性要小；的不确定性要小；的不确定性要小；的不确定性要小；信息熵反映的就是信源输出前平均不确定程度的大小。信息熵反映的就是信源输出前平均不确定程度的大小。信息熵反映的就是信源输出前平均不确定程度的大小。信息熵反映的就是信源输出前平均不确定程度的大小。2.3.1 平均自信息量（续）平均自信息量（续）7第7页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）(3)信息熵是概率矢量信息熵是概率矢量P=(p1,p2,pq)的函数的函数(4)单位：由自信息量单位确定。单位：由

8、自信息量单位确定。以以2为底时，记为为底时，记为 H(x)以以r为底时，记为为底时，记为 Hr(x)例：例：中、英、俄、法、西五国文字的信息熵中、英、俄、法、西五国文字的信息熵法文法文 3.98 bit 西班牙文西班牙文 4.01 bit 英文英文 4.03 bit 俄文俄文 4.35 bit 中文中文 9.65 bit8第8页，此课件共68页哦例：例：设甲地的天气预报为：晴设甲地的天气预报为：晴(占占48)、阴、阴(占占28)、大雨、大雨(占占18)、小雨小雨(占占18)。又设乙地的天气预报为：晴。又设乙地的天气预报为：晴(占占78)，小雨，小雨(占占18)。试求两地天气预报各自提供的平均

9、信息量。若甲地天气预报为两极试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为端情况，一种是晴出现概率为1而其余为而其余为0。另一种是晴、阴、小雨、。另一种是晴、阴、小雨、大雨出现的概率都相等为大雨出现的概率都相等为14。试求这两极端情况所提供的平均信息量。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。2.3.1 平均自信息量（续）平均自信息量（续）9第9页，此课件共68页哦解：甲地天气预报构成的信源空间为解：甲地天气预报构成的信源空间为则其提供的平均信息量即信源的信息熵则其提供

10、的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵:乙地天气预报的信源空间为乙地天气预报的信源空间为:结论结论结论结论：甲地：甲地：甲地：甲地天气预报天气预报提供的平均信息量大于乙地，因为乙地比甲地的平提供的平均信息量大于乙地，因为乙地比甲地的平提供的平均信息量大于乙地，因为乙地比甲地的平提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。均不确定性小。均不确定性小。均不确定性小。10第10页，此课件共68页哦甲地极端情况极端情况极端情况1：晴天概率：晴天概率1n 结论结论：等概率分布等概率分布时信源的不确定性最大，所以时信源的不确定性最大，所

11、以信息熵信息熵（平均信息量）（平均信息量）最大最大。极端情况极端情况2：各种天气等概率分布：各种天气等概率分布11第11页，此课件共68页哦乙地极端情况极端情况极端情况1：晴天概率：晴天概率1n 结论结论：在极端情况：在极端情况2下，甲地比乙地提供更多的信息量。下，甲地比乙地提供更多的信息量。因为，甲地可能出现的消息数比乙地可能出现的消息数多。因为，甲地可能出现的消息数比乙地可能出现的消息数多。极端情况极端情况2：各种天气等概率分布：各种天气等概率分布12第12页，此课件共68页哦例：电视屏上约有例：电视屏上约有 500 600=3 105个格点，按每个格点，按每点有点有 10个不同的灰度等

12、级考虑，则共能组成个不同的灰度等级考虑，则共能组成n=103x10个不同个不同的画面。按等概率的画面。按等概率1/103x10计算，平均每个画面可提供的计算，平均每个画面可提供的信息量为信息量为 =3 105 3.32 比特比特/画面画面 2.3.1 平均自信息量（续）平均自信息量（续）13第13页，此课件共68页哦例例：有有一一篇篇千千字字文文章章，假假定定每每字字可可从从万万字字表表中中任任选选，则则共共有有不不同的千字文同的千字文 N=100001000=104000 篇篇仍按等概率仍按等概率1/100001000计算，平均每篇千字文可提供的信计算，平均每篇千字文可提供的信息量为息量为

13、 H（X）log2N 4 103 332 13 104 比特千字文比特千字文比较：比较：“一个电视画面一个电视画面”平均提供的信息量远远超过平均提供的信息量远远超过“一篇千一篇千字文字文”提供的信息量。提供的信息量。2.3.1 平均自信息量（续）平均自信息量（续）14第14页，此课件共68页哦例：该信源例：该信源X输出符号只有两个，设为输出符号只有两个，设为0和和1。输。输出符号发生的概率分别为出符号发生的概率分别为p和和q，pq=l。即信。即信源的概率空间为源的概率空间为则二元信源熵为则二元信源熵为 H（X）=-plogp-qlogq =-plogp-(1-p)log(1-p)=H(p)

14、2.3.1 平均自信息量（续）平均自信息量（续）15第15页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）信源信息熵信源信息熵H(X)是概率是概率p的函数，的函数，通常用通常用H(p)表示。表示。p取值于取值于0，1区间。区间。H(p)函数曲线如函数曲线如图所示。从图中看出，如果图所示。从图中看出，如果二元信源的输出符号是确定二元信源的输出符号是确定的，即的，即p=1或或q=1，则该信源，则该信源不提供任何信息。反之，当不提供任何信息。反之，当二元信源符号二元信源符号0和和1以等概率以等概率发生时，信源熵达到极大值，发生时，信源熵达到极大值，等于等于1比特信息量。比特信息量

15、。16第16页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）一、熵函数的数学性质一、熵函数的数学性质（1）对称性）对称性当概率矢量当概率矢量P=(p1,p2,pq)中的中的q个分量的次序个分量的次序任意变更时，熵值不变。任意变更时，熵值不变。物理意义物理意义：熵仅与信源总体的统计特性有关熵仅与信源总体的统计特性有关(总体性总体性)。如果某些信源总体的统计特性相同，不管其内部结如果某些信源总体的统计特性相同，不管其内部结构如何，这些信源的熵值相同。构如何，这些信源的熵值相同。17第17页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质例例:H(X

16、)=H(Y)=H(Z)意义：意义：信息熵相同，表信息熵相同，表示三个信源总体示三个信源总体特性相同特性相同说明熵定义具有说明熵定义具有局限性局限性18第18页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质例例:设设A、B两地的天气情况分别为两地的天气情况分别为求得求得H(A)=H(B)=1.75 bits，显然冰雹将导致严重灾，显然冰雹将导致严重灾害，人们应更加重视，但未能从熵中反映出来，害，人们应更加重视，但未能从熵中反映出来，从而有了从而有了加权熵加权熵的概念。的概念。晴多云雨冰雹A地B地1/21/21/41/81/81/81/81/419第19页，此课件共

17、68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质（2）非负性）非负性等号成立等号成立的的充要条件：充要条件：当且仅当集合当且仅当集合X中某元素中某元素xi 的发生概率的发生概率pi=1，其余，其余pk=0(ki)，即，即确定概率场的熵值最小确定概率场的熵值最小。物理意义：物理意义：从总体来看，若某信源虽然有不同的输出符号，但它从总体来看，若某信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其他符号几乎都不可能出只有一个符号几乎必然出现，而其他符号几乎都不可能出现，则这个信源是一个现，则这个信源是一个确知信源确知信源，其，其信源熵等于零信源熵等于零。20第20页，此课

18、件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质（3）扩展性）扩展性表明表明：若集合若集合X有有q个事件，另一集合个事件，另一集合X有有q+1个事件，个事件，但但X和集和集X的差别只是多了一个的差别只是多了一个概率近于零的事概率近于零的事件件，则两个集的熵值一样，则两个集的熵值一样，即：若某事件的概率同集合中其他事件相比很即：若某事件的概率同集合中其他事件相比很小时，则它对于集合的熵值的贡献可以忽略。小时，则它对于集合的熵值的贡献可以忽略。21第21页，此课件共68页哦本性质说明，信源的取值增多时，若这些取值对应的本性质说明，信源的取值增多时，若这些取值对应的概率很小（

19、接近于零），则信源的熵不变。概率很小（接近于零），则信源的熵不变。虽然概率很小的事件出现后，给予收信者较多的虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。重很小。这也是熵的总体平均性的一种体现。2.3.1 平均自信息量（续）平均自信息量（续）-性质性质22第22页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质（4）可加性）可加性如果有两个随机变量如果有两个随机变

20、量X,Y，他们不是相互独立的，则，他们不是相互独立的，则二维随机变量二维随机变量(X,Y)的熵的熵等于等于X的无条件熵的无条件熵加上加上当当X已给定时已给定时Y的条件概率定义的熵的条件概率定义的熵的的统计平均值统计平均值，即，即23第23页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质(5)极值性极值性式中，式中，n是集合的元素数目。是集合的元素数目。证明：对于任意实数，有证明：对于任意实数，有 x0,有有则可等价为则可等价为24第24页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质即即因此因此即即集合集合X的任意概率分布的任意概

21、率分布pi对其他概率分布对其他概率分布qi自信自信息的数学期望必不小于本身定义的熵息的数学期望必不小于本身定义的熵H(p1,p2,pq)25第25页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质证明极值性证明极值性最大熵定理最大熵定理：离散集合中各事件等概分布时，信息离散集合中各事件等概分布时，信息熵达到最大。熵达到最大。应用应用：(1)图像均衡处理，对比度强，层次丰富图像均衡处理，对比度强，层次丰富(2)PCB、FPGA自动布线，获得最稳定的工程拓扑结自动布线，获得最稳定的工程拓扑结构设计。构设计。(3)统计推断、频谱分析、最佳编码、故障诊断等统计推断、频谱分

22、析、最佳编码、故障诊断等26第26页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质(6)确定性确定性物理意义：物理意义：(1)集合集合X中只要有一个事件为必然事件，则其余事件中只要有一个事件为必然事件，则其余事件为不可能事件。为不可能事件。(2)此时，集合此时，集合X中每个事件对熵的贡献都为零，因而熵中每个事件对熵的贡献都为零，因而熵必为零。必为零。(3)此时信源此时信源X为为确定信源确定信源，不能从中获得任何信息，不能从中获得任何信息27第27页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质（7）上凸性）上凸性是概率分布是概率分布

23、的严格的严格上凸函数。上凸函数。28第28页，此课件共68页哦x1x2x1+(1-)x2f(x)f(x1)+(1-)f(x2)f x1+(1-)x2xY02.3.1 平均自信息量（续）平均自信息量（续）-性质性质29第29页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质30第30页，此课件共68页哦即给定集合即给定集合和和取取构造构造则有则有证明：将证明：将按定义展开，易得小于按定义展开，易得小于02.3.1 平均自信息量（续）平均自信息量（续）-性质性质31第31页，此课件共68页哦（8）递增性）递增性若原信源若原信源 X 中中有一个符号分割成了有一个符

24、号分割成了m个元素个元素(符号符号)，这这m个元素的概率之和等于原元素的概率，而其他符号的概个元素的概率之和等于原元素的概率，而其他符号的概率不变，则率不变，则新信源的熵增加新信源的熵增加。熵的增加量等于由分割而产生的不确定性量。熵的增加量等于由分割而产生的不确定性量。2.3.1 平均自信息量（续）平均自信息量（续）-性质性质32第32页，此课件共68页哦2.3.1 平均自信息量（续）平均自信息量（续）-性质性质33第33页，此课件共68页哦它表示它表示n个元素的信源熵可以递推成个元素的信源熵可以递推成(n-1)个二元信源个二元信源的熵函数的加权和。这样，可使的熵函数的加权和。这样，可使多元信

25、源的熵函数的计多元信源的熵函数的计算简化成计算若干个二元信源的熵函数算简化成计算若干个二元信源的熵函数。因此，熵函数。因此，熵函数的递增性又可称为递推性。的递增性又可称为递推性。2.3.1 平均自信息量（续）平均自信息量（续）-性质性质34第34页，此课件共68页哦例例：运用熵函数的递增性，计算熵函数：运用熵函数的递增性，计算熵函数H(1/3，1/3，1/6，1/6)的数值。的数值。2.3.1 平均自信息量（续）平均自信息量（续）-性质性质35第35页，此课件共68页哦2.3.2 条件熵、联合熵条件熵、联合熵条件熵（条件熵（Conditional Entropy）联合集联合集XY上，条件自信息

26、量上，条件自信息量I(y|x)的概率加权平均值定义为条件的概率加权平均值定义为条件熵。熵。定义式为定义式为H(Y|X)在集合在集合X中给定事件中给定事件xi发生条件下集合发生条件下集合Y的熵为的熵为36第36页，此课件共68页哦物理含义物理含义：已知一随机变量的情况下，对另一随机变量不确定性的量度观测Y以后，仍保留的关于X的不确定量。2.3.2 条件熵、联合熵条件熵、联合熵37第37页，此课件共68页哦疑义度疑义度?信道上的干扰和噪声所造成的对信源符号信道上的干扰和噪声所造成的对信源符号X X的平均不确定度的平均不确定度H H（X|YX|Y），故称为，故称为疑义度疑义度。释释:1)1)H H

27、（X X）是符号集合）是符号集合X X的熵或不确定度的熵或不确定度.2)2)H H（X|YX|Y）是当）是当Y Y已知时已知时X X的不确定度的不确定度.3)“Y Y已知已知”这件事使这件事使X X的不确定度减少了的不确定度减少了I I（X X；Y Y）.4)4)信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量。信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量。5)5)I I（X X；Y Y）是有扰离散信道上能传输的平均信息量，而）是有扰离散信道上能传输的平均信息量，而H H（X|YX|Y）是）是在在Y Y条件下要唯一地确定信源发出符号所需要的平均信息量。条件下要唯一地确定

28、信源发出符号所需要的平均信息量。2.3.2 条件熵、联合熵条件熵、联合熵38第38页，此课件共68页哦噪声熵噪声熵或或散布度散布度?条件熵条件熵H H（Y|XY|X）唯一地确定信道噪声所需要的平均信息量，）唯一地确定信道噪声所需要的平均信息量，故又称故又称噪声熵噪声熵或或散布度散布度。释释:平均互信息量可看作在有扰离散信道上传递消息时，唯平均互信息量可看作在有扰离散信道上传递消息时，唯一地确定接收符号一地确定接收符号y y所需要的平均信息量所需要的平均信息量H H（Y Y），减去当信源），减去当信源发出符号为已知时需要确定接收符号发出符号为已知时需要确定接收符号 y y所需要的平均信息量所需要

29、的平均信息量H H（Y|XY|X）。）。2.3.2 条件熵、联合熵条件熵、联合熵39第39页，此课件共68页哦信源发出的信息量在信道上全部损失掉了，故称为信源发出的信息量在信道上全部损失掉了，故称为全全损离散信道损离散信道。分析分析:I（X；Y）H（X）-H（XY）如果如果X与与Y是相互独立的，那么是相互独立的，那么Y已知时已知时X的条件概率的条件概率等于等于X的无条件概率，由于熵就是这概率的对数的数学的无条件概率，由于熵就是这概率的对数的数学期望，期望，X的条件熵就等于的条件熵就等于X的无条件熵，此时的无条件熵，此时I（X；Y）=0。2.3.2 条件熵、联合熵条件熵、联合熵40第40页，此

30、课件共68页哦2.3.2 条件熵、联合熵条件熵、联合熵联合熵联合熵(Joint Entropy)联合集上，每对元素的自信息量联合集上，每对元素的自信息量I(xiyj)的概率加的概率加权平均值定义为联合熵，也称共熵。权平均值定义为联合熵，也称共熵。定义式为定义式为H(Y,X)41第41页，此课件共68页哦解：信源解：信源X的熵为：的熵为：例：有两个同时输出的信源例：有两个同时输出的信源X和和Y，其中，其中X的信源符号为的信源符号为A，B，C，Y的信源符号为的信源符号为D，E，F，G，已知，已知 P(X)和和P（Y|X），求联合信），求联合信源的联合熵和条件熵。源的联合熵和条件熵。XABCP(x)

31、1/21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/642第42页，此课件共68页哦信源信源XY输出每一对消息的联合概率为：输出每一对消息的联合概率为：P(XY)=P(Y/X)P(X)，结果，结果如下表：如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36联合信源的联合信源的联合信源的联合信源的联合熵：联合熵：联合熵：联合熵：2.3.2 条件熵、联合熵条件熵、联合熵43第43页，此课件共68页哦信源信源Y的条件熵：的条件熵：信道散布度信道散布度 (噪声熵噪声熵)

32、2.3.2 条件熵、联合熵条件熵、联合熵从上述结果可得：从上述结果可得：H(XY)=H(X)+H(Y/X)=1.461+1.956=3.417(bit/每对符号每对符号)44第44页，此课件共68页哦对第二个信源对第二个信源Y，其熵，其熵H(Y)的计算。由全概率公式：的计算。由全概率公式：因此：因此：2.3.2 条件熵、联合熵条件熵、联合熵45第45页，此课件共68页哦例：二进制通信系统用符号“0”和“1”,由于存在失真,传输时会产生误码,用符号表示下列事件：u0：一个“0”发出：u1：一个“1”发出 v0：一个“0”收到；v1：一个“1”收到。给定下列概率：p(u0)1/2,p(v0|u0)

34、1)=1/21/2=1/42.3.2 条件熵、联合熵条件熵、联合熵47第47页，此课件共68页哦解法1：解法2 H(UV)=H(U)+H(V|U)=1+0.91=1.91比特/符号2.3.2 条件熵、联合熵条件熵、联合熵48第48页，此课件共68页哦解法1：解法2：利用贝叶斯公式:同理:p(u1|v0)=2/5，p(u0|v1)=1/3，p(u1|v1)=2/32.3.2 条件熵、联合熵条件熵、联合熵49第49页，此课件共68页哦例:一个二进信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率:p

36、)p(y2|x1)=1/31/2=1/6条件熵2.3.2 条件熵、联合熵条件熵、联合熵51第51页，此课件共68页哦2.3.3 各种熵的关系各种熵的关系（1 1）联合熵与信息熵、条件熵的关系）联合熵与信息熵、条件熵的关系如果集如果集X和集和集Y相互统计独立相互统计独立，则有，则有此外，由上面两个结论式，可得此外，由上面两个结论式，可得52第52页，此课件共68页哦2.3.3 各种熵的关系各种熵的关系证明：证明：53第53页，此课件共68页哦2.3.3 各种熵的关系各种熵的关系推广到多维，有推广到多维，有称为链式关系称为链式关系(Chain Rules for Entropy)54第54页，

37、此课件共68页哦2.3.3 各种熵的关系各种熵的关系（2）共熵与信息熵的关系）共熵与信息熵的关系等式成立的条件是集等式成立的条件是集X和集和集Y相互统计独立，即当相互统计独立，即当时取等号。时取等号。推广到多维，有推广到多维，有等号成立的充要条件是等号成立的充要条件是相互统计独立。相互统计独立。55第55页，此课件共68页哦2.3.3 各种熵的关系各种熵的关系证明：证明：56第56页，此课件共68页哦2.3.3 各种熵的关系各种熵的关系（3 3）条件熵与通信熵的关系）条件熵与通信熵的关系证明：证明：应用詹森不等式（应用詹森不等式（Jensen InequalityJensen Ineq

38、uality）57第57页，此课件共68页哦2.3.4 加权熵加权熵离散无记忆信源离散无记忆信源X P W 的加权熵定义为的加权熵定义为加权熵的性质加权熵的性质（1）非负性）非负性（2）若权中若权中，则，则58第58页，此课件共68页哦2.3.4 加权熵加权熵（3 3）确定性）确定性若若，而，而，则加权熵为零，即，则加权熵为零，即（4 4）若若，I,J为样本空间，并且为样本空间，并且，则加权熵为零，即，则加权熵为零，即59第59页，此课件共68页哦作业作业2.19 2.24 2.2560第60页，此课件共68页哦2.4 2.4 离散集的平均互信息量离散集的平均互信息量2.4.1 平

39、均条件互信息量平均条件互信息量2.4.2 平均互信息量平均互信息量2.4.3 平均互信息量的性质平均互信息量的性质61第61页，此课件共68页哦2.4.1 平均条件互信息量平均条件互信息量平均条件互信息量的定义平均条件互信息量的定义在联合集在联合集XY上，由上，由yj提供的关于集提供的关于集X的平均条件互信的平均条件互信息等于由息等于由yj所提供的互信息量所提供的互信息量I(xi;yj)在整个在整个X中以后验概中以后验概率加权的平均值，其定义式为率加权的平均值，其定义式为式中，式中，p(xi|yj)为后验概率。它又可以表示为为后验概率。它又可以表示为62第62页，此课件共68页哦2.4.1

40、平均条件互信息量平均条件互信息量平均条件互信息量的性质平均条件互信息量的性质联合集联合集XY上的平均条件互信息量有上的平均条件互信息量有等号成立条件：等号成立条件：当且仅当集当且仅当集X中的各个中的各个xi都与事件都与事件yj相相互独立。互独立。63第63页，此课件共68页哦2.4.1 平均条件互信息量（续）平均条件互信息量（续）证明：证明：64第64页，此课件共68页哦假设一条电线上串联了8个灯泡x1,x2，x8如图，这8个灯泡损坏的概率相等p(xi)=1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。2.4.2 平均互信息量平均互信息量65第65页，此课件共68页哦信源消息

41、x1 x2x3x4x5x6x7x8先验概率 1/81/81/81/81/81/81/81/8后验概率第1次测量y1/41/41/41/4第2次测量z1/21/2第3次测量w1要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得3个bit的信息量 2.4.2 平均互信息量（续）平均互信息量（续）66第66页，此课件共68页哦方法2：逐个检查第1次:x1坏,获得信息量=3bit,可能性较小1/8；x1通,其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit获得信息量=3-2.8073=0.1927bit,可能性较大7/8第1次所获得的平均信息量:“对半开”第1次所获得的平均信息量:2.4.2 平均互信息量（续）平均互信息量（续）67第67页，此课件共68页哦2.4.2 平均互信息量平均互信息量平均互信息量平均互信息量定义定义互信息量互信息量 I(X;yj)在整个集在整个集Y上的概率加权平均上的概率加权平均值。其定义式为值。其定义式为平均互信息量的性质平均互信息量的性质（1）非负性）非负性当且仅当当且仅当X与与Y相互独立时，等号成立。相互独立时，等号成立。68第68页，此课件共68页哦

展开阅读全文