信息论第二章信息的度量.ppt

《信息论第二章信息的度量.ppt》由会员分享，可在线阅读，更多相关《信息论第二章信息的度量.ppt（88页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、关于信息论第二章信息的度量现在学习的是第1页，共88页内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第第2章章信息的度量信息的度量现在学习的是第2页，共88页2.1 自信息量和互信息量自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。互信一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。息量则表明了两个随机事件的相互约束程度。对对于于随随机机事事件

2、件集集X=x1，x2，xi，xI中中的的随随机机事事件件xi，其其出出现现概概率率记记为为q(xi)，将将两两个个事事件件xi,yj同同时时出出现现的的概概率率记记为为p(xi yj)，则则q(xi)，p(xi yj)应满足应满足：相应的条件概率为相应的条件概率为现在学习的是第3页，共88页信息量直观的定义为：收到某消息获得的信息量收到某消息获得的信息量=不确定性减少的量不确定性减少的量 将某事件发生所得到的信息量记为将某事件发生所得到的信息量记为I(x)，I(x)应该是该应该是该事件发生的概率的函数，即事件发生的概率的函数，即I(x)=)=f q(x)211 自信息量和条件自信息量现在学习的

3、是第4页，共88页自信息量自信息量 联合联合 自信息量自信息量条件条件 自信息量自信息量信息量信息量现在学习的是第5页，共88页1自信息量自信息量 直观地看，自信息量的定义应满足以下四点：直观地看，自信息量的定义应满足以下四点：a.I(x)应该是应该是q(x)的单调递减函数：概率小的事件的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；则赋予的信息量小；b.b.信息量应具有可加性：对于两个独立事件，其信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；信息量应等于各事件自信息量之和；c.c.

4、当当q(x)=1时，时，I(x)=0：表示确定事件发生得不：表示确定事件发生得不到任何信息；到任何信息；d.d.当当q(x)=0时，时，I(x)：表示不可能事件一旦表示不可能事件一旦发生，信息量将无穷大。发生，信息量将无穷大。现在学习的是第6页，共88页综合上述条件，将综合上述条件，将自信息量定义自信息量定义为为:(2-1)(2-1)自信息量的单位与自信息量的单位与log函数函数所选用的对数底数有关，所选用的对数底数有关，如底数分别取如底数分别取 2 2、e e、10 10，则自信息量单位分别为：比特、奈特、哈特则自信息量单位分别为：比特、奈特、哈特现在学习的是第7页，共88页一个以等概率出现

5、的二进制码元一个以等概率出现的二进制码元(0,1)(0,1)所包含的自信息量为所包含的自信息量为1bit1bit。现在学习的是第8页，共88页【例例2.3】若若盒盒中中有有6 6个个电电阻阻，阻阻值值为为1、2、3的的分分别别为为2个个、1个个、3个个，将将从从盒盒子子中中取取出出阻阻值值为为i的的电电阻阻记记为为事事件件 （i=1，2，3），），则事件集则事件集X=x1,x2,x3，其概率分布其概率分布 计算出各事件的自信息量列表计算出各事件的自信息量列表2-12-1如下：如下：消息消息xi x1 x2 x3 概率分概率分布布q(xi)1/3 1/6 1/2 自信息自信息量量I(xi)log

6、3 log6 log2 现在学习的是第9页，共88页自信息自信息量具有下列性质量具有下列性质:图图2.1 对数曲线对数曲线1是非负值是非负值。现在学习的是第10页，共88页23的的单调递减单调递减函数。函数。4自信息量自信息量现在学习的是第11页，共88页自信息量自信息量I(xi)代表两种含义代表两种含义：1.1.事件事件xi发生以前，表示事件发生的先验不确定性发生以前，表示事件发生的先验不确定性2.2.当事件当事件xi发生以后，表示事件发生以后，表示事件xi所能提供的最大信所能提供的最大信息量（在无噪情况下）息量（在无噪情况下）现在学习的是第12页，共88页 二维联合集二维联合集X Y上元素

7、上元素xi yj的联合自信息量的联合自信息量I(xi yj)定义定义为：为：(2-3)2.2.联合自信息量联合自信息量其中),2,1;,2,1(1)(0mjnibapjiLL=现在学习的是第13页，共88页3.条件自信息量条件自信息量 在在已已知知事事件件yj条条件件下下,随随机机事事件件xi发发生生的的概概率率为为条条件件概概率率(xiyj),条件自信息量条件自信息量 定义为：定义为：(2-(2-5)5)代入式代入式自信息量的公式自信息量的公式就有就有现在学习的是第14页，共88页 联合自信息量和条件自信息也满足联合自信息量和条件自信息也满足非负非负和和单调单调递减递减递减递减性性 ，同时，

8、它们也都是随机变量，同时，它们也都是随机变量。自信息量、条件自信息量和联合自信息量之间有自信息量、条件自信息量和联合自信息量之间有如下关系式：如下关系式：4.联合自信息量和条件自信息量间的关系联合自信息量和条件自信息量间的关系现在学习的是第15页，共88页【例例2.6】某某住住宅宅区区共共建建有有若若干干栋栋商商品品房房，每每栋栋有有5个个单单元元，每每个个单单元元住有住有12户，甲要到该住宅区找他的朋友乙，若：户，甲要到该住宅区找他的朋友乙，若：1.甲甲只只知知道道乙乙住住在在第第5栋栋，他他找找到到乙乙的的概概率率有有多多大大？他他能能得得到到多多少少信信息？息？2.甲甲除除知知道道乙乙住

9、住在在第第5栋栋外外，还还知知道道乙乙住住在在第第3单单元元，他他找找到到乙乙的的概概率又有多大？他能得到多少信息率又有多大？他能得到多少信息？用用xi代表单元数，代表单元数，yj代表户号：代表户号：（1 1）甲甲找找到到乙乙这这一一事事件件是是二二维维联联合合集集X Y上上的的等等概概分分布布 ，这一事件提供给甲的信息量为这一事件提供给甲的信息量为 I(xi yj)=-)=-log p(xi yj)=log60=5.907（比特）比特）（2 2）在在二二维维联联合合集集X Y上上的的条条件件分分布布概概率率为为 ，这这一一事事件件提提供供给甲的信息量为条件自信息量给甲的信息量为条件自信息量

10、I(yjxi)=-)=-logp(yjxi)=log12=)=log12=3.585（比特）比特）现在学习的是第16页，共88页1.互信息量互信息量信信源源符符号号X=x1，x2，xI，xi a1,a2,ak，i=1,.,I。信信 宿宿 方方 接接 收收 到到 符符 号号 Y=y1，y2，yJ，yj b1,b2,bD，j=1,2,J J。图21简单的通信模型x1，x2，xIy1，y2，yJ信源符号集信源符号集 a1,a2,ak 信源信源 b1,b2,bD 信宿符号集信宿符号集干扰干扰信道信道信宿信宿212互信息量和条件互信息量互信息量和条件互信息量现在学习的是第17页，共88页 事件事件xi是

11、否发生具有不确定性，用是否发生具有不确定性，用I(xi)度量。度量。接接收收到到符符号号yj后后，事事件件xi是是否否发发生生仍仍保保留留有有一一定定的的不不确确定定性性，用用I(xiyj)度量。度量。观观察察事事件件前前后后，这这两两者者之之差差就就是是通通信信过过程程中中所所获获得得的的信信息息量量，用用I(xi;yj)表示：表示：。注：式（注：式（2-6）的）的I(xi；yj)和式（和式（2-3）的）的I(xiyj)的区别在于：的区别在于：前者是事件前者是事件xiX和事件和事件yjY之间的互信息量，之间的互信息量，后者是二维空间后者是二维空间XY上元素上元素xi yj 的自信息量。的自信

12、息量。称称(2-6)式为事件式为事件xi和事件和事件yj之间的之间的互信息量互信息量。（2-6）现在学习的是第18页，共88页根根据据概概率率互互换换公公式式p(xiyj)=p(yjxi)q(xi)=)=(xiyj)()(yj)互信息量互信息量I(xi;yj)有多种表达形式有多种表达形式:(2-7)(2-7)(2-8)(2-8)现在学习的是第19页，共88页先验不定度（联合自信息量）发送发送接收接收物理解释：物理解释：通信前通信前通信前通信前现在学习的是第20页，共88页后验不定度 通信后发送发送接收接收现在学习的是第21页，共88页这样，通信后流经信道的信息量，等这样，通信后流经信道的信息量

13、，等于通信前后不定度的差于通信前后不定度的差现在学习的是第22页，共88页将事件互信息量的概念推广至多维空间：将事件互信息量的概念推广至多维空间：在三维在三维X Y Z联合集中，有：联合集中，有：I(xi;yj zk)=)=I(xi;yj)+)+I(xi;zkyj)（2-92-9）类似，在类似，在N维维U1U2 UN联合空间联合空间,有：有：I(u1;u2u3 uN)=I(u1;u2)+I(u1;u3u2)+I(u1;uiu2 u i-1)+I(u1;uNu2 uN-1)（2-10）现在学习的是第23页，共88页三维三维X Y Z联合集中，在给定条件联合集中，在给定条件zk的情况下的情况下,x

14、i,yj的互信息量的互信息量I(xi;yjzk)定义为：定义为：（2-11）2 2条件互信息量条件互信息量现在学习的是第24页，共88页3 3互信息量的性质互信息量的性质 （1 1）互易性）互易性 对称性对称性 I(xi;yj)=I(yj;xi)(2-12)（2 2）可加性：）可加性：现在学习的是第25页，共88页（4）互信息量互信息量I(xi;yj)可以是正数，也可以是可以是正数，也可以是负负数。数。（3 3）当）当xi,yj统计独立时，互信息量统计独立时，互信息量I(xi;yj)=0及条件互及条件互信息量信息量（5 5）两两个个事事件件的的互互信信息息量量不不大大于于单单个个事事件件的的自

15、自信信息息量量，即有：即有：（2-13）现在学习的是第26页，共88页【例【例2.8】信源包含】信源包含7 7个消息个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应编成信源编码器将其对应编成7个三位二进制数个三位二进制数000，001,110。各消息的先验概率已知，在接收过程中，。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数三个数字的过程中，各后验概率的变化，计算信息量字的过程中，各后验概率的变化，计算信息量I I(x4;100)。信信源源消消息息码字码

16、字消消息息先先验验概率概率消息后验概率消息后验概率收到收到1 1后后收到收到1010后后收到收到100100后后x0 0000001/161/160 000 0 x1 0010011/161/160 000 0 x2 0100101/161/160 000 0 x3 0110111/161/160 000 0 x4 1001001/21/22/32/34/54/51 1x5 1011011/81/81/61/61/51/50 0 x61101101/81/81/61/60 00 0表表2-4为为7个三位二进制数对应的各种概率。个三位二进制数对应的各种概率。现在学习的是第27页，共88页 根据给

17、定的先验概率，可算出：根据给定的先验概率，可算出：P (x4100)=1现在学习的是第28页，共88页 将将各各种种后后验验概概率率的的计计算算结结果果列列于于表表2-3中中，再再根根据据式式（2-10）计计算出互信息量：算出互信息量：I(x4;100)=I(x4;1)+I(x4;01)+I(x4;010)(比特比特)也可直接计算出：也可直接计算出：(比比 特特)现在学习的是第29页，共88页2 22 2 离散集的平均自信息量离散集的平均自信息量 信信源源熵熵熵熵条条件件熵熵联联合合熵熵现在学习的是第30页，共88页2 22 2 离散集的平均自信息量离散集的平均自信息量 1 1平均自信息量平均

18、自信息量(熵熵)无无记记忆忆信信源源的的平平均均自自信信息息量量定定义义为为各各消消息息自自信信息息量量的的概概率率加加权权平平均值（统计平均值），即均值（统计平均值），即平均自信息量平均自信息量H(X)定义为：定义为：（2-152-15）H(X)的表达式与统计物理学中的热熵具有相类似的表达式与统计物理学中的热熵具有相类似的形式，的形式，在概念上二者也有相同之在概念上二者也有相同之处处，故借用，故借用熵熵这这个个词词把把H H(X X)称称为为集合集合X X的的信息熵信息熵，简简称称熵熵。现在学习的是第31页，共88页【例【例2.9】计算下列信源的熵】计算下列信源的熵（1）信源一：）信源一：熵

19、熵 H(X1)=-0.99log0.990.01log0.01=0.08 比特比特/符号符号（2 2）信源二：等概信源）信源二：等概信源熵熵 H(X2)=-0.5log0.5-0.5log0.5=1比特比特/符号符号（3 3）信源三）信源三:等概信源等概信源熵熵 H(X3)=-40.25log0.25=log4=2 比特比特/符号符号现在学习的是第32页，共88页(5)(5)信源五：一般情况下，二元信源的概率分布为信源五：一般情况下，二元信源的概率分布为 熵熵 H(X)=)=log-（1-）log（1-）记记H2()=)=log-（1-）log（1-）H2()与与的关系如图的关系如图2-2所示

20、。所示。（4 4）信源四：）信源四：信源为确定事件信源为确定事件 熵熵H(X4)=-)=-0log01log1=0 计算结果说明确定事件的熵为零计算结果说明确定事件的熵为零 H 2 2()()00.51 图图 2-2 2-2 H2()与与关系关系现在学习的是第33页，共88页信源熵与信息量的比较信源熵与信息量的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值确定值 一一般为随机量般为随机量 有限值有限值 可为无穷大可为无穷大 熵熵熵熵 信息量信息量信息量信息量信源熵和平均自信息量两者在信

21、源熵和平均自信息量两者在数值上是相等的，但含义并不相同数值上是相等的，但含义并不相同数值上是相等的，但含义并不相同数值上是相等的，但含义并不相同现在学习的是第34页，共88页总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后信源输出后，离散消息所提供的平均信息量平均信息量。信源熵H(X)表示信源输出前信源输出前，信源的平均不确定度平均不确定度。信源熵H(X)反映了变量变量X X的随机性的随机性。123现在学习的是第35页，共88页2 2平均条件自信息量平均条件自信息量(条件熵条件熵)（2-16）若事件若事件xi yj的联合分布概的联合分布概率为率为p(xi yj)，给定给定yj条件下

22、事件条件下事件xi的条件自信息量为的条件自信息量为I(xiyj)，则则H(XY)定义为：定义为：现在学习的是第36页，共88页当当X,Y统计独立时，有统计独立时，有p(xi yj)=q(xi)(yj)，(xiyj)=q(xi)，则则 （2-172-17）从通信角度来看：从通信角度来看：若将若将X=x1，x2，xi，视为信源输出符号；视为信源输出符号；Y=y1，y2，yj，视为信宿接收符号；视为信宿接收符号；I(xiyj)可可看看作作信信宿宿收收到到yj后后，关关于于发发送送的的是是否否为为xi仍仍然然存存在在的的疑疑义度（不确定性），则义度（不确定性），则 反反映映了了经经过过通通信信后后，信

23、信宿宿符符号号yj（j=1,2,）关关于于信信源源符符号号xi（i=1,2,）的平均不确定性。的平均不确定性。现在学习的是第37页，共88页类似，若给定类似，若给定xi条件下事件条件下事件yj的条件自信息量为的条件自信息量为I(yjxi)，则则H(YX)定义为定义为 （2-182-18）当当X,Y统计独立时，有统计独立时，有p(xi yj)=q(xi)(yj)，则则 （2-192-19）存在以下两种极端情况：存在以下两种极端情况：（1）对对于无噪信道于无噪信道H(XY)=0（2）在）在强强噪声情况下，收到的噪声情况下，收到的Y与与X毫不相干，毫不相干，可可视为统计视为统计独立，独立，H(XY)

24、=H(X)现在学习的是第38页，共88页（2 2）对于强噪信道，有）对于强噪信道，有H(YX)=H(Y)。（1 1）对于无扰信道，有对于无扰信道，有H(YX)=0。从通信角度来看，从通信角度来看，H(YX)是发出确定消息是发出确定消息xi后，由后，由于信道干扰而使于信道干扰而使yj存在的平均不确定性，称存在的平均不确定性，称H(YX)为噪为噪声熵（散布度）。声熵（散布度）。存在以下两种极端情况：存在以下两种极端情况：现在学习的是第39页，共88页由熵、条件熵、联合熵的定义式可导出三者的关系式由熵、条件熵、联合熵的定义式可导出三者的关系式 H(X Y)=H(X)+H(YX)=H(Y)+H(XY)

25、（221）H(X Y)=)=H(X)+)+H(Y)(2-22)(2-22)上式反映了信息的可加性。当上式反映了信息的可加性。当X,Y统计独立时，有统计独立时，有3 3联合熵联合熵 联联合合熵熵H(XY)是是定定义义在在二二维维空空间间X Y上上，对对元元素素xi yj的的自自信信息息量量的的统统计计平平均均值值，若若记记事事件件xiyj出出现现的的概概率率为为p(xi yj)，其其自自信信息量为息量为I(xi yj)，则联合熵则联合熵H(XY)定义为定义为 （2-202-20）现在学习的是第40页，共88页1凸集合与凸函数凸集合与凸函数简单介绍凸集和凸函数的概念。简单介绍凸集和凸函数的概念。定

26、义定义2.12.1是是n维实矢量空间集合维实矢量空间集合R中任意两个中任意两个n维矢量，维矢量，对实数对实数，0 1，有有+（1-）R则称则称R为为凸集合凸集合。222熵函数的性质熵函数的性质现在学习的是第41页，共88页图图2 23 3 一维和二维凸集合的例子一维和二维凸集合的例子凸集合凸集合非非凸凸集合集合 从从几几何何上上来来看看，若若，是是集集合合R中中的的任任意意两两点点，+（1-）表表示示这这两两点点间间的的连连线线，若若该该连连线线也也在在集集合合R中中，则则称称为为R凸集。下面给出了几个凸集和非凸集合的例子。凸集。下面给出了几个凸集和非凸集合的例子。现在学习的是第42页，共88

27、页定定义义2.2设设f(x)=f(x1,x2,xn)为为一一个个n元元函函数数，若若对对任任意意f(x1),f(x2)f(x)，任意正数任意正数，0 1，有有f(x1)+（1-）f(x2)f x1 +（1-）x2(2-23)(2-23)x0 0 x1 1 x1+(1-)x2 x2 2 图图2-4 2-4 一元一元型凸函数型凸函数f(x1)f(x1)+(1-)f(x2)f x1+(1-)x2 f(x)f(x2)则则称称f(x)为为定定义义域域上上的的型型凸凸函函数。数。一一元元型型凸凸函函数数可可用用图图2-4所所示示的几何图形表示。的几何图形表示。现在学习的是第43页，共88页定定义义2.3设

28、设f(x)=f(x1,x2,xn)为为一一个个n元元函函数数，若若对对任任意意f(x1),f(x2)f(x)，任意正数任意正数，0 1，有有f x1 +（1-）x2 f(x1)+（1-）f(x2)(2-24)(2-24)图图2-5 2-5 一元一元型凸函数型凸函数x1 x1+(1-)x2 x2 x f(x1)f x1+(1-)x2f(x1)+(1-)f(x2)f(x)f(x2)则则称称f(x)为为定定义义域域上上的的型型凸凸函函数数，一一元元型型凸凸函函数数可可用用图图2-5所所示示的的几几何图形表示。何图形表示。现在学习的是第44页，共88页2极大离散熵定理极大离散熵定理 设设信信源源的的消

29、消息息个个数数为为M，则则H(X)logM，等等号号当当且且仅仅当当信信源源X中中各各消消息等概息等概 时成立，即各消息等概分布时，信源熵最大。时成立，即各消息等概分布时，信源熵最大。证明方法一：利用不等式证明方法一：利用不等式logx x -1-1等号在等号在x=1=1时成立（见图时成立（见图 2-6）图图2-6logx x11关系关系 曲线曲线x-1 log x 10 x现在学习的是第45页，共88页上上面面两两种种证证明明方方法法是是信信息息论论中中经经常常用用到的证明方法到的证明方法 证明方法二：利用证明方法二：利用logx的的型凸函数性质型凸函数性质 =log 1=0 证毕H(X)-

30、log M现在学习的是第46页，共88页3熵函数的性质熵函数的性质 （1 1）对称性对称性集合集合X=x1，x2，xN 中的各元素中的各元素x1，x2，xN任意改变其任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。哪个概率。例如例如 和和 的熵是相等的。的熵是相等的。现在学习的是第47页，共88页 （4 4）扩展性扩展性：离散事件集：离散事件集 ，增加一个，增加一个不可能事件不可能事件xN+1后，得到集合，后，得到集合，0，则两个集合的熵相等则两个集合的熵相等 （2 2）非负性非负性：H(X)0 0 （3 3）确定

31、性确定性：在集合：在集合X=(x1，x2，xN)中，若有一个中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为概率分布为 现在学习的是第48页，共88页（5 5）可加性可加性：集合集合X=x1，x2，xi，xi+1，xN 的概率分布为：的概率分布为：则下式成立：则下式成立：H(X)=)=H(x1，x2，xi，xi+1，xN)（2-252-25）（6 6）条件熵小于等于无条件熵条件熵小于等于无条件熵即：即：H(XY)H(X)X,Y 统计独立时等号成立。统计独立时等号成立。现在学习的是第49页，共88页（7 7）联联合合熵

32、熵大大于于等等于于独独立立事事件件的的熵熵，小小于于等等于于两两独独立立事事件熵之和，即：件熵之和，即：（2-262-26）H(XY)H(X)+H(Y)（2-272-27）现在学习的是第50页，共88页2 23 3离散集的平均互信息量离散集的平均互信息量1平均互信息量平均互信息量定定义义xi X和和yj Y之之间间的的互互信信息息量量为为I(xi;yj)，在在集集合合X上对上对I(xi;yj)进行概率加权统计平均，可得进行概率加权统计平均，可得I(X;yj)为：为：231平均互信息量平均互信息量（2-28）现在学习的是第51页，共88页再再将将式式（2-28）对对集集合合Y进进行行统统计计平平

33、均均，就就可可以以得得到到平平均均互信息量互信息量 （2-302-30）当当X,Y统计独立时，统计独立时，I(xi;yj)=)=0，从而从而I(X;Y)=)=0 现在学习的是第52页，共88页【例【例2.14】二元等概信源】二元等概信源 ，通过信道转移，通过信道转移概率为概率为 的信道传输，信宿接收符号的信道传输，信宿接收符号Y=y0,y1，计算信源与信宿间的平均互信息量计算信源与信宿间的平均互信息量I（X；Y）。）。（1）先根据先根据 计算出计算出 （2 2）由由 计算后验概率计算后验概率现在学习的是第53页，共88页 （3 3）计算各消息之间的互信息量）计算各消息之间的互信息量I(xi;y

34、j)（比特）比特）（比特）（比特）（比特）（比特）（比特）（比特）现在学习的是第54页，共88页（4）计算平均互信息量计算平均互信息量 （比特）（比特）现在学习的是第55页，共88页 对上式在三维空间对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量上求概率加权平均值，就得到平均条件互信息量 （2-312-31）式中式中p(xi yj zk)满足满足2平均条件互信息量平均条件互信息量 平均条件互信息量平均条件互信息量I(X;YZ)是在联合概率空间是在联合概率空间 XYZ，p(xyz)上定义上定义的物理量。由式（的物理量。由式（2-11）知道）知道 现在学习的是第56页，共88页1

35、 平均互信息量的性质平均互信息量的性质232平均互信息量的性质平均互信息量的性质 (1(1)非负性非负性：（2-322-32）(2)(2)互易性互易性：I(X;Y)=)=I(Y;X)（2-332-33）由由 的对称性可得到。的对称性可得到。(3)现在学习的是第57页，共88页I(X;Y)=)=H（X）-H（XY）(2-35)(2-35)I(X;Y)=)=H（Y）-H（YX）(2-36)(2-36)I(X;Y)=)=H(X)+)+H(Y)-)-H(XY)(2-37)(2-37)2平均互信息量与信源熵、条件熵的关系平均互信息量与信源熵、条件熵的关系2-7维拉图它们之它们之间的关间的关系可以系可以用

36、维拉用维拉图表示图表示现在学习的是第58页，共88页 设设X为为发发送送消消息息符符号号集集，Y为为接接收收符符号号集集，H(X)是是输输入入集集的的平平均均不不确确定定性性,H（XY）是是观观察察到到Y后后，集集X还还保保留留的的不不确确定定性性，二二者者之之差差I(X;Y)就是在接收过程中得到的关于就是在接收过程中得到的关于X,Y的平均互信息量。的平均互信息量。对于无扰信道，对于无扰信道，I(X;Y)=)=H(X)。对于强噪信道，对于强噪信道，I(X;Y)=0)=0。从通信的角度来讨论平从通信的角度来讨论平均互信息量均互信息量I(X;Y)的物的物理意义理意义由第一等式由第一等式I I(X

37、X;Y Y)=)=H H（X X）-H H（X XY Y）看看I I(X X;Y Y)的物理意的物理意义义现在学习的是第59页，共88页 对于无扰信道，有对于无扰信道，有I(X;Y)=)=H(X)=)=H(Y)。对于强噪信道，有对于强噪信道，有H（YX）=H（Y），），则则I(X;Y)=)=0。H(Y)是是观观察察到到Y所所获获得得的的信信息息量量，H（YX）是是发发出出确确定定消消息息X后后，由由于于干干扰扰而而使使Y Y存存在在的的平平均均不不确确定定性性，二二者者之之差差I(X;Y)就是一次通信所获得的信息量。就是一次通信所获得的信息量。由第由第二二等式等式I(X;Y)=)=H（Y)-)

38、-H（YX）看看I I(X X;Y Y)的物理意的物理意义义现在学习的是第60页，共88页 通通信信前前，随随机机变变量量X和和随随机机变变量量Y可可视视为为统统计计独独立立，其其先先验验不确定性为不确定性为H(X)+)+H(Y)，通信后，整个系统的后验不确定性为通信后，整个系统的后验不确定性为H(XY)，二二者者之之差差H(X)+)+H(Y)-)-H(XY)就就是是通通信信过过程程中中不不确确定定性性减减少少的量，也就是通信过程中获得的平均互信息量的量，也就是通信过程中获得的平均互信息量I(X;Y)。由第由第三三等式等式I(X;Y)=)=H(X)+)+H(Y)-)-H(X,Y)看看I I(X

39、 X;Y Y)的物理意的物理意义义现在学习的是第61页，共88页【例【例2.15】已知信源消息集为】已知信源消息集为X=0,1,接收符号集为接收符号集为Y=0,1，通过有扰信通过有扰信道传输，其传输特性如图道传输，其传输特性如图2-8所示，这是一个二进制对称信道所示，这是一个二进制对称信道BSCBSC。已知先验已知先验概率概率,计算平均互信息量计算平均互信息量I(X;Y)及各种熵及各种熵。01-0 11-1 图图2-8 2-8 二进制对称信道二进制对称信道记记 q(x)为信源输入概率；为信源输入概率；(y)为信宿输出概率；为信宿输出概率；p(yx)为信道转移概率；为信道转移概率；(xy)为后验

40、概率。为后验概率。现在学习的是第62页，共88页（1 1）由图）由图2-82-8得得 ，先算出，先算出p(xi yj)=q(xi)p(yjxi)（2 2）计算）计算 得：得：现在学习的是第63页，共88页 （3 3）计算后验概率，得：计算后验概率，得：（4 4）计算各种熵及平均互信息量：）计算各种熵及平均互信息量：信源熵信源熵 信宿熵信宿熵 联合熵联合熵 =-20.5(1-)log0.5(1-)-20.5log0.5 =log2-(1-)log(1-)-log=log2+H2()式中：式中：现在学习的是第64页，共88页散布度散布度 =-p(00)logp(00)-p(01)logp(10)-

41、p(10)logp(01)-p(11)logp(11)=-20.5(1-)log(1-)-20.5log=H2()可疑度可疑度=-p(00)log(00)-p(01)log(01)-p(10)log(10)-p(11)log(11)=-20.5(1-)log(1-)-20.5log=H2()平均互信息量平均互信息量 I(X;Y)=)=H(X)+)+H(Y)-)-H(XY)=)=log2+H2()现在学习的是第65页，共88页研研究究通通信信问问题题，主主要要研研究究的的是是信信源源和和信信道道，它它们们的的统统计计特特性性可可以以分分别别用用消消息息先先验验概概率率q(x)及及信信道道转转移移

42、概概率率p(yx)来来描描述述，而而平平均均互互信信息息量量I(X;Y)是经过一次通信后信宿所获得的信息。是经过一次通信后信宿所获得的信息。由式（由式（2-30）知道，）知道，平均互信息量定义平均互信息量定义为：为：（2-382-38）233有关平均互信息量的两条定理有关平均互信息量的两条定理上上式式说说明明I(X;Y)是是信信源源分分布布概概率率q(x)和和信信道道转转移移概概率率p(yx)的的函函数数，下下面面两两条条定定理理阐阐明明了了I(X;Y)与与q(x)和和p(yx)之之间的关系。间的关系。现在学习的是第66页，共88页定定理理2.1 当当信信道道给给定定，即即信信道道转转移移概概

43、率率p(yx)固固定定，平平均均互互信信息息量量I(X;Y)是信源概率分布是信源概率分布q(x)的的型凸函数。型凸函数。两两个个信信源源分分布布q1(x)和和q2(x)，分分别别对对应应平平均均互互信信息息量量I1(X;Y)和和I2(X;Y)，记记概概率率分分布布q(x)=)=q1(x)+(1-)+(1-)q2(x)（式式中中0 0 1 1），对对应平均互信息量应平均互信息量I I(X X;Y Y)，若若I I(X X;Y Y)是是型凸函数，则应满足：型凸函数，则应满足：I I1 1(X X;Y Y)+(1-)+(1-)I I2 2(X X;Y Y)I I(X X;Y Y)（2-392-39）

44、式式(2-39)表示：表示：函数的均值小于等于均值的函数函数的均值小于等于均值的函数，见图，见图2-9 图图2-92-9函数的均值函数的均值 均值的函数均值的函数q1 q1+(1-)q2 q2 q(x)I(q1)+(1-)I(q2Iq(x)I q1+(1-)q2现在学习的是第67页，共88页 定定理理2.1说说明明，信信道道固固定定时时，对对于于不不同同的的信信源源分分布布，信信道道输输出出端端获获得得的的信信息息量量是是不不同同的的。因因此此，对对于于每每一一个个固固定定信信道道，一一定存在一种信源（一种分布）定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。使输出端获得的信息量

45、最大。【例例2.16】二二进进制制对对称称信信道道BSCBSC如如图图2-10所所示示，输输入入符符号号集集X=x1,x2=0,1，输出符号集输出符号集Y=y1,y2=0,1，信道转移概率矩阵信道转移概率矩阵 ，信源分布为：，信源分布为：，计算平均互信，计算平均互信 息量息量 I(X;Y)=)=H（Y）-H（YX）0 1-0 11-1 图图2-10 2-10 二进制对称信道二进制对称信道现在学习的是第68页，共88页先由先由 算出：算出：(0)=q(0)p(00)+q(1)p(01)=(1-)+(1-)(1)=1-(0)再计算熵和条件熵再计算熵和条件熵=H2(1-)+(1-)=-(1-)log

46、(1-)-log=H2()现在学习的是第69页，共88页则平均互信息量则平均互信息量I(X;Y)=)=H（Y)-)-H（YX）=H2(1-)+(1-)-H2()当当信信道道固固定定，即即 为为恒恒值值，则则I(X;Y)是是的的函函数数，其其曲曲线线如如下下图图2-11所示。所示。当当=0.5时时,I(X;Y)取得极大值，取得极大值，其值为其值为log2-H2(),(),这种情况对应这种情况对应等概分布等概分布,信源的平均不确定性最大信源的平均不确定性最大.当当=0或或1时，这是确定信源的时，这是确定信源的情况，通信得不到任何信息，情况，通信得不到任何信息，即即I(X;Y)=)=0。图图2-11

47、2-11为为恒恒值值时时的的I I(X X;Y Y)曲曲线线0 0.5 10 0.5 1log2-H2()I(X;Y)现在学习的是第70页，共88页定定理理2.2 当当信信源源给给定定，即即信信源源分分布布概概率率q(x)固固定定，平平均均互互信信息息量量I(X;Y)是信道转移概率是信道转移概率p(yx)的的型凸函数。型凸函数。在在信信源源固固定定的的情情况况下下，如如果果给给定定两两个个信信道道转转移移概概率率p1(yx)和和p2(yx)，它它们们分分别别对对应应平平均均互互信信息息量量I1(X;Y)和和I2(X;Y)，记记信信道道转转移移概概率率p(yx)=)=p1(yx)+(1-)+(1

48、-)p2(yx)(式式中中（0 1），对对应应平平均均互互信信息息量量I(X;Y)，若若I(X;Y)是是p(yx)的的型型凸凸函函数数，则则应应满足：满足：I(X;Y)I1(X;Y)+(1-)+(1-)I2(X;Y)（2-2-4040）现在学习的是第71页，共88页 定定理理2.2说说明明，信信源源固固定定以以后后，用用不不同同的的信信道道来来传传输输同同一一信信源源符符号号时时，在在信信道道输输出出端端获获得得的的信信息息量量是是不不同同的的。可可见见，对对每每一一种种信信源源一一定定存存在在一一种种最最差差的的信信道道，此此信信道道的的干干扰扰最最大大，而而使使输输出端获得的信息量最小。出

49、端获得的信息量最小。式式(2-40)表示：表示：均值的函数小于等于函数的均值均值的函数小于等于函数的均值，如图，如图2-12所示。所示。图2-12 函数的均值均值的函数 p1 p1+(1-)p2 p2 I p1+(1-)p2 I(p1)+(1-)I(p2)现在学习的是第72页，共88页X YX Y各种熵之间的关系各种熵之间的关系各种熵之间的关系各种熵之间的关系现在学习的是第73页，共88页X YX Y现在学习的是第74页，共88页X Y现在学习的是第75页，共88页现在学习的是第76页，共88页2 24 4 N维扩展信源的熵和平均互信息量维扩展信源的熵和平均互信息量信源输出序列为信源输出序列为

50、x=x1xi xN，xia0,a1,ak-1，记记 x=x1x2xN的概率分布为的概率分布为q(x)，则信源熵为则信源熵为 (2-41)(2-41)241N维扩展信源的熵维扩展信源的熵下面分两种情况来考虑：下面分两种情况来考虑：1信源离散无记忆信源离散无记忆按式按式(2-41)可计算出该信源的熵可计算出该信源的熵：（2 24242）现在学习的是第77页，共88页根据熵的性质根据熵的性质:条件熵小于等于无条件熵条件熵小于等于无条件熵，即有，即有 （2-452-45）2信源离散有记忆信源离散有记忆 信源输出序列信源输出序列x=x1x2xN 的概率为的概率为p(x)=p(x1)p(x2x1)p(x3