《信息论第二章信息的度量讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论第二章信息的度量讲稿.ppt（88页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、关于信息论第二章信息的度量第一页，讲稿共八十八页哦内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第第2章章信息的度量信息的度量第二页，讲稿共八十八页哦2.1 自信息量和互信息量自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。互信息量则表明了两个随机事件的相互约束程度。对对于于随随机机事事件件集集X
2、=x1，x2，xi，xI中中的的随随机机事事件件xi，其其出出现现概概率率记记为为q(xi)，将将两两个个事事件件xi,yj同同时时出出现现的的概概率率记记为为p(xi yj)，则则q(xi)，p(xi yj)应满足应满足：相应的条件概率为相应的条件概率为第三页，讲稿共八十八页哦信息量直观的定义为：收到某消息获得的信息量收到某消息获得的信息量=不确定性减少的量不确定性减少的量 将某事件发生所得到的信息量记为将某事件发生所得到的信息量记为I(x)，I(x)应该是该应该是该事件发生的概率的函数，即事件发生的概率的函数，即I(x)=)=f q(x)211 自信息量和条件自信息量第四页，讲稿共八十八页
3、哦自信息量自信息量 联合联合 自信息量自信息量条件条件 自信息量自信息量信息量信息量第五页，讲稿共八十八页哦1自信息量自信息量 直观地看，自信息量的定义应满足以下四点：直观地看，自信息量的定义应满足以下四点：a.I(x)应该是应该是q(x)的单调递减函数：概率小的事的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；发生则赋予的信息量小；b.b.信息量应具有可加性：对于两个独立事件，其信信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；息量应等于各事件自信息量之和；c.c.当当q(x)=1时，
4、时，I(x)=0：表示确定事件发生得不：表示确定事件发生得不到任何信息；到任何信息；d.d.当当q(x)=0时，时，I(x)：表示不可能事件一旦表示不可能事件一旦发生，信息量将无穷大。发生，信息量将无穷大。第六页，讲稿共八十八页哦综合上述条件，将综合上述条件，将自信息量定义自信息量定义为为:(2-1)(2-1)自信息量的单位与自信息量的单位与log函数函数所选用的对数底数有关，所选用的对数底数有关，如底数分别取如底数分别取 2 2、e e、10 10，则自信息量单位分别为：比特、奈特、哈特则自信息量单位分别为：比特、奈特、哈特第七页，讲稿共八十八页哦一个以等概率出现的二进制码元一个以等概率出现
5、的二进制码元(0,1)(0,1)所包含的自信息量为所包含的自信息量为1bit1bit。第八页，讲稿共八十八页哦【例例2.3】若若盒盒中中有有6 6个个电电阻阻，阻阻值值为为1、2、3的的分分别别为为2个个、1个个、3个个，将将从从盒盒子子中中取取出出阻阻值值为为i的的电电阻阻记记为为事事件件 （i=1，2，3），），则事件集则事件集X=x1,x2,x3，其概率分布其概率分布 计算出各事件的自信息量列表计算出各事件的自信息量列表2-12-1如下：如下：消息消息xi x1 x2 x3 概率分布概率分布q(xi)1/3 1/6 1/2 自信息量自信息量I(xi)log3 log6 log2 第九页，
6、讲稿共八十八页哦自信息自信息量具有下列性质量具有下列性质:图图2.1 对数曲线对数曲线1是非负值是非负值。第十页，讲稿共八十八页哦23的的单调递减单调递减函数。函数。4自信息量自信息量第十一页，讲稿共八十八页哦自信息量自信息量I(xi)代表两种含义代表两种含义：1.1.事件事件xi发生以前，表示事件发生的先验不确定性发生以前，表示事件发生的先验不确定性2.2.当事件当事件xi发生以后，表示事件发生以后，表示事件xi所能提供的最大信息量所能提供的最大信息量（在无噪情况下）（在无噪情况下）第十二页，讲稿共八十八页哦 二维联合集二维联合集X Y上元素上元素xi yj的联合自信息量的联合自信息量I(x
7、i yj)定义定义为：为：(2-3)2.2.联合自信息量联合自信息量其中),2,1;,2,1(1)(0mjnibapjiLL=第十三页，讲稿共八十八页哦3.条件自信息量条件自信息量 在在已已知知事事件件yj条条件件下下,随随机机事事件件xi发发生生的的概概率率为为条条件件概概率率(xiyj),条件自信息量条件自信息量 定义为：定义为：(2-(2-5)5)代入式代入式自信息量的公式自信息量的公式就有就有第十四页，讲稿共八十八页哦 联合自信息量和条件自信息也满足联合自信息量和条件自信息也满足非负非负和和单调单调递减递减递减递减性性 ，同时，它们也都是随机变量，同时，它们也都是随机变量。自信息量、条
8、件自信息量和联合自信息量之间有如下自信息量、条件自信息量和联合自信息量之间有如下关系式：关系式：4.联合自信息量和条件自信息量间的关系联合自信息量和条件自信息量间的关系第十五页，讲稿共八十八页哦【例例2.6】某某住住宅宅区区共共建建有有若若干干栋栋商商品品房房，每每栋栋有有5个个单单元元，每每个个单单元元住住有有12户，甲要到该住宅区找他的朋友乙，若：户，甲要到该住宅区找他的朋友乙，若：1.甲甲只只知知道道乙乙住住在在第第5栋栋，他他找找到到乙乙的的概概率率有有多多大大？他他能能得得到到多多少少信信息？息？2.甲甲除除知知道道乙乙住住在在第第5栋栋外外，还还知知道道乙乙住住在在第第3单单元元，
9、他他找找到到乙乙的的概概率率又有多大？他能得到多少信息又有多大？他能得到多少信息？用用xi代表单元数，代表单元数，yj代表户号：代表户号：（1 1）甲甲 找找 到到 乙乙 这这 一一 事事 件件 是是 二二 维维 联联 合合 集集X Y上上 的的 等等 概概 分分 布布 ，这一事件提供给甲的信息量为，这一事件提供给甲的信息量为 I(xi yj)=-)=-log p(xi yj)=log60=5.907（比特）比特）（2 2）在在二二维维联联合合集集X Y上上的的条条件件分分布布概概率率为为 ，这这一一事事件件提提供供给甲的信息量为条件自信息量给甲的信息量为条件自信息量 I(yjxi)=-)=-
10、logp(yjxi)=log12=)=log12=3.585（比特）比特）第十六页，讲稿共八十八页哦1.互信息量互信息量信信源源符符号号X=x1，x2，xI，xi a1,a2,ak，i=1,.,I。信信 宿宿 方方 接接 收收 到到 符符 号号Y=y1，y2，yJ，yj b1,b2,bD，j=1,2,J J。图21简单的通信模型x1，x2，xIy1，y2，yJ信源符号集信源符号集 a1,a2,ak 信源信源 b1,b2,bD 信宿符号集信宿符号集干扰干扰信道信道信宿信宿212互信息量和条件互信息量互信息量和条件互信息量第十七页，讲稿共八十八页哦 事件事件xi是否发生具有不确定性，用是否发生具有
11、不确定性，用I(xi)度量。度量。接接收收到到符符号号yj后后，事事件件xi是是否否发发生生仍仍保保留留有有一一定定的的不不确确定定性性，用用I(xiyj)度量。度量。观观察察事事件件前前后后，这这两两者者之之差差就就是是通通信信过过程程中中所所获获得得的的信信息息量量，用用I(xi;yj)表示：表示：。注：式（注：式（2-6）的）的I(xi；yj)和式（和式（2-3）的）的I(xiyj)的区别在于：的区别在于：前者是事件前者是事件xiX和事件和事件yjY之间的互信息量，之间的互信息量，后者是二维空间后者是二维空间XY上元素上元素xi yj 的自信息量。的自信息量。称称(2-6)式为事件式为事
12、件xi和事件和事件yj之间的之间的互信息量互信息量。（2-6）第十八页，讲稿共八十八页哦根根据据概概率率互互换换公公式式p(xiyj)=p(yjxi)q(xi)=)=(xiyj)()(yj)互信息量互信息量I(xi;yj)有多种表达形式有多种表达形式:(2-7)(2-7)(2-8)(2-8)第十九页，讲稿共八十八页哦先验不定度（联合自信息量）发送发送接收接收物理解释：物理解释：通信前通信前通信前通信前第二十页，讲稿共八十八页哦后验不定度 通信后发送发送接收接收第二十一页，讲稿共八十八页哦这样，通信后流经信道的信息量，等这样，通信后流经信道的信息量，等于通信前后不定度的差于通信前后不定度的差第二
13、十二页，讲稿共八十八页哦将事件互信息量的概念推广至多维空间：将事件互信息量的概念推广至多维空间：在三维在三维X Y Z联合集中，有：联合集中，有：I(xi;yj zk)=)=I(xi;yj)+)+I(xi;zkyj)（2-92-9）类似，在类似，在N维维U1U2 UN联合空间联合空间,有：有：I(u1;u2u3 uN)=I(u1;u2)+I(u1;u3u2)+I(u1;uiu2 u i-1)+I(u1;uNu2 uN-1)（2-10）第二十三页，讲稿共八十八页哦三维三维X Y Z联合集中，在给定条件联合集中，在给定条件zk的情况下的情况下,xi,yj的互信息量的互信息量I(xi;yjzk)定义
14、为：定义为：（2-11）2 2条件互信息量条件互信息量第二十四页，讲稿共八十八页哦3 3互信息量的性质互信息量的性质 （1 1）互易性）互易性 对称性对称性 I(xi;yj)=I(yj;xi)(2-12)（2 2）可加性：）可加性：第二十五页，讲稿共八十八页哦（4）互信息量互信息量I(xi;yj)可以是正数，也可以是可以是正数，也可以是负负数。数。（3 3）当）当xi,yj统计独立时，互信息量统计独立时，互信息量I(xi;yj)=0及条件互及条件互信息量信息量（5 5）两两个个事事件件的的互互信信息息量量不不大大于于单单个个事事件件的的自自信信息息量量，即有：即有：（2-13）第二十六页，讲稿
15、共八十八页哦【例【例2.8】信源包含】信源包含7 7个消息个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应信源编码器将其对应编成编成7个三位二进制数个三位二进制数000，001,110。各消息的先验概率已知，在接收过程。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三三个数字的过程中，各后验概率的变化，计算信息量个数字的过程中，各后验概率的变化，计算信息量I I(x4;100)。信信源源消消息息码字码字消消息息先先验验概率概率消息后验概率消息后验概率收到收到
16、1 1后后收到收到1010后后收到收到100100后后x0 0000001/161/160 000 0 x1 0010011/161/160 000 0 x2 0100101/161/160 000 0 x3 0110111/161/160 000 0 x4 1001001/21/22/32/34/54/51 1x5 1011011/81/81/61/61/51/50 0 x61101101/81/81/61/60 00 0表表2-4为为7个三位二进制数对应的各种概率。个三位二进制数对应的各种概率。第二十七页，讲稿共八十八页哦 根据给定的先验概率，可算出：根据给定的先验概率，可算出：P (x4
17、100)=1第二十八页，讲稿共八十八页哦 将将各各种种后后验验概概率率的的计计算算结结果果列列于于表表2-3中中，再再根根据据式式（2-10）计计算出互信息量：算出互信息量：I(x4;100)=I(x4;1)+I(x4;01)+I(x4;010)(比特比特)也可直接计算出：也可直接计算出：(比比 特特)第二十九页，讲稿共八十八页哦2 22 2 离散集的平均自信息量离散集的平均自信息量 信信源源熵熵熵熵条条件件熵熵联联合合熵熵第三十页，讲稿共八十八页哦2 22 2 离散集的平均自信息量离散集的平均自信息量 1 1平均自信息量平均自信息量(熵熵)无无记记忆忆信信源源的的平平均均自自信信息息量量定定
18、义义为为各各消消息息自自信信息息量量的的概概率率加加权权平平均均值值（统统计计平平均均值值），即即平平均均自自信信息息量量H(X)定定义义为为：（2-152-15）H(X)的表达式与统计物理学中的热熵具有相类似的表达式与统计物理学中的热熵具有相类似的形式，的形式，在概念上二者也有相同之在概念上二者也有相同之处处，故借用，故借用熵熵这这个个词词把把H H(X X)称称为为集合集合X X的的信息熵信息熵，简简称称熵熵。第三十一页，讲稿共八十八页哦【例【例2.9】计算下列信源的熵】计算下列信源的熵（1）信源一：）信源一：熵熵 H(X1)=-0.99log0.990.01log0.01=0.08 比特
19、比特/符号符号（2 2）信源二：等概信源）信源二：等概信源熵熵 H(X2)=-0.5log0.5-0.5log0.5=1比特比特/符号符号（3 3）信源三）信源三:等概信源等概信源熵熵 H(X3)=-40.25log0.25=log4=2 比特比特/符号符号第三十二页，讲稿共八十八页哦(5)(5)信源五：一般情况下，二元信源的概率分布为信源五：一般情况下，二元信源的概率分布为 熵熵 H(X)=)=log-（1-）log（1-）记记H2()=)=log-（1-）log（1-）H2()与与的关系如图的关系如图2-2所示。所示。（4 4）信源四：）信源四：信源为确定事件信源为确定事件 熵熵H(X4)
20、=-)=-0log01log1=0 计算结果说明确定事件的熵为零计算结果说明确定事件的熵为零 H 2 2()()00.51 图图 2-2 2-2 H2()与与关系关系第三十三页，讲稿共八十八页哦信源熵与信息量的比较信源熵与信息量的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值确定值 一一般为随机量般为随机量 有限值有限值 可为无穷大可为无穷大 熵熵熵熵 信息量信息量信息量信息量信源熵和平均自信息量两者在信源熵和平均自信息量两者在数值上是相等的，但含义并不相同数值上是相等的，但含义并不相
21、同数值上是相等的，但含义并不相同数值上是相等的，但含义并不相同第三十四页，讲稿共八十八页哦总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后信源输出后，离散消息所提供的平均信息量平均信息量。信源熵H(X)表示信源输出前信源输出前，信源的平均不确定度平均不确定度。信源熵H(X)反映了变量变量X X的随机性的随机性。123第三十五页，讲稿共八十八页哦2 2平均条件自信息量平均条件自信息量(条件熵条件熵)（2-16）若事件若事件xi yj的联合分布概率的联合分布概率为为p(xi yj)，给定给定yj条件下事件条件下事件xi的条件自信息量为的条件自信息量为I(xiyj)，则则H(XY)定义为
22、：定义为：第三十六页，讲稿共八十八页哦当当X,Y统计独立时，有统计独立时，有p(xi yj)=q(xi)(yj)，(xiyj)=q(xi)，则则 （2-172-17）从通信角度来看：从通信角度来看：若将若将X=x1，x2，xi，视为信源输出符号；视为信源输出符号；Y=y1，y2，yj，视为信宿接收符号；视为信宿接收符号；I(xiyj)可可看看作作信信宿宿收收到到yj后后，关关于于发发送送的的是是否否为为xi仍仍然然存存在在的的疑疑义义度（不确定性），则度（不确定性），则 反反映映了了经经过过通通信信后后，信信宿宿符符号号yj（j=1,2,）关关于于信信源源符符号号xi（i=1,2,）的平均不确
23、定性。的平均不确定性。第三十七页，讲稿共八十八页哦类似，若给定类似，若给定xi条件下事件条件下事件yj的条件自信息量为的条件自信息量为I(yjxi)，则则H(YX)定义为定义为 （2-182-18）当当X,Y统计独立时，有统计独立时，有p(xi yj)=q(xi)(yj)，则则 （2-192-19）存在以下两种极端情况：存在以下两种极端情况：（1）对对于无噪信道于无噪信道H(XY)=0（2）在）在强强噪声情况下，收到的噪声情况下，收到的Y与与X毫不相干，毫不相干，可可视为统计视为统计独立，独立，H(XY)=H(X)第三十八页，讲稿共八十八页哦（2 2）对于强噪信道，有）对于强噪信道，有H(YX
24、)=H(Y)。（1 1）对于无扰信道，有对于无扰信道，有H(YX)=0。从通信角度来看，从通信角度来看，H(YX)是发出确定消息是发出确定消息xi后，由后，由于信道干扰而使于信道干扰而使yj存在的平均不确定性，称存在的平均不确定性，称H(YX)为噪为噪声熵（散布度）。声熵（散布度）。存在以下两种极端情况：存在以下两种极端情况：第三十九页，讲稿共八十八页哦由熵、条件熵、联合熵的定义式可导出三者的关系式由熵、条件熵、联合熵的定义式可导出三者的关系式 H(X Y)=H(X)+H(YX)=H(Y)+H(XY)（221）H(X Y)=)=H(X)+)+H(Y)(2-22)(2-22)上式反映了信息的可加
25、性。当上式反映了信息的可加性。当X,Y统计独立时，有统计独立时，有3 3联合熵联合熵 联联合合熵熵H(XY)是是定定义义在在二二维维空空间间X Y上上，对对元元素素xi yj的的自自信信息息量量的的统统计计平平均均值值，若若记记事事件件xiyj出出现现的的概概率率为为p(xi yj)，其其自自信信息量为息量为I(xi yj)，则联合熵则联合熵H(XY)定义为定义为 （2-202-20）第四十页，讲稿共八十八页哦1凸集合与凸函数凸集合与凸函数简单介绍凸集和凸函数的概念。简单介绍凸集和凸函数的概念。定义定义2.12.1是是n维实矢量空间集合维实矢量空间集合R中任意两个中任意两个n维矢量，维矢量，对
26、实数对实数，0 1，有有+（1-）R则称则称R为为凸集合凸集合。222熵函数的性质熵函数的性质第四十一页，讲稿共八十八页哦图图2 23 3 一维和二维凸集合的例子一维和二维凸集合的例子凸集合凸集合非非凸凸集合集合 从从几几何何上上来来看看，若若，是是集集合合R中中的的任任意意两两点点，+（1-）表表示示这这两两点点间间的的连连线线，若若该该连连线线也也在在集集合合R中中，则则称称为为R凸集。下面给出了几个凸集和非凸集合的例子。凸集。下面给出了几个凸集和非凸集合的例子。第四十二页，讲稿共八十八页哦定定义义2.2设设f(x)=f(x1,x2,xn)为为一一个个n元元函函数数，若若对对任任意意f(x
27、1),f(x2)f(x)，任意正数任意正数，0 1，有有f(x1)+（1-）f(x2)f x1 +（1-）x2(2-23)(2-23)x0 0 x1 1 x1+(1-)x2 x2 2 图图2-4 2-4 一元一元型凸函数型凸函数f(x1)f(x1)+(1-)f(x2)f x1+(1-)x2 f(x)f(x2)则则称称f(x)为为定定义义域域上上的的型型凸凸函函数。数。一一元元型型凸凸函函数数可可用用图图2-4所所示示的的几几何何图图形形表表示。示。第四十三页，讲稿共八十八页哦定定义义2.3设设f(x)=f(x1,x2,xn)为为一一个个n元元函函数数，若若对对任任意意f(x1),f(x2)f(
28、x)，任意正数任意正数，0 1，有有f x1 +（1-）x2 f(x1)+（1-）f(x2)(2-24)(2-24)图图2-5 2-5 一元一元型凸函数型凸函数x1 x1+(1-)x2 x2 x f(x1)f x1+(1-)x2f(x1)+(1-)f(x2)f(x)f(x2)则则称称f(x)为为定定义义域域上上的的型型凸凸函函数数，一一元元型型凸凸函函数数可可用用图图2-5所所示的几何图形表示。示的几何图形表示。第四十四页，讲稿共八十八页哦2极大离散熵定理极大离散熵定理 设设信信源源的的消消息息个个数数为为M，则则H(X)logM，等等号号当当且且仅仅当当信信源源X中中各各消息等概消息等概 时
29、成立，即各消息等概分布时，信源熵最大。时成立，即各消息等概分布时，信源熵最大。证明方法一：利用不等式证明方法一：利用不等式logx x -1-1等号在等号在x=1=1时成立（见图时成立（见图 2-6）图图2-6logx x11关系关系 曲线曲线x-1 log x 10 x第四十五页，讲稿共八十八页哦上上面面两两种种证证明明方方法法是是信信息息论论中中经经常常用用到到的证明方法的证明方法 证明方法二：利用证明方法二：利用logx的的型凸函数性质型凸函数性质 =log 1=0 证毕H(X)-log M第四十六页，讲稿共八十八页哦3熵函数的性质熵函数的性质 （1 1）对称性对称性集合集合X=x1，x
30、2，xN 中的各元素中的各元素x1，x2，xN任意改变其顺任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。例如例如 和和 的熵是相等的。的熵是相等的。第四十七页，讲稿共八十八页哦 （4 4）扩展性扩展性：离散事件集：离散事件集 ，增加一个，增加一个不可能事件不可能事件xN+1后，得到集合，后，得到集合，0，则两个集合的熵相等则两个集合的熵相等 （2 2）非负性非负性：H(X)0 0 （3 3）确定性确定性：在集合：在集合X=(x1，x2，xN)中，若有一个中，若有一个事件是必然事件，则其余事件必为不可能事件
31、，即该集合的事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为概率分布为 第四十八页，讲稿共八十八页哦（5 5）可加性可加性：集合集合X=x1，x2，xi，xi+1，xN 的概率分布为：的概率分布为：则下式成立：则下式成立：H(X)=)=H(x1，x2，xi，xi+1，xN)（2-252-25）（6 6）条件熵小于等于无条件熵条件熵小于等于无条件熵即：即：H(XY)H(X)X,Y 统计独立时等号成立。统计独立时等号成立。第四十九页，讲稿共八十八页哦（7 7）联联合合熵熵大大于于等等于于独独立立事事件件的的熵熵，小小于于等等于于两两独独立立事事件熵之和，即：件熵之和，即：（2-262
32、-26）H(XY)H(X)+H(Y)（2-272-27）第五十页，讲稿共八十八页哦2 23 3离散集的平均互信息量离散集的平均互信息量1平均互信息量平均互信息量定定义义xi X和和yj Y之之间间的的互互信信息息量量为为I(xi;yj)，在在集集合合X上对上对I(xi;yj)进行概率加权统计平均，可得进行概率加权统计平均，可得I(X;yj)为：为：231平均互信息量平均互信息量（2-28）第五十一页，讲稿共八十八页哦再再将将式式（2-28）对对集集合合Y进进行行统统计计平平均均，就就可可以以得得到到平平均均互信息量互信息量 （2-302-30）当当X,Y统计独立时，统计独立时，I(xi;yj)
33、=)=0，从而从而I(X;Y)=)=0 第五十二页，讲稿共八十八页哦【例【例2.14】二元等概信源】二元等概信源 ，通过信道转移，通过信道转移概率为概率为 的信道传输，信宿接收符号的信道传输，信宿接收符号Y=y0,y1，计算信源与信宿间的平均互信息量计算信源与信宿间的平均互信息量I（X；Y）。）。（1）先根据先根据 计算出计算出 （2 2）由由 计算后验概率计算后验概率第五十三页，讲稿共八十八页哦 （3 3）计算各消息之间的互信息量）计算各消息之间的互信息量I(xi;yj)（比特）比特）（比特）（比特）（比特）（比特）（比特）（比特）第五十四页，讲稿共八十八页哦（4）计算平均互信息量计算平均互
34、信息量 （比特）（比特）第五十五页，讲稿共八十八页哦 对上式在三维空间对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量上求概率加权平均值，就得到平均条件互信息量 （2-312-31）式中式中p(xi yj zk)满足满足2平均条件互信息量平均条件互信息量 平均条件互信息量平均条件互信息量I(X;YZ)是在联合概率空间是在联合概率空间 XYZ，p(xyz)上定上定义的物理量。由式（义的物理量。由式（2-11）知道）知道 第五十六页，讲稿共八十八页哦1 平均互信息量的性质平均互信息量的性质232平均互信息量的性质平均互信息量的性质 (1(1)非负性非负性：（2-322-32）(2)
35、(2)互易性互易性：I(X;Y)=)=I(Y;X)（2-332-33）由由 的对称性可得到。的对称性可得到。(3)第五十七页，讲稿共八十八页哦I(X;Y)=)=H（X）-H（XY）(2-35)(2-35)I(X;Y)=)=H（Y）-H（YX）(2-36)(2-36)I(X;Y)=)=H(X)+)+H(Y)-)-H(XY)(2-37)(2-37)2平均互信息量与信源熵、条件熵的关系平均互信息量与信源熵、条件熵的关系2-7维拉图它们之它们之间的关间的关系可以系可以用维拉用维拉图表示图表示第五十八页，讲稿共八十八页哦 设设X为为发发送送消消息息符符号号集集，Y为为接接收收符符号号集集，H(X)是是输
36、输入入集集的的平平均均不不确确定定性性,H（XY）是是观观察察到到Y后后，集集X还还保保留留的的不不确确定定性性，二二者者之之差差I(X;Y)就是在接收过程中得到的关于就是在接收过程中得到的关于X,Y的平均互信息量。的平均互信息量。对于无扰信道，对于无扰信道，I(X;Y)=)=H(X)。对于强噪信道，对于强噪信道，I(X;Y)=0)=0。从通信的角度来讨论平从通信的角度来讨论平均互信息量均互信息量I(X;Y)的物的物理意义理意义由第一等式由第一等式I I(X X;Y Y)=)=H H（X X）-H H（X XY Y）看看I I(X X;Y Y)的物理意的物理意义义第五十九页，讲稿共八十八页哦
37、对于无扰信道，有对于无扰信道，有I(X;Y)=)=H(X)=)=H(Y)。对于强噪信道，有对于强噪信道，有H（YX）=H（Y），），则则I(X;Y)=)=0。H(Y)是是观观察察到到Y所所获获得得的的信信息息量量，H（YX）是是发发出出确确定定消消息息X后后，由由于于干干扰扰而而使使Y Y存存在在的的平平均均不不确确定定性性，二二者者之之差差I(X;Y)就是一次通信所获得的信息量。就是一次通信所获得的信息量。由第由第二二等式等式I(X;Y)=)=H（Y)-)-H（YX）看看I I(X X;Y Y)的物理意的物理意义义第六十页，讲稿共八十八页哦 通通信信前前，随随机机变变量量X和和随随机机变变量
38、量Y可可视视为为统统计计独独立立，其其先先验验不确定性为不确定性为H(X)+)+H(Y)，通信后，整个系统的后验不确定性为通信后，整个系统的后验不确定性为H(XY)，二二者者之之差差H(X)+)+H(Y)-)-H(XY)就就是是通通信信过过程程中中不不确确定定性性减减少少的的量，也就是通信过程中获得的平均互信息量量，也就是通信过程中获得的平均互信息量I(X;Y)。由第由第三三等式等式I(X;Y)=)=H(X)+)+H(Y)-)-H(X,Y)看看I I(X X;Y Y)的物理意的物理意义义第六十一页，讲稿共八十八页哦【例【例2.15】已知信源消息集为】已知信源消息集为X=0,1,接收符号集为接收
39、符号集为Y=0,1，通过有扰通过有扰信道传输，其传输特性如图信道传输，其传输特性如图2-8所示，这是一个二进制对称信道所示，这是一个二进制对称信道BSCBSC。已知先已知先验概率验概率,计算平均互信息量计算平均互信息量I(X;Y)及各种熵及各种熵。01-0 11-1 图图2-8 2-8 二进制对称信道二进制对称信道记记 q(x)为信源输入概率；为信源输入概率；(y)为信宿输出概率；为信宿输出概率；p(yx)为信道转移概率；为信道转移概率；(xy)为后验概率。为后验概率。第六十二页，讲稿共八十八页哦（1 1）由图）由图2-82-8得得 ，先算出，先算出p(xi yj)=q(xi)p(yjxi)（
40、2 2）计算）计算 得：得：第六十三页，讲稿共八十八页哦 （3 3）计算后验概率，得：计算后验概率，得：（4 4）计算各种熵及平均互信息量：）计算各种熵及平均互信息量：信源熵信源熵 信宿熵信宿熵 联合熵联合熵 =-20.5(1-)log0.5(1-)-20.5log0.5 =log2-(1-)log(1-)-log=log2+H2()式中：式中：第六十四页，讲稿共八十八页哦散布度散布度 =-p(00)logp(00)-p(01)logp(10)-p(10)logp(01)-p(11)logp(11)=-20.5(1-)log(1-)-20.5log=H2()可疑度可疑度=-p(00)log(0
41、0)-p(01)log(01)-p(10)log(10)-p(11)log(11)=-20.5(1-)log(1-)-20.5log=H2()平均互信息量平均互信息量 I(X;Y)=)=H(X)+)+H(Y)-)-H(XY)=)=log2+H2()第六十五页，讲稿共八十八页哦研研究究通通信信问问题题，主主要要研研究究的的是是信信源源和和信信道道，它它们们的的统统计计特特性性可可以以分分别别用用消消息息先先验验概概率率q(x)及及信信道道转转移移概概率率p(yx)来来描描述述，而而平平均均互互信信息息量量I(X;Y)是经过一次通信后信宿所获得的信息。是经过一次通信后信宿所获得的信息。由式（由式（
42、2-30）知道，）知道，平均互信息量定义平均互信息量定义为：为：（2-382-38）233有关平均互信息量的两条定理有关平均互信息量的两条定理上上式式说说明明I(X;Y)是是信信源源分分布布概概率率q(x)和和信信道道转转移移概概率率p(yx)的的函函数数，下下面面两两条条定定理理阐阐明明了了I(X;Y)与与q(x)和和p(yx)之间的关系。之间的关系。第六十六页，讲稿共八十八页哦定定理理2.1 当当信信道道给给定定，即即信信道道转转移移概概率率p(yx)固固定定，平平均均互互信信息量息量I(X;Y)是信源概率分布是信源概率分布q(x)的的型凸函数。型凸函数。两两个个信信源源分分布布q1(x)
43、和和q2(x)，分分别别对对应应平平均均互互信信息息量量I1(X;Y)和和I2(X;Y)，记记概概率率分分布布q(x)=)=q1(x)+(1-)+(1-)q2(x)（式式中中0 0 1 1），对对应平均互信息量应平均互信息量I I(X X;Y Y)，若若I I(X X;Y Y)是是型凸函数，则应满足：型凸函数，则应满足：I I1 1(X X;Y Y)+(1-)+(1-)I I2 2(X X;Y Y)I I(X X;Y Y)（2-392-39）式式(2-39)表示：表示：函数的均值小于等于均值的函数函数的均值小于等于均值的函数，见图，见图2-9 图图2-92-9函数的均值函数的均值 均值的函数均
44、值的函数q1 q1+(1-)q2 q2 q(x)I(q1)+(1-)I(q2Iq(x)I q1+(1-)q2第六十七页，讲稿共八十八页哦 定定理理2.1说说明明，信信道道固固定定时时，对对于于不不同同的的信信源源分分布布，信信道道输输出出端端获获得得的的信信息息量量是是不不同同的的。因因此此，对对于于每每一一个个固固定定信信道道，一一定存在一种信源（一种分布）定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。使输出端获得的信息量最大。【例例2.16】二二进进制制对对称称信信道道BSCBSC如如图图2-10所所示示，输输入入符符号号集集X=x1,x2=0,1，输出符号集输出符号集Y=
45、y1,y2=0,1，信道转移概率矩阵信道转移概率矩阵 ，信源分布为：，信源分布为：，计算平均互信，计算平均互信 息量息量 I(X;Y)=)=H（Y）-H（YX）0 1-0 11-1 图图2-10 2-10 二进制对称信道二进制对称信道第六十八页，讲稿共八十八页哦先由先由 算出：算出：(0)=q(0)p(00)+q(1)p(01)=(1-)+(1-)(1)=1-(0)再计算熵和条件熵再计算熵和条件熵=H2(1-)+(1-)=-(1-)log(1-)-log=H2()第六十九页，讲稿共八十八页哦则平均互信息量则平均互信息量I(X;Y)=)=H（Y)-)-H（YX）=H2(1-)+(1-)-H2()
46、当信道固定，即当信道固定，即 为恒值，则为恒值，则I(X;Y)是是的的函数，其曲线如下图函数，其曲线如下图2-11所示。所示。当当=0.5时时,I(X;Y)取得极大值，取得极大值，其值为其值为log2-H2(),(),这种情况对应这种情况对应等概分布等概分布,信源的平均不确定性最大信源的平均不确定性最大.当当=0或或1时，这是确定信源的时，这是确定信源的情况，通信得不到任何信息，情况，通信得不到任何信息，即即I(X;Y)=)=0。图图2-112-11为为恒恒值值时时的的I I(X X;Y Y)曲曲线线0 0.5 10 0.5 1log2-H2()I(X;Y)第七十页，讲稿共八十八页哦定定理理2
47、.2 当当信信源源给给定定，即即信信源源分分布布概概率率q(x)固固定定，平平均均互互信信息息量量I(X;Y)是信道转移概率是信道转移概率p(yx)的的型凸函数。型凸函数。在在信信源源固固定定的的情情况况下下，如如果果给给定定两两个个信信道道转转移移概概率率p1(yx)和和p2(yx)，它它们们分分别别对对应应平平均均互互信信息息量量I1(X;Y)和和I2(X;Y)，记记信信道道转转移移概概率率p(yx)=)=p1(yx)+(1-)+(1-)p2(yx)(式式中中（0 1），对对应应平平均均互互信信息息量量I(X;Y)，若若I(X;Y)是是p(yx)的的型型凸凸函函数数，则则应应满足：满足：I
48、(X;Y)I1(X;Y)+(1-)+(1-)I2(X;Y)（2-402-40）第七十一页，讲稿共八十八页哦 定定理理2.2说说明明，信信源源固固定定以以后后，用用不不同同的的信信道道来来传传输输同同一一信信源源符符号号时时，在在信信道道输输出出端端获获得得的的信信息息量量是是不不同同的的。可可见见，对对每每一一种种信信源源一一定定存存在在一一种种最最差差的的信信道道，此此信信道道的的干干扰扰最最大大，而而使使输输出出端端获获得的信息量最小。得的信息量最小。式式(2-40)表示：表示：均值的函数小于等于函数的均值均值的函数小于等于函数的均值，如图，如图2-12所示。所示。图2-12 函数的均值均
49、值的函数 p1 p1+(1-)p2 p2 I p1+(1-)p2 I(p1)+(1-)I(p2)第七十二页，讲稿共八十八页哦X YX Y各种熵之间的关系各种熵之间的关系各种熵之间的关系各种熵之间的关系第七十三页，讲稿共八十八页哦X YX Y第七十四页，讲稿共八十八页哦X Y第七十五页，讲稿共八十八页哦第七十六页，讲稿共八十八页哦2 24 4 N维扩展信源的熵和平均互信息量维扩展信源的熵和平均互信息量信源输出序列为信源输出序列为x=x1xi xN，xia0,a1,ak-1，记记 x=x1x2xN的概率分布为的概率分布为q(x)，则信源熵为则信源熵为 (2-41)(2-41)241N维扩展信源的熵
50、维扩展信源的熵下面分两种情况来考虑：下面分两种情况来考虑：1信源离散无记忆信源离散无记忆按式按式(2-41)可计算出该信源的熵可计算出该信源的熵：（2 24242）第七十七页，讲稿共八十八页哦根据熵的性质根据熵的性质:条件熵小于等于无条件熵条件熵小于等于无条件熵，即有，即有 （2-452-45）2信源离散有记忆信源离散有记忆 信源输出序列信源输出序列x=x1x2xN 的概率为的概率为p(x)=p(x1)p(x2x1)p(x3x1x2)p(xNx1x2xN -1)，相应可以计算出其信源熵相应可以计算出其信源熵 H(X)=H(X1)+H(X2X1)+H(X3X1X2)+H(XNX1X2XN-1)记