《信息的度量修改.ppt》由会员分享，可在线阅读，更多相关《信息的度量修改.ppt（86页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息第二章：信息的度量1.自信息2.互信息一、自信息和互信息二、平均自信息三、平均互信息平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）公理性条件：(1)如果p(x1)I(x2)，I(xi)是p(xi)的单调递减函数；(2)如果p(xi)=0，则I(xi);如果p(xi)=1，则I(xi)=0;(3)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和：I(xi yj)=I(xi)+I(yj)平均自信息平均自信息
2、 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（续1）l随机事件随机事件 的的自信息自信息定义为该事件发生概定义为该事件发生概 率的对数的负值：率的对数的负值：l 关于对数底的选取：关于对数底的选取：以以2为底，单位为为底，单位为比特比特(bit)以以e为底，单位为为底，单位为奈特奈特(nat)以以10为底，单位为为底，单位为哈特莱哈特莱(Hartley)l 一般一般都采用以都采用以2 2为底的对数，为了书写简洁，有时把底数为底的对数，为了书写简洁，有时把底数2 2略略去不写。去不写。1.自信息（量）（
3、续2）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l 单位之间的换算关系：单位之间的换算关系：1奈特奈特=log2 e 比特比特=1.443比特比特 1哈特莱哈特莱=log210 比特比特=3.322比特比特 1 r进制单位进制单位=log2r 比特比特l自信息可以从两个方面来理解：自信息可以从两个方面来理解：自信息是事件发生前，事件发生的不确定性。自信息是事件发生前，事件发生的不确定性。自信息表示事件发生后，事件所包含的信息量。自信息表示事件发生后，事件所包含的信息量。试问四进制、八进制的每一波
4、形所含的信息量是二进制每一波形所含的信息量的多少倍？1.自信息（量）（续3）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（续4）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例1:设在甲袋中放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。解：比特由于是随意取出一个电阻,所以取出任意阻值的电阻的概率相等:例2:在乙袋中放入个电阻，其中阻值为1的1个，
5、2的2个，n的n个，随意取出一个，求被告知“取出的电阻阻值为1 ”和“取出的电阻阻值为n ”时分别获得的信息量。解：1.自信息（量）（续5）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（续6）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（续7）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二
6、章：信息的度量例3：设在A袋放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。在B袋中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j”时获得的信息量。在C袋中放入n种不同阻值，而每种阻值又有m种不同功率的电阻，即共有nm个电阻，随意选取一个，被告知“取出的电阻阻值为i，功率为j”时获得的信息量。1.自信息（量）（续8）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量I(xi)=logp(xi)=logn 比特I(yj)=logp(yj)=log
7、m 比特I(xiyj)=logp(xiyj)=log(nm)=I(xi)+I(yj)比特解：对应A,B,C三袋，随意取出一个电阻事件的概率分别为：因此因此1.自信息（量）（续9）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例4：设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意的放在棋盘中的某方格且让乙猜测棋子所在位置。（1）将方格按顺序编号，令乙猜测棋子所在的顺序号。问猜测的难易程度。（2）将方格按行和列编号，甲将棋子所在方格的列编号告诉乙之后，再令乙猜测棋子所在行的位置。问猜测的难易程度。
8、解：p(xiyj)=1/64i=1,2,8;j=1,2,8（1）I(xiyj)=logp(xiyj)=6比特（2）I(xi|yj)=logp(xi|yj)=logp(xiyj)/p(yj)=3比特 I(xi)=logp(xi)=3比特I(yj)=3比特1.自信息（量）（续10）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.互信息（量）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l设设X为为信信源源发
9、发出出的的离离散散消消息息集集合合；Y为为信信宿宿收收到到的的离离散散消消息集合；息集合；l信源发出的消息，经过有噪声的信道传递到信宿；信源发出的消息，经过有噪声的信道传递到信宿；信宿信道信源图1通信系统的简化模型噪声XY2.互信息（量）（续1）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量信宿信道信源噪声XYxixi无噪I(xi)p(xi)p(xi|yj)I(xi)yjI(xi;yj)=I(xi)I(xi|yj)l先验概率先验概率：信源发出消息：信源发出消息 的概率的概率 。l后验概率后验概率：信
10、宿收到消息：信宿收到消息 后推测信源发出后推测信源发出 的概率的概率，即条件概率即条件概率 。2.互信息（量）（续2）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l互信息定义为：互信息定义为：l互信息有两方面的含义：互信息有两方面的含义：表示事件表示事件 出现前后关于事件出现前后关于事件 的不确定性减少的量；的不确定性减少的量；事件事件 出现以后信宿获得的关于事件出现以后信宿获得的关于事件 的信息量。的信息量。2.互信息（量）（续3）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和
11、互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量讨论：(3)p(xi|yj)=1(2)若p(xi)0(1)统计独立p(xi|yj)=p(xi)，I(xi|yj)=I(xi)I(xi;yj)=0若p(xi)p(xi|yj)则I(xi;yj)0I(xi;yj)=logp(xi|yj)logp(xi)=I(xi)I(xi|yj)2.互信息（量）（续4）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例5：某地二月份天气构成的信源为某一天有人告诉你：“今天不是晴天”，把这句话作为
12、收到的消息y1,求当收到y1后,y1与各种天气的互信息量。解：2.互信息（量）（续5）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.互信息（量）（续6）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量xiyjv观察者站在输出端观察者站在输出端 I(xi;yj)=logp(xi|yj)logp(xi)=I(xi)I(xi|yj)：对对 yj 一无所知的情况下一无所知的情况下 xi 存在的不确定度；存在的不
13、确定度；：收到：收到 yj后后 xi仍然存在的不确定度；仍然存在的不确定度；互信息：互信息：收到收到 yj 前和收到前和收到 yj 后不确定度被消除的部分后不确定度被消除的部分。2.互信息（量）（续7）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量v观察者站在输入端观察者站在输入端 I(yj;xi)=logp(yj|xi)logp(yj)=I(yj)I(yj|xi)观察者得知输入端发出观察者得知输入端发出 xi 前、后对输出端出现前、后对输出端出现 yj 的的不确定度的差。不确定度的差。xiyjI(
14、yj;xi)=I(xi;yj)?平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量v观察者站在通信系统总体立场上观察者站在通信系统总体立场上互信息等于通信前后不确定度的差值互信息等于通信前后不确定度的差值 通信前：通信前：X和和Y之间没有任何关系，即之间没有任何关系，即X、Y统计独立，统计独立，p(xi yj)=p(xi)p(yj)，先验不确定度为先验不确定度为 通信后：通信后：p(xi yj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)，后验不确定度后验不确定度2.互信息（量）（续8）2.
15、互信息（量）（续9）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1)互信息的对称性互信息的对称性2)互信息可为正值、负值，或为互信息可为正值、负值，或为03)任何两个事件之间的互信息不可能大于其中任一任何两个事件之间的互信息不可能大于其中任一事件的自信息事件的自信息互信息量的性质互信息量的性质2.互信息（量）（续10）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l用公式表示为：用公式表示为：l互信息的
16、对称性表明：互信息的对称性表明：从从yj得到的关于得到的关于xi的信息量的信息量 与从与从xi 得到的关于得到的关于 yj的信息量的信息量 是一样的，只是观察的角度不同而已。是一样的，只是观察的角度不同而已。1)互信息的对称性2.互信息（量）（续11）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l当后验概率大于先验概率时，互信息为正。当后验概率大于先验概率时，互信息为正。说明事件说明事件yj的出现有助于消除事件的出现有助于消除事件xi的不确定度。的不确定度。l当后验概率小于先验概率时，互信息为负。
17、当后验概率小于先验概率时，互信息为负。说明收信者未收到说明收信者未收到 yj 以前，对消息以前，对消息xi是否出现的猜测难度较是否出现的猜测难度较小，但接收到消息小，但接收到消息 yj 后对后对 xi 是否出现的猜测的难度增加了，也是否出现的猜测的难度增加了，也就是收信者接收到消息就是收信者接收到消息 yj 后对后对 xi出现的不确定性反而增加，所出现的不确定性反而增加，所以获得的信息量为负值。以获得的信息量为负值。l当后验概率与先验概率相等时，互信息为零。当后验概率与先验概率相等时，互信息为零。这就是两个随机事件相互独立的情况。表明这就是两个随机事件相互独立的情况。表明xi和和yj之间不存之
18、间不存在统计约束关系，从在统计约束关系，从yj得得不到关于不到关于xi的的任何信息，反之亦然。任何信息，反之亦然。2)互信息可正可负，可为零3)任何两个事件之间的互信息不可能大于其中任一事件的自信息2.互信息（量）（续12）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例6：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？2.互信息（量）（续13）平均自信息平
19、均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.互信息（量）（续14）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量解：解：x=某女孩是大学生；某女孩是大学生；y=某女孩身高某女孩身高1 1米米6 6以上。则有以上。则有“身高身高1 1米米6 6以上的某女孩是女大学生以上的某女孩是女大学生”为事件为事件2.互信息（量）（续15）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量
20、第二章：信息的度量第二章：信息的度量第二章：信息的度量例7：已知信源发出和两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为 。求互信息量 和 。2.互信息（量）（续16）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量解：由已知可得可得2.互信息（量）（续17）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均自信息的概念2.熵
21、函数的性质3.联合熵与条件熵1.平均自信息的概念自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l平均平均自自信息（信息（信息熵信息熵/信源熵信源熵/香农熵香农熵/无条件熵无条件熵/熵函数熵函数/熵熵）：）：l自信息是一个随机变量：自信息是一个随机变量：自信息是指信源发出的某一消息所含有的信息量。不自信息是指信源发出的某一消息所含有的信息量。不同的消息，它们所含有的信息量也就不同。同的消息，它们所含有的信息量也就不同。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的统计
22、度量第二章：信息的统计度量第二章：信息的统计度量第二章：信息的统计度量l信息熵的单位，信息熵的单位，取决于对数选取的底取决于对数选取的底：以以2为底，单位为为底，单位为比特比特/符号符号以以e e为底，单位为为底，单位为奈特奈特/符号符号以以1010为底，单位为为底，单位为哈特莱哈特莱/符号符号。l信息熵的意义：信息熵的意义：信源的信息熵是从信源的信息熵是从整个整个信源的统计特性来考虑的。它信源的统计特性来考虑的。它是从是从平均平均意义上来表征信源的总体特性的。意义上来表征信源的总体特性的。对于某特定的对于某特定的信源，其信息熵只有一个。信源，其信息熵只有一个。不同的信源因统计特性不同，不同的
23、信源因统计特性不同，其信息熵也不同。其信息熵也不同。1.平均自信息的概念（续1）1.平均自信息的概念（续2）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量通常把一个随机变量的样本通常把一个随机变量的样本空间和样本空间中的元素空间和样本空间中的元素对应的概率称为对应的概率称为概率空间概率空间。离散随机变量 的概率空间为：1.平均自信息的概念（续3）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例1掷一个六面均匀
24、的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机试验的结果，并把试验结果看作一个信源的输出，试建立数学模型。信源的输出：离散随机变量XX：1，2，3，4，5，6样本空间P（X）：P(X=1)=1/6，P(X=2)=1/6，P(X=6)=1/6XP=X：123456P(X)：1/61/61/61/61/61/6解：概率空间1.平均自信息的概念（续4）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例2：一信源有6种输出符号，概率分别为P(A)=0.5，P(B)=0.25，P(C)=0.12
25、5，P(D)=P(E)=0.05，P(F)=0.025。1)计算H(X)。2)求符号序列ABABBA和FDDFDF的信息量，并将之与6位符号的信息量期望值相比较。解：解：1)1)由信息熵定义，该信源输出的信息熵为由信息熵定义，该信源输出的信息熵为1.平均自信息的概念（续5）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.平均自信息的概念（续6）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量符号序列符号序列F
26、DDFDF所含的信息量为所含的信息量为6位符号序列的信息量平均值为位符号序列的信息量平均值为 符号序列符号序列ABABBA所含的信息量为所含的信息量为三者比较为三者比较为 自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质l离散随机变量离散随机变量X X的概率空间为的概率空间为记记 pi=p(xi)，则l 由于概率的完备性，即由于概率的完备性，即 ，所以，所以 实际上是实际上是 元函数。元函数。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信
27、息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续1）l 当当 n=2 时，时，自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续2）熵函数的数学特性包括熵函数的数学特性包括:(1)对称性对称性(2)确定性确定性(3)非负性非负性(4)扩展性扩展性(5)连续性连续性(6)递增性递增性(7)上凸性上凸性(8)极值性极值性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质
28、（续3）l当概率矢量当概率矢量 中各分量的次序任意变中各分量的次序任意变更时，熵函数的值不变，即更时，熵函数的值不变，即 H(p1，p2，pn)=H(p2，p1，pn)=H(p3，p1，p2)=l该性质说明：熵只与随机变量该性质说明：熵只与随机变量(信源信源)的的总体统计特性总体统计特性有关。有关。如果某些信源的统计特性相同（含有的如果某些信源的统计特性相同（含有的符号数符号数和和概率分布概率分布相同），那么这些信源的熵就相同。相同），那么这些信源的熵就相同。（1）对称性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第
29、二章：信息的度量2.熵函数的性质（续4）例3：三个信源分别为：X与与Z信源的差别信源的差别：具体消息其含义不同；具体消息其含义不同；X与与Y信源的差别信源的差别：同一消息的概率不同；同一消息的概率不同；但它们的信息熵是相同的。但它们的信息熵是相同的。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续5）H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0,0)=0 l在概率空间中，只要有一个事件是必然事件，那么其它事件在概率空间中，只要有一个事件是必然事件，那么其它事件一定
30、是不可能事件，因此信源没有不确定性，熵必为一定是不可能事件，因此信源没有不确定性，熵必为0。（2）确定性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续6）l只有当随机变量是一确知量时，熵只有当随机变量是一确知量时，熵H(X)=0。l离散信源的熵满足非负性，而连续信源的熵可能为负。离散信源的熵满足非负性，而连续信源的熵可能为负。（3）非负性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵
31、函数的性质（续7）l扩展性说明，增加一个概率接近于零的事件，信源熵保扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。持不变。l虽然小概率事件出现后，给予收信者较多的信息，但从虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。也是熵的总体平均性的一种体现。（4）扩展性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信
32、息的度量第二章：信息的度量2.熵函数的性质（续8）（5）连续性（6）递增性（递推性)自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续9）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续10）例4：利用递推性计算熵函数H(1/3，1/3，1/6，1/6)的值。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的
33、度量第二章：信息的度量2.熵函数的性质（续11）例4：利用递推性计算熵函数H(1/3，1/3，1/6，1/6)的值。解：bit/符号自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续13）l凸函数的定义及詹森不等式（7）上凸性引理引理（香农辅助定理）：香农辅助定理）：其中其中证明：证明：自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续14）时等号成立。可以被看做是一种新的概率
34、分布。可以被看做是一种新的概率分布。是概率分布是概率分布 的严格上凸函数，即的严格上凸函数，即证明：证明：自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续15）等号成立条件但是所以等号不成立。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续16）l上凸性的几何意义：上凸性的几何意义：在上凸函数的任两点在上凸函数的任两点之间画一条割线，函数总之间画一条割线，函数总在割线的上方
35、在割线的上方.l上凸函数在定义域内上凸函数在定义域内的极值必为最大值，的极值必为最大值，这对求最大熵很有用。这对求最大熵很有用。f(x)x1x2f(x1)f(x2)自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续17）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续18）（8）极值性（最大离散熵定理）定理定理：离散无记忆信源输出离散无记忆信源输出n个不同的信息符号，个不同的
36、信息符号，当且仅当各个符号出现概率相等时当且仅当各个符号出现概率相等时(即即 )，熵，熵最大，即最大，即 自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续19）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续20）例例5：以二进制信源为例，信源的概率空间为以二进制信源为例，信源的概率空间为二进制信源的信息熵为二进制信源的信息熵为这时信息熵这时信息熵H(X)是是p的函数，熵函
37、数的函数，熵函数H(p)的曲线如图所的曲线如图所示：示：从图中可以得出熵函数的一些性质：从图中可以得出熵函数的一些性质：l如果二进制信源的输出是确定的如果二进制信源的输出是确定的(p=0或或p=1)，则该信源不则该信源不提供任何信息；提供任何信息；l当二进制信源符号当二进制信源符号0和和1等概率等概率发生时，信源的熵达到最大发生时，信源的熵达到最大值，等于值，等于1比特比特/符号符号;l在在等概率等概率的二进制信源输出的二进制数字序列中，每一个的二进制信源输出的二进制数字序列中，每一个二元数字提供二元数字提供1比特的信息量。如果符号比特的信息量。如果符号不是等概率分布不是等概率分布，则每一个二
38、元数字所提供的平均信息量小于则每一个二元数字所提供的平均信息量小于1比特。比特。l这也进一步说明了这也进一步说明了计算机术语中的计算机术语中的“比特比特”与与信息量单位信息量单位“比特比特”的关系。的关系。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函数的性质（续21）3.联合熵和条件熵自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量定义定义2.4 随机变量X和Y的联合分布为p(xiyj)，则这两个随机
39、变量的联合熵定义为：联合熵表示对于二维随机变量的平均不确定性。3.联合熵和条件熵（续1）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量定义定义2.5 随机变量X和Y的条件熵定义为：条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。l 表示在已知表示在已知 的情况下的情况下,Y的平均不确定性。的平均不确定性。l对于不同的对于不同的 ，是变化的。因此，是变化的。因此，是一个随机变量。是一个随机变量。3.联合熵和条件熵（续2）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第
40、二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.联合熵和条件熵（续3）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例例6：已知已知 联合概率分布如下，求：联合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。1)解：解：3.联合熵和条件熵（续4）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.联合熵和条件熵（续5）自信息和互信息自信息和互信息平均互信息
41、平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量H(X)=2.0662)3)H(Y)=1.8564)3.联合熵和条件熵（续6）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量5)3.联合熵和条件熵（续7）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.联合熵和条件熵（续8）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度
42、量第二章：信息的度量第二章：信息的度量第二章：信息的度量各种熵之间的关系各种熵之间的关系 H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(X|Y)H(X)，H(Y|X)H(Y)H(XY)H(X)+H(Y)若X与Y统计独立，则H(XY)=H(X)+H(Y)可推广到多个随机变量的情况：可推广到多个随机变量的情况：3.联合熵和条件熵（续9）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l 引入事件的重量，度量事件的重要性或主观价值。引入事件的重量，度量事件的重要性或主观价值。l 加权熵定义为：
43、加权熵定义为：加权熵3.联合熵和条件熵（续10）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.联合熵和条件熵（续11）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例7：信源X=A,B,C,信源Y=D,E,F,G,已知条件概率分布和X的概率分布，求联合熵和条件熵。3.联合熵和条件熵（续12）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息
44、的度量第二章：信息的度量解：H(XY)=3.417H(X)=1.46H(Y)=1.997H(Y|X)=1.95H(X|Y)=H(XY)-H(Y)=1.42第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均互信息的概念2.平均互信息的性质3.数据处理定理第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.平均互信息的概念信宿信道信源噪声XYxiyjI(xi;yj)p(xiyj)平均交互信息量、交互熵I(X;Y)p(yj|xi)平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第
45、二章：信息的度量1.平均互信息的概念（续1）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性质1.对称性：I(X;Y)=I(Y;X)2.非负性：3.极值性：I(X;Y)minH(X),H(Y)4.5.4.平均互信息和各类熵的关系:6.I(X;Y)=H(X)-H(X|Y)=H(Y)H(Y|X)=H(X)+H(Y)H(XY)7.X,Y 互相独立时8.5.I(X;Y)是信源概率分布p(xi)的上凸函数和信道传递概率p(yj|xi)的下凸函数。第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息
46、和互信息自信息和互信息平均互信息量不是从两个具体消息平均互信息量不是从两个具体消息出发，而是从随机变量出发，而是从随机变量X X和和Y Y的的整体角度出发，在平均意义上整体角度出发，在平均意义上观察问题，所以观察问题，所以平均互信息不平均互信息不会出现负值会出现负值。第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性质（续1）H(XY)H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)=0第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平
47、均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性质（续2）符号图示表1 X、Y之间有依赖关系时第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性质（续3）符号图示表2 X、Y相互独立时第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.数据处理定理定义2.7 平均条件互信息定义2.8 平均联合互信息可以证明同理第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的
48、度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.数据处理定理（续1）定理2.3（数据处理定理）如果随机变量X，Y，Z构成一个马尔可夫链，则有以下关系成立：等号成立的条件分别是对于任意的 x，y，z证明第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.数据处理定理（续2）第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.数据处理定理（续3）练习题练习题1 已知：已知：X为随机变量，为随机变量，判断：判断：？第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息