《《信息论与编码》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《信息论与编码》PPT课件.ppt（58页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码基础信息论与编码基础信息论与编码基础离散信道信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道离散信道a、根据输入、输出信号的时间特性和取值特性离散信道连续信道半离散或半连续信道波形信道信息论与
2、编码基础1、信道的分类数字信道b、根据输入集合与输出集合的个数单用户信道多用户信道一对多、多对一多对多信息论与编码基础离散信道c、根据信道转移概率的性质无噪信道有噪信道1、信道的分类实际的通信信道几乎都是有扰信道无记忆信道有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。d、按信道统计特性恒参信道变参信道卫星信道短波信道e、根据信道噪声的性质高斯噪声信道非高斯噪声信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道2、离散信道的数学模型信道无扰（无噪）信道有
3、扰信道无记忆信道有记忆信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道信道3、单符号离散信道例1 BSC信道BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础离散信道1）条件转移概率2）转移矩阵3）转移概率图3、单符号离散信道XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息论与编码基础离散信道一定比例的bit被删除，并且接收者知道是那些bit已经被删除。例2 二进制删除信道3、单符号离散信道信息论与编码基础离散信道
4、一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道1、信道疑义度先验熵后验熵若信道中存在干扰时信道疑义度0H(X|Y)H(X)损失熵2、互信息量和条件互信息量 互信息量互信息量 互信息的性质互信息的性质 条件互信息量条件互信息量信息论与编码基础离散信道 互信息量n互信息量定义互信息量定义n举例举例n互信息量的三种不同表达式互信息量的三种不同表达式信息论与编码基础离散信道n 互信息量定义X信源发出的离散消息集合；信源发出的离散消息集合；Y信宿收到的离散消息集合；信宿收到的离散消息集合；信源通过有干扰的信
5、道发出消息传递给信宿；信源通过有干扰的信道发出消息传递给信宿；信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果；个结果；最简单的通信系统模型：最简单的通信系统模型：信源信源X、信宿、信宿Y的数学模型为的数学模型为信息论与编码基础离散信道先验概率：先验概率：信源发出消息信源发出消息xi的概率的概率p(xi)。后验概率：后验概率：信宿收到信宿收到yj后推测信源发出后推测信源发出xi的概率的概率p(xi/yj)。互信息量互信息量：yj对对xi的互信息量定义为的互信息量定义为后验概率与先验概后验概率与先验概
6、率比值的对数率比值的对数。信息论与编码基础离散信道n 举 例某地二月份天气构成的信源为某地二月份天气构成的信源为收到消息收到消息y1：“今天不是晴天今天不是晴天”收到收到y1后：后：p(x1/y1)=0，p(x2/y1)=1/2，p(x3/y1)=1/4，p(x4/y1)=1/4信息论与编码基础离散信道计算计算y1与各种天气之间的互信息量与各种天气之间的互信息量对天气对天气x1，不必再考虑，不必再考虑对天气对天气x2，对天气对天气x3,对天气对天气x4结果表明从结果表明从y1分别得到了各分别得到了各1比特的信息量；比特的信息量；或者说或者说y1 使使x2，x3，x4的不确定度各减少量的不确定度
7、各减少量1比特。比特。信息论与编码基础离散信道n 互信息量的三种不同表达式观察者站在输出端观察者站在输出端信息论与编码基础离散信道发送送接接收收？理想情况：n 互信息量的三种不同表达式观察者站在输出端观察者站在输出端l自信息量：自信息量：对对yj一无所知的情况下一无所知的情况下xi存在的不确定度；存在的不确定度；l条件自信息量：条件自信息量：已知已知yj 的条件下的条件下xi 仍然存在的不确定度；仍然存在的不确定度；l互信息量：互信息量：两个不确定度之差是不确定度被消除的部分，两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。实际是即等于自信息量减去条件自信息量。实际是
8、从从yj得到的关于得到的关于xi的信息量。的信息量。信息论与编码基础离散信道观察者站在输入端观察者站在输入端 信息论与编码基础离散信道发送送接接收收？理想情况：观察者站在输入端观察者站在输入端 站在输入端观察，观察者在输入端出现站在输入端观察，观察者在输入端出现xi前、后对输出端前、后对输出端出现出现yj的的不确定度有变化，即从不确定度有变化，即从xi中也可提取关于中也可提取关于yj的信息的信息量。观察者得知输入端发出量。观察者得知输入端发出xi前、后对输出端出现前、后对输出端出现yj的的不确不确定度的差。定度的差。信息论与编码基础离散信道观察者站在通信系统总体立场上观察者站在通信系统总体立场
9、上信息论与编码基础离散信道通信前发送送接收接收观察通信系统：观察通信系统：观察者站在通信系统总体立场上观察者站在通信系统总体立场上信息论与编码基础离散信道通信后发送送接收接收观察者站在通信系统总体立场上观察者站在通信系统总体立场上l通信前：输入随机变量通信前：输入随机变量X和输出随机变量和输出随机变量Y之间没有任何关联关系，即之间没有任何关联关系，即X，Y统计独立：统计独立：p(xi yj)=p(xi)p(yj)先验不确定度先验不确定度l通信后：输入随机变量通信后：输入随机变量X和输出随机变量和输出随机变量Y之间由信道的统计特性相联之间由信道的统计特性相联系，其联合概率密度：系，其联合概率密度
10、：p(xi yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)后验不确定度后验不确定度l通信后的互信息量，等于前后不确定度的差通信后的互信息量，等于前后不确定度的差l这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。种较为方便的表达式。信息论与编码基础离散信道互信息的引出，使互信息的引出，使信息流通信息流通问题进入了问题进入了定量分定量分析析的范畴，为信息流通的定量测量打下了坚实的范畴，为信息流通的定量测量打下了坚实的基础，把信息理论发展到了一个更深的层次，的基础，把信息理论发展到了一个更深的
11、层次，可以认为是可以认为是信息论发展的又一个里程碑信息论发展的又一个里程碑。信息论与编码基础离散信道 互信息的性质n对称性对称性n相互独立时的相互独立时的X和和Yn互信息量可为正值或负值互信息量可为正值或负值n不大于其中任一事件的自信息量不大于其中任一事件的自信息量信息论与编码基础离散信道n 对称性I(xi;yj)=I(yj;xi)推导过程推导过程互信息量的对称性表明：互信息量的对称性表明：l两个随机事件的可能结果两个随机事件的可能结果xi和和yj之间的统计约束程度；之间的统计约束程度；l从从yj得到的关于得到的关于xi的信息量的信息量I(xi;yj)与从与从xi得到的关于得到的关于yj的信息
12、量的信息量I(yj;xi)是一样的，只是观察的角度不同而已。是一样的，只是观察的角度不同而已。互信息量描述了两个随机事件互信息量描述了两个随机事件xi、yj 之之间的的统计约束程度，假如束程度，假如先先验概率确定了，其后概率确定了，其后验概率就决定了信息的流通。概率就决定了信息的流通。信息论与编码基础离散信道n 相互独立时的X和Y这时这时 p(xi yj)=p(xi)p(yj)互信息量为互信息量为表明表明xi和和yj之间不存在统计约束关系，从之间不存在统计约束关系，从yj得不到关于得不到关于xi的任的任何信息，反之亦然。何信息，反之亦然。信息论与编码基础离散信道n 互信息量可为正值或负值当后验
13、概率大于先验概率时，互信息量为正。当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负。当后验概率小于先验概率时，互信息量为负。说明收信者未收到说明收信者未收到yj以前，对消息以前，对消息xi的是否出现的猜测难疑程度较小，的是否出现的猜测难疑程度较小，但由于噪声的存在，接收到消息但由于噪声的存在，接收到消息yj后对后对xi是否出现的猜测的难疑程度增是否出现的猜测的难疑程度增加了，也就是收信者接收到消息加了，也就是收信者接收到消息yj后对后对xi出现的不确定性反而增加，所出现的不确定性反而增加，所以获得的信息量为负值。以获得的信息量为负值。当后验概率与先验概率相等时，互
14、信息量为零。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。这就是两个随机事件相互独立的情况。信息论与编码基础离散信道n 互信息量可为正值或负值值域为实数值域为实数互信息量的互信息量的值可可为正数、正数、负数或者数或者0，取决于后，取决于后验概概率和先率和先验概率的比概率的比值。n考虑以下几种情况。考虑以下几种情况。（1）p(xi/yj)=1，I(xi；yj)=I(xi)。后后验概率概率为1，说明收到明收到yj后即可以完全消除后即可以完全消除对信源是信源是否否发xi的不确定度。的不确定度。其物理含其物理含义是信宿是信宿获取了信源取了信源发出的全部信息量，出的全部信息
15、量，这等效等效为信道没有干信道没有干扰。信息论与编码基础离散信道n 互信息量可为正值或负值（2）p(xi)p(xi/yj)I(xi/yj)，I(xi；yj)0后后验概率大于先概率大于先验概率，概率，说明收到明收到yj后后对信源是否信源是否发xi所所进行判断的行判断的正确程度，要大于正确程度，要大于xi在信源集合中的概率在信源集合中的概率.或者或者说收到收到yj后多少后多少还能消除一些能消除一些对信源是否信源是否发xi的不确定度，因此的不确定度，因此yj获取了关于取了关于xi的信息量。的信息量。I(xi；yj)越大，越大，这种种获取就越多。取就越多。这正是正是实际通信通信时遇到的大多数情况，它遇
16、到的大多数情况，它对应着信道存在干着信道存在干扰，但，但信宿仍能从信源中信宿仍能从信源中获取信息量。取信息量。从从这里里隐约可以看到，只要可以看到，只要I(xi；yj)0，就存在着能，就存在着能够通信的可能通信的可能性，在后面的章性，在后面的章节将会将会进一步一步讨论进行可靠通信的极限条件。行可靠通信的极限条件。信息论与编码基础离散信道n 互信息量可为正值或负值（3）p(xi/yj)=p(xi)，即，即 I(xi)=I(xi/yj)，I(xi;yj)=0后后验概率与先概率与先验概率相等，概率相等，说明收到明收到yj后后对信源是否信源是否发xi所所进行行判断的正确程度，和判断的正确程度，和xi在
17、信源集合中的概率是一在信源集合中的概率是一样的；的；因此，它一点也不能消除因此，它一点也不能消除对信源是否信源是否发xi的不确定度，也就是的不确定度，也就是说从从yj中中获取不到关于取不到关于xi的信息量；的信息量；事事实上，假若上，假若xi 和和yj 统计无关，即无关，即p(xi,yj)=p(xi)p(yj)，由由贝叶叶斯公式容易推得斯公式容易推得I(xi；yj)=0；这种情况种情况实际上是事件上是事件xi和事件和事件yj统计无关，或者无关，或者说信道使得事信道使得事件件xi和事件和事件yj变成了两成了两码事，信宿得到的信息事，信宿得到的信息仅仅是由信道特性是由信道特性给出的，与信源出的，与
18、信源实际发出什么符号无关，因此完全没有信息的出什么符号无关，因此完全没有信息的流通。流通。信息论与编码基础离散信道n 互信息量可为正值或负值（4）0p(xi/yj)p(xi)，即，即 I(xi)I(xi/yj)，I(xi;yj)0后后验概率小于先概率小于先验概率，概率，说明收到明收到yj后后对信源是否信源是否发xi所所进行判断行判断的正确程度，比的正确程度，比xi在信源集合中的概率在信源集合中的概率还要小，要小，这时判断信源没判断信源没有有发xi似乎更合理些，但不能判断信源到底似乎更合理些，但不能判断信源到底发了什么（特了什么（特别是是对应于信源有多个符号于信源有多个符号时）。）。这种情况事种
19、情况事实上上给出了信息量，但流通的不是关于出了信息量，但流通的不是关于xi的信息量，而的信息量，而是是xi以外的事件的信息量。以外的事件的信息量。综上所述，只有综上所述，只有p(xi/yj)=p(xi)，即，即I(xi;yj)=0 时，才没有时，才没有信息的流通。信息的流通。信息论与编码基础离散信道n 不大于其中任一事件的信息量由于由于p(xi/yj)1，有，有I(xi；yj)log1/p(xi)=I(xi)同理，由同理，由p(yj/xi)1，有，有I(yj；xi)log1/P(yj)=I(yj)n这一性一性质清楚地清楚地说明了互信息量是描述信息流通特性明了互信息量是描述信息流通特性的物理量，
20、流通量的数的物理量，流通量的数值当然不能大于被流通量的数当然不能大于被流通量的数值。n某一事件的自信息量是任何其他事件所能提供的关于某一事件的自信息量是任何其他事件所能提供的关于该事件的最大信息量。事件的最大信息量。信息论与编码基础离散信道 条件互信息量n定义：定义：消息消息xi与消息对与消息对yj zk之间的互信息量为之间的互信息量为n条件互信息量定义：条件互信息量定义：在给定在给定zk条件下，条件下，xi与与yj之间的互信息量。之间的互信息量。nxi与与yj zk的互信息量的互信息量n上式表明：上式表明：一个联合事件一个联合事件yj zk发生后所提供的有关发生后所提供的有关xi的信息量的信
21、息量I(xi;yj zk)，等于，等于zk发生后提供的有关发生后提供的有关xi的信息量的信息量I(xi;zk)与给定与给定zk条件下再出现条件下再出现yj后后所提供的有关所提供的有关xi的信息量的信息量I(xi;yj/zk)之和。之和。信息论与编码基础离散信道信息论与编码基础离散信道互信息自信息条件自信息由于条件引入获得的信息量1）对称性I(ai;bj)=I(bj;ai)2）事件统计独立时I(ai;bj)=03）可正、可负4）I(ai;bj)I(ai)信息论与编码基础离散信道2、平均互信息定义3.2 令为信道输入X与输出Y之间的平均互信息接收到每个输出符号后获得的关于X的平均信息量bit/si
22、gn互信息n平均互信息量自信息量自信息量熵熵互信息量互信息量平均互信息量平均互信息量定义定义-两个离散随机事件集合两个离散随机事件集合X和和Y，若其任意，若其任意两事件间的互信息量为两事件间的互信息量为I(xi；yj)，则其联合概率，则其联合概率加权的统计平均值，称为两集合的平均互信息加权的统计平均值，称为两集合的平均互信息量，用量，用I(X；Y)表示。表示。信息论与编码基础离散信道(1)平均互信息量的定义n平均互信息量定义：互信息量平均互信息量定义：互信息量I(xi;yj)在联合概率空间在联合概率空间P(XY)中的统计平均值。中的统计平均值。n称称I(X;Y)是是Y对对X的平均互信息量的平均
23、互信息量（简称平均互信息（简称平均互信息/平均交互信平均交互信息量息量/交互熵）交互熵）。nX对对Y的平均互信息定义为的平均互信息定义为信息论与编码基础离散信道n平均互信息的第三种定义平均互信息的第三种定义n平均互信息平均互信息I(X;Y)克服了克服了互信息量互信息量I(xi;yj)的随机性，成为的随机性，成为一个一个确定的量确定的量。信息论与编码基础离散信道(2)平均互信息量的物理含义 观察者站在输出端观察者站在输出端 观察者站在输入端观察者站在输入端 观察者站在通信系统总体立场上观察者站在通信系统总体立场上信息论与编码基础离散信道 观察者站在输出端nH(X/Y)信道疑义度信道疑义度/损失熵
24、。损失熵。Y关关于于X的后验不确定度的后验不确定度。表示收到变量。表示收到变量Y后，对随机变量后，对随机变量X仍然存在的不确仍然存在的不确定度。代表了在信道中损失的信息。定度。代表了在信道中损失的信息。nH(X)X的先验不确定度的先验不确定度/无条件熵无条件熵。nI(X;Y)收到收到Y前、后关于前、后关于X的不确的不确定度减少的量。定度减少的量。从从Y获得的关于获得的关于X的的平均信息量平均信息量。信息论与编码基础离散信道nI(X;Y)=H(X)H(X/Y)平均互信息量为信源熵减掉一个条件熵。平均互信息量为信源熵减掉一个条件熵。表明：以发送端（信源）的熵为参考，在接收端平均每收表明：以发送端（
25、信源）的熵为参考，在接收端平均每收到一个符号所获得的信息量。到一个符号所获得的信息量。信道上没有任何干扰或噪声：信道上没有任何干扰或噪声：I(X;Y)=H(X)；信道存在干扰和噪声信道存在干扰和噪声n干扰和噪声干扰和噪声“污染污染”被传输的信息被传输的信息n到达接收端的平均信息量比信源熵少了一些到达接收端的平均信息量比信源熵少了一些n少掉的部分就是条件熵少掉的部分就是条件熵H(X/Y)n因此平均互信息量表征了对接收的每一个符号的因此平均互信息量表征了对接收的每一个符号的正确性所产生怀疑的程度，故条件熵正确性所产生怀疑的程度，故条件熵H(X/Y)又称又称之为疑义度。之为疑义度。观察者站在输出端信
26、息论与编码基础离散信道 观察者站在输入端nH(Y/X)噪声熵。表示噪声熵。表示发出随机变量发出随机变量X后，对随机变量后，对随机变量Y仍然存在的平均不确仍然存在的平均不确定度定度。如果信道中不存在任何噪声，发。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，送端和接收端必存在确定的对应关系，发出发出X后必能确定对应的后必能确定对应的Y，而现在不，而现在不能完全确定对应的能完全确定对应的Y，这显然是由信道，这显然是由信道噪声所引起的。噪声所引起的。nI(Y;X)发出发出X前、后关于前、后关于Y的先验不确的先验不确定度减少的量。定度减少的量。信息论与编码基础离散信道 观察者站在输入端
27、nI(Y;X)=H(Y)H(Y/X)说明平均互信息量也可以用接收端（信宿）的熵为参考，且等于说明平均互信息量也可以用接收端（信宿）的熵为参考，且等于信宿熵减掉一个条件熵信宿熵减掉一个条件熵同样表征接收端平均每收到一个符号所获得的信息量。同样表征接收端平均每收到一个符号所获得的信息量。如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得的信息量即是信宿熵，即的信息量即是信宿熵，即I(X;Y)=H(Y)；但是，如果信道上存在着干扰或噪声，则平均每收到一个符号所但是，如果信道上存在着干扰或噪声，则平均每收到一个符号所获得的信息量，它比起信宿
28、熵小了一个条件熵，这个条件熵获得的信息量，它比起信宿熵小了一个条件熵，这个条件熵H(Y/X)是由于信道的干扰或噪声给出的，因此它是唯一地确定信道是由于信道的干扰或噪声给出的，因此它是唯一地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散布度噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散布度（Degree of Diffusiveness）。）。信息论与编码基础离散信道 观察者站在通信系统总体立场上nH(XY)联合熵。表示输入随机变量联合熵。表示输入随机变量X，经信道传输到达信宿，输出随，经信道传输到达信宿，输出随机变量机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。
29、即收、发双方通信后，整个系统仍然存在的不确定度。nI(X;Y)通信前、后整个系统不确定度减少量。在通信前把通信前、后整个系统不确定度减少量。在通信前把X和和Y看成看成两个相互独立的随机变量，整个系统的先验不确定度为两个相互独立的随机变量，整个系统的先验不确定度为X和和Y的联合熵的联合熵H(X)+H(Y)；通信后把信道两端出现；通信后把信道两端出现X和和Y看成是看成是由信道的传递统计特性由信道的传递统计特性联系起来的联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由后验不确定度由H(XY)描述。描述。信息论与编码基础离
30、散信道nI(X;Y)=H(X)+H(Y)H(XY)n根据各种熵的定义，从该式可以清楚看根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的出平均互信息量是一个表征信息流通的量，量，n其物理意义就是信源端的信息通过信道其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量。后传输到信宿端的平均信息量。观察者站在通信系统总体立场上信息论与编码基础离散信道结 论n以上三种不同的角度说明：从一个事件获得另一以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要个事件的平均互信息需要消除不确定度消除不确定度，一旦消，一旦消除了不确定度，就获得了信息。除了不确定度，就获得了
31、信息。I(X;Y)=H(X)H(X/Y)I(Y;X)=H(Y)H(Y/X)I(X;Y)=H(X)+H(Y)H(XY)信息论与编码基础离散信道举 例n例例2.1.5 把已知信源把已知信源 接到图所示的信道上，求接到图所示的信道上，求在该信道上传输的平均互信息量在该信道上传输的平均互信息量I(X;Y)，疑义度，疑义度H(X/Y)，噪声熵，噪声熵H(Y/X)，联合熵，联合熵H(XY)。信息论与编码基础离散信道解解：(1)求联合概率求联合概率 p(xi yj)=p(xi)p(yj/xi)p(x1 y1)=p(x1)p(y1/x1 p(x1 y2)=p(x1)p(y2/x1 p(x2 y1)=p(x2)p(y1/x2 p(x2 y2)=p(x2)p(y2/x2 (2)求求Y的各消息概率的各消息概率 (3)求求X的各后验概率的各后验概率 (4)求信源熵和联合熵求信源熵和联合熵(5)平均互信息平均互信息I(X;Y)=H(X)+H(Y)-H(XY比特比特/符号符号(6)疑义度疑义度(7)噪声熵噪声熵信息论与编码基础离散信道思考题令X,Y1,Y2为二进制随机变量，1）如果I(X;Y1)=0 且 I(X;Y2)=0,可否推出I(X;Y1,Y2)=0?试举例说明。2）如果 I(X;Y1)=0 且I(X;Y2)=0，是否可推出 I(Y1;Y2)=0?请说明。