《信息理论与编码精.ppt》由会员分享，可在线阅读，更多相关《信息理论与编码精.ppt（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息理论与编码第1页，本讲稿共25页2-5：居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生的消息，问获得多少信息量。A=“女孩”，B=“大学生”，C=“身高1.6m以上”P(B/A)=0.25 P(C/AB)=0.75 P(C/A)=0.5第2页，本讲稿共25页第一节：单符号离散信源一：符号的信息量二：信源的平均信息量1、信息熵、信息熵信源信源X中各符号平均中各符号平均信息量。单位信息量。单位bit/symbol第3页，本讲稿共25页定义：在给定定义：在给定定义：在给定定义：在给定Y
2、Y Y Y条件下，条件下，条件下，条件下，X X X X的条件熵的条件熵的条件熵的条件熵 H H H H（X/YX/YX/YX/Y）=2 2、条件、条件熵熵相应地，在给定相应地，在给定相应地，在给定相应地，在给定X X X X的条件下，的条件下，的条件下，的条件下，Y Y Y Y的条件熵的条件熵的条件熵的条件熵H(Y/X)H(Y/X)H(Y/X)H(Y/X)定义为定义为定义为定义为H(Y/X)=H(Y/X)=H(Y/X)=H(Y/X)=H(Y/X):H(Y/X):噪声对各符号产生的平均噪声对各符号产生的平均信量，称为噪声熵。信量，称为噪声熵。H(X/Y)：在传输符号时平均损失：在传输符号时平均
3、损失的信息量，称为疑义度。的信息量，称为疑义度。3、联合熵、联合熵H（XY）=联合熵联合熵H（XY）表示）表示X和和Y同时提供的符号平均信息量同时提供的符号平均信息量 第4页，本讲稿共25页4、平均互信息量平均互信息量表示通信系统在传输一个符号时，所传送的平均信息量。表示通信系统在传输一个符号时，所传送的平均信息量。各参数的意义总结各参数的意义总结:H H H H（X X X X）是符号集合）是符号集合）是符号集合）是符号集合X X X X中每个符号包含的平均信息量中每个符号包含的平均信息量中每个符号包含的平均信息量中每个符号包含的平均信息量.I I I I（X X X X；Y Y Y Y）信
4、道上能传输的平均信息量信道上能传输的平均信息量.H（XY）称为疑义度，它是信道中每个符号损失的）称为疑义度，它是信道中每个符号损失的 信息量。信息量。H（YX）称为噪声熵。称为噪声熵。H(XY)联合熵联合熵第5页，本讲稿共25页第6页，本讲稿共25页第7页，本讲稿共25页 H H H H（XYXYXYXY）H H H H（X X X X）H H H H（Y Y Y YX X X X）H H H H（XYXYXYXY）H H H H（Y Y Y Y）H H H H（X X X XY Y Y Y）第8页，本讲稿共25页1）I（X；Y）=H（X）一）一H（XY）2)I（X；Y）=H（Y）一）一 H（
5、YX）3）I（X；Y）=I（Y；X）4)I(X;Y)=H(X)+H(Y)-H(XY)第9页，本讲稿共25页例例2-92-9：二进制通信系统使用符号：二进制通信系统使用符号0 0和和1 1，由于存在失真，传输时，由于存在失真，传输时会产生误码。设：会产生误码。设：u0-u0-发出一个发出一个0 0；u1u1发出一个发出一个1 1；v0v0收到一个收到一个0 0；v1v1收到一个收到一个1 1。P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2.P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2.(1)(1)已知发出一个已知发出一个0 0，求收到符号后的信息
6、量；，求收到符号后的信息量；(2)(2)已知发出一个符号，求收到符号后的信息量；已知发出一个符号，求收到符号后的信息量；(3)已知发出的和收到的符号，求能得到的信息量；已知发出的和收到的符号，求能得到的信息量；(4)已知收到的符号，求被告知发出的符号能得到的信息量。已知收到的符号，求被告知发出的符号能得到的信息量。求求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY)(4)H(X/Y)?I(X;Y)第10页，本讲稿共25页求求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY(4)H(X/Y)?I(X;Y)第11页，本讲稿共25页2-10 2-10 在一个袋中放入在一个袋中放入5 5
7、个黑球、个黑球、1010个白球，以摸出一个个白球，以摸出一个球为一次实验，摸出的球不再放进去。求：球为一次实验，摸出的球不再放进去。求：（1 1）一次实验）一次实验X X包含的不确定度；包含的不确定度；（2 2）第一次实验）第一次实验X X摸出的是黑球，第二次实验摸出的是黑球，第二次实验Y Y给出的不确给出的不确定度；定度；（3)3)第一次实验第一次实验X X摸出的是白球，第二次实验摸出的是白球，第二次实验Y Y给出的不确给出的不确定度；定度；（4 4）第二次实验）第二次实验Y Y包含的不确定度。包含的不确定度。求求:(1)H(X)(1)H(X)(2)H(Y/X=“(2)H(Y/X=“黑黑”)
8、”)(3)H(Y/X=“(3)H(Y/X=“白白”)”)(4)H(Y)(4)H(Y)第12页，本讲稿共25页求求:(1)H(X)(1)H(X)(2)H(Y/X=“(2)H(Y/X=“黑黑”)”)(3)H(Y/X=“(3)H(Y/X=“白白”)”)(4)H(Y)(4)H(Y)(1)H(X)=H(1/3,2/3)=0.92(1)H(X)=H(1/3,2/3)=0.92(2)H(Y/X=“(2)H(Y/X=“黑黑”)=H(2/7,/5/7)=0.86”)=H(2/7,/5/7)=0.86(3)H(Y/X=“(3)H(Y/X=“白白”)=H(5/14,9/14)=0.94”)=H(5/14,9/14)
9、=0.94(4)H(Y)(4)H(Y)P(y=“P(y=“黑黑”)=1/3,P(y=“”)=1/3,P(y=“白白”)=2/3”)=2/3H(Y)=0.92H(Y)=0.92通过第通过第2次的实验结果能够获得的关于第次的实验结果能够获得的关于第1次实次实验的信息量为验的信息量为I(X;Y)=?练习练习:习题习题2-11第13页，本讲稿共25页什么叫全损离散信道?分析分析分析分析:I:I:I:I（X X X X；Y Y Y Y）H H H H（X X X X）-H-H-H-H（X X X XY Y Y Y）如果如果如果如果X X X X与与与与Y Y Y Y是相互独立的，是相互独立的，是相互独立
10、的，是相互独立的，I I I I（X X X X；Y Y Y Y）=0=0=0=0。信源发出的信息量在信道上全部损失掉了，此时称为全信源发出的信息量在信道上全部损失掉了，此时称为全信源发出的信息量在信道上全部损失掉了，此时称为全信源发出的信息量在信道上全部损失掉了，此时称为全损离散信道损离散信道损离散信道损离散信道什么叫无扰离散信道什么叫无扰离散信道什么叫无扰离散信道什么叫无扰离散信道?由于没有噪声，由于没有噪声，由于没有噪声，由于没有噪声，X=Y,X=Y,X=Y,X=Y,所以信道不损失信息量，疑所以信道不损失信息量，疑所以信道不损失信息量，疑所以信道不损失信息量，疑义度义度义度义度H H H
11、 H（X X X XY Y Y Y）为零，噪声熵也为零。）为零，噪声熵也为零。）为零，噪声熵也为零。）为零，噪声熵也为零。此时有：此时有：此时有：此时有：I I I I（X X X X；Y Y Y Y）=H=H=H=H（X X X X）这时的信道叫无扰离散信道。）这时的信道叫无扰离散信道。）这时的信道叫无扰离散信道。）这时的信道叫无扰离散信道。第14页，本讲稿共25页 数据处理定理数据处理定理(1):当消息通过多级处理器时，随着处理器数目的增当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋多，输人消息与输出消息之间的平均互信息量趋于变小。于变小。三、数据处理
12、中信息的变化I(X;Z)=I(X;Y)I(X;Z)=I(Y;Z)数据处理定理数据处理定理(2):如果想从测量值如果想从测量值Y中获得关于中获得关于X的信息量，的信息量，则测量次数越多越好。则测量次数越多越好。I(X;Y1)=0,I(X;Y)=02、对称性 H(p1,p2,pn)=H(p2,p1,pn)3、确定性 H(1,0,0,0)=04、最大熵定理：对于Xa1,a2,an 当p(ai)=1/n时，Hmax(X)=log2n5、条件熵小于无条件熵 H(X/Y)=H(X)H(X/Y1Y2)=H(x)H(XY)=(X)=(X)=(X)=H(XH(XH(XH(XL L L L/X/X/X/X1 1
13、1 1X X X X2 2 2 2XXXXL-1L-1L-1L-1)（3 3）H HL L(X)(X)是是L L的单调非增函数的单调非增函数H H H H0 0 0 0(X):(X):(X):(X):信源等概率时的熵（最大熵）信源等概率时的熵（最大熵）信源等概率时的熵（最大熵）信源等概率时的熵（最大熵）H H H H1 1 1 1(X):(X):(X):(X):单符号信源熵单符号信源熵单符号信源熵单符号信源熵H H H HL L L L(X):(X):(X):(X):序列长度为序列长度为序列长度为序列长度为L L L L的平均符号熵的平均符号熵的平均符号熵的平均符号熵H H H H(X):(X
14、):(X):(X):极限熵极限熵极限熵极限熵第22页，本讲稿共25页第4节 连续信源的熵和互信息一：熵的定义第23页，本讲稿共25页第24页，本讲稿共25页 Hc(XY)Hc(XY)Hc(XY)Hc(XY)Hc(X)Hc(X)Hc(X)Hc(X)Hc(Y/X)Hc(Y/X)Hc(Y/X)Hc(Y/X)Hc(Y)Hc(Y)Hc(Y)Hc(Y)Hc(X/Y)Hc(X/Y)Hc(X/Y)Hc(X/Y)I(X;Y)I(X;Y)I(X;Y)I(X;Y)I(Y;X)I(Y;X)I(Y;X)I(Y;X)Hc(X)-Hc(X/Y)Hc(X)-Hc(X/Y)Hc(X)-Hc(X/Y)Hc(X)-Hc(X/Y)Hc(X)Hc(X)Hc(X)Hc(X)Hc(Y)-Hc(XY)Hc(Y)-Hc(XY)Hc(Y)-Hc(XY)Hc(Y)-Hc(XY)Hc(Y)-Hc(Y/X)Hc(Y)-Hc(Y/X)Hc(Y)-Hc(Y/X)Hc(Y)-Hc(Y/X)第25页，本讲稿共25页