《2022年最新《信息论》试题及答案.pdf》由会员分享,可在线阅读,更多相关《2022年最新《信息论》试题及答案.pdf(6页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精品文档精品文档期终练习一、某地区的人群中,10是胖子, 80不胖不瘦, 10是瘦子。已知胖子得高血压的概率是 15,不胖不瘦者得高血压的概率是10,瘦子得高血压的概率是5,则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解:设事件A:某人是胖子;B:某人是不胖不瘦C:某人是瘦子D:某人是高血压者根据题意,可知:P(A)=0.1 P(B)=0.8 P(C)=0.1 P(D|A )=0.15 P(D|B)=0.1 P(D|C)=0.05 而“该地区的某一位高血压者是胖子”这一消息表明在D 事件发生的条件下,A 事件的发生,故其概率为P(A|D )根据贝叶斯定律,可得:P(D) P(A)
2、* P(D|A ) P(B)* P(D|B) P(C)* P(D|C) 0.1 P(A|D ) P(AD )/P(D)P(D|A)*P( A) / P(D) 0.15*0.1/0.1 0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为:I(A|D ) = - logP(A|D )=log( 0.15)2.73 (bit )二、设有一个马尔可夫信源,它的状态集为S1,S2,S3,符号集为 a1,a2,a3 ,以及在某状态下发出符号集的概率是(|)kip as(i,k=1,2,3) ,如图所示(1)求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2)计算信源处在某一状
3、态下输出符号的条件熵H(X|S=j) (j=s1,s2,s3) (3)求出马尔可夫信源熵H解: (1)该信源达到平稳后,有以下关系成立:13212312123()()31()()()4211()()()42()()()1Q EQ EQ EQ EQ EQ EQ EQ EQ EQ EQ E可得1232()73()72()7Q EQ EQ E精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 1 页,共 6 页 - - - - - - - - - - 精品文档精品文档3111322133313()() (|)72(
4、)() (| )73()()(|)7iiiiiiiiip aQ Ep a Ep aQ Ep a Ep aQ Ep a E(2)311113222133331(|)(| )log(|)1.5 bit/(|)(|)log(|)1 bit/(|)(|)log(|)0 bit/kkkkkkkkkH XSp a Sp aSH XSp a Sp aSH XSp a Sp aS(符号)(符号)(符号)(3)31()(|)2/ 7*3/23/ 7*12/ 7*06 / 7iiiHQ EH XE(比特 /符号)三、二元对称信道的传递矩阵为0.60.40.40.6(1)若 P(0)=3/4,P(1)=1/4,求
5、H(X) ,H(X|Y )和 I(X;Y)(2)求该信道的信道容量及其最大信道容量对应的最佳输入分布解:()H X=21()log()iiip xp x=0.75log 750.25log 250.811(比特 /符号 ) 1111212()() (|)() (|)p yp xp yxp xp yx=0.75*0.6+0.25*0.4=0.55 2121222()() (|)()(|)p yp xp yxp xp yx0.75*0.4+0.25*0.6=0.45 ( )0.55log0.550.45log0.45H Y0.992(比特 /符号 ) 122(|)( )(|)()(|)0.75(0
6、.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y Xp x H Y xp xH Y xHH(比特 符号)(|)()( )()(|)( )H XYH XYH YH XH Y XH Y0.811+0.971-0.992=0.79 (比特 /符号 ) I ( X ; Y ) = H ( X ) - H ( X=0.811-0.79=0.021( 比特 /符号 ) (2)此信道为二元对称信道,所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特 /符号 ) 当输入等概分布时达到信道容量精品资料 - - - 欢迎下载 -
7、 - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 2 页,共 6 页 - - - - - - - - - - 精品文档精品文档四、求信道22042240pppp的信道容量,其中1pp。解:这是一个准对称信道,可把信道矩阵分为:2222pppp,04401114NM,224 ,4NM故21log(2 ,2 ,0,4 )loglog2(2 ,2 ,0,4 )(1 4 )log(14 )4 log41(2 ,2 ,4 )(14 )log(14 )4 log4 (/kkkCrH ppNMH ppH pp比特 符号)当输入等概分布时达到信道容量。1
8、五、信源123456( )0.4xxxxxxXP x(1)利用霍夫曼码编成二元变长的惟一可译码,并求其L(2)利用费诺码编成二元变长的惟一可译码,并求其L(3)利用香农码编成二元变长的惟一可译码,并求其(1)香农编码:信源符号概率 P(xi) 码长 li累积概率P 码字x10.4 2 0 00 x20.2 3 0.4 011 x30.2 3 0.6 100 x40.1 4 0.8 1100 x50.05 5 0.9 11100 x60.05 5 0.95 11110 L=0.420.230.230.1 40.0550.0552.9(码元 /信源符号 )H(X)/( Llogr)=2.222/2
9、.9=0.7662 (2)霍夫曼编码:精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 3 页,共 6 页 - - - - - - - - - - 精品文档精品文档L=0.42+0.222+0.13+0.0542=2.3(码元 /信源符号 ) H(X)/( Llogr)=0.9964 (3)费诺编码:L=0.42+0.222+0.13+0.0542=2.3(码元 /信源符号 ) H(X)/( Llogr)= 0.9964 六、设有一离散信道,传递矩阵为111236111623111362设 P(x1)= P
10、(x2)=1/4,P(x3)=1/2,试分别按最小错误概率准则和最大似然译码准则确定译码规则,并相应的计算机平均错误概率的大小。解: (1)按最大似然译码准则F(y1)=x1 F(y2)=x2 F(y3)=x3 P(E)=1/2(1/3+1/6)+1/4 2(1/3+1/6)=1/2 (2)联合概率矩阵为,则按最小错误概率准精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 4 页,共 6 页 - - - - - - - - - - 精品文档精品文档11181224111248121114612F(y1)=x
11、3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24 八、一个三元对称信源0,1,2111( )333UP u接收符号为V0,1,2,其失真矩阵为0 1 11 0 11 1 0(1)求 Dmax和 Dmin及信源的R(D) 函数。(2)求出达到()R D的正向试验信道的传递概率解: (1)max12D) ( , )13UPd u vrVmin(u3min1D)( , )0iPd u vj(u min因为是三元对称信源,又是等概分布,所以根据r 元离散对称信源可得R(D) log3Dlog2H(D)log3DH(D)0=D2/3 (2)
12、满足 R(D)函数的信道其反向传递概率为1()(|)()213ijDijP uvDijj以及有 P(v )=根据根据贝叶斯定律,可得该信道的正向传递概率为:1()(|)()2jiDijP vuDij九、设二元码为C=11100,01001,10010,00111 (1)求此码的最小距离mind;(2)采用最小距离译码准则,试问接收序列10000,01100 和 00100 应译成什么码字?(3)此码能纠正几位码元的错误?精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 5 页,共 6 页 - - - - - - - - - - 精品文档精品文档解: (1)码距如左图0011111100010011001011100010011001000111334433故 dmin3 (2)码距如右图故 10000 译为 10010,01100 译为 11100,00100 译为 11100 或 00111 (3)根据min21de,知此码能纠正一位码元的错误。精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 6 页,共 6 页 - - - - - - - - - -