《第三章答案-电子科大信息论导论作业.rtf.pdf》由会员分享,可在线阅读,更多相关《第三章答案-电子科大信息论导论作业.rtf.pdf(9页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2 某信源有 8 个符号u1u8,概率分别为 1/2,1/4,1/8,1/16,1/32,1/64,1/128,1/128,编成这样的码:000,001,010,011,100,101,110,111。求(1)信源的符号熵 H(U) ;(2)出现一个“1”或一个“0”的概率;(3)这种码的编码效率;(4)相应的香农码和费诺码;(5)该码的编码效率。11111解: (1)H(u) log22log24log28log216log232248163211log264(log2128)2 1.98(比特/符号)641281121211121111 0.8243831633236431283(2)p(
2、0) p(1)1 p(0) 0.2(3)H ( X )1.984 66 %3Klog221(4) (5)香农码:信源消息符号ui符号概率p(ui)1/21/41/81/161/321/64累加概率pi01/23/47/815/1631/32log2p(ui)123456码字010110111011110111110码字长度123456u1u2u3u4u5u6u7u81/1281/12863/64127 /1287711111101111111771 .9841111111 2 3 4 5 6 7 2费248163264128log221 1诺码:U1U2U3U4U5U6U7U801U2U3U4
3、U5U6U7U8U101U3U4U5U6U7U8U201U4U5U6U7U8U301U5U6U7U8U401U6U7U8U501U7U8U601U7U8费诺码为:0 10 110 1110 11110 111110 1111110 1111111同样H ( X ) 1K3-11 信源符号 X 有 6 种字母,效率为(0.32,0.22,0.18,0.16,0.08,0.04) 。(1)求符号熵H (X)(2)用香农编码编成二进制变长码,计算其编码效率。(3)用费诺编码编程二进制变长码,计算其编码效率。(4)用哈夫曼编码编程二进制变长码,计算其编码效率。(5)用哈夫曼编码编程三进制变长码,计算其
4、编码效率。(6)若用单个信源符号来编定长二进制码, 要求能不出差错的译码,求所需要的每符号的平均信息率和编码效率。解: (1)6H( p(xi)log2p(xi) 0.32log2LX)i11 0.08log2 0.04log2 2.35 (比特/符号)0.080.04(2)信源消息符号xi符号概率p(xi)0.320.22累加概率pi00.321111 0.22log2 0.18log2 0.16log20.320.220.180.16log2p(xi)1.643862.18442码字00010码字长度23x1x2x30.180.160.080.540.720.882.473932.6438
5、63.643861001011110334x4x5x60.040.964.64386111105其码字为 00 010 100 101 1110 11110HL( X )k2 .350 .32 2 ( 0 .22 0 .18 0 .16 ) 3 0 .08 4 0 .04 512 .35 82 .75 %2 .84(3)x1x 2x 3x4 x5 x60 x1x 2011x3x 4x 5x601x4x 5x 6x1x2x301x5x 6x40 x51x6其码字为 00 01 10 110 1110 1111HL( X )k2 .35(4)( 0 .32 0 .22 0 .18 ) 2 0 .1
6、6 3 ( 0 .08 0 .04 ) 41 97 .92 %其码字为 11 01 00 101 1001 1000HL( X )k2 .35(5)( 0 .32 0 .22 0 .18 ) 2 0 .16 3 ( 0 .08 0 .04 ) 41 97 .92 %0.320.1801010.222010.0820.16其码字为011101220.04121120。(6)由题意知,要遍个无失真二进制编码,其码字的个数必须大于等于6,当wi 2时,只有 4 个小于 6,其编码必失真当wi 3时,有 8 个大于 6,编码满足要求,故k KL3log2mlog223比特/信源符号 )L1HL(X)2
7、.35 78.33%3k3-10 设有离散无记忆信源P ( X ) 0 .37 ,0 .25 ,0 .18 ,0 .10 ,0 .07 ,0 .03 .(1)求该信源符号熵H(X)。(2)用哈夫曼编码成二元变长码,计算其编码效率。解: (1)H( p(xi)log2p(xi) 0.37log2LX)i60.07log2(2)0.18110.03log2 2.23 (比特/符号)0.070.03110.25log240.18log20.1log2100.370.181.0000.38000.200.25010.10110.6210.3710.1000.07故码字分别为 11,10,00,0.03
8、010,0111,0110k (0.37 0.25 0.18)2 0.13 (0.07 0.03)4 2.3(比特/符号)HL( X )2.23 96 .96 %2.3k3-1 将某六进信源进行二进编码如下表所示。求(1)这些码中哪些是唯一可译码?(2)哪些码是非延长码(即时码)?(3)所有唯一可译码的平均码长和编码效率。符号概率1/21/41/161/161/161/16C1000001010011100101C20010110111011110111116C3010110111011110111110C40101101110010011111C51000001010110110C60100
9、1100101110111u1u2u3u4u5u6解: (1)根据 kraft 不等式,C5中2ki 21523i191,所以C5不是唯一可译码8C1,C2,C3,C4,C6中C4不是唯一可译码。例如 1001010,有 2 译码方式u2u1u2u2和u5u1u2,所以C4不是唯一可译的,C1,C2,C3,C6是唯一可译码。(2)根据即时码定义,即时码又叫非前缀码,C2中u1是其它码的前缀,故C2不是即时码。因此C1,C3,C6是即时码。(3)C1:平均码长k1平均信息率 3(码字符号/信源符号)K1 k1log2m k1 3(比特/符号)111 H X log 2log 44log216(比特2/符号序列)222416H ( X )2 66 .7 %3K1C2:k21111712 (3 456) (比特/符号)24168H ( X )217 94.1%k28C3:k3 (比特/信源符号)178H ( X )2 94.1%17k38C6:k61112334 2.5 (比特/符号)2416H ( X )2 80%2.5k6