信息论与编码_习题解答.pdf

《信息论与编码_习题解答.pdf》由会员分享，可在线阅读，更多相关《信息论与编码_习题解答.pdf（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解：设随机变量 X 代表女孩子学历 X x1（是大学生）x2（不是大学生）P(X)设随机变量 Y 代表女孩子身高 Y y1（身高160cm）y2（身高160cm）P(Y)已知：在女大学生中有 75%是身高 160 厘米以上的 即：bitxyp 75.0)/(11 求：身高 160 厘米以上的某女孩是大学生的信息量 即：bitypxypxpyxpyxI 415.15.075.025.

2、0log)()/()(log)/(log)/(11111111 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8XxxxxP （1）求每个符号的自信息量 （2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量 解：122118()loglog1.415()3I xbitp x 同理可以求得233()2,()2,()3I xbit I xbit I xbit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和

3、就有：123414()13()12()6()87.81II xI xI xI xbit 平均每个符号携带的信息量为87.811.9545bit/符号 有两个二元随机变量 X 和 Y，它们的联合概率为 Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 并定义另一随机变量Z=XY（一般乘积），试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和 H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和 H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;

4、Y/Z),I(Y;Z/X)和 I(X;Z/Y)。解：(1)symbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpyxpyxpxpjjjiii/1)(log)()(218183)()()(218381)()()(/1)(log)()(218183)()()(218381)()()(22212121112212221111 Z=XY 的概率分布如下：symbolbitzpZHzzZPZkk/544.081log8187log87)()(818710)(221 symbolbitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpz

5、xpzpxpzxpzxpzxpzxpxpikkiki/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111 symbolbitzypzypYZHzpzypzypzypzpzypzpzypzypzypzpypzypzypzypzypypjkkjkj/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211

6、112121111112121111 symbolbitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijkkjikji/811.181log8183log8383log8381log81 )(log)()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(222222222221221221211212212112111111211111112111

7、11111211111212221211(2)symbolbitXYHXYZHXYZHsymbolbitXZHXYZHXZYHsymbolbitYZHXYZHYZXHsymbolbitYHYZHYZHsymbolbitZHYZHZYHsymbolbitXHXZHXZHsymbolbitZHXZHZXHsymbolbitXHXYHXYHsymbolbitYHXYHYXHsymbolbityxpyxpXYHijjiji/0811.1811.1)()()/(/405.0406.1811.1)()()/(/405.0406.1811.1)()()/(/406.01406.1)()()/(/862.05

8、44.0406.1)()()/(/406.01406.1)()()/(/862.0544.0406.1)()()/(/811.01811.1)()()/(/811.01811.1)()()/(/811.181log8183log8383log8381log81)(log)()(2(3)symbolbitYZXHYXHYZXIsymbolbitXZYHXYHXZYIsymbolbitYZXHZXHZYXIsymbolbitZYHYHZYIsymbolbitZXHXHZXIsymbolbitYXHXHYXI/406.0405.0811.0)/()/()/;(/457.0405.0862.0)/()

9、/()/;(/457.0405.0862.0)/()/()/;(/138.0862.01)/()();(/138.0862.01)/()();(/189.0811.01)/()();(每帧电视图像可以认为是由 3105个像素组成的，所有像素均是独立变化，且每像素又取128 个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量若有一个广播员，在约 10000 个汉字中选出 1000 个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）若要恰当的描述此图像，广播员在口述中至少需要多少汉字 解：1)symbolbitXNHXHsym

10、bolbitnXHN/101.27103)()(/7128loglog)(6522 2)symbolbitXNHXHsymbolbitnXHN/13288288.131000)()(/288.1310000loglog)(22 3)158037288.13101.2)()(6XHXHNN 5-1 将下表所列的某六进制信源进行二进制编码，试问：消息 概率 1C 2C 3C 4C 5C 6C u1 u2 u3 u4 u5 u6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 11

11、0 1110 11110 111110 0 10 1101 1100 1001 1111 1 000 001 010 110 110 01 001 100 101 110 111(1)这些码中哪些是唯一可译码(2)哪些码是非延长码(3)对所有唯一可译码求出其平均码长和编译效率。解：首先，根据克劳夫特不等式，找出非唯一可译码 31123456231244135236:6 2163:22222216463:164:224 21:25 21:25 21CCCCCC 5C不是唯一可译码，而4C：又根据码树构造码字的方法 1C，3C，6C的码字均处于终端节点 他们是即时码 设二元对称信道的传递矩阵为32

12、313132(1)若 P(0)=3/4,P(1)=1/4，求 H(X),H(X/Y),H(Y/X)和 I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbolbitxpXHjjijijijiii/062.0749.0811.0)/()();(/749.0918.0980.0811.0)/()()()/()/()()/()();

13、(/980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/918.0 10log)32lg324131lg314131lg314332lg3243()/(log)/()()/(/811.0)41log4143log43()()(222221212221221211112111222 2)2221122max(;)loglog 2(lglg)log 100.082 /3333miCI X YmHbit symbol其最佳输入分布为1()2ip x

14、3-2 某信源发送端有 2 个符号，ix，i1，2；()ip xa，每秒发出一个符号。接受端有 3种符号iy，j1，2，3，转移概率矩阵为1/21/201/21/41/4P。（1）计算接受端的平均不确定度；（2）计算由于噪声产生的不确定度(|)H Y X；（3）计算信道容量。解：1/21/201/21/41/4P 联合概率(,)ijp x y X Y 1y 2y 3y 1x/2a/2a 0 2x(1)/2a(1)/4a(1)/4a 则 Y 的概率分布为 Y 1y 2y 3y 1/2(1)/4a(1)/4a（1）11+414()log2loglog24141aaH Yaa 211161log2l

15、oglog24141aaaa 211111log2log16loglog244141aaaa 23111log2loglog24141aaaa 取 2 为底 2223111()(loglog)24141aaH Ybitaa（2）11111111(|)logloglogloglog2222224444aaaaaH Y X 3(1)log2log22aa 3log22a 取 2 为底 3(|)2aH Y Xbit 2()()()111max(;)max()(|)maxlog2loglog24141iiip xp xp xaaacI X YH YH Y Xaa 取 e 为底2111(ln2lnln)

16、24141aaaaaa 21121111ln2ln()24141411aaaaaaa 221112ln2ln22(1)4141aaaaaa 111ln2ln241aa=0 1114aa 35a 9251311131log2loglog2541454c 312531log2loglog10416204 3153log2loglog2102410 15log24 在有扰离散信道上传输符号 0 和 1，在传输过程中每 100 个符号发生一个错误，已知 P(0)=P(1)=1/2，信源每秒内发出 1000 个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：0.990.010.010

17、.99P 为一个 BSC 信道 所以由 BSC 信道的信道容量计算公式得到：211log()log2log0.92/11000920/seciiitCsH Ppbit signpCCCbitt 3-10 一个平均功率受限制的连续信道，其通频带为 1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为 10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至 5，要达到相同的信道容量，信道通频带应为多大（3）若信道通频带减小为时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大 解：（1）2log(1)CWSNR 621 10 log(1 10

18、)3.159Mbps（2）222log(15)3.459CWMbps 223.1591.338log 6MWMHZ（3）332log(1)3.459CWSNRMbps 23.459log(1)0.5SNR 120SNR 4-101 10 一个四元对称信源4/14/1324/14/110)(XPX，接收符号 Y=0,1,2,3，其失真矩阵为0111101111011110，求 Dmax和 Dmin及信源的 R(D)函数，并画出其曲线（取4 至 5 个点）。解：0041041041041),(min)(43041141141141),()(minminminmaxijijiijiijjyxdxpD

19、yxdxpDD 因为 n 元等概信源率失真函数：aDaDnaDaDnDR1ln11lnln)(其中 a=1,n=4,所以率失真函数为：DDDDDR1ln13ln4ln)(函数曲线：01/41/23/4DR(D)ln4 其中：symbolnatDRDsymbolnatDRDsymbolnatDRDsymbolnatRD/0)(,43/12ln214ln)(,21/316ln214ln)(,41/4ln)0(,0 某二元信源2/12/110)(XPX其失真矩阵为aaD00求这信源的 Dmax和Dmin和 R(D)函数。解：0021021),(min)(202121),()(minminminmax

20、ijijiijiijjyxdxpDaayxdxpDD 因为二元等概信源率失真函数：aDHnDRln)(其中 n=2,所以率失真函数为：aDaDaDaDDR1ln1ln2ln)(一个四元对称信源4/14/1324/14/110)(XPX，接收符号 Y=0,1,2,3，其失真矩阵为0111101111011110，求 Dmax和 Dmin及信源的 R(D)函数，并画出其曲线（取4 至 5 个点）。解：0041041041041),(min)(43041141141141),()(minminminmaxijijiijiijjyxdxpDyxdxpDD 因为 n 元等概信源率失真函数：aDaDnaD

21、aDnDR1ln11lnln)(其中 a=1,n=4,所以率失真函数为：DDDDDR1ln13ln4ln)(函数曲线：01/41/23/4DR(D)ln4 其中：symbolnatDRDsymbolnatDRDsymbolnatDRDsymbolnatRD/0)(,43/12ln214ln)(,21/316ln214ln)(,41/4ln)0(,0 4-3 d0111101111011110 信源熵为 H x()Log 4()2 Dmax=min34,34,34,34 R(Dmax)=0 Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2 p y1()p y2()p y3()p y4()只要满足 p(y1)+p(y2)+p(y3)+p(y4)=1 在0,1区间可以任意取值。！