《信息论与编码理论-第3章信道容量-习题解答-.pdf》由会员分享，可在线阅读，更多相关《信息论与编码理论-第3章信道容量-习题解答-.pdf（18页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第 3 章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3 解:(1)若12()3/4,()1/4P aP a，求(),(),(|),(|)H XH YH X YH Y X和(;)I X Y。ii2i=13311H(X)=p(a)log p(a)log()log()0.8113(/)4444bit 符号 111121221212222jjj=132117p(b)=p(a)p(b|a)+p(a)p(b|a)=43431231125p(b)=p(a)p(b|a)+p(a)p(b|a)=4343127755H(Y)=p(b)log(b)=log()log()0.
2、9799(/)12121212bit符号 22ijjijiji,H(Y|X)=p(a,b)logp(b|a)p(b|a)logp(b|a)2211log()log()0.9183(/)3333i jjbit 符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p)1122C=1-H(P)=1+log()+log()=0.0817(b
3、it/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：，注意单位 3-4 设 BSC 信道的转移概率矩阵为 112211Q 1）写出信息熵()H Y和条件熵(|)H Y X的关于1()H和2()H表达式，其中()log(1)log(1)H。2）根据()H的变化曲线，定性分析信道的容道容量，并说明当12的信道容量。解：（1）设输入信号的概率颁布是p,1-p 111121212()()(|)()(|)(1)(1)p bp ap b ap ap b app212122212()()(|)()(|)(1)(1)p bp ap bap ap bapp 11221212121212()()
4、log()()log()(1)(1)log(1)(1)(1)(1)log(1)(1)(1)(1)H Yp bp bp bp bppppppppH pp 2,1111222212(|)()(|)log(|)(1)log(1)1log()(1)(1)log(1)log()()(1)()ijijii jH Y Xp a p bap bappp HpH （2）()H 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。()()1212()max(;)max()(|)max(1)(1)()(1)()p xp xp xCI X YH YH Y XH pppHpH 由于函数H（）是一个凸函数，有一个
5、性质：1212(1)()(1)()fff 可知：C 假设12 时此信道是一个二元对称信道，转移概率分布为：11Q 信道容量：121-log-(1-)log(1-)1-()CH 3-10 电视图像由 30 万个像素组成，对于适当的对比度，一个像素可取 10个可辨别的亮度电平，假设各个像素的 10 个亮度电平都以等概率出现，实时传送电视图像每秒发送 30 帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为 30dB，试计算在这些条件下传送电视的视频信号所需的带宽。解：i1p(x)=10()log103.32/I Xbit像素 1 秒内可以传送的信息量为：3.3219/bitbit7像素
6、 30 10000像素 30=2.9897 10 10336log(1),:10log()3010log(1 10):2.9995 10SSCBdBNNSNBBHZ7已知2.9897 10可得 3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度80/20.5 10NWHz 的加性高斯白噪声的干扰，信息传输速率24R kbit/s，信号功率1P W。1）若信道带宽无约束，求信道容量；解：带限的加性高斯白噪声波形信道的信道容量为 无带宽约束时：00080limlimlog(1)log1.4427 10/SStwwSSP N WPCCNPN WPebit sN 2）若信道的频率范围为 0
7、 到 3KHz，求信道容量和系统的频带利用率/R W（bps/Hz）(注：W为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小0/bEN是多少 dB W=3KHZ 在最大信息速率条件下，每传输1 比特信息所需的信号能量记为Eb SbPE=C 0488400log(1)log(1)13000 log(1)4.5074 101 10300024/8/3133.471 104.5074 10SbSPCWWSNRN WbpsRkbit sbps HzWKHzEPdBNN C 3）若信道带宽变为 100KHz，欲保持与 2）相同的信道容量，则此时的信噪比为多少 dB 信号功率要变化多数 dB
8、4500058331004.5074 10log(1)10 log(1)0.3667:4.36540.3667 10100.3667 100.3667 1034.35691SSSssWKHZPPbpsWN WN WPSNRdBN WPswPdBP 1010即信号功率的变化为:10log 10log 第 4 章 无失真信源编码 习题参考答案 4-1：(1)A、B、C、E 编码是唯一可译码。(2)A、C、E 码是及时码。(3)唯一可译码的平均码长如下：61111111()3()32416161616Aiiilp s l 码元/信源符号 61111111()1234562.1252416161616
9、Biiilp s l 码元/信源符号 61111111()1234562.1252416161616Ciiilp s l 码元/信源符号 61111111()12()422416161616Eiiilp s l 码元/信源符号 4-3：(1)/bit8iii=1H(X)=-p(x)logp(x)11 11 11 11 11=-log-log-log-log-log22 44 88 16 1632 32111111-log-log-log64 64 128128 12812863=164符(2)平均码长：6111111111()3()3248163264128128iiilp s l 码元/信源
10、符号 所以编码效率：()0.6615H Xl (3)仙农编码：信源符号iS 符号概率()ip S 加概率 码长 码字 S1 12 0 1 0 S2 14 12 2 10 S3 18 34 3 110 S4 116 78 4 1110 S5 132 1516 5 11110 S6 164 3132 6 111110 S7 1128 6364 7 1111110 S8 1128 127128 7 1111111 费诺码：信源符号iS 符号概率()ip S 编码 码字 码长 S1 12 0 0 1 S2 14 1 0 10 2 S3 18 1 0 110 3 S4 116 1 0 1110 4 S5
11、 132 1 0 11110 5 S6 164 1 0 111110 6 S7 1128 1 0 1111110 7 S8 1128 1 1111111 7 4-5：(1)霍夫曼编码：对 X 的霍夫曼编码如下：信源符号编码过程 码长 码符号iS 概率()ip S 字 S1 0 10 2 S2 0 1 11 2 S3 0 1 000 3 S4 0 1 001 3 S5 0 1 010 3 S6 0 1 1 0110 4 S7 0111 4 0.220.1920.18 30.1730.15 30.1 40.01 42.72l 码 元/信源符号 71()log2.61iiiH Xpp 码元/符号()
12、2.610.95962.72H Xl Y 的二元霍夫曼编码：信源符号iS 符号概率()ip S 编码过程 码字 码长 S1 0 1 1 S2 0 1 000 3 S3 0 1 001 3 S4 0 1 0100 4 S5 0 1 0101 4 S6 0 1 0111 4 S7 0 1 01101 5 S8 0 1 011000 6 S9 1 011001 6 平均码长：0.49 10.143 20.074 20.0440.0250.0260.01 62.23l 码元/信源符 91()log2.31iiiH Ypp码元/符号 编码效率：()2.310.99142.33H Yl(2)仙农编码：对
13、X 的仙农编码：信源符号iS 符号概率()ip S 和概率 码长 码字 S1 0 3 000 S2 3 001 S3 018 3 011 S4 3 100 S5 3 101 S6 4 1110 S7 7 1111110 平均码长：0.2 30.1930.18 30.1730.15 30.1 40.01 73.14l 码元/信源符()2.610.83123.14H Xl 对 Y 的仙农编码：信源符号iS 符号概率()ip S 和概率 码长 码字 S1 0 2 00 S2 3 011 S3 3 101 S4 4 1100 S5 4 1101 S6 5 11101 S7 6 111100 S8 6
14、111110 S9 7 1111110 平均编码长度：0.4920.1420.074 20.0450.026 20.0260.01 72.89l 码元/信源符 编码效率：()2.310.79932.89H Yl(3)费诺编码：对 X 的费诺编码：信源符号iS 符号概率()ip S 编码 码字 码长 S1 0 0 00 2 S2 1 0 010 3 S3 1 011 3 S4 1 0 10 2 S5 1 0 110 3 S6 1 0 1110 4 S7 1 1111 4 平均编码长度：0.220.1930.18 30.1720.15 30.1 40.01 42.74l 码元/信源符号 编码效率：
15、()2.610.95262.74H Xl 对 Y 进行费诺编码：信源符号iS 符号概率()ip S 编码 码字 码长 S1 0 0 1 S2 1 0 0 100 3 S3 1 101 3 S4 1 0 0 1100 4 S5 1 1101 4 S6 1 0 1110 4 S7 1 0 11110 5 S8 1 0 111110 6 S9 1 111111 6 平均码长：0.49 10.142 30.074 20.0440.0250.0260.01 62.33l 码元/信源符号 编码效率：()2.310.99142.33H Yl(4)由三种编码的编码效率可知：仙农编码的编码效率为最低，平均码长最
16、长；霍夫曼编码的编码长度最短，编码效率最高，费诺码居中。4-7：由三元编码方式可知：R=DB=RD-1(K2)+2 由本题可知 D=3，K=8，R=2，所以，首先合并最后两个信源概率，其中一种编码方式如下：信源符号iS 符号概率()ip S 编码 码字 码长 S1 0 0 1 S2 1 2 1 S3 0 2 11 2 S4 1 12 2 S5 0 2 101 3 S6 1 102 3 S7 0 2 1000 4 S8 1 1001 4 4-21：(1)符号 概率 分布区间 0 0,0.25 1 0.25,1 由题目可知信源符号为：1011 0111 1011 0111 124124()31(1
17、)(0)()()0.0001237441011 0111 1011 0111p spp 算术码的码长log()13lp s 由序列 S 的分布函数 F（S）由二元整树图来计算：2482103124()1(11)(10111)(1011011111)(1011011110111)(1011011110110111)3313131311()()()()()()()()()4444444440.35114030.0101100110011F Sppppp 所以算术编码为：0100 0011 0011 平均码长及编码效率如下：130.812516l 码元/符号()(1)log(1)(0)log(0)0
18、.8113H Spppp bit/符号()0.9985H Sl(2)由于信源符号集中共有 2 个元素，因此只需要12log位二进制数就可以表示其编码，该符号集的编码表如下：符号 0 1 编码 0 1 按照分段规则，分段为：1 0 11 01 111 011 0111 短语数为 7，可用37logn位来表示段号；每个信源符号编码长度为 1，所以短语长度为：3+1=4，具体编码过程如下：段号 短语 编码 1 1 0001 2 0 0000 3 11 0011 4 01 0101 5 111 0111 6 011 1001 7 0111 1101 平均编码长度：7(3 1)1.7516l码元/符号
19、编码效率为：4636.075.18113.0)(lSH 失真矩阵：0120d，minmin2max1112211122221,21,211,21,2max0,()()(1/2,1/2)log21/10:01minmin,)111111min02,10min1,22222201,:,()001()iijjjijjDR DH XHbitPDp dp dp dp dp dPR DR D 符号转移矩阵此时 转移矩阵定12义域:0,第 6 章 信道编码概述 习题答案 6-2 极大似然译码规则译码时，由转移概率矩阵可知：第一列中12，第二列中12，第三列中12为转移概率的最大值，所以平均错误概率为：111
20、1111111()()()2364364362EP 最小错误概率译码，输入 x 与输出 y 的联合概率分布为：1 11,4 6 1211 1,24 8 12111,12 24 8 11111111()()()2412824121224EP 由于111242 可以看出最佳译码为最小错误概率译码，平均错误概率为1124 6-4(1)求信息传输率；log412Rn bit/符号(2)求平均错误译码概率。根据信道的传输特性，可知可以输出 24=16 种序列，可以分成 4 个子集，分别为：1342343344341 1=(0 0 )(0 0 y y)2 21 1=(0 1 )(0 1 y y)2 21
21、1=(1 0 )(1 0 y y)2 21 1=(1 1 )(1 1 y y)2 2 34y,y(0 1)传输信道如下所示：1 1(0 0 )2 21 1(0 1 )2 21 1(1 0 )2 21 1(1 1 )2 2 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11111111 0 0 0 0 0 0 0 0 0 0 0 0444411110 0 0 0 04444 0 0 0 0 0 0 011110 0 0 0 0 0 0 0 0 0 0 0 444411110 0 0 0 0 0
22、 0 0 0 0 0 0 4444 译码规则为：,12341211f(y,y,y,y)=(y,y,)22 每个码字引起错误的概率：(|)()0 eiirppp f i=1、2、3、4 所以 ()0EieCppp 第 7 章 线性分组码 习题答案 1.已知一个(5,3)线性码 C 的生成矩阵为：11001G0110100111（1）求系统生成矩阵；（2）列出 C 的信息位与系统码字的映射关系；（3）求其最小 Hamming 距离，并说明其检错、纠错能力；（4）求校验矩阵 H；（5）列出译码表，求收到 r=11101 时的译码步骤与译码结果。解：（1）线性码 C 的生成矩阵经如下行变换：2 313
23、2110011001101101011010011100111100111001101101010100011100111 将第、加到第 行将第 加到第 行 得到线性码 C 的系统生成矩阵为 111000101011001SG（2）码字),(110ncccc的编码函数为 111000101011001)(210mmmmfc 生成了的 8 个码字如下 信息元 系统码字 000 00000 001 00111 010 01010 011 01101 100 10011 101 10100 110 11001 111 11110(3)最小汉明距离 d=2，所以可检 1 个错，但不能纠错。(4)由,)
24、()(knTknkknkknIAHAIG，得校验矩阵 1010101111H(5)消息序列 m=000,001,010,011,100,101,110,111，由 c=mGs 得码字序列 c0=00000,c1=00111,c2=01010,c3=01101,c4=10011,c5=10100,c6=11001,c7=11110 则译码表如下：00000 00111 01010 01101 10011 10100 11001 11110 10000 10111 11010 11101 00011 00100 01001 01110 01000 01111 00010 00101 11011 1
25、1100 10001 10110 00001 00110 01011 01100 10010 10101 11000 11111 当接收到 r=(11101)时，查找码表发现它所在的列的子集头为(01101)，所以将它译为 c=01101。2设（7,3）线性码的生成矩阵如下 010101000101111001101G（1）求系统生成矩阵；（2）求校验矩阵；（3）求最小汉明距离；（4）列出伴随式表。解：（1）生成矩阵 G 经如下行变换 1 32 301010101001101001011100101111001101010101010011011001101001011101010100101
26、0100010111 交换第、行交换第、行 得到系统生成矩阵：100110101010100010111SG（2）由,)()(knTknkknkknIAHAIG，得校验矩阵为 1101000101010001100101010001H（3）由于校验矩阵 H 的任意两列线性无关，3 列则线性相关，所以最小汉明距离 d=3。（4）（7,3）线性码的消息序列 m=000,001,010,011,100,101,110,111，由 c=mGs 得码字序列：c0=0000000，c1=0010111，c2=0101010，c3=0111101，c4=1001101，c5=1011010，c6=11001
27、11，c7=1110000。又因伴随式有 24=16 种组合，差错图样为 1 的有771 种，差错图样为 2 的有7212 种，而由TTHrHe，则计算陪集首的伴随式，构造伴随表如下：伴随式 陪集首 伴随式 陪集首 0000 0000000 0101 1001000 1101 1000000 1001 1000100 1010 0100000 1111 0011000 0111 0010000 1100 0001100 1000 0001000 1110 0100100 0100 0000100 1011 0100001 0010 0000010 0011 0010100 0001 00000
28、01 0110 0000110 3已知一个(6,3)线性码 C 的生成矩阵为：.0 1 1 1 0 01 1 0 0 1 01 0 1 0 0 1G（1）写出它所对应的监督矩阵 H；（2）求消息 M=(101)的码字；（3）若收到码字为 101010，计算伴随式，并求最有可能的发送码字。解：（1）线性码 C 的生成矩阵 G 就是其系统生成矩阵 GS，所以其监督矩阵 H 直接得出：101100011010110001H （2）消息 M=(m0,m1,m2)=(101)，则码字 c 为：()100 10 100 1 1 1010 10 1 1cf m（3）收到码字 r=(101010)，则伴随式
29、101011110101010001100010001TrH 又（6,3）线性码的消息序列 m=000,001,010,011,100,101,110,111，由 c=mGs 得码字序列：c0=000000，c1=001110，c2=010011，c3=011101，c4=100101，c5=101011，c6=110110，c7=111000。伴随式有 23=8 种情况，则计算伴随式得到伴随表如下：伴随式 陪集首 000 000000 101 100000 011 010000 110 001000 100 000100 010 000010 001 000001 111 100010 伴随
30、式（001）对应陪集首为（000001），而 c=r+e，则由收到的码字 r=(101010)，最有可能发送的码字 c 为：c=（101011）。4设(6,3)线性码的信息元序列为 x1x2x3，它满足如下监督方程组 000631532421xxxxxxxxx（1）求校验矩阵，并校验 10110 是否为一个码字；（2）求生成矩阵，并由信息码元序列 101 生成一个码字。解：（1）由监督方程直接得监督矩阵即校验矩阵为：110100011010101001H 因为收到的序列 10110 为 5 位，而由（6,3）线性码生成的码字为 6 位，所以 10110不是码字。（2）由,)()(knTknkknkknIAHAIG，则生成矩阵为：100101010110001011SGG 信息码元序列 M=（101），由 c=mGs 得码字为 c：012100101010110001011101110cmmm