《西安邮电大学信息论与编码复习题已修改1.pdf》由会员分享，可在线阅读，更多相关《西安邮电大学信息论与编码复习题已修改1.pdf（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 一、选择题（共 15 题）1、有一离散无记忆信源 X，其概率空间为125.0125.025.05.04321xxxxPX，则其无记忆二次扩展信源的熵 H(X2)=(B )A、1.75比特/符号；B、3.5比特/符号；C、9 比特/符号；D、18 比特/符号。2、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y xP y xP y xP y xP y xP y x，其中(/)jiP yx两两不相等，则该信道为D A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道 D、具有扩展性能的无噪信道 3、设信道容量为 C，下列说法正确
2、的是：（A ）A、互信息量一定不大于 C B、交互熵一定不小于 C C、有效信息量一定不大于 C D、条件熵一定不大于 C 4、在串联系统中，有效信息量的值（B）A、趋于变大 B、趋于变小 C、不变 D、不确定 5、若 BSC信道的差错率为 P，则其信道容量为：（C ）A、H p B、12log1ppp p C、1 H p D、log()PP 6、设信道输入为 xm，输出为 y，若译码准则是当 P(y|xm)P(y|xm)，对所有 m m时，将 y 判为 m ，则称该准则为（D ）A 最大后验概率译码准则 B 最小错误概率准则 C 最大相关译码准则 D 最大似然译码准则 7、线性分组码不具有的
3、性质是（C ）A 任意多个码字的线性组合仍是码字 B 最小汉明距离等于最小非 0 重量 C 最小汉明距离为 3 D 任一码字和其校验矩阵的乘积 cmHT=0 8.条件熵 H（XY）C H（X）。（A）小于 （B）大于 （C）小于等于 （D）大于等于 9.联合熵nXXXH，21,C 1logniiX。（A）小于 （B）大于 （C）小于等于 （D）大于等于 10.相对熵总是 D 。（A）为正 （B）为负 （C）非正 （D）非负 11.B 是最佳码。(A)Fano 编码 (B)Huffman 编码 (C)Shannon 编码 (D)算术编码 12.字母表为0，1，情况下的 Shannon 编码码长为
4、 B 。(A)xPxLlog (B)xPxLlog (C)xPxLlog (D)xPxLlog 13.字母表为0，1，情况下的 Shannon-Fano-Elias 编码码长为 A 。(A)1logxPxL (B)1logxPxL (C)1logxPxL (D)1logxPxL 14.译码错误概率最小的译码为 B 。(A)最大似然译码 (B)最大后验概率译码 (C)最小距离译码 (D)择多译码 15.下列 D 不属于距离空间的公理。(A)非负性 (B)对称性 (C)三角不等式 (D)反对称性 二、填空题（共 29 题）1、(7,4)线性分组码中，接受端收到分组R 的位数为_7_ ，伴随式 S
5、可能的值有_8 种,差错图案 e 的长度为 7 ，系统生成矩阵 Gs为_4*7_ 行的矩阵，系统校验矩阵 Hs为_ 3*7 行的矩阵，Gs和 Hs满足的关系式是 。2、一张 1024512 像素的 16 位彩色 BMP 图像能包含的最大信息量为 。3、香农编码中,概率为()iP x的信源符号 xi对应的码字 Ci的长度 Ki应满足不等式 。4、设有一个信道，其信道矩阵为 0.250.50.250.250.250.50.50.250.25，则它是 信道（填对称，准对称），其信道容量是 比特/信道符号。5、1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。6
6、、必然事件的自信息是 0 。7、离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N倍 。8、对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。9、若一离散无记忆信源的信源熵 H（X）等于 2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。10、对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。11、已知某线性分组码的最小汉明距离为 3，那么这组码最多能检测出_2_ 个码元错误，最多能纠正 _1_ 个码元错误。12、设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率 R_小于_C（大于、小于或者等于），则
7、存在一种编码，当输入序列长度n 足够大，使译码错误概率任意小。13、平均错误概率不仅与信道本身的统计特性有关，还与_译码规则_和_编码方法 _有关 14、必然事件的自信息量是_，不可能事件的自信息量是_。15、一信源有五种符号 a，b，c，d，e，先验概率分别为 Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625。符号“a”的自信息量为_bit，此信源的熵为_bit/符号。16、如某线性分组码的最小汉明距 dmin=6，最多能纠正_ _个随机错。17、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是_。18、克劳夫特不等式是唯一可译码_的充要条件。00，01，10，
8、11是否是唯一可 译码？_。19、在 Shannon 信息论中，最重要的概念是 20、通信系统一般由 5 个部分组成。21、字母表为0，1，且取值空间=a,b,c,d,e下的概率分布为 P(a)=0.2,P(b)=0.5,P(c)=0.1,P(d)=0.1,P(e)=0.1 则 C（）的一种可行的 Huffman 编码是 。22、唯一可译码的码长必须满足 。23、二元无噪信道的信道转移矩阵为 。24、二元对称信道的信道转移矩阵为 。25、二元删除信道的信道转移矩阵为 。27、信道转移矩阵为 p(y|x)=时，该信道的容量为 。28、信道转移矩阵为 P(y|x)=时，该信道的容量为 。29、（2
9、nR，n）码的码率为 。三、判断题（共 15 题）1 信息就是一种消息。（）2 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（）3 概率大的事件自信息量大。（）4 互信息量可正、可负亦可为零。（）21 31 61 61 21 31 31 61 21 0.6 0.2 0.2 0.2 0.2 0.6 5 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（）6 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（）7 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（）8 信源变长编码的核心问题是寻找紧致码（或最佳码
10、），霍夫曼编码方法构造的是最佳码。（）9信 息 率 失 真 函 数R(D)是 关 于 平 均 失 真 度D的 上 凸 函 数.()10 校验矩阵的各行是线性无关的。（）11 冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（）12 当信道固定时，平均互信息是信源分布的型凸函数。（）13 互信息 I(X;Y)与信息熵 H(Y)的关系为：I(X;Y)H(Y)。（）14 信道容量随信源概率分布的变化而变化。（）15 一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。（）三、计算题（共 6 题）【2.5】设离散无记忆信源)(xPX=8141418332104321
11、aaaa 其发生的消息为（0），求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？【3.1】设信源 4.06.0)(21xxxPx 通过一干扰信道，接收符号为 Y=21,yy，信道传递概率如图 3.2 所示，求 (1)信源 X 中事件1x和2x分别含有的自信息。(2)收到消息jy(J=1,2)后，获得的关于ix（i=1,2)信息量。(3)信源 X 和信源 Y 的信息墒。(4)信道疑义度 H(XY)和噪声熵 H(YX)。(5)接收到信息 Y 后获得的平均互信息。5 设二元对称信道的传递矩阵为 32313132(1)若 P(0)=3/4,P(1)=1/4，求 H(X)
12、，H(XY)，H(YX)和 I(X;Y);(2)求该信道的信道容量及其达到信道容量时的输入概率分布。【5.22】有两个信源 X 和 Y 如下：12345670.200.190.180.170.150.110.01()xxxxxxxXP x 01.002.002.004.007.007.014.014.049.0)(987654321yyyyyyyyyyPY（1）分别用霍夫曼码编成二元变长唯一可译码，并计算编码效率。（2）分别用香农编码法编成二元变长唯一可译码，并计算编码效率（即选取il 1x2x1y2y65614143是大于或等于ip1log的整数）。（3）分别用费诺编码方法编成二元变长唯一可
13、译码，并计算编码效率。（4）从 X，Y 两种不同信源来比较这三种编码方法的优缺点。【5.12】求概率分布为152152515131信源的二元霍夫曼码。讨论此码对于概率分布为5151515151的信源也是最佳二元码。【5.14】设信源符号集 9.01.0)(21sssPS（1）求 H(S)和信源剩余度。（2）设码符号位 X=0，1，编出 S 的紧致码，并求 S 的紧致码的平均码长L。（3）把信源的 N 次无记忆扩展信源NS编成紧致码，试求 N=2，3，4，时的平均码长NLN。（4）计算上述 N=1，2，3，4 这四种码的编码效率和码剩余度。【6.1】设有一离散信道，其信道传递矩阵为 216131312161613121 并设 211xP，4132xPxP，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。