《信息论与编码复习题目.pdf》由会员分享，可在线阅读，更多相关《信息论与编码复习题目.pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 信息论复习提纲 第一章 绪论 1 通信系统模型；2 香浓信息的概念；3 信源、信道、信源编码和信道编码研究的核心问题。第二章 离散信源及信源熵 1 离散信息量、联合信息量、条件信息量、互信息量定义；2 信源熵、条件熵、联合熵定义；3 平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4 最大信源熵定理及证明；5 本章所有讲过的例题；第三章 离散信源的信源编码 1 信息传输速率、编码效率定义；2 最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；3 码组为即时码的充要条件；4 单义可译定理（Kraft 不等式）及应用；5 费诺编码方法、霍夫曼编码方法
2、应用（二进制，三进制，四进制）；6 本章所有讲过的例题；第四章 离散信道容量 1 利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离 散信道、准对称离散信道）；2 本章讲过的例题；第五章 连续消息和连续信道 1 相对熵的定义；2 均匀分布、高斯分布、指数分布的相对熵及证明；3 峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；4 香农公式及意义；5 本章所有讲过的例题；第六章 差错控制 1 重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2 最小距离与检错、纠错的关系（即节定理）；3 本章所有讲过的例题；第七章 线
3、性分组码 1 线性分组码定义；2 线性分组码的最小距离与最小重量的关系及证明；3 生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；4 制作标准阵列并利用标准阵列译码；5 本章所有讲过的例题；第八章 循环码 1 生成多项式的特点，有关定理（三定理 1，定理 2，定理 3）及证明；2 生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3本章所有讲过的例题；习题：1.已知随机变量 X 和 Y 的联合分布如下：0 1 0 1/8 3/8 1 3/8 1/8 计算：H(X)、H(Y)、H(XY)、H(X/Y)、H(Y/X)
4、、I(X;Y)。2.具有归并性能的无噪信道的信道矩阵 P=100010010001001，求其信道容量及达到信道容量时信源的概率分布。3.信道矩阵P=8/18/12/14/18/18/14/12/1，计算P代表的信道的信道容量。4.设二元对称信道的传递矩阵为21331233(1)若(0)3 4,(1)1 4,(),(;)PPH XH X YH Y XI X Y求和；(2)求该信道的信道容量及其达到信道容量时的输入概率分布。5.设有信源1.012.014.014.015.015.02.0(7654321xxxxxxxXPX）（1）对该信源编二进制费诺；（2）计算其平均码长。6.设有信源128/1
5、128/164/132/116/18/14/12/1(87654321xxxxxxxxXPX）（1）对该信源编二进制霍夫曼码，计算其平均码长；（2）对该信源编三进制霍夫曼码，计算其平均码长；Y X （3）对该信源编四进制霍夫曼码，计算其平均码长；7.设有一个无记忆信源发出符号 A 和 B，已知p(A)=1/4,p(B)=3/4。（1）计算该信源熵；（2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率；（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。8.设一个7,4码的生成矩阵为10001 1 10100101001001 10001 1 1
6、0（1）求出该码的全部码字；（2）求出该码的一致校验矩阵；(3)作出该码的标准译码码表。9.设二元线性码 L 的生成矩阵为1101001010G，建立码 L 的标准阵并且对字 11111 和 10000 分别进行译码。10.令108542()1g xxxxxxx是(15,5)循环码的生成多项式，写出该码的系统码形式的 G 和 H 矩阵标准形式；11.给定 X 的概率密度函数为拉普拉斯分布xexpx,21)(，求相对熵Hc(X)。2014 年信息论与编码研究生考试试题 注：满分 100 分，所有答案写在答题纸上，该试卷写上名字后交回 姓名：一 叙述题（5 分420 分）1写出香农公式，并解释其意
7、义 2叙述平均码长界定定理 3叙述香农第一定理 4分别叙述峰值功率受限和平均功率受限条件下的最大熵定理 二 计算题（共 70 分）（10 分）设信源17.016.017.018.019.02.0)(654321xxxxxxXPX，求这个信源的熵，并解释为什么 H(X)log6，不满足最大熵定理 2.（10 分）利用最大后验概率译码准则，给出译码方案，并计算错误传输概率EP.信 源 的 概 率 空 间 为414121xxx)X(pX321，信 道 矩 阵 为2/13/16/16/12/13/13/16/12/1P 3（15 分）信源概率空间为04.008.016.018.022.032.0654321xxxxxxPX，分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码 4（20 分）3,6 线性分组码的生成矩阵011100110110011011G （1）写出一致校验矩阵（2）给出所有码字（3）给出标准阵列表（4）如果接收1111001R，1000012R，0010113R，给出译码 5（15 分）令108542()1g xxxxxxx是(15,5)循环码的生成多项式，写出生成矩阵 G 和一致校验矩阵 H 的标准形式 三 证明题（共 10 分）证明：),(kn线性分组码构成n维线性空间的k维子空间