《2022年信息论和编码技术复习提纲复习题 .pdf》由会员分享，可在线阅读，更多相关《2022年信息论和编码技术复习提纲复习题 .pdf（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码技术复习提纲复习题纲第 0 章 绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信 息 的 定 义 是 什 么？（广 义 信 息、狭 义 信 息 Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第 1 章 信息论基础离散信源题纲：I.信源的定义、分类II
2、.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 15 页 -IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源
3、的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N 阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2 个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 15 页 -离散信道题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定
4、义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是什么？2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。5.先验熵、后验熵的区别？6.联合熵、条件熵和信息熵的关系。7.互信息的大小如何计算？互信息的性质是什么？8.联合互信息、条件互信息、互信息之间的关系是什么？9.平均互信息的定义是什么？平均互信息的含义？平均互信息的性质？10.联合平均互信息、条件平均互信息和平均互信息的关系？11.
5、损失熵和噪声熵的含义是什么？维拉图表示了哪些关系式？12.信道的传码率和传信率（信息率）的计算方法是什么？名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 15 页 -13.信道容量的定义是什么？信道容量的含义如何理解？14.无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量如何计算？连续信源和波形信道题纲：I.连续信源的定义、数学模型、绝对熵、相对熵II.给定条件下，连续信源的最大熵III.熵功率IV.连续信道和波形信道的信道容量需掌握的问题：1.连续信源定义、数学模型是什么？2.连续信源熵的表达式是什么？相对熵和绝对熵的区别是什么？3.如何计算均匀分布、正态分布连续信
6、源的最大熵？4.什么是波形信道？了解波形信道互信息、信道容量的求解思路。5.香农公式是什么？物理意义是什么？第 2 章 无失真信源编码题纲：I.基本概念1.编码2.二元码3.等长码名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 15 页 -4.变长码5.码的 N 次扩展码6.唯一可译码II.等长码III.变长码IV.无失真信源编码定理V.编码方法1.香农编码2.费诺编码3.霍夫曼编码需掌握的问题：1.编码的定义及编码相关术语。2.信源编码的定义及目的是什么？3.解释二元码、等长码、变长码、唯一可译码。4.变长码和定长码的区别是什么？用码树描述二者的差异，能够说明变长码和定长码各自
7、的优劣。5.描述香农第一定理及意义。6.掌握香农编码、费诺编码、霍夫曼编码的步骤及特点，会计算编码效率。7.了解游程编码和算术编码的思路。第 3 章 信道编码题纲：I.检错、纠错原理及方法、能力II.差错控制理论名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 15 页 -1.译码规则2.2 种准则下的错误概率III.信道编码定理IV.编码方法1.简单的检错、纠错码2.线性分组码3.循环码需掌握的问题：1.信道编码的定义及目的是什么？2.检错原理是什么？3.差错控制方法有哪些？4.如何确定一种编码的检错、纠错能力？5.汉明距离是什么？汉明重量是什么？最小码距是什么？6.信道编码的效
8、率如何确定？7.奇偶校验码的编码规则是什么？检错、纠错能力如何？8.译码规则的定义是什么？9.最大后验准则是什么？极大似然准则是什么？这两种准则下如何计算错误概率？10.错误概率与损失熵之间的关系是什么？11.描述香农第二定理及意义。12.线性分组码的编码原理和校验原理是什么？13.循环码的编码原理和校验原理是什么？14.了解循环冗余校验码和卷积码的编码思路。第 4 章 信息率失真函数名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 15 页 -题纲：V.失真度VI.平均失真度VII.信息率失真函数VIII.信息率失真函数的性质IX.限失真信源编码定理需掌握的问题：1.失真度如何表
9、示？2.四种常见失真度的形式分别是什么？分别用于什么场合？3.平均失真度如何计算？4.什么是保真度准则？5.什么是试验信道？6.信息率失真函数的定义是什么？7.信息率失真函数和信道容量的区别和联系是什么？8.信息率失真函数的性质是什么？9.定义域 Dmin,Dmax，以及相应的R(Dmin),R(Dmax)如何计算？10.描述香农第三定理及意义。11.了解预测编码和变换编码的思路。名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 15 页 -一、填空题1.设信源 X 包含 4 个不同离散消息，当且仅当X 中各个消息出现的概率为 _1/4_时，信源熵达到最大值，为_2_，此时各个消息
10、的自信息量为 _2 _。2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出_3_个随机错，最多能纠正 _1_个随机错。3.克劳夫特不等式是唯一可译码_存在 _的充要条件。4.平 均 互 信 息 量I(X;Y)与 信 源 熵 和 条 件 熵 之 间 的 关 系 是_(X;Y)=H(X)-H(X/Y)_。5._信源 _提高通信的有效性，_信道 _目的是提高通信的可靠性，_加密 _编码的目的是保证通信的安全性。6.信源编码的目的是提高通信的有效性，信道编码的目的是提高通信的可靠性，加密编码的目的是保证通信的安全性。7.设信源X 包含 8 个不同离散消息，当且仅当X 中各个消息出现的概率为
11、 _1/8 _时，信源熵达到最大值，为_3_。8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小_。9.信源的冗余度来自两个方面，一是信源符号之间的_相关性 _，二是信源符号分布的_不均匀性 _。10.最大后验概率译码指的是译码器要在已知r 的条件下找出可能性最大的发码作为译码估值，即令=maxP(|r)_ _。11.常用的检纠错方法有_前向纠错 _、反馈重发和混合纠错三种。二、单项选择题1.下面表达式中正确的是（A）。名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 15 页 -A.jijxyp1)/(B.iijxyp1)/(C.jjjiyyxp)()
12、,(D.iijixqyxp)(),(2.彩色电视显像管的屏幕上有5105个像元，设每个像元有64 种彩色度，每种彩度又有16 种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送 25 帧图像所需要的信道容量（C）。A.50106B.75106 C.125106 D.2501063.已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为d=121121,则信源的最大平均失真度maxD为（D）。A.1/3 B.2/3 C.3/3 D.4/3 4.线性分组码不具有的性质是（C）。A.任意多个码字的线性组合仍是码字B.最小汉明距离等
13、于最小非0 重量C.最小汉明距离为3 D.任一码字和其校验矩阵的乘积cmHT=0 5.率失真函数的下限为（B）。A.H(U)B.0 C.I(U;V)D.没有下限6.纠错编码中，下列哪种措施不能减小差错概率（D）。A.增大信道容量B.增大码长C.减小码率D.减小带宽7.一珍珠养殖场收获240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1 颗。一人随手取出名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 15 页 -3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这一事件给出
14、的信息量（A）。A.0bitB.log6bitC.6bitD.log240bit 8.下列陈述中，不正确的是（D）。A.离散无记忆信道中，H（Y）是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码9.一个随即变量x 的概率密度函数P(x)=x/2，V20 x，则信源的相对熵为（C）。A.0.5bit B.0.72bit C.1bit D.1.44bit 10.下列离散信源，熵最大的是（D）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H
15、（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)11.下列不属于消息的是（B）。A.文字B.信号C.图像D.语言12.为提高通信系统传输消息有效性，信源编码采用的方法是（A）。A.压缩信源的冗余度B.在信息比特中适当加入冗余比特C.研究码的生成矩阵D.对多组信息进行交织处理13.最大似然译码等价于最大后验概率译码的条件是（D）。A.离散无记忆信道B.无错编码名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 15 页 -C.无扰信道D.消息先验等概14.下列说法正确的是（C）。A.等重码是线性码B.码的生成矩阵唯一C.码的最小汉明距离等于码的最小非0 重量D.线性分组码
16、中包含一个全0 码字15.二进制通信系统使用符号0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个 0 发出u1:一个 1 发出v0:一个 0 收到v1:一个 1 收到则已知收到的符号，被告知发出的符号能得到的信息量是（A）。A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV)16.同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为 12，则得到的自信息为（B）。A.log36bit B.log36bit C.log(11/36)bit D.log(11/36)bit 17.下列组合中不属于即时码的是（A）。A.0，01，011 B.0，10，11
17、0 C.00，10，11 D.1，01，00 18.已知某（6，3）线性分组码的生成矩阵011101110001111010G，则不用计算就可判断出下列码中不是该码集里的码是（D）。A.000000 B.110001 C.011101 D.111111 19.一个随即变量x 的概率密度函数P(x)=x/2，V20 x，则信源的相对熵为（C）。A.0.5bit/符号B.0.72bit/符号C.1bit/符号D.1.44bit/符号名师资料总结-精品资料欢迎下载-名师精心整理-第 11 页，共 15 页 -20.设有一个无记忆信源发出符号A 和 B，已知4341)(,)(BpAp，发出二重符号序列
18、消息的信源，无记忆信源熵)(2XH为（A）。A.0.81bit/二 重 符 号B.1.62bit/二 重 符 号C.0.93 bit/二 重 符 号D.1.86 bit/二重符号三、判断题1.确定性信源的熵H(0,0,0,1)=1。（错）2.信源 X 的概率分布为P(X)=1/2,1/3,1/6，对其进行哈夫曼编码得到的码是唯一的。（错）3.离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。（对）4.非奇异的定长码一定是唯一可译码。（错）5.信息率失真函数R(D)是在平均失真不超过给定失真限度D 的条件下，信息率容许压缩的最小值。（对）6.信源 X 的概率分布为P(X)=1/2
19、,1/3,1/6，信源 Y 的概率分布为P(Y)=1/3,1/2,1/6，则信源 X 和 Y 的熵相等。（对）7.互 信 息 量I(X;Y)表 示 收 到Y后 仍 对 信 源X的 不 确 定 度。（对）8.对信源符号X=a1,a2,a3,a4进行二元信源编码，4 个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一名师资料总结-精品资料欢迎下载-名师精心整理-第 12 页，共 15 页 -定是唯一可译码。（错）9.DMC 信道转移概率矩阵为3/16/13/16/16/13/16/13/1P，则此信道在其输入端的信源分布为P(X)=1/2,1/2 时传输的
20、信息量达到最大值。（错）10.设 C=000000,001011,010110,011101,100111,101100,110001,111010是一个二元线性分组码，则该码最多能检测出3 个随机错误。（错）四、名词解释1.极限熵:2.信道容量:3.平均自信息量:五、计算题1.设离散无记忆信源12340123()3/81/41/41/8XaaaaP x其发生的消息为（202120130213001203210110321010020320011223210），（1）根据“离散无记忆信源发出的消息序列的自信息等于消息中各个符号的自信息之和”，求此消息的自信息量；（2）在此消息中平均每个符号携带
21、的信息量是多少？2.已知一个二元信源连接一个二元信道，如图所示。其中，212121xxPX。名师资料总结-精品资料欢迎下载-名师精心整理-第 13 页，共 15 页 -试求：I(X,Y)，H(X,Y)，H(X/Y)，和 H(Y/X)。3.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为0210d。试求 Dmin，Dmax，R(Dmin)，R(Dmax)。4.信源X共有 6 个符号消息，其概率分布为)(XP=0.37，0.25，0.18，0.10，0.07，0.03。（1）对这6 个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率。（2）哈夫曼编码的结果是
22、否唯一？如果不唯一，请给出原因。5.二进制通信系统使用符号0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事件。x0：一个 0 发出；x1：一个 1 发出y0：一个 0 收到；y1：一个 1 收到给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2。（1）求信源的熵H(X)；（2）已知发出的符号，求收到符号后得到的信息量H(Y/X)；（3）已知发出和收到的符号，求能得到的信息量H(X,Y)。6.设 DMC 信道的传输情况如下图所示。（1）试写出该信道的转移概率矩阵；（2）求该信道的信道容量。名师资料总结-精品资料欢迎下载-名师精心整理-第 14 页，共 15 页 -7.设 输 入 信 号 的 概 率 分 布 为P=(1/2,1/2)，失 真 矩 阵 为4/14/10110d。试求minD，maxD，min)(DR，max)(DR。8.设 有 离 散 无 记 忆 信 源X共 有5 个 符 号 消 息，其 概 率 分 布 为()P X=0.4，0.2，0.2，0.1，0.1。（1）对这5 个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率；（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。名师资料总结-精品资料欢迎下载-名师精心整理-第 15 页，共 15 页 -