《信息论与编码习题答案.pdf》由会员分享，可在线阅读，更多相关《信息论与编码习题答案.pdf（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 1.在无失真的信源中，信源输出由 H(X)来度量；在有失真的信源中，信源输出由 R(D)来度量。2.要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码，然后_加密_编码，再_信道_编码，最后送入信道。3.带限 AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)CWSNR；当归一化信道容量 C/W 趋近于零时，也即信道完全丧失了通信能力，此时 Eb/N0为 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。4.保密系统的密钥量越小，密钥熵 H(K)就越 小，其密文中含有的关于明文的信息量 I(M；C)就越 大。5.已知 n7 的循
2、环码42()1g xxxx，则信息位长度 k 为 3，校验多项式 h(x)=31xx 。6.设输入符号表为 X0，1，输出符号表为 Y0，1。输入信号的概率分布为 p(1/2，1/2)，失真函数为 d(0，0)=d(1，1)=0，d(0，1)=2，d(1，0)=1，则 Dmin 0，R(Dmin)1bit/symbol，相应的编码器转移概率矩阵p(y/x)1001；Dmax ，R(Dmax)0，相应的编码器转移概率矩阵p(y/x)1010。7.已知用户 A 的 RSA 公开密钥(e,n)=(3,55)，5,11pq,则()n 40 ，他的秘密密钥(d,n)(27,55)。若用户 B 向用户 A
3、 发送 m=2 的加密消息，则该加密后的消息为 8。二、判断题 1.可以用克劳夫特不等式作为唯一可译码存在的判据。（）2.线性码一定包含全零码。（）3.算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。（）4.某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（）5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度 L 的增大而增大。（）6.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量 X，当它是正态分布时具 有最大熵。（）7.循环码的码集中的任何一个码字的循环移位仍是码字。（）8.信道容量是信
4、道中能够传输的最小信息量。（）9.香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（）10.在已知收码 R 的条件下找出可能性最大的发码iC作为译码估计值，这种译码方 法叫做最佳译码。（）三、计算题 某系统（7，4）码)()(01201230123456cccmmmmcccccccc其三位校验位与信息位的关系为：231013210210cmmmcmmmcmmm（1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式；（4）若接收码字 R=1110011，求发码。解：1.1000110010001100101110001101G 10111001
5、1100100111001H 2.dmin=3 3.S E 000 0000000 001 0000001 010 0000010 100 0000100 101 0001000 111 0010000 011 0100000 110 1000000 4.RHT=001 接收出错 E=0000001 R+E=C=1110010(发码)四、计算题 01XY011/31/301/3已知,X Y的联合概率,p x y为：求 H X，H Y，,H X Y，;I X Y 解:(0)2/3p x (1)1/3p x (0)1/3p y (1)2/3p y (1/3,2/3)H XH YH0.918 bit
6、/symbol ,(1/3,1/3,1/3)H X YH=1.585 bit/symbol ;()()(,)I X YH XH YH X Y0.251 bit/symbol 五、计算题 一阶齐次马尔可夫信源消息集,321aaaX，状态集,321SSSS，且令3,2,1,iaSii，条件转移概率为 03132313131214141)/(ijSaP，(1)画出该马氏链的状态转移图；(2)计算信源的极限熵。解：(1)（2）1321323112123312311411332231141wwwwwwwwwwwwww3.03.04.0321www H(X|S1)=H 比特/符号 H(X|S2)=H 比特
7、/符号 H(X|S3)=H(2/3,1/3)=比特/符号 3|0.4 1.50.3 1.5850.3 0.918 1.3511Hw H X Siii比特/符号 六、计算题 若有一信源2.08.021xxPX，每秒钟发出 2.55 个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的，容量为 1bit/二元符号），而信道每秒钟只传递 2 个二元符号。（1）试问信源不通过编码（即 x10,x21 在信道中传输）（2）能否直接与信道连接？（3）若通过适当编码能否在此信道中进行无失真传输？（4）试构造一种哈夫曼编码(两个符号一起编码)，（5）使该信源可以在此信道中无失真传输
8、。解：1.不能，此时信源符号通过 0，1 在信道中传输，2.55 二元符号/s2 二元符号/s *(0.8,0.2)H=1.84 1*2 可以进行无失真传输 3.x1x1x1x2x2x1x2x2 0.64 0.16 0.16 0.041011100101 0.64 0.2 0.16 0101 0.64 0.36 01 410.640.16*20.2*3iiiKp K1.56 二元符号/2 个信源符号 此时 1.56/2*2.55=1.989 二元符号/s 2 二元符号/s 七、计算题 两个 BSC 信道的级联如右图所示：（1）写出信道转移矩阵；（2）求这个信道的信道容量。解：（1）221222
9、11(1)2(1)112(1)(1)PPP （2）22log2(1)CH 01010111111.从大量统计中知道，男性红绿色盲的发病率为116，女性发病率为164，如果你问一对男女“你是否是红绿色盲？”他们分别回答可能是“是”。问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/32 2.地区的女孩中有25是大学生，在女大学生中有75是身高以上的，而女孩中身高以上的占半数一半。假如我们得知“身高以上的某女孩是大学生”的消息，问获得多少信息量？28log3 3.设有一连续随机变量，其概率密度函数为：2,01()0,bxxp xothers，试求这随机变量的熵。又若1(0)YXK
10、K，22YX，试分别求出1Y和2Y的熵1()CHY和2()CHY。4.设随机变量X取值于0 kXk，()kP XkP，0,1,k 已知X的数学期望0EXA,求使()H X达到最大的概率分布和该分布的熵.5.设 Markov 信源的状态空间为：12,0,1S S，其一步转移概率如下:11211222(|)0.25,(|)0.75,(|)0.6,(|)0.4.P S SP S SP S SP S S 1)画出状态转移图？2)求该信源的平稳分布.4/9,5/9 3)求该信源的极限分布.6.一信源产生概率为995.0)0(,005.0)1(PP的统计独立二进制数符。这些数符组成长度为100 的数符组。
11、我们为每一个含有3 个或少于 3 个“1”的源数符组提供一个二进制码字，所有码字的长度相等。求出为所规定的所有源符组都提供码字所需的最小码长。18 求信源发出一数符组，而编码器无相应码字的概率。7.设有一Markov信源，其状态集为123,Ss s s，符号集为123,x xx，在某状态下发出符号的概率如图所示。（1）、证明该信源的遍历性，并求其稳定分布；（2）、求该信源的极限熵；10/9（3）、求信源稳定后符号123,x xx的概率分布。15/27,5/27,7/27 8.离散无记忆信道的转移概率矩阵为 123412340100111023600101110632bbbbaaPaa，求该信道
12、的信道容量，及其最佳输入分布。9.设离散无记忆信道的转移概率矩阵为1010001Q，求出信道容量及其达到信道容量的最佳输入概率分布。并求当210和时的信道容量。10.已知一个信源包含八个符号消息,它们的概率分布如下表,A B C D E F G H 求该信源的熵。对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。11.有一个含有 8 个消息的无记忆信源，其概率各自为，。试编成两种三元非延长码，使它们的平均码长相同，但具有不同的码长的方差。并计算其平均码长和方差，说明哪一种码更实用些。12.求下图中 DMC 的信道
13、容量。如果输入分布为p(x=0)=1/2，p(x=1)=1/4，p(x=2)=1/4），试求输入的信息熵和经过该信道的输入、输出间的平均互信息量。13.设二元对称信道的传递矩阵为 21331233 1)若(0)3/4,(1)1/4PP，求(),(|),(|)H XH X YH Y X和(;)I X Y；2)求该信道的信道容量及其达到信道容量时的输入概率分布。1 1 0 2 0 2 3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 14.设有一离散信道，其信道转移概率矩阵为216131312161613121Q，并设21)(1xP，41)()(32xPxP，试分别按最小
14、错误概率准则和极大似然译码准则确定译码规则，并计算相应的平均错误概率。15.令0,1XY，失真矩阵为12(,)32d x y，对于一个等概率输入的随机变量，求率失真函数()R D对应的定义域minD和maxD。16.证明：H(X|Y)+H(Y|Z)H(X|Z)17.证明离散平稳信源有：31221(|)(|)H XX XH XX 18.试证明长度为 N 的 r 元不等长编码至多有(1)1Nr rr个码字。简答题 1、信息通讯系统模型 答：信源，编码器，信道，译码器，信宿 2、平均互信息是什么？写出常用的三种表达式，并用语言描述。答：平均互信息是信源与信宿间平均传递（或接收）信息量大小的度量 ;,
15、I X YH XH X YH YH Y XH XH YH X Y 3、信源冗余度（剩余度）是什么？其有何应用？大：冗余度是用来衡量信源输出的符号序列中各符号之间的依赖程度的量。从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。冗余度大的消息具有强的抗干扰能力。4、香农第一、第二、第三编码定理分别指什么？并描述第一定理。答：香农第一定理：变长信源编码定理 香农第二定理：有噪信道编码定理 香农第三定理：保真度准则下的信源编码定理 香农第一定理：离散无记忆信源 X 的 N 次扩展信源12(,.,)NNqXXXX，其熵为()NH X，并有码符号集 Aa1,ar。对信源进行编码，总可以找到一种编码
16、方法，构成唯一可译码，使 信 源X中 每 个 信 源 符 号 所 需 的 平 均 码 长 满 足()1()loglogNnH XH XNrNr，或者1()()NrrnHXHXNN 5、你是如何理解信源编码的？答：信源编码的主要任务（1）符号变换：使信源输出符号与信道的输入符号相匹配。（2）减少冗余，具体的说，就是针对信源输出符号序列的统计特性，寻找一定的把信源输出符号序列变换为最短码字序列的方法。6、信道的组合有哪些？并分别写出由两个信道构成的组合信道的信道容量。积信道，信道容量为 C=C1+C2。和信道，信道容量为12log(22)CCC。级联信道，信道容量为 CminC1,C2。7、请写出
17、对称信道、准对称信道的信道特征，并给出对称信道信道容量的计算公式？输入对称转移概率矩阵 P 的每一行都是第一行的重新排列(包含同样元素)，称该矩阵是输入对称。输出对称转移概率矩阵 P的每一列都是第一列的重新排列(包含同样元素)，称该矩阵是输出对称。对称的 DMC 信道输入、输出都对称。如果转移矩阵 P 的列可以划分成若干个互不相交的子集Bk，（即 B1B2 Bk=；B1B2Bk=P），且每个子集所组成的子阵都是输入输出对称矩阵，则称该信道是准对称 DMC 信道 C=1logblogbsjjjspp，()()(/)1,2,jijiip bp a p bajs 8、信道容量和信息率失真函数的定义是什么？简要比较两者的相同处和不同处？答：信道所能传送的最大信息量，即信道容量。信息率失真函数是在DD的条件下，信源必须传输的最小平均信息量。信息率失真函数是在允许失真和信源概率分布已给的条件下，求平均互信息的最小值问题；而信道容量是在信道特征已知的条件下求平均互信息的最大问题。9、常用的译码准则有哪些？相互之间有何关系？答：最小错误概率准则，最大似然译码准则，最小距离译码准则。二元对称信道中，最大似然译码准则等价于最小汉明距离译码准则。