《信息论与编码-曹雪虹-课后习题答案.pdf》由会员分享，可在线阅读，更多相关《信息论与编码-曹雪虹-课后习题答案.pdf（52页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码-曹雪虹-课后习题答案第二章2.1 一个马尔可夫信源有 3 个符号u为：p u |u1/2，p u1121,u2,u3，转移概率|u11/2，p u3|u10，p u1|u21/3，p u2|u20，p u3|u22/3，p u1|u31/3，p u2|u32/3，p u3|u30，画出状态图并求出各符号稳态概率。解：状态图如下1/2u11/31/21/32/32/3u2状态转移矩阵为：u301/21/2p1/302/31/32/30设状态 u1，u2，u3稳定后的概率分别为 W1，W2、W3111W1W2W3W1102W1332512W1W3W2WPW9由得计算可得W223W1W
2、2W312526W2W3W3325W1W2W312.2 由符号集0，1组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1| 00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1| 01)=0.5，p(1|10)=0.5。画出状态图，并计算各状态的稳态概率。解：p(0|00)p(00|00)0.8p(0|01)p(10|01) 0.5p(0|11) p(10|11) 0.2p(0|10) p(00|10) 0.5p(1| 00)p(01| 00)0.2p(1| 01)p(11| 01) 0.5p(1|11) p(1
3、1|11) 0.8p(1|10) p(01|10) 0.500.8 0.20000.5 0.5于是可以列出转移概率矩阵：p0.5 0.500000.2 0.8状态图为：0.8000.50.2010.50.50.50.2设各状态00，01，10，11 的稳态分布概率为W1,W2,W3,W4有5W1140.8 W10.5 W3W10.2 W10.5 W3W2W21WPW470.5 W20.2 W4W3得计算得到Wi110.5 W20.8 W4W4W3i 17W1W2W3W415W41410110.82.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求：(1) “3 和 5 同时出现
4、”这事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即 2, 3, , 12 构成的子集）的熵；(5) 两个点数中至少有一个是 1 的自信息量。解：(1)11111p(xi)6666181I(xi)logp(xi)log4. 170 bit18(2)111p(xi)66361I(xi)logp(xi)log5. 170 bit36(3)两个点数的排列如下：11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53
5、54 55 5661 62 63 64 65 66共有 21 种组合：其中 11，22，33，44，55，66 的概率是1166136其他 15 个组合的概率是211166181111H (X )p(xi)logp(xi)6log15log4. 337 bit /symbol36181836i(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：23456789 10 11 12X11111151511P(X )36 18 12 9 366 36 9 12 18 36H (X )p(xi)logp(xi)i1111111155112log2log2log2log2loglog36
6、1818121299363666363. 274 bit /symbol(5)1111p(xi)116636I(xi)logp(xi)log111. 710 bit362-42.5 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X 代表女孩子学历Xx（是大学生）x2（不是大学1生）P(X)0.250.75设随机变量 Y 代表女孩子身高YP(Y)y1（身0.5y2（身高0.5高160cm）160cm）已知：在女大学生
7、中有 75%是身高 160 厘米以上的即：p(y1/x1)0. 75 bit求：身高 160 厘米以上的某女孩是大学生的信息量即：I(x /y )logp(x /y )logp(x )p(y111111/x1)p(y1)log0. 25 0. 751. 415 bit0. 52.6 掷两颗骰子， 当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？解：1）因圆点之和为 3 的概率p(x)p(1,2) p(2,1)118该消息自信息量I(x)logp(x)log184.170 bit2）因圆点之和为 7 的概率p(x)p(1,6)
8、p(6,1) p(2,5) p(5,2) p(3,4) p(4,3)16该消息自信息量I(x)logp(x)log62.585 bit2.7 设 有 一 离 散 无 记 忆 信 源 ， 其 概 率 空 间 为Xx10 x21x32x431/41/41/8P3/8（1）求每个符号的自信息量（2）信源发出一消息符号序列为202 120 130213 001 203 210 110 321 010 021 032011 223 210，求该序列的自信息量和平均每个符号携带的信息量解：I(x)log1218log21.415 bitp(x1)3233同理可以求得I(x )2bit ,I(x )2bit
9、 ,I(x )3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I14I(x) 13I(x ) 12I(x ) 6I(x )87.81 bit1234平均每个符号携带的信息量为87.811.95bit/符号452.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示 4 个不同的消息， 例如： 0, 1, 2,3八进制脉冲可以表示 8 个不同的消息， 例如： 0, 1, 2,3, 4, 5, 6, 7二进制脉冲可以表示 2 个不同的消息，例如：0, 1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H (X )lognl
10、og42 bit /symbol1八进制脉冲的平均信息量H (X二进制脉冲的平均信息量H (X所以：2)lognlog83 bit /symbol)lognlog21 bit /symbol0四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。2-9“” 用三个脉冲“”用一个脉冲(1) I()=(2) H=42-10 H(Y/黑)= H(Y/白)= (4) P(黑)= P(白)= H(Y)=2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1，38 的数字标示，其中有两份涂绿色，18 份涂红色，18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）
11、如果仅对颜色感兴趣，则计算平均不确定度（2） 如果仅对颜色和数字感兴趣， 则计算平均不确定度（3）如果颜色已知时，则计算条件熵1Log(4)2 I()Log430.415Log(4)34Log430.811 (2) P(黑/黑)= P(白/黑)= (3) P(黑/白)= P(白/白)=解 ： 令X表 示 指 针 指 向 某 一 数 字 ， 则X=1,2,.,38 Y 表示指针指向某一种颜色，则Y=l 绿色，红色，黑色 Y 是 X 的函数，由题意可知p(xy)p(x)i ji（1）H ( Y)p(y)logjj 1312381838log2log1.24bit/符号p(yj)38238182（2
12、）H (X ,Y)H (X )log 385.25bit/符号（3）H (X |Y)H (X ,Y) H ( Y)H (X ) H ( Y)5.25 1.24 4.01bit/符号2.12 两个实验 X 和 Y，X=x1x2 x3,Y=y1 y2y3,l联合概率r x,yr为ijijr11r12r21r22r31r32r137/241/240r231/241/41/24r331/247/240（1）如果有人告诉你 X 和 Y 的实验结果， 你得到的平均信息量是多少？（2）如果有人告诉你 Y 的实验结果， 你得到的平均信息量是多少？（3）在已知 Y 实验结果的情况下， 告诉你 X 的实验结果，你
13、得到的平均信息量是多少？解：联合概率p(x,y)为ijy1y2y3YX x17/24 1/240 x21/241/41/24 x301/24 7/24H (X ,Y)p(xi,yj)log2ij1p(xi,yj)272411log24log224log24247244 =2.3bit/符号X 概率分布XP YYP2.13 有两个二元随机变量X和Y，它们的联合概率为YXx1=0 x2=1y1x1x2x31H ( Y)3log231.583bit/ 符8/248/248/24号H (X |Y)H (X ,Y) H ( Y)2.3 1.58概y2率y3分布是=0.72bit/符号8/248/248/
14、24y1=0y2=11/83/83/81/8并定义另一随机变量Z = XY（一般乘积） ，试计算：(1)H(X),H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2)H(X/Y), H(Y/X), H(X/Z), H(Z/X),H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3)I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)p(x1311)p(x1y1)p(x1y2)882p(xp(x(x3112)2y1)p2y2)882H (X )p(xi)logp(xi) 1 bit /symboli
15、p(yy1311)p(x11)p(x2y1)882p(yp(xp(x3112)1y2)2y2)882H ( Y)p(yj)logp(yj) 1 bit /symboljZ = XY的概率分布如下：z0z21ZP(Z)171882H (Z)p(z7711k)loglog0. 544 bitk8888/symbolH(Y/Z),p(x1)p(x1z1)p(x1z2)p(x1z2)0p(x1z1)p(x1)0. 5p(z1)p(x1z1)p(x2z1)p(x2z1)p(z1)p(x1z1)p(z2)p(x1z2)p(x2z2)p(x2z2)p(z2)18730. 588133111H (XZ )p(
16、xizk)logp(xizk)logloglog1. 406 bit /symbol288882ikp(y1)p(y1z1)p(y1z2)p(y1z2)0p(y1z1)p(y1)0. 5p(z1)p(y1z1)p(y2z1)p(y2z1)p(z1)p(y1z1)p(z2)p(y1z2)p(y2z2)p(y2z2)p(z2)18730. 588133111H ( YZ)p(yjzk)logp(yjzk)logloglog1. 406 bit /symbol288882jkp(x1y1z2)0p(x1y2z2)0p(x2y1z2)0p(x1y1z1)p(x1y1z2)p(x1y1)p(x1y1z1
17、)p(x1y1) 1/8p(x1y2z1)p(x1y1z1)p(x1z1)p(x1y2z1)p(x1z1)p(x1y1z1)p(x2y1z1)p(x2y1z2)p(x2y1)p(x2y1z1)p(x2y1)p(x2y2z1)0p(x2y2z1)p(x2y2z2)p(x2y2)18H (XYZ )p(xiyjzk)log2p(xiyjzk)p(x2y2z2)p(x2y2)ijk1132883813333111loglogloglog1. 811 bit /symbol88888888(2)13333111H (XY )p(xiyj)log2p(xiyj)loglogloglog1. 811 bi
18、t /symbol88888888ijH (X /Y)H (XY ) H ( Y) 1. 811 10. 811 bit /symbolH ( Y /X )H (XY ) H (X ) 1. 811 10. 811 bit /symbolH (X /Z)H (XZ ) H (Z) 1. 4060. 5440. 862 bit /symbolH (Z /X )H (XZ ) H (X ) 1. 406 10. 406 bit /symbolH ( Y /Z)H ( YZ) H (Z) 1. 4060. 5440. 862 bit /symbolH (Z /Y)H ( YZ) H ( Y) 1.
19、406 10. 406 bit /symbolH (X /YZ)H (XYZ ) H ( YZ) 1. 811 1. 4060. 405 bit /symbolH ( Y /XZ )H (XYZ ) H (XZ ) 1. 811 1. 4060. 405 bit /symbolH (Z /XY )H (XYZ ) H (XY ) 1. 811 1. 8110 bit /symbol(3)I(X;Y) H(X)H(X /Y) 10.811 0.189 bit/symbolI(X;Z) H(X)H(X /Z) 10.862 0.138 bit/symbolI(Y;Z) H(Y)H(Y /Z) 10
20、.862 0.138 bit/symbolI(X;Y /Z) H(X /Z)H(X /YZ) 0.8620.405 0.457 bit/symbolI(Y;Z / X) H(Y / X)H(Y / XZ) 0.8620.405 0.457 bit/symbolI(X;Z /Y) H(X /Y)H(X /YZ) 0.8110.405 0.406 bit/symbol2-14(1) P(ij)=(2) 方法 1:方法 2:2-15P(j/i)= P(i/j)=2.16 黑白传真机的消息元只有黑色和白色两种，即X=黑，白，一般气象图上，黑色的出现概率 p(黑)0.3，白色出现的概率 p(白)0.7。
21、（1）假设黑白消息视为前后无关，求信源熵 H(X)，并画出该信源的香农线图（2） 实际上各个元素之间是有关联的， 其转移概率为：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。解： （1）H(X) 0.3logP(黑|白)=P(黑)0.7210100.7log2 0.8813bit/符号37P(白|白)P(白)P(黑|黑)P(黑)P(白|黑)P(白)0.3黑0.3白0.7（2）根据题意，此一阶马尔可夫链是平稳的（P(白)0.7 不随时间变化，P(黑)0.3
22、 不随时间变化）H(X) H(X2| X1) p(xi, yj)log2ij1p(xi, yj) 0.91430.7log20.80.3log210.81110.08570.7log20.20.3log20.91430.08570.20.512bit/符号2.17 每帧电视图像可以认为是由 3105个像素组成的，所有像素均是独立变化，且每像素又取 128 个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约 10000 个汉字中选出 1000 个汉字来口述此电视图像， 试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰
23、当的描述此图像，广播员在口述中至少需要多少汉字？解：1)H(X) log2n log2128 7 bit /symbolH(X) NH(X) 310 7 2.110bit /symbolN562)H(X) log2n log210000 13.288 bit/symbolH(X) NH(X) 100013.288 13288 bit/symbolN3)H(XN)2.1106N 158037H(X)13.2882.20给 定 语 音 信 号 样 值X的 概 率 密 度 为p(x) 1xe, x ,求2Hc(X)，并证明它小于同样方差的正态变量的连续熵。解：1xHc(X) px(x)log px(
24、x)dx px(x)logedx21 px(x)logdxpx(x)(x)log edx211x loglogee(x)dx2211 loglogeex(x)dxlog2211 log2log e2xexdx2201x logloge(1x)e0212e logloge log2001xe(x)dx2E(X) 0,D(X) H(X,) 221214e2e2 eelog2e2log2 log log H(X)222.24 连续随机变量X和Y的联合概率密度为： 1p(x,y) r20 x2 y2 r2其他， 求H(X),H(Y), H(XYZ)和I(X;Y)。（提示：2log2sin xdx lo
25、g22）解：02p(x) r2x2 r2x2rp(xy)dy r2x212 r2 x2dy (r x r)2r2x2r2rHc(X) p(x)log p(x)dxrr2 r2 x2 p(x)logdx2rrrr2 p(x)log2dx p(x)logr2 x2dxrrrrr2 logp(x)logr2 x2dxr2r21 loglogr 1log2e221 log2r log2e bit /symbol2其中：rrp(x)logr2 x2dxr2 r2 x222logr x dx2rr4r22r x2logr2 x2dxr040令x rcos2rsinlogrsind(rcos)r240 2r
26、2sin2logrsindr244420sin2logrsindsinlogrd220420sin2logsind1cos241cos2logr2d2logsind0202202logr2d020logr2cos2d02logsind220cos2logsind logr 1logr2d sin22(2log22)220cos2logsind logr 1220cos2logsind1 logr 1log2e2其中：220cos2logsind201logsind sin2201sin2logsin 12sin2d logsin02202sincoscoslog2edsin2log2e2cos
27、2d01 cos2d02112 log2edlog2e2cos2dlog2e20011 log2elog2esin2221 log2e220p(y) r2y2r2y2p(xy)dx r2y22 r2 y21(r y r)dx r2y2r2r2p(y) p(x)1HC(Y) HC(X) log2r log2e bit/symbol2Hc(XY) p(xy)log p(xy)dxdyR p(xy)logRR1dxdyr2 logr2p(xy)dxdy log2r2bit/symbolIc(X;Y) Hc(X) Hc(Y) Hc(XY) 2log2r log2elogr2 log2log2e bit
28、/symbol2.25 某一无记忆信源的符号集为0, 1，已知P(0)=1/4，P(1) = 3/4。(1) 求符号的平均熵；(2) 有 100 个符号构成的序列，求某一特定序列（例如有m个“0”和（100 -m）个“1” ）的自信息量的表达式；(3) 计算(2)中序列的熵。解：(1)1331H(X) p(xi)log p(xi) loglog 0.811 bit/symbol4444i(2)1 3p(xi) 44m100m3100m10043 41.51.585m bit1004100mI(xi) log p(xi) log(3)H(X100) 100H(X) 1000.811 81.1 b
29、it / symbol2-26 P(i)=H(IJ)=2.29 有一个一阶平稳马尔可夫链X值 于 集 合Aa1,a2,a31, P(ij)=X2, Xr,各 Xr取, 已 知 起 始 概 率P(Xr) 为23p11/ 2, p2 p31/ 4，转移概率如下图所示j i1123(1)求(X , X121/22/32/31/401/31/41/30, X3)的联合熵和平均符号熵(2)求这个链的极限平均符号熵(3)求H ,H ,H和它们说对应的冗余度012解： （1）H(X1, X2, X3) H(X1) H(X2| X1) H(X3| X2,X1) H(X1) H(X2| X1) H(X3| X2
30、)111111H(X1) logloglog1.5bit /符号224444X1，X2的联合概率分布为p(x1ix2j)123p(x2 j) p(x1ix2 j)i1231/41/81/81/601/120123X2的14/24 5/24 5/24概1/61/12率分布为那么111131131H(X2| X1) log4log4log4loglog3 loglog348862126212=1.209bit/符号X2X3的联合概率分布为p(x2ix3 j)123123那么H(X3| X2) 7/247/487/485/3605/1205/365/12771535535log2log4log4lo
31、glog3 loglog3244883627236272=1.26bit/符号H(X1, X2, X3) 1.51.2091.26 3.969bit/符号所以平均符号熵H (X , X312, X3) 3.9691.323bit符号3（2）设 a1,a2,a3稳定后的概率分布分别为 W1,W2,W3, 122转移概率距阵为P 32314013141302241W1W2W31W12337113WP W由Wi1得到计算得到W1W3W2W231443W1W2W31W314又满足不可约性和非周期性H(X) WiH(X |Wi) i1341 1 132 1H( ,)2H( ,0) 1.25bit/符号7
32、2 4 4143 3(3)H2H0 log3 1.58bit/ 符 号H11.5bit/ 符 号1.51.2091.355bit/符号21.25 0.211.581.252121 0.0781.355010111111.25 0.6171.51/2a12/31/41/42/31/31/3a2a32-30(1) 求平稳概率 P(j/i)=解方程组得到(2)信源熵为:2-31P(j/i)=解方程组得到 W1=, W2=, W3=2.32 一阶马尔可夫信源的状态图如图 213 所示， 信源 X 的符号集为（0，1，2） 。（1）求信源平稳后的概率分布 P(0),P(1),P(2)（2）求此信源的熵（
33、3） 近似认为此信源为无记忆时， 符号的概率分布为平稳分布。求近似信源的熵 H(X)并与H进行比较1-pp/21-p0p/2p/2p/21p/2p/221-p图2-131 pp/2p/2p/21 pp/2解:根据香农线图,列出转移概率距阵P p/2p/21 p令状态 0,1,2 平稳后的概率分布分别为 W1,W2,W3p(1 p)W1W22WP W3 p得到W1(1 p)W2Wi12i1W1W2W311pW W3W132p1W3W2计算得到W 321W 3由齐次遍历可得1p p12H(X) WiH(X |Wi) 3H(1 p,) (1 p)log plog32 21 ppiH(X,) log3
34、 1.58bit /符号由最大熵定理可知H(X)存在极大值或者也可以通过下面的方法得出存在极大值:H(X)1 pp2 1p log(1 p)(1)log p logp1 p2p 22(1 p)p11 2(1 p)22(1 p)又0 p 1所以p0,当2(1 p)p=2/3 时p12(1 p)0p2/3 时H2/3pI(X;Y )1所以第二个实验比第一个实验好（2）因为 Y1和 Y2相互独立，所以p(y y12| x) p(y1| x)p(y2| x)P(y1y2x) 000110110121/4 0000001/4 01/41/4 0P(y1y2|x) 00011011012100000100
35、1/21/2 0y1y200011011p111I(X;Y1Y2) H(Y1,Y2)H(Y1Y2| X) log4log1log12log 24441/4 1/4 1/4 1/4bit/符号=1.5bit/符号由此可见，做两个实验比单独做 Y1可多得 1bit 的关于 X 的信息量，比单独做 Y2多得 0.5bit 的关于 X 的信息量。（3）I(X;Y1|Y2) H(X |Y1)H(X |Y1,Y2) H(X,Y2)H(X)H(X)I(X;Y1,Y2)H(X)I(X;Y2)H(X)I(X;Y1,Y2) I(X;Y1,Y2)I(X;Y2)=1.5-1=0.5bit/符号表示在已做 Y2 的情况
36、下，再做 Y1 而多得到的关于 X的信息量同理可得I(X;Y2|Y1) I(X;Y1,Y2)I(X;Y1)=1.5-0.5=1bit/符号表示在已做 Y1 的情况下，再做 Y2 而多得到的关于 X的信息量欢迎下载！第三章2313.1 设二元对称信道的传递矩阵为31323(1) 若P(0)= 3/4,P(1)= 1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)3311H(X) p(xi) (log2log2) 0.811 bit /symbol4444iH(Y / X) p(xi)p(yj/ xi)log p(yj
37、/ xi)ij322311111122 (lglglglg)log210433433433433 0.918 bit /symbol3211 0.583343433112p(y2) p(x1y2) p(x2y2) p(x1)p(y2/ x1) p(x2)p(y2/ x2) 0.41674343H(Y) p(yj) (0.5833log20.58330.4167log20.4167) 0.980 bit /symbolp(y1) p(x1y1) p(x2y1) p(x1)p(y1/ x1) p(x2)p(y1/ x2) jI(X;Y) H(X) H(X /Y) H(Y) H(Y / X)H(X
38、/Y) H(X) H(Y) H(Y / X) 0.8110.9800.918 0.749 bit /symbolI(X;Y) H(X) H(X /Y) 0.8110.749 0.062 bit /symbol2)1122C maxI(X;Y) log2m Hmi log22( lglg)log210 0.082 bit /symbol3333其最佳输入分布为p(xi) 123-2 某信源发送端有 2 个符号，x，i1，2；p(x ) a，每秒发出一个符号。接受端有 3 种符号y，j1，2，iii1/ 23，转移概率矩阵为P 。1/ 21/ 41/ 41/ 20（1）计算接受端的平均不确定度；（
39、2）计算由于噪声产生的不确定度H(Y | X)；（3）计算信道容量。1/ 21/ 20解：P 1/ 21/ 41/ 4ij联合概率p(x , y )yyXYyx0a/ 2a/ 2x(1a)/ 2(1a)/ 4(1a)/ 4则 Y 的概率分布为yyyY(1a)/ 4(1a)/ 41/ 2（1）H(Y) 1log21+alog41alog412312123241a41116a1alog2loglog2241a41a1111a1alog2log16loglog2441a241a311a1alog2loglog2241a41a1a取 2 为底311a1aH(Y) (log2log)bit2241a24
40、1aa1a11a11a11a1logloglogloglog（2）H(Y | X) 22222244443(1a) alog2log223alog22取 2 为底H(Y | X) 3abit211a1a ac max I(X;Y) maxH(Y) H(Y | X) maxlog2loglogp(xi)p(xi)p(xi)41a241a2a11a1a(ln2lnln)2241a41a取 e 为底a112a11aa11ln2ln()2241a41a41a1a1a11aa2ln2ln2222(1a )41a41a111aln2ln241a= 01a11a43a 51311131c log2loglo
41、g9254125454312531log2loglog104162043153log2loglog210241015log243.3 在有扰离散信道上传输符号 0 和 1，在传输过程中每 100 个符号发生一个错误，已知 P(0)=P(1)=1/2，信源每秒内发出 1000 个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：0.990.01P 0.010.99为一个 BSC 信道所以由 BSC 信道的信道容量计算公式得到：C logsH(P) log2pilogi121 0.92bit /signpi1Ct C 1000C 920bit /sect3.4 求图中信道的信道容
42、量及其最佳的输入概率分布.并求当 =0 和 1/2 时的信道容量 C 的大小。解: 信道矩阵00 1,此信道为非奇异矩01eeP=e1e03X011Y011212阵,又 r=s,可利用方程组求解P(b |a )=P(b |a )log P(b3jijjij 1j 11j|ai) (i=1,2,3)0)log(1(1)log)(12)23(1log(11)3)log(1解得023(1)log(1)log(1-)log(1-)+所以C=logj2j=log2 +221-H()0log=log1+2P(b1)21 C=log1+2(11)(1)(1H( )2C12(1221121)P(b2)CP(b
43、3)(1)12(1)(123CP(b2)而P(b )j3i 1P(ai)P(bj|ai) (j=1,2,3)得P(b )2P(b1)P(a2)(1P(a2)P(a1)P(a3)P(a3)(11)(1)P(b3)所以P(a1)=P(b1)=P(a2)P(a3)P(b2)P(b3)12(1)(1)12(1)(1当 =0 时,此信道为一一对应信道,得 C=log3,P(a )P(a )P(a )11233当P(a1)1,P(a2)2P(a3)=1/214时,得C=log2,3.5 求下列二个信道的信道容量，并加以比较p （1）p p p p 2（2）p 2p p 200 2其中 p+p=1解：（1）
44、此信道是准对称信道，信道矩阵中 Y 可划分成三个互不相交的子集 由于集列所组成的矩阵p p p 2,而这两个子矩阵满足对称性， 因p 2此可直接利用准对称信道的信道容量公式进行计算。C1=logr-H(p1 p2 p3)-Nk logMkk12其中 r=2,N1=M1=1-2 N2=2 M2=4所以C1=log2-H(p ,p-,2)-(1-2)log(1-2)-2log4=log2+(p )log(p )+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4=log2-2log2-(1-2)log(1-2)+(p )log(p )+(p-)log(p-)=(1-2)lo
45、g2/(1-2)+(p )log(p )+(p-)log(p-)输入等概率分布时达到信道容量。（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中 Y 可划分成两个互不相交的子集，由子集列所组成的矩阵p 为p 2p ，0p 0 这两矩阵为对称矩阵其2中 r=2,N1=M1=1-2 N2=M2=2，所以C=logr-H(p-,p-,2,0)-Nk logMkk12=log2+(p-)log(p-)+(p-)log(p-)+2log2-(1-2)log(1-2)-2log2=log2-(1-2)log(1-2)+(p-)log(p-)
46、+(p-)log(p-)=(1-2)log2/(1-2)+2log2+(p-)log(p-)+(p-)log(p-)=C1+2log2输入等概率分布（P（a1）=P（a2）=1/2）时达到此 信 道 容 量 。 比 较 此 两 信 道 容 量 ， 可 得C2=C1+2log23-6 设有扰离散信道的传输情况分别如图示。求出该信道的信道容量。X1/21/2Y1/21/21/21/21/21/2图3-1711解：2200011202001122112002对称信道C logm H(Y |ai) log4122log 2取 2 为底C 1bit/符号17 所33-7 (1)条件概率，联合概率，后验概
47、率p(y0) 13，p(y1) 12，p(y2) 16（2）H(Y/X)=（3）当接收为 y2，发为 x1 时正确，如果发的是 x1和 x3 为错误，各自的概率为：P(x1/y2)=5，P(x2/y2)=5，P(x3/y2)=5其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=5135 0.8113（4）平均错误概率为（5）仍为 0.733（6）此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率 x1-y1 的概率 0.5 有一半失真 x2-y2 的概率 0.3 有失真严重 x3-y3 的概率 0完全失真（7）H(X/Y)=16Log(2) 110Log(5) 115Log2
48、1351515LogLog(5) LogLog(10) Log 1.3011010215210330353. 8 设加性高斯白噪声信道中，信道带宽 3kHz，又设(信号功率+噪声功率)/噪声功率=10dB。 试计算该信道的最大信息传输速率 Ct。解：3. 9 在图片传输中，每帧约有 2.25106个像素，为了能很好地重现图像， 能分 16 个亮度电平， 并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为 30dB） 。解：H log2n log216 4 bit/symbolI NH 2.251064 9106bit10I9106Ct1.5105bit/st60PXC
49、tW log1PN1.5105W 15049 HzPXlog2(11000)log1PNCt3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为 10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为 0.5MHZ 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解： （1）C W log (1 SNR)110 log (110) 3.159Mbps（2）C W log (15) 3.459Mbps3.159MW
50、1.338MHZ2622222log263（3）C W3log2(1 SNR) 3.459Mbpslog2(1 SNR) 3.4590.5SNR 120欢迎下载！第四章1 X 0a0D P(X)1/21/20a4.2 某二元信源其失真矩阵为求这信源的Dmax和Dmin和R(D)函数。解：11aDmax minDj minp(xi)d(xi,yj) a0 j222i11Dminp(xi)mind(xi,yj) 00 0j22i因为二元等概信源率失真函数：其中n = 2, 所以率失真函数为：DDDDR(D) ln2ln1ln1aaaa D R(D) lnn Ha123 X 0P(X)1/41/4