《信息论雨编码课后题答案.pdf》由会员分享，可在线阅读，更多相关《信息论雨编码课后题答案.pdf（98页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2.1 设 有 1 2 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“1 2枚硬币中，某一枚为假币”该事件发生的概率为P=0;“假币的重量比真的轻，或重”该事件发生的概率为p=1;2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有1=logl2+log 2=log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为p=因此天平每一次消除的不确定性为/=R)g 3 比特因此，必须称的次数为I,
2、-301og 24h-351og 3因此，至少需称3 次。【延伸】如何测量？分 3 堆，每 堆 4 枚，经 过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和 为 8”或“两骰子面朝上点数是3 和 4”时，试问这三种情况分别获得多少信息量？解:“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1,由于二者是独立的,因此该种情况发生的概率为p=H ，该事件的信息量为:6 6 J 6H2.9 次/=log 36 H 5.17 比特“两骰子总点数之和为8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2
3、,概率为P=7 T1 因此该事件的信息量为：6 6 x36/=logH 2.85比特5“两骰子面朝上点数是3 和 4”的可能性有两种：3 和 4、4 和 3,概率为P=,66 1 8因此该事件的信息量为：7=logl8H4.17 比特2,3 如果 你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量(假设已知星期一至星期日的顺序)？解：如果不知今天星期几时间的话，答案可能有七种可能性，每一种都是等概率的，均为P=因此此时从答案中获得的信息量为/=log 7=2.807 比特而当已知今天星期几时
4、问同样的问题，其可能性只有一种，即发生的概率为1,此时获得的信息量为0 比特。2.4居住 某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高L 6 米以上的占总数一半。假如我们得知“身 高 1.6米以上的某女孩是大学生 的消息，问获得多少信息量？解：设 A 表示女孩是大学生，P(A)=0.25；B 表示女孩身高1.6米以上，P(8|A)=0.75,尸(3)=0.5“身 高 1.6米以上的某女孩是大学生”的发生概率为 5=2=P加黑P(A)RBIA)0.25 0.75 n,”八 =U.3/3P(B)0.5已知该事件所能获得的信息量为/=bg r-H 1.415
5、 比特I X 小=0 Q=1 m =2 3=3|设 离 散 无 记 忆 信 事 业 J 3/8 1/41/4 1/8|,其 发 出 的 消 息 为(202120130213001203210110321010021032011223210)，求(1)此消息的自信息是多少？(2)在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：Q/(6 fo =0)=log-=1.415 比特1(ai=1)=log 4=2 比特/(s=2)=log 4=2 比特/(=3)=
6、log 8=3 比特在发出的消息中，共 有 14个“0”符号，1 3 个力”符号，12个“2”符号,6 个“3”符号，则得到消息的自信息为：1=14 1.415+13-2+12-2+6-3H 87.81 比特45 个符号共携带87.81比特的信息量，平均每个符号携带的信息量为/=1.95比特/符号45注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息燧，可计算得H(X)=尸(x)log P(x)=2.6 如 有 6行8列的棋型方格，若有二个 质 点A和B,分别以等概率落入任一方格内,且它们的坐标分别为（XA,YA）和（XB,YB），但A和B不能落入
7、同一方格内。（1）若仅有质点A,求A落入任一个格的平均自信息量是多少？（2）若 已 知A已落入，求B落入的平均自信息量。（3）若A、B是可分辨的，求A、B同都落入的平均自信息量。解：（1）求 质 点A落入任一格的平均自信息量，即求信息端，首先得出质点A落入任一格的概率空间为：I3 。48 _ 1 1 1|48 4 8 1平均自信息量为7/（A）=log 48=5.58 比特/符号（2）已知质点A已落入，求B落入的平均自信息量，即求。A己落入，B落入的格可能有47个，条件概率P（6|a）均 为:。平均自信息量为4/48 47/=1；=1（3）质 点A和B同时落入的平均自信息量为（AB）=（A）+
8、（B|A）=11.13 比特/符号2.7 从大 量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解:小一,48 48 J(8|A)=匚 P(a)P(岳|a)log P(|a)=log 47=5.55 比特/符号男同志红绿色盲的概率空间为:lx|I tzi az 1I k I O.97 0.93 I问男同志回答“是”所获昨的信息量为：Z=log 3.836 比特/符号问男同志回答“
9、否”所获得的信息量为：/=log -H 0.105 比特/符号男同志平均每个回答中含有的信息量为(X)=P(x)log P(x)=0.366 比特/符号同样，女同志红绿色盲的概率空间为lYl UI fe l阳 一 no.005 0.995J问女同志回答“是 所获昨的信息量为：/=10g 焉-H 7.6 4比特/符号问女同志回答“否”所获昨的信息量为：/=log 熊-H 7.23-10:3 比特/符号女同志平均每个回答中含有的信息量为(丫)=P(x)log P(x)=0.045 比特/符号I%!I 6 Z i C li CIA C is C l6 lu p(10.2 0,19 0.18 0,1
10、3 0,16 0.17 I ,求此信源的廊并解释为什么/(X)log 6,不满足信源燧的极值性。解：”(X)=P(x)log P(x)=2.65 log 6原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。2.9 设 离 散 无 记 忆 信 源S其 符 号 集A =a ,Q%,知 其 相 应 的 概 率分 别 为(P,8,，巴)o设 另 一 离 散 无 记 忆 信 源S2,其 符 号 集 为S信 源 符 号 集 的两 倍，A2=a,i=l,2,.,2 q ,并且各符号的概率分布满足P，2 =(lD 2)P，i=l,2,.“,qP,2 =P,i =q+l,q +2,.,2
11、q试写出信源S2的信息焙与信源S的信息蜡的关系。解：H (S 2)=P(x)log P(x)=(1 N)p,log(l N)D 2?/log 2 P.=n(i Z)D P-i og(i N)(1 Z)D Pi log P；匚 W P：log ZazD R log P；=D(1 W)log(l 口 N)口 W log W+H(S )=(s)+”(yw)2.10 设有一概率空间，其概率分布为 p,p 2,.,p ,并 有?0 o若取？2=p-N，p 2 2=0 +N，其 中O2N3pE0,而其他概率值不变。试证明由此所得新的概率空间的焙是增加的，并用端的物理意义加以解释。解：设新的信源为X 2 ,
12、新信源的端为：7/(X 2)=p t log p,=(p 2 7)i og(p 2 7)(/?+2 7)log(p i +2 7)p log pq原信源的燃H(X)=口 p t log p i=D p i log p p i log p i pq log pq因此有，(X)(X 2)=(p i N)10 g(p i D Z)+(p +Z)10 g(P 2 +N)p i log p x P2 log p iL P PI 1 2/2(x)=log 3 50p Dx令/(x)=(Pi%)log(pi x)+(p2+x)log(p?+x)，x f f 0,则即函数/(x)为减函数，因此有/(0)/(Z
13、)即(pi /)log(p W)+(P2+N)log(p2+27)8pi log pi+p2 log pi因此 (X)B H(X 2)成立。【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息端是增加的。L m2.11试证 明：若 ,=1,口 q.i=PL,则i=j=H(pi,p2，,p/.1,q,n)=H(pi,p2 1 ,pi.)+pi.H(-，,各PLPL PL并说明等式的物理意义。解：H(p1,p2,，pL 1,q,q2,q“】)=p i log p 匚p2 10gpi ./?1 logpL I q log q 4 2 10g n log；n PL pi.pi.=pi log
14、 p pi log pi .Q PL I log PL I PL log/?(log rH 24 Og 2 G-rr;0 m logrr)-PL PL PL PL PL pi二 H(p】，p2,pL 1 ,PL)+pL H m (-n r PL PL PL【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的概率，则新信源的信息燧增加，燧所增加的一项就是由于分割而产生的不确定性量。2.12(1)为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5x105个像素和1 0个不同亮度电平，求传递此图像所需的信息率(比特/秒)。并设每秒要传送30帧图像，所有像素是独
15、立变化的，且所有亮度电平等概率出现。(2)设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有3 0个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。解：每个像素的电平取自1 0个不同的电平，每一个像素形成的概率空间为：I vl I ci a?i()1Jr K 上.U J D10 10 lb J这样，平均每个像素携带的信息量为：H(X)=loglO=3.32 比特/像素现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：H(XN)=N H(X)=5-105-logl0=1.66 比特/帧按每秒传输3 0帧计算，每秒需要传输的比特数，即信息传输率为：
16、30 H(XN)=4.98 107 比特/秒除满足黑白电视系统的要求外，还 需3 0个不同的色彩度，不妨设每个色彩度等概率出现，则其概率空间为：3031力.5130从30=其端为log 3 0比特/符号，由于电平与色彩是互相独立的，因此有(XY)=H(X)+”(y)=log300这样，彩色电视系统的信息率与黑白电视系统信息率的比值为H(XY)log 300H(X)log 10 好帧电视图像可以认为是由3 x 1 0 5个像素组成，所以像素均是独立变化，且每一像素又取1 2 8个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?若现有一广播员在约1 0 0 0 0个汉字的字汇中选
17、1 0 0 0个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：每个像素的电平亮度形成了一个概率空间，如下：I y.Cl ClI XI-XN)8 H(X1)+H(X 2)+H(XN)等号成立的条件是：P(XN I Xi X2 XN I)=P(XN)P(XN I I XI X 2 XNOI)=P(九,v I)P(X 2|第)=P(X2)即离散平稳信源输出的N长的随机序列之间彼此统计无依赖时，等式成立。2.1 7 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号
18、，均 按P(0)=0.4 ,P(l)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试 计 算)(i XH、)|(2 B X XH 及 )(l i m X k(3)试计算H(%4)并写出%4信源中可能有的所有符号。解:该信源任一时刻发出0和 1的概率与时间无关，因此是平稳的，即该信源是离散平稳信源。其信息端为H(X)=P(x)log P(x)=0.97 1 比特/符号信源是平稳无记忆信源，输出的序列之间无依赖，所以(X 2)=2 (X)=1.94 2 比特/符号(X?|X i X 2)=(X)=0.97 1 比特/符号li m W A-(X)=li m H g X z X w)=
19、(X)=0.97 1 比特/符号“(X 4)=4 H(X)=3.8 8 4 比特/符号X4信源中可能的符号是所有4位二进制数的排序，即 从 0 0 0 0 7 1 1 1 共 1 6 种符号。2.1 8 设有一信源，它在开始时以P(a)=0.6 ,P S)=0.3 ,P(c)=0.1 的概率发出X一如果 Xi为 a时，则 X?为 a、b、c的 概 冬 为；如 果 为b时，则为a、b、c醇 概 率 为；如果X,为 c时，则 X?为 a、b的概率为5 ,为 c的 概 率 为 0。而且后面发出X,的概率只与X-有关，又 当 ZS 3时，P(X“X,)=P(X“X i)o 试用马尔克夫信源的图示法画出
20、状态转移图，并计算此信源的燧H。解：信源为一阶马尔克夫信源，其状态转换图如下所示。13根据上述状态转换图，设状态极限概率分别为 P(a)、P(b)和 P(c),根据切普曼柯尔莫哥洛夫方程有,_ 1_1_ 1Q(a)=3。+3 Q(b)+2 Q(c)I o s)=3bm)十,s)十 o$)i 1Q(c)=Q(a)+QS)“。3)+。(勿 +铉3)=1解得：。=Q=f3,0(c)=;1o 4得此一阶马尔克夫的信息端为：H=口 Q(E)H(X|E)=1.439 比特/符号2.19 一阶马尔克夫信源的状态图如右图所示,信 源X的符号集为 0,1,2并定文p=1 Dp o(1)求 信 源 平 稳 后 的
21、 概 率 分 布P(0)和P；(2)求此信源的端H；(3)近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的端H(X)并 与H进行比较；(4)对一阶马尔克夫信源取何值时，H取最大值，又当 =0和=1时结果如何？解：根据切普曼柯尔莫哥洛夫方程，可得,P(0)=pP(0)+，P(l)+7P(2)fP(l)=-P(0)+pP(l)+-1 1 PP=P(0)+万 p 与P(2)P(0)+l)+P(=l解得：P（0）=P（l）=P（2）=1该一阶马尔克夫信源的信息端为：H =2（E,）H（X|E ）=L log p J p log p +p 比特/符号当信源为无记忆信源，符号的概率分布等
22、于平稳分布，此时信源的概率空间为：旧 1 0 1 2一n”此时信源的信息燧为/（%）=log 3=1.5 8 5比特/符号由上述计算结果可知：（X）。）o求一阶马尔克夫信源埔H的最大值，H=/2 log p p lo gp +p,有d H.2（1 二 ）=b gd p P可得，当。=:时，H达到最大值，此时最大值为log 3 =1.5 8 5比特/符号。当 =0时，H=0比特/符号；=1时，”=1比特/符号【2.2 0 黑白气象传真图的消息只有黑色和白色两种，即信源X=黑,白,设黑色出现的概率为P（黑）=0.3 ,白色出现的概率为P（白）=0.7 o（1）假设图上黑白消息出现前后没有关联，求
23、燧（X）；（2）假设消息前后有关联，其依赖关系为P（白|白）=0.9 ,P（黑|白）=0.1 ,P（白|黑）=0.2 ,P（黑|黑）=0.8 ,求此一阶马尔克夫信源的端Hi o（3）分别求上述两种信源的冗余度，并比较（X）和H i的大小，并说明其物理意义。解：如果出现黑白消息前后没有关联，信息熠为：/（%）=p.l o g p,=0.8 8 1 比特/符号当消息前后有关联时，首先画出其状态转移图，如下所示。0.10.8u0.902设黑白两个状态的极限概率为Q（黑）和。（白），根据切普曼柯尔莫哥洛夫方程可得:件黑）=0.80（黑）+0.10（白）（白）=02。（黑）+0.9。（白）怛（黑）+Q（
24、白）=1解得：1 90（黑”。（白 卜；3 3此信源的信息嫡为：H=口 0（E）（X|E）=0.553 比特/符号两信源的冗余度分别为：=1口 产=0.119log 2结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言,当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信源焙小于信源消息之间无依赖时的信源燧，这表明信源燧正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。第三章课后习题 3.1 设信源I
25、 X xi xi !此|=|j).6 0.4|通过一干扰信道，接收符号为y=y,h ,信道传递概率如下图所示，求(1)信 源X中事件X.和X2分别含有的自信息；(2)收到消息为。=1,2)后，获得的关于*0=1,2)的信息量；(3)信 源X和信源K的信息端;(4)信道疑义度H(X Y)和噪声端H(r|X)；(5)接收到消息Y后获得的平均互信息。解:(1)信 源X中事件%,和也分别含有的自信息分别为：/(xi)=log 彳=口 log 0.6=0.737 比特/(Xi)=log-=log 0.4=1.32 比特心)(2)根据给定的信道以及输入概率分布，可得P(y)=P(x)P(y|x)=0.8X
26、P(.2)=口 P(Xi)P(户 IX)=0.2X所求的互信息量分别为：/(Xi；yi)=log-log=log(=0.059 比特P(vi)0.8 2 4,、1 P(W X2),I(X2；yi)=l o g -l o g P(p)总=l o g%=0 0.0 9 3 比特U.o 1 0i(xi；y2)=lo g n-l o gP(y 2)9=1 0 2 =0 0.2 6 3 比特0.2,、1 P(y/-),/(x2;)-2)=l o g p()-l o g1/4点=l o g =0.3 2 2 比特(3)信 源X以及丫的端为：H (X)=P(x)l o g P(x)=J0.6 l o g 0
27、.6 二 0.4 l o g 0.4 =0.9 7 1 比特/符号XH (丫)=P(y)l o g P(y)=Q 0.8 l o g 0.8 0.2 l o g 0.2 =0.7 2 2 比特/符号Y(4)信道疑义度 X|7)=?(%)P(y|x)l o gP(xy)XY而相关条件概率P（xy）计算如下:P(Xi V i)=P()3P(H|V)=0.P(w l 第)P(箱)Q 5 5P(y)0.8 8D z 、P(X ,一)P(X l V 2 )=P(V)P(Xl I 2 )=2P(/U)P(M)0.6/6 1p(2)0.2 2由此计算出信道疑义度为：L5 5 1,1 ,I 3 3 ,1 1
28、1（X|y）=1 0.密o g 7 1 8 g 19Ml 1骅 以 了|即9 6 3 5比特/符号噪声端为:“(y I X)=P(x)P(y x)l o g P(J I x)5 5 1 1 1 I 3 _ 3 1 1=口0.6|下)g 6 +Jp g 4 +l p g I 4 J=0.7 1 4 5比特/符号(5)接收到信息Y后获得的平均互信息为：/（x；y）=（x）:（x|y）=o.o o 7 5 比特/符号 3.2 设 8个等概率分布的消息通过传递概率为p的 BSC进行传送，8个消息相应编成下述码字：M l=0 0 0 0,M 2=0 1 0 1,M 3=0 1 1 0,M 4=0 0 1
29、 1M5=1 0 0 1,M 6=1 0 1 0,M 7=1 1 0 0,M 8=llll试问：(1)接收到第一个数字0与 Ml 之间的互信息；(2)接收到第二个数字也是0时，得到多少关于Ml 的附加互信息;(3)接收到第三个数字仍为0时，又增加了多少关于Mi的互信息;(4)接收到第四个数字还是0时，再增加了多少关于MI的互信息。解：各个符号的先验概率均为；(1)根据已知条件，有P(=0|M l)=P(尹=0|0 0 0 0)=尸(y =0|为=0)=万p(=0)=二 p(M,)P(0|M,)=；Mi因此接收到第一个数字0与 Ml 之间的互信息为：/(M i；y i =0)=log ；=叱)=
30、log 与=l+log/比特P(y=0)1/2(2)根据已知条件，有P(、=0 0|%)=尸(y /=0 0|0 0 0 0)=p 2户(*=0 0)=二 P(M,)P(0 0|M,)=；1 2 7 +4 即F2p1=:Mi因此接收到第二个数字也是0时，得到多少关于Ml 的互信息为:/(Ml；y=00)=log Tog=2+2 log，比特/符号r(y yz=00)得到的附加信息为：/(M i;yly2=00)DZ(M1;yt=0)=1 +logp 比 特/符 号(3)根据已知条件，有P(v 州=000|AT)=P(yi y?*=000|000)=p3P(*y3=000)=1P(M,)P(00
31、0|Mi)=:辰+3“门3，/+丑=M i因此接收到第三个数字也是0时，得到多少关于M l的互信息为：.八 皿 ,P(Vi心 心=00013),仄 m 一/(A/;yiy2y3=000)=log.=觇 =3+31og pP(y yi yn=000)u此时得到的附加信息为：/(Mi；yi yi 3=000)I(Mi;y =00)=1 +1(恒 p 比 特/符 号(4)根据已知条件，有P(p 户/y =0000|M i)=P(尹 y,=0000|0000)三pP(V)”3g=0000)=1P(M,)P(0000|M.)=:怔+6P因此接收到第四个符号为0时，得到的关于M l的互信息为/(Mi；yi
32、*户=0000)=logP(y i x y y =0000 I M)P(y y2 y3 y 4 =0000)=log6TZ Z 4 +6.2 2+4O=3+4 logK log，7+6 p D +p4此时得到的附加信息为I(Mi；y 2*yi=000)/(Mi;yi yi*=000)=log p log(+(rp?pi 干p4 3.3 设二元对称信道的传递矩阵为1-322-3I 3 3 J（i）若 P（O）=3/4,P（I）=I/4,求 H（X）,”（x|y）,H（y|x）和/（x；y）；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。解:（1）根据已知条件，有/7(%)=P(x )
33、log P(Xi )X=咏g解 4=0.8 1 1比特/符号3 2 1 1 7P(y =0)=、P(x)P(y =0|x)=4 守 氏P(v=1)=H P(x)P(y =1|x)=X51 23 2P(x =0 1 y =0)=P(x =0)P(Y=0|X=0)P(y =o)：4 3=_ 67/1 2 7P(x =1 I y =0)=173 1P(x=0|y=DP(x =O P(y=l|x =0)P(=D=4 3 =-5 7 1 2352P(x =I ly=1)=Wf/(Y I X)=n U P(x)n P(y lx)log P(y|x)=二 掂+房 乜 附 c、=0.91 8比特/符号H（X|
34、y）=nD P（x）D P（y|x）logP（x|y）X Y=dfe型1产=0.749比特/符号/（x；y）=（x）皿 （x|y）=o.O62 比特/符号（2）此信道是对称信道，因此其信道容量为：C=1 （0）=1 弟）=0.082 比特/符号根据对称信道的性质可知，当 尸（o）=p（D=1时，信道的传输率/（X；y）达到2信道容量。3.4 设有一批电阻，按阻值分70%是2kQ,30%是5kQ；按功耗分64%是1/8W,其余是1/4W。现已知2k。阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？解:根据已知条件，设电阻的阻值为事件X,电阻的功耗为事件Y,则两事
35、件的概率空间为：l x 1岛=2%&范=5左&卬y =1/8W v=l/4W 卜 1=1 0.7 0.3 I ,IPI=I 0.64 0.36 给定条件为 P(3)=0.8,P(*|M)=0.2,而0.64=P()=P(xi)P(|M)+P(X 2)P(y|心)=0.7*0.8+0.3*P(y|a)0.36=P(*)=P(M)P(y?|M)+P(元2)P(yz|X2)=0.7*0.2+0.3*P(以|心)解得:I11P(V|X2)=,P(|X!)=,、/4 ,4 11H(H X)=D0.7*(0.8 log 0.8+0.2 log 0.2)0.3*f(l lo g m 方I IJ1 0?0.7
36、56715jz（x；y）=H（y）n H（y|x）=0.186 比特/符号3.5 若X、y和Z是三个随机变量，试证明：（1）/（x；K z）=z（x；y）+z（x；z i y）=z（x；z）+/（x；F|z）（2）/（x；r|z）=/（r；x|z）=H（x|z）H（X YZ）（3）/（x；r i z）eo当且仅当（x,z,y）是马氏链时等式成立。证明：（1）/(X;Y Z)=P(x,y,z)log J，X.Y2r 制.L a x I yz)P(x I y)叩*)峭)p(J|Jc i P(x I yz)J P(，z)log p +_P(x,y,z)log nI人 I”X.Y,Z=/(x；z i
37、y)+/(x；y)P(x I y)P(x)同理，/（x；y z）=/（x；z）+/（x；w z）(2)/(X;Y|Z)=P(x,y,z)k)g=P(x,y,z)logxy zZ P(X,y,z)logXJ2=/(y；x i z)P(x bz)P(xz)P(xyz)P(z)P(xz)P(yz)P(y I xz)P(y|z)/(X,Y|Z)-Q/(x,y,z)log P(X I z)=匚 P(x,y,z)log P(A-1 z)+P(x,y,z)log P(x|yz)=H(X|Z)Q H(X|YZ)(3)/(X；y|Z)=P(x,)，,z)log f?m P(x I y z),P(x|z)5 1
38、og U P(x,y,z)瓦而后L P(x z)P(y z)=Iog,9 p(z)=0等 号 成 立 当 且 仅 当 甯P(XZ)P(Y Z)P(孙z)P(z)霜;即P(yz)=P(yxz),即(X,Z,Y)是马氏链。3.6 若有 三个离散随机变量，有如下关系：X+Y=Z,其 中 X 和 丫相互统计独立，试证明：(1)”(X)3 H(Z),当且仅当y 是常量时等式成立；(2)H(y)3 (z),当且仅当X为常量时等式成立；(3)”(Z)3H(X y)3 (X)+”(y),当且仅当X ,Y中任意一个为常量时等式成立；(4)/(X;Z)=H(Z)E!”(y)；(5)/(XY;Z)=H(Z)；(6)
39、/(X;YZ)=H(X)；(7)I(Y-ZX)=H(Y)；(8)/(x；y|z)=H(x|z)=/(n z)。证明：当 x+y=z 时，有尸(z|孙)=/：zj?,即 H(Z|XY)=O，而H(z|x y)=H(z)n/(x r；z)，因此/(XY；Z)=H(Z)。”(ZI X)=P(x,z)log P(z I x)=口 匚 P(X,z)loga x,z)P(x)=P(x,y)logP(X,y)P(x)”(Y)而/(X;Z)=亿)口亿|乂)，因此/(X;Z)=H(Z)D H(y)o根据互信息的性质，有/(x；z)sO,因此“(z)(y)成立，而 当 x 为常量时，Z 和 X 的概率分布相同，因
40、此上述不等式中的等号成立。同理，H(Z)”(X)成立。由 于 /(Xy；Z)=H(Z)匚 H(Z|XY)=，(Xy)DH(Xy|Z)=H(Z),而H(X r|Z)0,因此(Z)3 H(X Y)成立。Q z x+y根 据 条 件，有 P(x|yz)=L,因 此 H(X|yZ)=，而I(X;YZ)=H(X)Q H(X Y Z),因此/(X;YZ)=H(X)。/(y；z|x)=(y|x)D”(y|x z)=/7(w x)=H(y)/(x；y|z)=H(x|z)D“(x|y z)=H(X|Z)=/(y；x|z)=H(YZ)LH(YX Z)=(W Z)3.7 设 X,y 是两个相互统计独立的二元随机变量
41、，其取“0”或力”的概率为等概率分布。定义另一个二元随机变量Z,而 且 Z=xy(一般乘积),试计算:(1)(X),H(Y),(Z)；(2)H(XY),H(XZ),H(YZ),H(X Y Z)；(3)H(X Y),(X|Z),H(W Z),(Z|X),H(Z|K)；(4)H(X YZ),H(YXZ),H(Z X Y)；（5）/（x；y）,/（x；z）,/（y；z）；（6）/（x；y|z）,/（y；x|z）,i（z；x Y）,/（z；y|x）；（7）I（XY-Z）,I（X;Y Z）,/（y；x z）；解：由 于x和y是 相 互 独 立 的 等 概 率 分 布 的 随 机 变 量，因此有H(X)=
42、H(Y)=1比特/符号而 符 号Z的概率空间为：I,因此3 1”(Z)=/=0.8 1 1 比特/符号（x y）=（x）+u（y）=2比特/符号根据已知条件可得P(x=0,z=0)=尸(x=0)=；P(x=0,z=1)=0P(x=l,z=0)=P(x=l,y=0)=1，P(x=1,Z=1)=P(X=1,),=1)414P(z=0.x=0)P(z=0|x=0)=-P(x=0)=1,P(z=1 1 x=0)=P(z=L x=0)P(x=0)P(z=0|x=l)=P(z=，E)P(x=l)P(z=l|x=l)P(Z=1,K=1)P(x=DH(Z I X)=P(X,z)log P(z x)=2 1 0
43、 g l 4 log 2 4 0 g1=0.52比特/符号01211 1H(X Z)=H(X)+”(Z|X)=1.5 比特/符号同 理，”（z|y）=o.5 比特/符号，H（yz）=“（y）+”（zi y）=1.5 比特/符号由 于p（z|q）=qz=,因 此（z|x y）=o比特/符号-1 0 z xyH（X Y Z）=H（X Y）+H（Z X Y）=2 比特/符号H（Xy）=H（x y）n“（y）=i 比特/符号H（X|Z）=H（X Z）H（Z）=0.6 8 9 比特/符号/7（y|Z）=H（y Z）D W（Z）=0.6 8 9 比特/符号H（X YZ）=H（XYZ）Q H（YZ）=2a.
44、5=0.5 比特/符号同理，“（WXZ）=0.5比特/符号/（x；y）=H（x）n n（x|r）=o 比特/符号/（X;Z）=H（X）C I H（X|Z）=0.3 1 1 比特/符号/（y；z）=o（y）uH（y|z）=0.3 1 1比特/符号I（XYZ）=H（X Z）Q H（X E Z）=0.6 8 9 0.5 =0.1 8 9 比特/符号/（y；x|z）=/（x；y|z）=o1 8 9 比特/符号I（Z-X Y）=H（Z Y）C i H（ZXY）=Q.5 比特/符号/（z；w x）=（z|x）w（z i x y）=o.5 比特/符号/（x y；z）=（z）uH（z|x y）=o.8 ii
45、比特/符号/（X;K Z）=/（X）D H（X|r z）=1 0 0.5 =0.5 比特/符号/（y；x z）=“（y）匚”（w x z）=o.5 比特/符号 3.8 有一个二元信道，其信道如右图所示。设该信道 以1 5 0 0个二元符号/秒的速度传输输入符号，现有一消息序列共有1 4 0 0 0个二元符号，并设在这消息中尸()=*)=问从信息传输的角度来考虑，1 0秒内能否将这消息序列无失真地传送完。解:10.98 0.021该 信 道 的 信 道 矩 阵 为02 0 98二 信道容量为:C=log2 H(0.98,0.02)=0.8586 比特/符号10秒内可以传输的最大信息量为:1500
46、 0.8586 10=1.288 104 比特而14000个符号中所含有的信息量为：14000比特，因此从信息的角度来考虑,10秒钟内不可能把上述14000个符号传输完。3.9 求下 图中信道的信道容量及其最佳的输入概率分布。解：两个信道的信道矩阵分别如下:可见，两个信道均是对称信道，信道容量分别为：C=log 4”忧 0.081 7比特/符号1 1 1G=log3 7761=0.126 比特/符号输入的最佳分布是等概率分布。3.1 0 求下 列两个信道的信道容量，并加以比较 万口 pZ 2 Z 1 1万 口 万 p D Z 2 E 0 1(1)Ip/pox 2 Z U p/0 2ZU解：这两
47、个信道均是准对称信道，当输入符号等概率时，平均互信息达到信道容量，具体如下：(1)该准对称信道的信道容量为：C l=maxH(y)匚H(加2 口2,2力=J2 1 百 1 -2工L O _ n 2Wb g 2 2 二 人(p 二 W,P W,2 W)2 1 0 8 2 2 1 0 8 2 _ _=(in2 Z)iog 二+(口2 )1国口2 )+(口2 )1国口2 )1 D2 J(2)该准对称信道的信道容量为：C i 三max，(y)1(p_ 2,p匚2,2 2)_=1 C2X 1 Q 2 Z I IT 1 乙 乙 Z log W二 Z log 万 口 H(p N,p Z,2 Z)log lo
48、g -2 r 2 b 2=(!2 2?)log 2+(p D Z)l o g(p D Z)+(p D Z)l o g(p L Z)+2Z1 2/=C i+2N 3.1 1 求下图中信道的信道容量及其最佳的输入概率分布，并求出N=o和1=：时的信道容量C。解:该信道的信道矩阵如下:0 11 1 W0IIo W0 1z ll1 D Z I J该信道既非对称信道，也非准对称信道，因此根据一般信道容量的计算公式，有0 P(b j|a,)J=P(b j a)log P(b j a)即 =0f(l g)2 +=(1 T)log(l 2)+Z log ZR 2 +(1 =(1 Z)1 0 g(l E Z)+
49、Z iog Z解得:=o,2=3 =(1 W)iog(i N)+N i o g N而信道容量C =log 02)却能 叨信道的输出符号概率为:P(b)=2 icc1 +2(1 2 /区P也)=2 82 C(11 +21口2；)工P也)=2 3 C =(1 2 7)i xXx1+2(1口2力而P（力）=P（G ）P(b 2)=(1 口 W)P(G)+2 P(f l3)P(b 3)=女G)+(1 W)P(G)可得:P(l)=11 +2(1 口 口 P（。）=(1口2 工1+2(1口 工P,(1 口 力“士i+2(iaz).2-Zr当 T=0 时，C =lo g 1 (+2(1 )W r)=l o
50、g 3,信 道 为 一 对 应 信 道；缶;时，C =l og i m =lo g 2。3.1 2试证 明 H(X)是输入概率分布P(x)的上凸函数。证明：(X)=P(x)lo g P(x)X设存在两个概率分布P(x)和 B(x),目标是要证明(H(P,(%)+(/(P 2(X)8 W(P.(6+(P?(x)证明过程如下：(H(P i(x)+(/(P2(x)nW(P i 0)+(P(x)=(n P i(x)lo g P i(x)(j 2 (x)lo g P 2(x)+U (伪(x)+低(加g P(x)=(D p(x)lo g 黑 +H o A (x)lo g 言I门 1 2 A)_ LP(X)