《信息论与编码》傅祖芸_赵建中

资源描述

《《信息论与编码》傅祖芸_赵建中_课后答案.pdf》由会员分享，可在线阅读，更多相关《《信息论与编码》傅祖芸_赵建中_课后答案.pdf（149页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第二章课后习题2.1 设有 12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12枚硬币中，某一枚为假币该事件发生的概率为P=；“假币的重量比真的轻，或重”该事件发生的概率为p=1;2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有/=logl2+log2=log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P=因此天平每一次消除的不确定性为/=log3因此，必须称的次数为1

2、1h因此，至少需称3 次。【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。2.2 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为 8”或“两骰子面朝上点数是3和 4”时，试问这三种情况分别获得多少信息量？产H 2.9次log 3解:“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1,由于二者是独立的,因此该种情况发生的概率为P=77,该事件的信息量为:log 36 H 5.17 比特“两骰子总点数之和为8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2,概率为P=尸,因此该事件的信息量为：6

3、 636/=log-H 2.85比特5“两骰子面朝上点数是3和 4”的可能性有两种：3 和 4、4 和 3,概率为P=11,66 1 8因此该事件的信息量为：/=logl8H4.17 比特2.3 如果你在不知道今天是星期儿的情况下问你的朋友“明天星期儿？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量(假设已知星期一至星期日的顺序)？解：如果不知今天星期几时间的话，答案可能有七种可能性，每一种都是等概率的，均为P=因此此时从答案中获得的信息量为/=log 7=2.807 比特而当已知今天星期几时间同样的问题，其可能性只有一种，即发生的概率为

4、1,此时获得的信息量为0 比特。2.4 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高L 6 米以上的占总数一半。假如我们得知“身高 L 6 米以上的某女孩是大学生的消息，问获得多少信息量？解:设 A 表示女孩是大学生，P(A)=0.25；B表示女孩身高1.6米以上，P(8|A)=0.75,P(B)=0.5“身高1.6米以上的某女孩是大学生”的发生概率为 5 二 2=心也耀：胃：廿已知该事件所能获得的信息量为/=log 0 3；5 HL415 比特I X=0 42=1 43=2 3 =3*11/4 1 /4,其发出的消息为(2021201

5、30213001203210110321010021032011223210),求(1)此消息的自信息是多少？(2)在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：O/(a=0)=log：=L415 比特/(=1)=log 4=2 比特I(ai=2)=log 4=2 比特I(a=3)=log 8=3 比特在发出的消息中，共有14个“0”符号，13个“1”符号，1 2个“2”符号，6个“3”符号，则得到消息的自信息为：1=14-1.415+13-2+12

6、-2+6-3H 87.81 比特4 5个符号共携带87.81比特的信息量，平均每个符号携带的信息量为/=也=1.95比特/符号45注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息嫡，可计算得(X)=P(x)logP(x)=1.91 比特/符号【2.5】设离散无记忆信先|=|3/81/8 U 2.6 如有 6行8列的棋型方格，若有二个质点A和B,分别以等概率落入任一方格内,且它们的坐标分别为(XA,YA)和(XB,YB)，但A和B不能落入同一方格内。(1)若仅有质点A,求A落入任一个格的平均自信息量是多少？(2)若已知A已落入，求B

7、落入的平均自信息量。(3)若A、B是可分辨的，求A、B同都落入的平均自信息量。解：(1)求质点A落入任一格的平均自信息量，即求信息嫡，首先得出质点A落入任一格的概率空间为：|P 1=11148Iai 73&48 11 1 1 II 48 48 1A平均自信息量为ff(A)=log 48=5.58 比特/符号(2)已知质点A已落入，求B落入的平均自信息量，即求H(8|A)。”(8 A)=P(a)P(bi|a )log P(bj|a)=log 47=5.55 比特/符号A已，B落入的格可能有4 7个，条件概率P(b,|a)均为1/47。平均自信息量为落入(3)质点A和B同时落入的平均自信息量为

8、H(AB)=H (A)+H(B A)=l A3 比特/符号2,7 从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是“，也可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：I at4?J男同志红绿色盲的概率空间为:X I 6!l 6 Z2 1J J问男同志回答“是”所获昨的信息量为：/=log 0：H 3.8 3 6 比特/符号问男同志回答“否”所获得的信息量为：/=log 0；H 0 1 0 5 比特/符号男同志平均每个回答中

9、含有的信息量为”(X)=P(x)log 尸(x)=0.3 6 6 比特/符号同样，女同志红绿色盲的概率空间为IYI 1 6 儿 1p 1问女同志回答“是”所获昨的信息量为：/=log oo；5 H 7.6 4 比特/符号问女同志回答“否”所获昨的信息量为：/=logH 7.2 3 .1 01 3 比特/符号U.7 7 J女同志平均每个回答中含有的信息量为(丫)=I l o g 6 ,不满足信源嫡的极值性。解:H(X)=log 6原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。I P 1=10.07 0.9310.005 0.995J【2.8设信源|=|0.2 0.19

10、0.18 0.17 0.16 0.171,求此信源的嫡,并解释为什2.9 设离散无记忆信源S其符号集A =m，G,.,a,知其相应的概率分别为(P i,R,，几)o设另一离散无记忆信源S 2 ,其符号集为S信源符号集的两倍，A 2-a,i -1,2,.,2,并且各符号的概率分布满足P 2 =(l !N)P,i=P,2=XP i =q+,q+2,.,2q试写出信源S 2的信息嫡与信源S的信息埔的关系。解：H (S 2)=P(x)log P(x)=【(1 1 W)P，log(l 1 Z)P.I =1(1 I N)P，1 0

11、g(l I W)I (1 I wNp/o g Pl wVp J o g W】W P2 o若取p 2-p 1 X，p2 z =Q+W，其中0 2 W 6 p J p 2 ,而其他概率值不变。试证明由此所得新的概率空间的嫡是增加的，并用嫡的物理意义加以解释。解：设新的信源为X 2 ,新信源的嫡为:（X 2）=pi logp.=1（pi 1 2 7）iog（/?i 1 2 7）1 （p2 +J7）iog（pi +X）！p“logp”原信源的嫡”（X）=pU ogpr=I pi logpi【p2 1 0 gp2 1 1p 1 0 gp,因此有，（x）（x 2）=（p J 2 7）iog（p J N）

12、+（小 +2 7）iog（/?2 +N）I pi log夕 1 0 1 0 gp2/2(i)=log 段产pi I xL P 1 P 2 12 J50令/(x)=(pi I x)log(p i1 x)+(0 +x)log(p i+x),x 口 0,1 I ,则即函数/(x)为减函数，因此有/(O)e/(Z)，即(pi 1 2 7)log(pi 1 N)+(2 2 +0 log(/?2 +J7)5 pi log pi+p 2 1 0 g pi因此 (X)3 (X 2)成立。【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息嫡是增加的。qH (p,p2，pm,qi，q?,qQ =H (

13、p、邛？,，p m ,pL)+pL H(,，)PLPL PL并说明等式的物理意义。解：H ,pi ,q ,q iq.n)=1 pi log pi I p 2 1 0 gp2 1 .I pL log p L n I q log q 1 qi log n=1 p log p I pi log pi J.1 PL l i log PLW J)L log p L+2+0 +q,n)log PL1 q log q 1 q2 1 0 g qi I .I q,n log q,”=I p log p I P 2 1 0 gp2 1 .1 PLW logptn PL og p L log 卬 q qpi.pL

14、PL=1 p log p I P 2 log pi 1 .1 PL log P L n PL log PL+PM!q、q q q q qPL p L p L pi.pi.pi.q=H(pi邛2,邛小,，,M)pi.PL pi.【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的概率，则新信源的信息端增加，端所增加的项就是由于分割而产生的不确定性量。2,12(1)为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5x105个【2.11试证明：若,=1,尸pz.,则山先 I qi log-r4.1 qt log/n-log T-J 2 log 2 I ,m l

15、og-nr)-像素和1 0 个不同亮度电平，求传递此图像所需的信息率(比特/秒)。并设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。(2)设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有3 0 个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5 倍%解：每个像素的电平取自1 0 个不同的电平，每一个像素形成的概率空间为：I y QI 2,6f io 1|/|=1 1 f I10 1这样，平均每个像素携带的信息量为：H(X)=loglO=3.32 比特/像素现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：H(XN)=NH(

16、X)=5-10s-Iogl0=1.66-10(,比特/帧按每秒传输3 0 帧计算，每秒需要传输的比特数，即信息传输率为：30 H(X,v)=4.98-107 比特/秒除满足黑白电视系统的要求外，还需 3 0 个不同的色彩度，不妨设每个色彩度等概率出现，则其概率空间为：lyl b bl 人30 1IP I=1 1 y30 1 1其炳为log 3 0 比特/符号，由于电平与色彩是互相独立的，因此有“(x y)=”(x)+”(丫)=log 300这样，彩色电视系统的信息率与黑白电视系统信息率的比值为H(XY)HX)log 300log 10H2.51010J3030 J 2.13每帧电视图像可以

17、认为是由3x 10 5 个像素组成，所以像素均是独立变化，且每一像素又取12 8 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?若现有一广播员在约10 0 0 0 个汉字的字汇中选10 0 0 个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：每个像素的电平亮度形成了一个概率空间，如下：、Q1（22 Q128|1 x 1IPI =平均每个像素携带的信息量为：”（X）=l o g l 2 8 =7 比特/像素每帧图像由3x 10 5 个像素组成，且像素间是独立的，因

18、此每帧图像含有的信息量为：H（XN）=NH（X）=2.I-10 6 比特/帧如果用汉字来描述此图像，平均每个汉字携带的信息量为/（r）=l o g l 0 0 0 0=13.2 9 比特/汉字，选择 10 0 0 字来描述，携带的信息量为H（y.v）=N H（Y）=1.32 9 10 a 比特如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个数为：/(%)H(Y)2.110613.2 9H 1.5 8 -105 字 2,14 为了传输一个由字母A、B、C和 D 组成的符号集,把每个字母编码成两个二元码脉冲序列，以 0 0 代表 A,0 1 代表 B,10 代表

19、 C,11代表 Do每个二元码脉冲宽度为5 m s o(1)不同字母等概率出现时，计算传输的平均信息速率?128 128128 J(2)若每个字母出现的概率分别为p.=1,PB=pc=,“)，试计算传输的平均速率？解：假设不同字母等概率出现时，平均每个符号携带的信息量为/(X)=log 4=2 比特每个二元码宽度为5m s,每个字母需要2个二元码，则其传输时间为10m s,每秒传送n=100个，因此信息传输速率为：R=(X)=100 2=200 比特/秒当不同字母概率不

20、同时，平均传输每个字母携带的信息量为；-7-2,lo g -=1.985 比特/符号3 4 4 II)J此时传输的平均信息速度为R=nH(X)=1.985 102 比特/秒2,15证明离散平稳信源有“(X 3|XIX 2)6”(X 2|XI),试说明等式成立的条件。解：“(X3|XiXz)=P(X.X 2)log P(X3 I X!X 2 )=1 P(X i X 2)P Xi I X i X 2 )log P(Xi|Xl X 2)X X 2 X 33 I V V P(Xl X2 N P(X3 I X l X 2 )10g P(X 3 I X 2 )X X

22、ogP(XN X X2 XN)XIX2 XNll XNb P(X i X 2 )P(XN I X 九 2 XNI)logP(XN)XX2 X w l l XN=H (XN)即H(X 2|XI)8 H(X 2)W(X 3|XIX 2)8 H(XJ)代入上述不等式，有”(X i X 2 X,v)3(X i )+(X 2)+(x.v)等号成立的条件是：P(XN I X X2 XNU)=P(XN)P(XNU I X i X2 XNH)=P(XNH)P(X 2 I X i )=P(Xi)即离散平稳信源输出的N 长的随机序列之间彼此统计无依赖时，等式成立。2.17设有一个信源，它产生0、1 序列的消息。它

23、在任意时间而且不论以前发生过什么符号，均按 P(0)=0.4,P(l)=0.6 的概率发出符号。(1)试问这个信源是否是平稳的？(3)试计算H(X&)并写出信源中可能有的所有符号。解:)i(10g)(.trn ftL (2)试计算)(4 H)|(2 B XXXH 及)(l i m XHN.该信源任-时刻发出0和 1的概率与时间无关，因此是平稳的，即该信源是离散平稳信源。其信息嫡为”(X)=P(x)l o gP(x)=0.9 7 1 比特/符号信源是平稳无记忆信源，输出的序列之间无依赖，所以“(X 2)=2(X)=1.9 4 2 比特/符号”(X 3 1 X iX z)=(X)=0.9 7 1

24、比特/符号rN N H(X、Xz X.)=(X)=0.9 7 1 比特/符号Y(X a)=4 H(X)=3.8 8 4 比特/符号X 信源中可能的符号是所有4位二进制数的排序，即从 0 0 0 0-1 1 1 1 共 1 6 种符号。2.1 8 设有一信源，它在开始时以P(a)=0.6 ,P(b)=0.3 ,P(c)=0.1 的概率发出X一如1 13 3如果X i 为 c 时，则 X?为 a、b 的概率为为 c 的概率为0。而且后面发出X；的概率只与X/H有关，又当/e 3 时，P(X,|X m)=P(X 2|X i)。试用马尔克夫信源的图示法画出状态转移图，并计算此信

25、源的嫡H o解：信源为一阶马尔克夫信源，其状态转换图如下所示。a :;3 ,1b:31b:31 i1 3 2 12 C：3根据上述状态转换图，设状态极限概率分别为尸(。)、P(b)和P ,根据切普曼柯尔莫哥洛夫方程有lim HN(X)=lim 果X i为a时，则X 2为a、b、c的概率为；如果为b时，则X z为a、b、c的概率为；解得:131!3112|。(0+。伽+。3)=13 1。=刎=0(c)=；o 4得此一阶马尔克夫的信息嫡为:H=。(E )(X|E,)=1.4 3 9 比特/符号P2P 2.1 9-阶马尔克夫信源的状态图如右图所示,0.P信源X的符号集为 0,1,2

26、并定义p=l p oP2(1)和求信源平稳后的概率分布P(0)、尸。P2 22222)；(2)求此信源的燧H；2P(3)近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的嫡(X)并与H进行比较;(4)对一阶马尔克夫信源P取何值时，H取最大值，又当 =0和p=1时结果如何?解:根据切普曼柯尔莫哥洛夫方程，可得PPP2P；P(2)P22f0 3)=3。+3 0 3)+2 Q(c)Q(b)=Q(a)+Q +Q(c)|Q(c)=Q(a)+Q(b)f(3p(0)=pP(O)+1?(1)+TP(2)卜=-P(0)+浮 +-|P(2)=-P(O)+-P(1)+万户(

27、2)I P(0)+P(l)+P(2)=1解得：P（0）=P（l）=P（2）=13 该一阶马尔克夫信源的信息嫡为：H=Q（E）（X|E）=1 p log p 1 p log p+p 比特/符号当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为：If 10 1 2A.=11 1 1|Pl I 3 3 3 J此时信源的信息嫡为（X）=log3=1.585比特/符号由上述计算结果可知：H（X）H（）o求一阶马尔克夫信源嫡”的最大值，H=p logp I p logp+p,有dH.2（1 1=lgdp P2可得，当p=，时，H达到最大值，此时最大值为log 3=1.585比特/符号。当

28、 p=0 时，H =0比特/符号；=1时，H=1比特/符号【2.20黑白气象传真图的消息只有黑色和白色两种，即信源X=黑,白,设黑色出现的概率为P（黑）=0.3,白色出现的概率为P（白）=0.7 o（1）假设图上黑白消息出现前后没有关联，求嫡（X）；（2）假设消息前后有关联，其依赖关系为P（白|白）=0.9,P（黑|白）=0.1,P（白|黑）=0.2,尸（黑黑）=0.8,求此一阶马尔克夫信源的嫡Hz o（3）分别求上述两种信源的冗余度，并比较H（X）和H i的大小，并说明其物理意义。解：如果出现黑白消息前后没有关联，信息端为：”（X）=p,logp,=0.881 比特/符号当消息前后有关

29、联时，首先画出其状态转移图，如下所示。设黑白两个状态的极限概率为如黑）=欷2。（.黝）+,0旦赛曲）普曼柯尔莫哥洛夫方程可得:f平（黑）=0.8Q（黑）+0.1Q（白）|0（黑）+0（白）=1解得：2（1）=;1 0（白）=;3 3此信源的信息燃为：H=。（E,）“（X|E）=0.553 比特/符号两信源的冗余度分别为：i=l I=川 9 i=l ”=0.447log 2结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言,当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依

30、赖时信源炳小于信源消息之间无依赖时的信源炳，这表明信源嫡正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。第三章课后习题 3.1 设信源x-|I xi xi|通过一干扰信道，接收符号为丫=W，门 ,信道传递概率如下图所示，求（1）信源 X 中事件第和 X2分别含有的自信息；X I 5/6（2）收到消息力（j=l,2）后，获得的关于x（z=l,2）的信 1/6三且3/4、里，1/4（3）信源x和信源y 的信息嫡；（4）信道疑义度（X|丫）和噪声嫡H（Y X）；（5）接收到消息丫后获得的平均互信息。解：(1)信源 X

31、中事件X,和 X2分别含有的自信息分别为：/(n)=log p：=I log0.6=0.737 比特/(i2)=log p(；=I log 0.4=1.32 比特(2)根据给定的信道以及输入概率分布，可得P(y)=P(X-)P(yi I x)=0.8X尸(%)=P(X,)P(力 I 阳)=0.2所求的互信息量分别为:Xy)=iog0.059比特p（x）=|0.60.4|/(i2；yi)=logP(WX2)P(y)=log 77=10g%=1 0.093 比特U.O 10/(*)=logP(.Mxi)P M=log 始=log=0.263 比特/(M;户)=logP(V 2 gP(y2)1/4

32、=log 京=log=0.322 比特（3）信源 x 以及 y 的嫡为:(X)=尸(x)log P(x)=0.6 log 0.6 1 0.4 log 0.4=0.971 比特/符号X”(y)=P(y)log P(y)=10.8 log 0.8 I 0.2 log 0.2=0.722 比特/符号Y(4)信道疑义度”(X|y)=P(x)P(y|x)logP(x|y)X Y而相关条件概率尸(x|y)计算如下：（5）接收到信息K 后获得的平均互信息为:P(a)3P 3 y)=P(1 K)P(第)5P(y)U.S 8D/.、PC1.门)P(X|V2)=:P(ir|M)P(笛)0.6/6 1P()P(

33、%)P(xiy2)=由此计算出信道疑义度为：1 5 5 1 1 1 3 3 1116 8 6 2 4 84 2 J噪声嫡为：(W X)=I的互信息;(4)接收到第四个数字还是0 时，再增加了多少关于M 1的互信息。解：各个符号的先验概率均为；8(1)根据已知条件，有P(yi=0|Af 1 )=P(yi=0|0000)=F(yi=0|xi=0)=p/1p(y=0)=QP(M,)P(0|M,)=;M i -因此接收到第一个数字0 与 M l之间的互信息娠一1=0)=log P(=%)_|Og P=i+ogp 比特P(yi=0)1/2(2)根据已知条件,有P(尹第=00|M )=P(9 y 2 =0

34、0|0000)=p 2p(y =00)=ci/(Mwy2y3=000)=log=log=3+31ogpP(yi y 2 yy=000)1/6此时得到的附加信息为：I(M i；y yi 券=000)/(M I;V V =00)=1 +log p 比特/符号(4)根据已知条件，有P(yi y2y3y4 =0000|M i)=P(yi y2y3y4 =0000|0000)=P(y,y2 y,=0000)=4 PM,)P(0000|M,)=p4+6 p p +p，M i因此接收到第四个符号为0时，得到的关于M-的互信息为M.M.y.)-2)，3 =0n n0n0n0)=li og一 -46/2一5

35、十=；必)P(y i y2 y3 y4 =0000)一 pa(一一18=3+4 logp I logp4+6p2P2+p$)此时得到的附加信息为I(Af i；)!i y 2 y3 y4 =000)I/(Mi y2 y3 =000)=logp I log(/；4 +6 pz+pt 3.3 设二元对称信道的传递矩阵B123 3 J(1)若 P(0)=3/4,P(1 )=1/4,求 H(X),H(XY),H(Y X)和/(X;Y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。解:(1)根据已知条件，有 t t=1 l o g I l o g(X)=P(Xi)l o g 尸(X,)X3

37、0.91 8比特/符号”(X I y)=P(x)P(*|x 2)=/（x；y）=H（y）I”（y|x）=o/8 6 比特/符号=1 f log+log II f log+log IC=1 1 H(p)=1 I H(,)=0.082 比特/符号|P|=I I,|P|=I/(y|X)=l o.7*(0.8 l o g 0.8+0.2 l o g 0.2)1 0.3 *f +1=0.7567 3,5若X、y和z是三个随机变量，试证明：（1）z（x；y z）=z（x；r）+z（x；z|y）=/（x；z）+z（x；y|z）（2）/（x；y|z）=/（y；x|z）=（x|z）（x|y z）（3）/（x；y

38、 i z）e o当且仅当（x,z,y）是马氏链时等式成立。证明：(1)/(X;Y Z)=z)logf f 尸(xlvz)1P(x,y,z)k)g p(x)L P(x|yz)P(x I y)、xy z P(x|y)P(x)IA p,s,P 3 网Q P(x,y,z)l o gn z P 3 y)=/(x；z|y)+/(x；y)/尸(x I y)+*()b g p(x)同理，/（x；y z）=/（x；z）+/（x；y|z）(2)I(X-Y Z)=P(x,y,z)l o gXJ7/(X;Y|Z)=Q P(x,y,z)l o gx,y z P(x,y,z)b gXJ7口小咒沈案)P(x I yz)P(

40、变量，有如下关系：X+Y=z，其中x和y相互统计独立，试证明：（1）（X）6”（Z）,当且仅当Y是常量时等式成立；（2）H（y）5 H（Z）,当且仅当X为常量时等式成立；（3）（z）6”（x y）6”（x）+（y）,当且仅当x ,Y 中任意一个为常量时等式成立；（4）/（x；z）=（z）I（丫）；（5）/（X Y;Z）=H（Z）；（6）/（x；y z）=（x）；（7）/（丫；z|x）=（y）；（8）/（x；y|z）=（x|z）=（y|z）。证明，X+Y =Z 时，有 P（z|xy）=J,即（Z|X Y）=0，而1 1 z =x +yH(Z X Y)=H(Z)l I(X Y;Z),因止匕

41、/(XY;Z)=(Z)。H(Z X)=l4 p(x,z)log P(zx)P(x,z)P(x)=1P(x,y)logP(x,y)P(x)=)而/(X;Z)=(Z)I”(Z|X),因此/(X;Z)=(Z)(Y)o根据互信息的性质，有/（x；z）0,因此（z）（y）成立，而当x为常量时，Z和X的概率分布相同，因此上述不等式中的等号成立。同理，H（Z）EH（X）成立。由于/（XY;Z）=（Z）I H（Z|X?）=（Xy）I”（XY|Z）=H（Z）,而H（X YZ）eO,因此 H（Z）8H（XY）成立。*+）,因此（X|Y Z）=0,而11 z=x+y/（x；y z）=/（x）I H（XY Z）

42、,因此/（x；y z）=（x）。1（Y;Z X）=H（Y X）I H（Y XZ）=H（Y X）=H（Y）/（x；y|z）=（x|z）”（x|y z）=（X|Z）=/（y；x|z）=（y|z）I”（y|x z）=（y|z）3,7设X,Y 是两个相互统计独立的二元随机变量，其取“0”或“1”的概率为等概率分布。定义另一个二元随机变量Z,而且 Z=XY（一般乘积），试计算:(1)(X),/(7),H(Z)；(2)H(XY),H(XZ),H(YZ),H(XYZ)；(3)H(X Y),(X|Z),”(Y|Z),亿|X),H(Z Y)；(4)H(X YZ),H(YXZ),H(ZXY；=!P(x,z)l

43、o g根据条件，有P(x|yz)=J（5）/（x；y），/（x；z），z（r；z）；(6)/(X；y|Z),l(Y;XZ),I(Z;XY),I(Z;YX)；(7)/(x y；z),/(x；rz),/(y；xz)；由于 x 和 y是相互独立的等概率分布的随机变量，因此有H（x）=（y）=i比特/符号l o 1-1 ,因此P 4 U3 144H (XY)=H (X)+H (Y)=2 比特/符号根据已知条件可得P(x=0,z=0)=户(x=0)=P(x=O,z=1)=0P(x=l,z=O)=P(x=l,y=O)=1,P(x=l,z=l)=P(x=l,y=l)=-限=0,x =1)1,P(z=

44、l|x=O)=P(2=1,X =O)尸(X =0)P(z=l|x=l)=P(z=l,x=1)P(x=1)2 4 24：=0.5比特/符号H（X Z）=（X）+H（Z|X）=1.5 比特/符号同理，（z|y）=o.5 比特/符号，”（y z）=（y）+（z|y）=1.5 比特/符号,因此H（Z X Y）=O比特/符号H (X Y Z)=(X V)+“(Z I XY)=2 比特/符号H(X Y)=H(XY)I H(y)=1 比特/符号而符号z的概率空间为:Eh.(Z)=(,)=0.811 比特/符号H(Z|X)=I(1)=问从信息传输的角度来考虑，1 0 秒内1 0.98 1能否将这消息序列

45、无失真地传送完。解:该信道的信道矩阵为II,信道容量为:0,98 0.0210.02 0.98JC=log2 1 H(0.98,0.02)=0.8586 比特/符号1 0 秒内可以传输的最大信息量为：1500 0.8586 10=1.288 104 比特而 14000个符号中所含有的信息量为：14000比特，因此从信息的角度来考虑,10 秒钟内不可能把上述14000个符号传输完。3,9 求下图中信解：两个信道的信道矩阵分别如下:1116131316I 163 J|j131216G=log 4 1 (,)=0.081V 比特/孱可见，两个信道均是对称信道，信道容量分别为：Cz=log 3 1 （

46、，r 0.126 比特/符号_ 用6II 36313 63 61 1 1263输入的最佳分布是等概率分布。3,1 0 求下列两个信道的信道容量，并加以比较Ip I T PX 2N1 P IT 221PX PX 2Z 01 I pl 2 0 2WU解：这两个信道均是准对称信道，当输入符号等概率时，平均互信息达到信道容量，具体如下:(1)该准对称信道的信道容量为：Cl=maxH(y)!H(p 1 2p 1 ZZZ)11 21 2W 1 I i 2Zlog22l (p I N,p I W,2N)2 10g 2 2 1 0 g2=(1121)log，+(P 1 W)log(p I W)+(P I W)

47、log(p I 27)1121(2)该准对称信道的信道容量为：Ci=maxH(Y)I (p I N,p I 2N)N 2L.2 Z _ L _ 1 Z lo g l N logW l H(p 1 Z,p I w,2 log log2 3 2 2 6 2=(1!23)log+(p 1 N)log(p Z)+(p Z)log(p 1 27)+22711 22=G+2N3,1 1 求下图中信道的信道容量及其最佳的输入概率分布，并求出=0 和Z=3 时的信道容量。0 1 01 1-12解：该信道的信道矩阵如下：11 0Too l一w Rp i t i!JU,Io 1 I Z该信道既非对称信道，也非准对

48、称信道，因此根据一般信道容量的计算公式，有 P(b j|a)=0时,C =l o g 1+2(1 1 2尸2 7 E)二l o g 3，信道为一I 对应信道;心1 L 63.1 2 试证明H(X)是输入概率分布P(x)的上凸函数。证明：(X)=P(x)log P(x)X设存在两个概率分布P(x)和 2(x),目标是要证明(H(P(x)+(P2(X)6 (PI(X)+(P(x)证明过程如下:(H(P(x)+(P(x)l ”(P i(x)+(R(x)=(P i (X)l o g P i (x)(P 2 (X)l o g(2 (x)+(P i(i)+(f t(x)l o g P(x)/

49、=(R(x)l o g%+(,4A(x)b g pP(xx)LP(x)LP(X)、P l (x)J p(X)=03.1 3 从平均互信息的表达式证明，当信道和信源都是无记忆时，有I(XN；YN)=N I(X;Y)证明:设犬=(例如如)，如总金狐),按黯定信道傩翻是无记忆,有P(f 7 )=P(a k i a k i CU N)=Pa k )P(a k 2)P(CUN)P(h /k)=P(bh bhi bhN|cu i a k i 。心)=P(hh|a k )P(尻|以2 )P(bhN|C U N)P()=P(1 )P(“M二P(a幻)P(&2 )P(a k N)P(

50、bm I a k )P(乐|a n)P(加|C U N)P（尿）P（加）P（“N）时，C=log f f 1 +2 f I 11 =log 2.6(l o g e P(x)1 1|+(l o g e P 2(x)(7 1 i l l=/睡逾嘲(八)(YM|XM)=I P()log 尸()+P(/)log 尸(I 6)-P()=P(/)logP(bin I Uk)P(bh2 I 44 2 )P(而 I ClkN)P )P(尿)P(小)=X i-HSC2 HSCn-4当=1时,错误概率p=(l 1(1 I2 p)成立；证明：假设n =k成立，即k个串芦信道的错误概率为1 1(1 l2 p)t；

展开阅读全文