《信息论第六章习题解答.docx》由会员分享，可在线阅读，更多相关《信息论第六章习题解答.docx（19页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、6.2有一个二元等概率平稳无记忆信源，失真函数规定为4 = 1-%(/ = 0,1)。(1)求失真函数R(Q)(2)假设用汉明(7.4)码把7个信源符号压缩成4个符号(相当于16个汉明码 字，这些码字也是7位，与原有7个信源符号之差最多一位)，求平均失真。和信 息率R。试计算R -R(O)的值。(3)假设用一般化汉明码(2，-1, 2Z-/-1),重复上述计算，求证当时， R-R = 2T 奈特。解：(1)因为依据定义： 耳=4= d,=；所以可以设定一个7 10 iwj ，1 ij二元对称信道，那么根据BSS特性，有其率失真函数：R() = (X)- -=H - -H(D)、a J 12 /
2、(2)由于编成(7.4)汉明码后，其码字与原来的符号序列之差最多一位。所以 除了一个码子序列外，其它均有错且都平均每个二进制符号有1/7的失真。/平均失真：D =24一7 61一7一 +信息率：唱=0.456 = 0.115 bit! symb.(3) 一般化汉明码其中信息为是：2Z-/-1. 平均失真D = - ,2 -I2-1R（D）= H信息率：R= log2-/（2-/）log2 + （l-2-/）log（l-2/）l-/（2-z）ln2 + （l-2-/）（-2-/）l-/（2z）ln2-2-/,/ In （l + x） = xwhen / -oo= 2 f 0rl J 1*-/?（
3、0）叩Y一口-/（2-，）1112 + 2 =2-，natlsymb.合并两端R(。)函数，就得到:即：R(D)=log 5-(D +0.8) log 2-77(D)(1-D) ln(l-D) +(D-0.2) In (D- 0.2)- 0.81n(0.4)0D0.40.4D0.6 R(O-4)= O.15 %加 ad (0) = 1.5219配成且：R(D)的斜率曲线函数和拐点分别为:InS(D)= InD2-200-0.2-D0D0.40.4D) log ,(5 0),来求下界。)解：依题意可以给出：xe-8,co and J p(x)x2dx = a2 cod(x，y)=(x-y)2为了
4、证明简单，可采用一种最小均方误差滤波器的思路来体验经试验信道的压缩编码。设：该信道的输入噪声是高斯噪声，即.N（o,b；）y = k(x + ri) = kx + kn kn = y-kx又D =y)2 J = Ex2 -2xy + y2 = E x2 -2x(Ax + z) + (Aa + ?)=ex2 - 2kx2 +- + E-2kxn + 2k2xn + H攵。/ 二(2-1)*卜2)+ /网2)=w-J /+；= f(k)当 cr2 +co b： v*o) = /(4)是攵的下凸函数；可以求出Dminz/ndef=2丝=2%。； + 2伏-1)。2=0 得，dkcr + er；2血=
5、(1)2/+女：=：咒 或 k,=一一%二 b-min cr+cr；b+cr； cr cr。* = (% - + 二 0；=/(4 + ；) + / (1 - 2攵)/端-/）二 匕；（ + 寸）（/ + 珑） /因为R（0是一个关于。的连续递减函数：所以有：。211n = /?（D）/?（Dinin） 又因为，/（x；y） = （）-“（） = （丫）-/（5）W伙卜康exp卜崂箓贝I:”，、（的）=;log2Tie（S；） 二 ：log1,=5 log1,=5 logT =1log2Wminb2+o：）k二缶）H（y）-log2（T2（T2 - Dm. 7-r2212- = b - D.n
6、 2nun（J-。*）=高斯嫡 /（x；y）=” （丫）-（%） = （丫）-4（如）弓叫2 万 e（b、Qmin）b - Anin1 .o-2-log2 D .nunmin；=石力=左2%2）+网叫=&2（。2+幻=女（/. /?（z）/（x；r）-iog再证明 R（）的下界：/7（X）-1log（2D）7?（D）根据提示，设：/-5D-/7（X）log 那么5D + H(X) + logJ = /(5)df(s) 、 1 叼八八-= D + =0= D =-ds L 2工, 2 r( d D dZkL2文0ds2ds2s2 ，当，s= 2D =/皿(0 = /-log/?(x)-log 后
7、dxdyxdyIxdy (., lnx 1-x)!et:x-y = 6 and dx = dO )1后”吕用G 0)(求:S =？n/min)1Iss)呈现上凸性。I 2D)= ;/(X)-loge + log -= H(X)-log(2D)= /nax (5)II fy- def所以，H（X）-log（2D）/?（D）-log= /?nm（D）； 证毕。该式的物理意义：任意一个非高斯连续信源，假设其方差为。2；那么在均方误差的 失真度下，其信息率失真函数&O）, 一定比高斯信源的R（O）要小。这样来看，如 果能做到：RNRaSbfogt一定有：RR（D）即：一般的连续信源假设用高斯信源的幻。
8、）来近似一定是足够平安的！6.14.信源输出为平稳正态随机过程X （t）,其功率谱为：G“岬 7 I。1/1小失真函数为d（x,），）=（-），）2,取样点的容许失真为D。（1） .求每秒的信息率失真函数R（D）o（2） .用一高斯信道（限频为招，限功率为P,噪声双边功率谱为N。/2）,来传送 上述信源，求最小可到达的均方误差与外的关系式（5），并大致画出示意曲线（以 a = %曲为参考）解：（1） . 高斯变量的率失真函数为：B脸N又：这一平稳过程的功率谱为:/ =G（f）df = 2f Adf = 2AF又每秒钟可有2a个样值相互独立，Nat/sec，与（。）=24 In pAFjD =月
9、 Inp(2) .Ct = F, In(l +) Nat/sec；要做到无失真传输，那么必须满足：3R)和 Fi en必保61ngln（l +二一）。NqF2那么:% ln（l + 6因此，最小可到达的均方误差应为:Lim = 2AEe-a = Pe-a又Limz = 2AK = P,且当月=月时: E-02AF. P =i-=2AF. P =i-=（窃）（窃）参数a = 上及4居）示意曲线的物理意义：乂耳. a增大表示允许输入的信噪比越大，且导致最小均方误差下降越快。1 . a减小将导致最小均方误差下降越慢。2 .信道带宽尺越宽导致最小均方误差趋于稳定。3 .信号带宽B越接近于信道带宽B那么
10、说明均方误差接近最小值，且系统传输的 信息量也越大。6.3、设有等概率N元信源xe 0,1,2,/V-1,编码输出y也是同一集合，假设失真函数为:如,加心篇； 求：此信源的率失真函数R（0,并计算。由，即&。） = 0时的平均失真，解释该值的物理意义。解法一：:失真矩阵为对称性矩阵，即:-o i i rLI1 0 1 1d:J=1 1 0 1 1 1 1 0.可以使满足失真要求的互信息到达最小的条件概率矩阵也一定是对称性矩 阵，设此矩阵为以下形式：1 - p,.PeN -1几N-1几N-k,.=Pe N-lPe，Pe.N-lPeN-lPePeP QPeN lN l reN-Pe Pc PeN
11、N N-又P（x）=-,那么上式中的几为编译码的平均失真, N即误码率:d=如）%W，封=号，4二卬- i）信上区,% =.仍=（&（pJ+p=5Dj = V 6% = d=-, ）一 N NDmax = min这里 / = 0,1,2,N l那么,Anin （x； y） = R（D）= Z 匕 P log = Z Pji （log Ph - log 幻）i J% J= logN + （l-pJlog（l-pJ+pJog=log N + （1 - D）log（l-D）+D log 5-N=log N + （1 - D）Iog（l-D）+DlogD-D log（N-1）= H（X）-H（D）-D
12、 log（N-1）故,R（D）= （X）- H（D）-Dlog（N -1）而,而,M4aJ=l0gN+（l-因此,因此,=log N log N = 0R四所表达的物理意义就是，当平均失真。刚刚到达口皿时，使得信息率R降至零，所以Rw就是用户所能到达的最大平均失真（最大误码率）。解法二：编码输入X和输出Y均属于同一集合；且失真矩阵为对称性矩阵，即:11101I1011 1 1 0可以使满足失真要求的互信息到达最小的条件概率矩阵也一定是对称性矩 阵，设此矩阵为以下形式：J Pe，PcN-lPeN-lP %+(l一%)e =- 7.J=0.7rAZN-2icg + Zq/ =；-04NT.%=1；
13、/ = 0,2,N-lNN-l N-lN-l N-l i ii ir D嗔中%中加嗔/万府=N(NT而西可r/_ (fes = sf l +(N-l)es(N-I)(l-D). R(S)= SO(S) + pjog 4 = S(NT), + j ，l + (/V-l)?6l + (/V-l)e5S = In ；/. R(D)= Dn-r + ln/V-ln 1 +(N-1)-v)(N-1)(1-O)i 7(/V-l)(l-D)= logN-Olog(N-l)-“(Q)以下同解法一。6.4有一等概率四元信源，失真函数如图6.7 (a)所示，X与丫之间无连线的表示 失真无限大，求证R(O)函数为图
14、6.7 (b)所示的折线。图 6.7 (a)图 6.7(b)证：先列出%看看有何规律：,/ let: when dtJ =oo;=P. = 0.妨 e：2 =i j因此，就有以下失真函数矩阵：dij012345600OOOOOO1OO31OO0OOOO1OO32OOco0OOOO133OOOOOO0OO13又因为失真矩阵的准对称性，可以证明其最小互信息所对应的条件概率矩阵也 是准对称性的，所以特设以下信道特性为参考：let: dtj = 1= P . = A% =3 n Pji = BThen: dtj = 0= P/7 = - A-BPji012345601-A-B000A0BI0l-A-B
15、00A0B2001-A-B00AB30001-A-B0AB那么：1 D = ZZp，4=4 ；（A + 33） = A + 332 . qj = p岛i%=；（1-4-8）=4=% =%A1%=W（2A）= 5 = %ad q（）=-（4B） = B/（X;Y）= -2%log/+ZZp）.log弓ji j=（1 - A - 8）log4 + Alog2 = （2- A-2/?）log2= 2 + 5-（A + 3B）log2 =（2 + B-D）log2D = A + 3B3, .ad %M=min 。）ithen: DD= D? = D、= D、= D$=g-2侬=& = 3 ie。之x=
16、3n/?（。）三 0De 0,34J / /（X；y） =（2 + 8 O）log2且：B = P. 0 and D = A + 3B0只有在b = o, /（x；y）才有极小值。贝!J：设 8=0； D=A=Pjiwhen: B = 0; 0 D 1;/?（D）= minZ（X；r）=（2-D）log2Pji假设：3Ho 且：A + B1Then: /(X;K)= (2-A-2)log2 = 2-(44-A?)-Blog2 when. A + 3 = l;才有/(X;Y)极小，/?(O)= (l-B)log2又)log20) 0；Q)og2 13固有上述率失真函数的折线形式。证毕6.5三元信
17、源的概率分别为外=04 p, =0.4, “2=0.2,失真函数为：(0 i1 (z7 = 0,1,2)求率失真函数 R(。)。1 i芋j假设此信源用容量为1比特和0.1比特的信道传送，请分别算出其最小误码率几。解：按照离散信源求R(0的具体步骤求解；己知：Pi z = 0,1,2,4, i = 0,1,2, /:;j = 0,1,2, /Oj=p&；(7 = 0,1,2)i/. Dq = 0.6 = D;Let: s 4 0 andfromThen: and from/. Dq = 0.6 = D;Let: s 4 0 andfromThen: and fromD2 = 0.8 Then D
18、mdX = min Dj = 0.6 n = ？ = 3findingfindingfindingfinding力 PZe = 1iw1WY:.from 力力=10 = 0/，2)0.44-0.42,4-0.22 = 1().44/+ 0.44+().24炉=10.4犷+0.4丸 + 0.24=1.2.5。5,()=2.= 九=“1 1+2d 一 1+2dm1L sd 1, Lv =TjAiq + q + q2e = 0.4(l + 2e)= 0.4(l + 2/)%e + 夕杖 + % = 0.2(l + 2e)(，=012)这里耍注意设置03 fromn 阳D(s) = 2Z P4%4 e
19、xp ay/.2e(l + 2e5 )(-1)2es= 1 + 2,0.4(-2)+ 0.2(3ev-l)fromR(s) = sQ(s) + pjog 4=sQ(s) + 0.81og2.5l + 2e- + 0.21og产 1 + 2,又丁Q(s) =Then es = and S = In/. R(D) = )log1 + 2/+ 0.81oe ?_?D01 + 22-2D 2.5 ：D2-2D + 0.210g1 + 2D .2-2。 _5D2-2D=DlogD + (l- D)log(l- D) + log5-(D + 0.8)log2=log 5 - (D + 0.8) log 2
20、-H(D)注意：以上结论必须要在ENO和夕心0的前提下成立！又因为有：参量S0nI?Then:，= - Le. D 0.4,必要重新求！当O 0.4时设(72=0：那么此刻，,%exp(sdQ k=1=(%_0)(l_e) = O=1p。 pE i n q()+ q %/+% then -。,8 PF4+/ %e+彷 e+q又. (l - e)H() /. %=/ = ；;代入 A=-幻 exp(s%)Jx_ 1_ 2夕o+Z 1 + %e+G 1 +，1 _ 1”华 + 夕6-再代入率失真函数的参量表达式：。($) = ZZ Pi%44 exp(s4j i j=Pi%* + P2%* + P
21、Qq + p2qiA2ex._ 0Aex 0Aes 0.4/ OAes _0.2 + ex=A-ex+ + es+e= + es.。=工n，=/初d 1 +，=空 + ex-D-DR(s) = s)(s) + pf. log %= s)(s) + 0.81og= s)(s) + 0.81og=sD(s) + 0.8 log21772 + es_ 0.2 log (e、)=sD(s) + 0.8 log 2 0.8 log (1 + -)一 0.2 log (/)= DnD-0.2-D0.8-D-0.21nD-0：2、JD=(D-0.2)ln0-0.2、l-D )-0.81n+ 0.81n2= (1-D)ln(l- D) +(D-0.2)ln(D- 0.2)-0.81n(0.4)