信道模型和信道容量.ppt-淘文阁

资源描述

《信道模型和信道容量.ppt》由会员分享，可在线阅读，更多相关《信道模型和信道容量.ppt（110页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、3.1信道模型与信道分类信道模型与信道分类信道信道输入输入/输入统计关系输入统计关系输入输入X(t) 输出输出Y(t)噪声干扰噪声干扰Z(t)现在学习的是第1页，共110页现在学习的是第2页，共110页现在学习的是第3页，共110页幅值幅值时间时间信道信道分类分类名称名称离散离散离散离散离散信道离散信道/数字信道数字信道（例如：数字电话）（例如：数字电话）连续连续离散离散连续信道连续信道（例如：传输（例如：传输 PCM信号的信道）信号的信道）连续连续连续连续模拟信道模拟信道/波形信道波形信道（例如：普通电话）（例如：普通电话）离散离散连续连续（理论和实用价值均很小）（理论和实用价值均很小）l按

2、输入按输入/输出信号的幅度和时间特性划分：输出信号的幅度和时间特性划分：现在学习的是第4页，共110页l按输入按输入/输出之间的记忆性来划分：输出之间的记忆性来划分：无记忆信道无记忆信道：信道在某时刻的输出只与信道该时刻：信道在某时刻的输出只与信道该时刻的输入有关而与信道其他时刻的输入、输出无关。的输入有关而与信道其他时刻的输入、输出无关。有记忆信道有记忆信道：信道在某时刻的输出与其他时刻的输入：信道在某时刻的输出与其他时刻的输入、输出有关。、输出有关。l根据信道的输入根据信道的输入/输出是否是确定关系输出是否是确定关系可分为可分为:有噪声信道有噪声信道无噪声信道无噪声信道现在学习的是第

3、5页，共110页l 根据信道的统计特性是否随时间改变可分为根据信道的统计特性是否随时间改变可分为: 平稳信道平稳信道（恒参信道、时不变信道，如卫星通信）（恒参信道、时不变信道，如卫星通信）非平稳信道非平稳信道（变参信道、时变信道，如移动通信）（变参信道、时变信道，如移动通信）现在学习的是第6页，共110页3.2 离散无记忆信道(DMC)的数学模型DMCX Ya1,a2,ar b1,b2,bsPY|X噪声干扰现在学习的是第7页，共110页)|(ijabPXY)|()|()|(ijijabPaxbyPxyP ), 2 , 1(), 2 , 1(sjri 现在学习的是第8页，共110页离散无记忆

4、信道的输入是随机变量X,取值于输入符号集A=a1,a2,ar;相应时刻的输出是随机变量Y,取值于输出符号集B=b1,b2,bs。对信道的描述,实质上是对其干扰特性进行描述。当信道无于扰时,输入某个符号aiA,在信道输出端一定会收到某个确定确定的符号bjB与之对应。但信道受到的干扰是客观存在的,有干扰时,就可能有多个输出符号与之对应。当输入aiA时,收到符号bj的可能可以用条件概率P(bj|ai)来表示。称为转移概率,为方便起见,可用下式表示:现在学习的是第9页，共110页riabPabPabPabPabPabPabPabPabPabPPsjijrsrrssXY,.2 , 1, 1)|()|()

5、|()|()|()|()|()|()|()|(1212222111211| 现在学习的是第10页，共110页)|(ijabP1)|(1ijsjabP 1)|(1且且jiribaP )|(jibaP)(iaP现在学习的是第11页，共110页DMC模型的信道线图:X Ya1=0 1-p 0=b1 p pa2=1 1-p 1=b2 (a) 二元对称信道BSC现在学习的是第12页，共110页 1-p0 0 p 2 (删除元删除元) p1 1 1-p(b) 二进制删除信道现在学习的是第13页，共110页(c) Z型信道型信道 10 0 p 1-p1 1现在学习的是第14页，共110页3.3 概率的计算问

6、题概率的计算问题利用上述转移矩阵利用上述转移矩阵,可以用来计算相应的概率可以用来计算相应的概率,设输入概率和输出概率分别为设输入概率和输出概率分别为: TYYXTXXYXYsrjiYXsrjiXYjijijijisYrXPPPPPPbaPPbaPPbaPbPabPaPbaPbPbPbPPaPaPaPP|2121,:)|(:),(:)|()()|()(),()(,),(),()(,),(),( 并且有和后验概率矩阵可得到联合概率矩阵由现在学习的是第15页，共110页 riiiaPaPXH1)(1log)()( XxPxP)(log)()|(jbXH)|(jbxP现在学习的是第16页，共110页

7、 rijijijbaPbaPbXH1)|(log)|()|( XjjbxPbxP)|(log)|()|()()|()|(1jsjjjbXHbPbXHEYXH )|(log)|()(11jirijisjjbaPbaPbP )|(1log)(11jirisjjibaPbaP YXyxPxyP,)|(1log)(现在学习的是第17页，共110页 YXXyxPxyPxPxPYXHXHYXI,)|(1log)()(1log)()|()();( YXYXyPxPxyPxyPxPyxPxyP,)()()(log)()()|(log)();()()|(log)(,XYIyPxyPxyPYX )|()();(Y

8、XHXHYXI 现在学习的是第18页，共110页3.4 信道的疑义度、散布度和平均互信息量信道的疑义度、散布度和平均互信息量 I(X;Y)=H(X)H(X|Y)=H(Y)H(Y|X) 下面讨论上式的物理意义下面讨论上式的物理意义,并引入一些重要的基本概并引入一些重要的基本概念。念。3.4.1 信道疑义度信道疑义度由公式由公式 I(X;Y)=H(X)H(X|Y) 可知可知,从输出从输出Y中所获得的关于输入中所获得的关于输入X平均信息量平均信息量I(X;Y),等于先验平均不确定性等于先验平均不确定性H(X)减去减去X的后验的后验不确定性不确定性H(X|Y),也就则也就则X的平均不确定性的减少的平

9、均不确定性的减少量。量。现在学习的是第19页，共110页由于存在后验不确定性H(X|Y),说明收到输入Y后对输入X还存在疑义。由于 I(X;Y)H(X)对于有噪信道,输入X的平均信息H(X)不可能全部送达到输出。由于干扰的影响,从输出来的一部分信息在传输过程中损失,损失的部分就是H(X|Y)。我们称H(X|Y)为信道X,PX|Y,Y的疑义度疑义度。现在学习的是第20页，共110页3.4.2 信道散布度信道散布度 I(X;Y)=H(Y)H(Y|X)式中式中H(Y)代表输出代表输出Y中含有的全部信息中含有的全部信息,其中既包含从其中既包含从输入端送来的有用信息输入端送来的有用信息,也包含由

10、噪声引入的无用信息也包含由噪声引入的无用信息。H(Y|X)称为信道称为信道X,PY|X,Y的的散布度散布度或或噪声熵噪声熵,表明表明信道因噪声干扰所呈现的无序性程度信道因噪声干扰所呈现的无序性程度,可将其视为可将其视为干扰干扰信息信息的直接度量的直接度量,这样这样,上式可理解为上式可理解为:从信道输出信息从信道输出信息中减去干扰信息中减去干扰信息,就是得到的关于输入就是得到的关于输入X的有用信息。的有用信息。噪声熵为零的信道称为噪声熵为零的信道称为确定信道确定信道。现在学习的是第21页，共110页),()|()()|(log)|()();(),()(, ),()()()(),(log),(

11、);(|1111111XYXrisjriijiijijirijijsjjiirisjjijijiPPIabPaPabPabPaPYXIbaPbPbaPaPbPaPbaPbaPYXI由于回顾现在学习的是第22页，共110页3.4.3 信道的平均互信息量信道的平均互信息量回顾回顾 I(X;Y)0 I(X;Y)=H(X)H(X|Y)H(X) I(X;Y)=H(Y)H(Y|X)H(Y)这说明这说明(1)从信道输入端来的信息一般不会全部达从信道输入端来的信息一般不会全部达到输出端到输出端; (2)从信道输出端得到的信息是有限的从信道输出端得到的信息是有限的 I(X;Y)的凸性的凸性:定理定理3.1 如

12、果信道给定如果信道给定,那么那么I(PX,PY|X)是输入概率是输入概率PX的上凸函数。的上凸函数。定理定理3.2 如果信源给定如果信源给定,那么那么I(PX,PY|X)是转移概率是转移概率PY|X的下凸函数。的下凸函数。现在学习的是第23页，共110页例：求二元删除信的。4341XP3231002121P()( )(|)(; )H XH YH X YI X Y、和现在学习的是第24页，共110页解：由先验概率和信道转移矩阵可得输出符号Y的概率分布 21838132310021214341|XYXYPPP即，， 81)0(YP83?)(YP21) 1(YP现在学习的是第25页，共110页

13、X、Y的联合概率分布为 p(xi yj)= p(xi)p(yj| xi) 814121)0|0()0()0 , 0(|XYXXYppp81?), 0(XYp0) 1 , 0(XYp0)0 , 1 (XYp1(1,?)4XYp1(1,1)2XYp现在学习的是第26页，共110页由联合概率分布和Y的概率分布可得后验概率为 )()()|(jjijiypyxpyxp1)0|0(|YXp0)0| 1 (|YXp31?)|0(|YXp32?)| 1 (|YXp0) 1 |0(|YXp1) 1 | 1 (|YXp现在学习的是第27页，共110页811. 034log434log41) 1 (1log) 1

14、()0(1log)0()(XXXXppppXH406. 1(?)1log(?) 1 (1log) 1 ()0(1log)0()(YYYYYXppppppYH344. 0) 1 | 1 (1log) 1 | 1 () 1 |0(1log) 1 , 0(?)| 1 (1log?), 0(?)|0(1log?), 0() 0| 1 (1log) 0 , 1 () 0|0(1log) 0 , 0()|(|YXXYYXXYYXYXYXXYYXXYYXXYppppppppppppYXH现在学习的是第28页，共110页另外，还可以先求得后验熵：，，，再通过下式计算： )|(YXH0)0|(YXH91

15、8. 0?)|(YXH0) 1|(YXH) 1 () 1|(?)?)|()0()0|()|(YYYpYXHpYXHpYXHYXH(; )()(| )0.467I X YH XH X Y现在学习的是第29页，共110页l 信息传输率信息传输率R：信道中平均每个符号所传送的信息量。：信道中平均每个符号所传送的信息量。l平均互信息平均互信息是接收到符号是接收到符号Y后平均获得的关于后平均获得的关于X的信的信息量。所以息量。所以l 设平均传输一个符号需要设平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为秒，则信道每秒钟平均传输的信息量为信息传输速率信息传输速率：(; )I X Y(; )/

16、RI X Y(比特符号)1(; )/tRI X Yt（比特秒）tR现在学习的是第30页，共110页l 在信道确定的情况下，在信道确定的情况下，是信源概率分布是信源概率分布的的上凸函数。因此，必然存在一种信源概率分布使信息传输率上凸函数。因此，必然存在一种信源概率分布使信息传输率最大。定义这个最大的信息传输率为最大。定义这个最大的信息传输率为信道容量信道容量：(; )RI X Y()max(; )/P XCI X Y比特符号()P X(; )RI X Y 相应的输入概率分布被称为相应的输入概率分布被称为最佳输入分布最佳输入分布。3.5.1 3.5.1 信道容量的定义信道容量的定义现在

17、学习的是第31页，共110页l 信道容量：信道容量：与信源的概率分布无关；与信源的概率分布无关；是完全描述信道特性的参量是完全描述信道特性的参量；是信道能够传输的最大信息量。是信道能够传输的最大信息量。l 信道单位时间内平均传输的最大信息量信道单位时间内平均传输的最大信息量：()1max(; )/tP XCI X Yt比特秒现在学习的是第32页，共110页对信道容量的解释对信道容量的解释: (1)信道容量信道容量C是信道信息率是信道信息率R的上限的上限,定量描述了信定量描述了信道对信息的道对信息的最大通过能力最大通过能力; (2)使得给定信道的使得给定信道的I(X;Y)达到达到最大值最大值;

18、(3)信道容量信道容量C是信道的固有参数是信道的固有参数,只与信道的转移只与信道的转移概率概率PY|X有关。有关。现在学习的是第33页，共110页例4 以二元对称信道。信源的概率空间为10)(XPXppppP P信道矩阵为现在学习的是第34页，共110页2) 固定信道，当时，互信息取得最大值。1)(; )( )(|)()( )I X YH YH Y XHppH p211)21()(HppH1( )H p010.5 固定二元对称信道的平均互信息(; )I X Y现在学习的是第35页，共110页1p010.5 二元对称信道的信道容量C)(1pHC比特/符号现在学习的是第36页，共110页)(

20、()()|()();(XYHYHYXHXHYXI )()()|()|(XHYHYXHXYH rXHYXICxPxPlog)(max);(max)()( 且且现在学习的是第38页，共110页362543121babaaabaaYX111111 01)|(ijabP已已知知 100010010010001001321Pbbb)()();()|()()|()();(0)|(0)|(XHYHYXIXYHYHYXHXHYXIYXHXYH 损损失失熵熵噪噪声声熵熵sYHYXICxPxPlog)(max);(max)()( 且且现在学习的是第39页，共110页等等概概率率分分布布，设设无无损损信信道道：,l

21、og)(max0)|()1(21)(rxPaaaArXHCYXH 保保证证应应由由等等概概率率分分布布，设设无无噪噪信信道道：)(,log)(max0)|()2(21)(xPbbbBsYHCXYHsxP 现在学习的是第40页，共110页3.5.3 离散对称信道离散对称信道定义定义3.5.1 信道信道rs转移矩阵转移矩阵PY|X的每一行的每一行s个元素个元素,都是由同组元素的不同排列组成都是由同组元素的不同排列组成,则称则称PY|X为为行排列阵行排列阵,此类信道称为此类信道称为离散输入对称信道（离散输入对称信道（行对行对称信道）称信道）。2 . 03 . 05 . 05 . 03 . 02 .

22、 03131616161613131|XYXYPP和例如现在学习的是第41页，共110页3.5.2 信道信道rs转移矩阵转移矩阵PY|X的每一列的每一列r个元素个元素都是由同一组元素的不同排列组成都是由同一组元素的不同排列组成,则称则称PY|X为为列排列阵列排列阵,此类信道称为此类信道称为离散输出对称信道离散输出对称信道。5.05.06.04.04.06.0| XYP例如定义定义3.5.3 信道转移矩阵信道转移矩阵PY|X既是行排列阵又是既是行排列阵又是列排列阵列排列阵,此类信道称为此类信道称为离散对称信道离散对称信道。 ( 前一页例子前一页例子)现在学习的是第42页，共110页 216131

23、3121616131212P 31316161616131311P 31613161616131313P 7 .01 .02 .01 .02 .07 .04P现在学习的是第43页，共110页定义定义3.5.4 若信道转移矩阵若信道转移矩阵PY|X的列可以被划分成若的列可以被划分成若干个互不相交的子集干个互不相交的子集,且每个子集所组成的子阵是且每个子集所组成的子阵是行排列阵行排列阵,则称此类信道为则称此类信道为离散准对称信道离散准对称信道。 8181818122141412118181214181814121PPP和可划分为例如现在学习的是第44页，共110页定义：若r=s，且对于每一个输入

24、符号，正确传输概率都相等，且错误传输概率 p 均匀地分配到 r-1 个符号，则称此信道为强对强对称信道称信道或均匀信道均匀信道。prprprprprpprprprprpp111111111Ppppp1010P现在学习的是第45页，共110页引理引理4.1 对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必必为等概分布。证明：当输入为等概分布时，则输出，其中rxpi1)(ri, 2 , 1jijiijiijHrxyprxypxpyp1)|(1)|()()(riijjxypH1)|( 为信道矩阵第j列元素之和。jH现在学习的是第46页，共110页即当信道输入为等概分布时，输出亦为

25、等概分布。 1()jp ysj=1,2,s而对称信道每一列是第一列的不同排列。因此12sHHH现在学习的是第47页，共110页定理定理3.3 对称信道对称信道，当信道输出输出概率分布为等概的情况下达到信道容量：其中是信道矩阵中的任意一行中的元素。,12log(,)sCsH p pp,2,1,sppp证明：12(|)(|)(,)isH Y XH Y xH p pp,12(; )( )(|)( )(,)sI X YH YH Y XH YH p pp现在学习的是第48页，共110页( ),12( ),12( ),12max (; )max( )(,)max( )(,)log(,)p xsp xs

26、p xsCI X YH YH p ppH YH p ppsH p pp现在学习的是第49页，共110页准对称信道准对称信道当信道输入概率分布为等概的情况下达到信道容量：设信道矩阵可划分为n个子矩阵，其中Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和。,121log(,)lognskkkCrH p ppNM),(log,2,1spppHsC,12( )max( )(,)sp xCH YH p pp现在学习的是第50页，共110页推论推论：对于强对称信道有：C=logr-plog(r-1)-H(p) )() 1log(logloglog) 1log(log1logloglog1l

27、og11log1loglog)1,1,(log),(log,2,1pHrprpppprprrpppprrprprprppprrprppHrpppHsCss = r 现在学习的是第51页，共110页例求对称信道的信道容量，解：216131312161613121P,12log(,)1 1 1log3( , )2 3 60.126/sCsH p ppH比特符号现在学习的是第52页，共110页例：求准对称信道的信道容量。二元对称删除信道：解： N1=1-q, M1=1-q, N2=q, M2=2q C=logr- - NklogMk = log2-H(1-p-q, q, p)-(1-q)log(

28、1-q)-qlog(2q)qppqqpqp11P),(,2,1spppHnk 1现在学习的是第53页，共110页信道容量信道容量约束条件：约束条件：求信道容量转化为求求信道容量转化为求对信源概率分布对信源概率分布的条件的条件极值。极值。 ()max(; )P XCI X Y(; )I X Y()P X( )1iip x( )0,1, 2,ip xir现在学习的是第54页，共110页解：解：引入辅助函数引入辅助函数 1(;)()1riiFI X Yp x（为待定系数）1(; )()1(1,., )()()(; )()riiiiiFI X Yp xirp xp xI X Yp x现在学习的

29、是第55页，共110页11(|)(; )() (|)log()rsjiijiijjp yxI X Yp xp yxp y1()() (|)rjijiip yp xp yx()(|)( )jjiip yp yxp x(; )()iI X Yp x111()(|)log(|)()log()rssijijijjijjp xp yxp yxp yp y111(|)log(|)(|)log()(|)logsssjijijijjijjjp yxp yxp yxp yp yxe1(|)(|)loglog()sjijijjp yxp yxep ylog()(|)log( )()jjiijp yp yxep x

30、p y现在学习的是第56页，共110页令令 0()iFp a1(|)(|)loglog0()()sjijijijp yxFp yxep xp y则则 1(|)(|)loglog1,2,()sjijijjp yxp yxeirp y111(|)()(|)log()(log)()rsrjiijiiijijp yxp xp yxp xep ylogCe现在学习的是第57页，共110页在某些条件下利用这个方法可以计算C：(|)(|)loglog()jijijjp yxp yxeCp y(|)log(|)(|)log()(|)log()jijijijjjjijjp yxp yxp yxp yCp yxp

31、 yClog()jjp yC令令(|)(|)log (|)jijjijijjp yxp yxp yx1110244010000101110442P现在学习的是第58页，共110页这是一个含有s个未知数、由r个方程组成的方程组。当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。 log()jjp yC()2jCjp y()1jjp yjjC2log()( ) (|)jijiip yp x p yx21jCj()(1,2, )ip xirj()2jCjp y现在学习的是第59页，共110页例：求以下信道的信道容量。信道矩阵 1110244010000101110442P现在学习的是第60页，共

32、110页21log2141log4141log412141410041log4141log4121log2141412143132421解：解：2, 0413215log)2222log(2log2002jjC比特比特/符号符号现在学习的是第61页，共110页1042)()(1012)()(15log03215log241ypypypyp3011)()(,304)()(3241xpxpxpxp现在学习的是第62页，共110页例：有一信道矩阵，求C. 101现在学习的是第63页，共110页1）采用上述方法求出信道容量以后，还必须解出，因为在采用拉格朗日数乘法时并没有加上的约束条件，因此算

33、出的可能是负值。当计算结果为负值时，此解无效。它表明最大值在边界上，即某些输入符号的概率为0。设某些输入符号的概率为0，然后重新进行计算。2）如果r=2，则可以直接对I(X;Y)求导，得到信道容量和最佳输入分布。补充：补充：( )ip x( )0ip x( )ip x现在学习的是第64页，共110页例：已知信道的转移矩阵为，求信道容量。 2 . 05 . 03 . 02 . 03 . 05 . 0P解：设输入概率分布 1)()(21xpxp，|0.50.30.210.30.50.20.30.20.50.20.2YXY XPP P现在学习的是第65页，共110页(; )( )(|)()l

34、og()(|)(0.30.2 )log(0.30.2 )(0.50.2 )log(0.50.2 )0.2log0.20.5log0.50.3log0.30.2log0.2jjijI X YH YH Y Xp yp yH Y x 0);(YXI现在学习的是第66页，共110页0.2log(0.3+0.2 )-0.2+0.2log(0.5-0.2 )+0.2=0 1/2036. 0);(maxYXIC现在学习的是第67页，共110页例BSC信道如图信道如图, rs=1000符号符号/秒秒,错误传递概率错误传递概率p=0.1求求:信道容量信道容量 0Y0.9 10 . 1sbispHrCst/531

35、469. 01 1000)9 . 0log9 . 01 . 0log1 . 0(1 1000)(1 输入符号等概时有最大信息传输速率信道实际信息传输速率sbitYXHXHrRst/413398. 0811. 01000)|()(sbitXHrDsin/811811. 01000)(现在学习的是第68页，共110页例：信道及它的输入、输出如图所示：（1）求最佳输入分布。（2）求时的信道容量。21, 0现在学习的是第69页，共110页3.5.4 一般一般DMC达到信道容量的条件达到信道容量的条件定理定理3.5(Kuhn-Tucker)设设f(x)是定义在所有分量均是定义在所有分量均非负的非

36、负的n维空间上的上凸函数维空间上的上凸函数,其中其中x=(x1,x2,xn),假定假定f(x)的一阶偏导数都存在的一阶偏导数都存在,且在定义的空间上连续且在定义的空间上连续,则则时当时当0,0|)(0,0|)(*iiiixxfxxfxxxxxx现在学习的是第70页，共110页定理3.6 I(X;Y) 达到信道容量的充要条件是输入分布 p(xi) 满足以下充要条件：p(xi) 0 时 I(xi;Y) C p(xi) = 0 时 I(xi;Y) C (|);(|)log()jiijijjp yxI x Yp yxp y 某些特殊矩阵可以利用这个方法可以推导得到C。现在学习的是第71页，共110页1

37、01021210101P0);(2log);();(2log);();(34251YxIYxIYxIYxIYxIp(x3 )=0, p(x2 )= p(x4 )=0， p(x1)= p(x5 )=1/2 p(x3 )=0, p(x2 )= p(x4 )=p(x1)= p(x5 )=1/4 0);(2log);();(2log);();(34251YxIYxIYxIYxIYxI1x2x3x4x5x1y2yXY110.50.511例现在学习的是第72页，共110页1(|);(|)log()sjiijijjp yxI x Yp yxp y例当输入等概时准对称信道达到信道容量1( )ip xr11(

38、|)(|)log() (|)sjijirjkjkkp yxp yxp xp yx11(|)(|)log1(|)sjijirjjkkp yxp yxp yxr现在学习的是第73页，共110页11()(|)rjjkkp yp yxr在同一子阵在同一子阵Pl中中 1(|)(|)log1(|)jljijiryYjkkp yxp yxp yxr现在学习的是第74页，共110页1(|);(|)log1(|)jljiijirlyYjkkp yxI x Yp yxp yxr 对于任意对于任意 ix现在学习的是第75页，共110页现在学习的是第76页，共110页3.6 扩展信道的信道容量扩展信道的信道容量3.6

39、.1 扩展信道的数学模型扩展信道的数学模型下图表示下图表示N次扩展信道的模型次扩展信道的模型,其输入输出均为其输入输出均为N元随机变量序列元随机变量序列: X=X1X2XN Y=Y1Y2YN Xk:a1,a2,ar Yk:b1,b2,bs 噪声干扰离散信道离散信道现在学习的是第77页，共110页这时,把输入X和输入Y(也分别记作 ) 都分别当作一个新的随机变量联合随机变量,它们的取值集合分别为:NNYX 和,2, 1;,2, 1| )|(:,:,2, 1,),(),(:,|21212121NNhlXYXYlhlllhhhhsNrNslrhPPYPXNNiBbAabbbaaaBAiiNNN

40、N其中次扩展信道模型这样可得到其中和它们的元素分别为和现在学习的是第78页，共110页l如果对离散单符号信道进行N次扩展扩展，就形成了N次离散无记忆无记忆序列信道。例例 BSCBSC的二次扩展信道的二次扩展信道 X X 0000，0101，1010，1111，Y Y 0000，0101，1010，1111，二次扩展无记忆信道的序列转移概率，二次扩展无记忆信道的序列转移概率p p(00/00)=(00/00)=p p(0/0)(0/0)p p(0/0)=(1-(0/0)=(1-p p) )2 2，p p(01/00)=(01/00)=p p(0/0)(0/0)p p(1/0)=(1/0)=p p

41、(1-(1-p p) )，p p(10/00)=(10/00)=p p(1/0)(1/0)p p(0/0)=(0/0)=p p(1-(1-p p) )，p p(11/00)=(11/00)=p p(1/0)(1/0)p p(1/0)=(1/0)=p p2 200001010111101010000010110101111现在学习的是第79页，共110页22222222)1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (ppppppppppppppppppppppppP),1 (),1 (,)1(4log2222ppppppHC若若p p0.10.1，

42、则，则C C2 22 20.9380.9381.0621.062比特比特/ /序列序列现在学习的是第80页，共110页若多符号离散信道的转移概率满足则称之为离散无记忆信道的N次扩展信道解释扩展信道的转移概率 =各时刻单符号信道转移概率的连乘无记忆性k时刻输出Yk只与k 时刻输入Xk有关, 与k时刻之前输入X1X2 Xk-1无关无预感性k时刻之前输出Y1Y2 Yk-1只与k时刻之前输入X1X2 Xk-1有关，与Xk无关结论离散无记忆N次扩展信道无记忆，无预感1 21211221( /)(.|.)( |) (|). (|)(/)NNNNNkkkP YYYX XXP Y X P YXP

43、 YXp YXP Y X现在学习的是第81页，共110页 3.6.2 扩展信道的平均互信息量和信道容量 )|()()|()();();()()|(log)|()()()(),(log),(),(),(1111NNNNNNNNlhlhlrhslhrhsllhlhlhNNXYHYHYXHXHYXIYXIPPPPPaPPPYXIYXINNNN现在学习的是第82页，共110页l 对于对于N次扩展信道，如果信道的输入序列中的每一个次扩展信道，如果信道的输入序列中的每一个随机变量均取值于同一信源符号集并且具有同一种概率随机变量均取值于同一信源符号集并且具有同一种概率分布（取自于同一概率空间），通过相同的信

44、道传送到分布（取自于同一概率空间），通过相同的信道传送到输出端，则输出序列中的每一个随机变量也取自同一符输出端，则输出序列中的每一个随机变量也取自同一符号集，并且具有相同的概率分布。号集，并且具有相同的概率分布。 );();();();(2211YXIYXIYXIYXINN1()(; )(; )NkkkII X YNI X YX;Y现在学习的是第83页，共110页信源无记忆,则N元随机变量序列X1X2XN中各Xk 独立同分布,无记忆信源的N元序列加到无记忆信道,得到的N元输出序列Y1Y2YN中的各YK必然也是独立同分布的,因此有:NCCYXIYXICNYXNIYXIYXIYXIYXIYXIN

45、kkNkkkPNNPNNNkkXX112211);(max);(max:);();(:);();();();(为次扩展信道的信道容量于是现在学习的是第84页，共110页3.7 信道的组合信道的组合3.7.1 串联信道串联信道信道信道Q1信道信道Q2X Y Z记串联信道中三个随机变量X、Y、Z的取值符号集分别为: AX=a1,a2,ar,AY=b1,b2,bs,AZ=c1,c2,ct现在学习的是第85页，共110页信道的统计特性由转程概率P(bj|ai)i,j描述,信道的统计特性由转移概率P(ck|bj)j,k描述,给定Y以后,Z的取值与X无关:.,:,),|()|()|()|(,),|()|

46、(11111概率矩阵个串联单元信道的转移为第于是kQQQQQQkjibacPabPacbPacPkjibcPbacPkNkkNsjjikijsjikjikjkjik现在学习的是第86页，共110页定理3.10 若随机变量X,Y,Z组成Markov链,则有: I(X;Z)I(X;Y), I(X;Z)I(Y;Z)且等号成立的充分必要条件分别友: P(ai|bjck)=P(ai|ck),对所有的i,j,k和 P(ck|aibj)=P(ck|ai),对所有的i,j,k 现在学习的是第87页，共110页3.7.2 独立并联信道 X1 Y1 X2 Y2 X Y XN YN信道1信道2信道NNkkNkkkN

47、NPNkkkNNCYXIYXICYXIYXINX111);(max);(max);();(和这时现在学习的是第88页，共110页3.8 信源与信道的匹配信源与信道的匹配(1)符号匹配符号匹配信源输出的符号必须是信道能够信源输出的符号必须是信道能够传送的符号传送的符号;(2)信息匹配信息匹配信源与信道匹配的程度可用信道剩信源与信道匹配的程度可用信道剩余度来衡量余度来衡量,它的定义为它的定义为: 信道绝对剩余度信道绝对剩余度=CI(X;Y) 信道相对剩余度信道相对剩余度=CI(X;Y)/C100%现在学习的是第89页，共110页例设有两个离散二元对称信道，其级联信道如图所示，求级联信道的信道

48、容量。二元对称信道XY二元对称信道ZX0Y0111-ppp1-pZ011-ppp1-p现在学习的是第90页，共110页pppp1121PP1222221111(1)2 (1)2 (1)(1)ppppppppppppppppPPP)1 (21ppHC串现在学习的是第91页，共110页3.9 连续信道及其信道容量连续信道及其信道容量3.9.1 连续信道的数学模型连续信道的数学模型最基本的连续信道是单维连续信道最基本的连续信道是单维连续信道,它的它的输入输入X、输出、输出Y和噪声和噪声Z都是取值于整个实都是取值于整个实数域数域R的一维连续型随机变量的一维连续型随机变量:连续信道)|(|xyfXY

49、X Y Z现在学习的是第92页，共110页当信道的输入与输出均为多维连续随机变量序列,则采用多维连续信道模型来描述。设连续信道的N维输入为:.)|()|()|(:,1|2121|2121忆信道则称该信道为连续无记如果转移概率满足输出为NkkkXYNNXYNNXYNNNNxyfxxxyyyfxyfYYYYXXXXkkNNNN现在学习的是第93页，共110页连续信道的平均互信息量定义为:)|()()|()();(,)()|(log)|()()()(),(log),();(|YXhXhXYhYhYXIdxdyyfxyfxyfxfdxdyyfxfyxfyxfYXIRRYXYXYXYXXYRRXY并

50、且现在学习的是第94页，共110页与离散信道类似与离散信道类似,连续信道的传输能力也用信道连续信道的传输能力也用信道容量来描述。连续信道的信道容量仍定义为该信容量来描述。连续信道的信道容量仍定义为该信道的最大平均互信息量道的最大平均互信息量,它与信道的输入概率密度函数它与信道的输入概率密度函数有关。与离散信道不同的是有关。与离散信道不同的是,连续信道的输入连续信道的输入取值区间和概率密度函数取值区间和概率密度函数,不能完全描述实际输入不能完全描述实际输入的某些性质的某些性质,象输入信号的幅值受限、功率受限等，象输入信号的幅值受限、功率受限等，为此为此,可对连续信道的输入加一个限制条件可对连

展开阅读全文