信息论与编码离散信道.ppt-淘文阁

资源描述

《信息论与编码离散信道.ppt》由会员分享，可在线阅读，更多相关《信息论与编码离散信道.ppt（99页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、信息论与编码离散信道现在学习的是第1页，共99页引言o 信道信道是通信系统的重要部分, 其任务是以信号方式传输信息和存储信息.o 研究信道研究信道就是研究信道中能够传送或存储的最大信息量, 即信道容量问题.o 首先讨论离散信道的统计特性和数学模型, 然后定量地研究信道传输的平均互信息及其性质, 并导出信道容量及其计算方法.n只研究一个输入和一个输出端的信道, 即单用户信道;n以无记忆、无反馈、固定参数的离散信道为重点.现在学习的是第2页，共99页3.1 信源的数学模型及分类o 实际的通信系统中, 信道的种类很多, 包含的设备也各式各样.n有线: 明线、电缆、波导、光缆n无线: 长波、中波、短波

2、、超短波、光波o 信息论不研究n信号在这些信道中传输的物理过程;n信号在信道中传输或存储过程所遵循的不同物理规律.o 信息论将各种不同的物理信道抽象成统一的数学模型, 只研究信息的传输和存储问题.现在学习的是第3页，共99页3.1 信源的数学模型及分类o 从信息传输的角度来考虑, 信道可以分成以下几种分类:n 1、根据信道的用户多少;n 2、根据输入和输出信号的特点;n 3、根据信道的统计特性(条件概率);o 噪声和干扰使信号通过信道传输后产生错误和失真.o 信道输入和输出信号是统计依赖关系统计依赖关系, 而一般不是确定的函数关系确定的函数关系.现在学习的是第4页，共99页o 1、根据信道的用

3、户多少, 信道可分:n 两端两端(单用户单用户)信道信道: 它是只有一个输入端和一个输出端的单向通信的信道.n 多端多端(多用户多用户)信道信道: 它是在输入端或输出端中至少有一端有二个以上的用户, 并且还可以双向通信的信道。实际通信系统, 如计算机通信、卫星通信、广播通信、移动通信等.现在学习的是第5页，共99页o 2、根据输入和输出信号的特点, 信道可分为:n离散信道离散信道: 输入、输出变量的取值都是离散的.n连续信道连续信道: 输入、输出变量的取值都是连续的.n半离散或半连续信道半离散或半连续信道: 输入变量是离散的且输出变量是连续的, 或者相反.现在学习的是第6页，共99页o 2、根

4、据输入和输出信号的特点, 信道可分为:n波形信道波形信道: 输入和输出的随机变量取值都是连续的, 且随时且随时间连续变化间连续变化, 可用随机过程来描述.o 实际信道的是带宽受限的带宽受限的, 所以输入、输出信号可分解成时间离散的随机序列。o 随机序列中随机变量的取值可以是可数的离散值, 也可是不可数的连续值. 因此, 波形信道可分解成离散信道、连续信道和半离散或半连续信道来研究。现在学习的是第7页，共99页o 3、根据信道输入端和输出端的关联, 可以分为:n无反馈信道无反馈信道. 信道输出端无信号反馈到输入端, 即输出端信号对输入端信号无影响、无作用.n反馈信道反馈信道. 信道输出端的信号反

5、馈到输入端, 对输入端的信号起作用, 影响输入端信号发生变化.现在学习的是第8页，共99页o 4、根据信道的参数(统计特性)与时间的关系, 信道又可以分为:n固定参数信道固定参数信道. 信道的参数(统计特性)不随时间变化而改变.n时变参数信道时变参数信道. 信道的参数(统计特性)随时间变化而改变.现在学习的是第9页，共99页离散信道o离散信道的数学模型一般如图3.1所示.n信号用随机矢量表示. 输入信号X=(X1,Xi,XN), 输出信号Y=(Y1,Yi,YN), 其中i=1,N表示时间或空间的离散值.n随机变量Xi和Yi分别取值于符号集A=(a1,ar)和B=(b1,bs), 其中r不一定等

6、于s.n条件概率p(y|x)描述了输入和输出信号之间的统计依赖关系, 反映了信道的统计特性.信道11(,): ,NrXXXaaXX11( ,): ,NsYYYbbYXp(y|x) 图 3.1 离散信道模型现在学习的是第10页，共99页o 3、根据信道统计特性, 离散信道可分成三种情况:n(1) 无干扰（无噪）信道无干扰（无噪）信道. o 信道中没有随机干扰或者干扰很小, 输出信号Y与输入信号X有确定的对应关系. 即y=f(x), 且1( )()0( )fpfyxy |xyx现在学习的是第11页，共99页n(2) 有干扰无记忆信道有干扰无记忆信道.o 实际信道中常有干扰(噪声), 输出与输入

7、之间无确定关系。信道输入和输出之间的条件概率服从一般的概率分布。o 输出符号统计依赖于对应时刻的输入符号, 而与非对应时刻的输入和输出符号无关, 则称无记忆信道无记忆信道. 其条件概率满足对任意N值和任意x、y的取值，上式成立。12121( | )(|)(|)NNNiiipp y yyx xxp yxy x现在学习的是第12页，共99页n (3) 有干扰有记忆信道有干扰有记忆信道。o 这是更一般的情况, 既有干扰(噪声)又有记忆. 实际信道往往是这种类型. 例如码字干扰码字干扰就是由于信道滤波使频率特性不理想造成的.o 有记忆信道: 输出符号不但与对应时刻的输入符号有关, 还与以前时刻输入及

8、输出符号有关, 其信道条件概率p(y|x)不再满足式(3.2)。现在学习的是第13页，共99页n (3) 有干扰有记忆信道有干扰有记忆信道。o 处理这类有记忆信道时n 最直观的方法是把记忆较强的N个符号当作一个矢量符号来处理, 而各矢量符号之间认为是无记忆的, 转化成无记忆信道的问题.n 另一种方法是把p(y|x)看成马尔可夫链的形式, 把信道的输入和输出序列看成为信道的状态. 那么, 信道的统计特性可用p(ynsn|xnsn-1)来描述.现在学习的是第14页，共99页单符号离散无记忆信道o 单符号离散信道的条件概率条件概率(也称传递概率传递概率或转移概率转移概率)为p(y|x)=p(y=bj

9、|x=ai) =p(bj|ai) i=1,2,r j=1,2,s o 信道干扰使输入x在传输中发生错误,可用传递概率p(bj|ai)来描述干扰影响的大小. o 信道的干扰(噪声)使当信道输入为x=ai, 输出y是哪一个符号无法确定.但信道输出一定是b1,b2,bs中的一个. 即有 1(|)1,1,2,sjijp bair现在学习的是第15页，共99页单符号离散无记忆信道o 因此, 单符号离散信道可以用eX,p(y|x),Y三者加以描述. 也可用图来描述, 如图3.2所示。P(bj|ai)12raaxa12sbbyb 图 3.2 单符号离散信道现在学习的是第16页，共99页o 例3.1 二元对

11、为 o 并满足式(3.4).X10a 21a 10b 31b Ypq11pq22b 图 3.4 二元删除信道 021010101ppqq21(|) 1,1,2jijp b ai现在学习的是第18页，共99页o 这种信道实际是存在的.o 假如一个实际信道, 输入0和1用两个正、负方波信号表示, 如图3.5(a)所示.o 信道输出送入译码器的将是受干扰后的方波信号R(t), 如图3.5(b)所示. 图 3.5 实际波形示意图现在学习的是第19页，共99页o 用积分器I=R(t)dt来判别发送信号.n 如果I是正的, 且大于某一电平, 判别为“0”;n 若I是负的, 且小于某一电平, 判别是“1”

12、;n 而若I的绝对值很小, 不能作出判断, 就认为是特殊符号“2”;n 信道干扰不是很严重的话, 10和01的可能性要比02和12的可能性小得多, 所以假设p(y=1|x=0)=p(y=0|x=1)=0是较合理的.现在学习的是第20页，共99页o 一般离散单符号信道的传递概率可用矩阵形式表示, 即o 为了表述方便, 令p(bj|ai)=pij, 即1211121112222212(|)(|)(|)(|)(|)(|)(|)(|)(|)sssrrsrrbbbap b ap bap bap b ap bap baap b ap bap baa现在学习的是第21页，共99页o且满足o 该矩阵完全描述了

13、信道的统计特性, 有些概率是信道干扰引起的错误概率, 其他是信道正确传输的. 所以该矩阵又称为信道矩阵信道矩阵.11121212221210,1,1,2,ssrrrssijijjpppppppppppirP现在学习的是第22页，共99页o 下面推导一般离散信道的一些概率关系。n(1) 输入符号概率已知, p(x=ai)=p(ai), i=1,2,r, 且输入和输出符号联合概率为p(x=ai,y=bj)=p(ai,bj). 则有p(bj|ai)=p(ai,bj)/p(ai) p(ai|bj)=p(ai,bj)/p(bj) o 前向概率前向概率p(bj|ai): 也称传递概率传递概率, 即发送为a

14、i, 通过信道传输接收到为bj的概率. 它是由信道噪声引起的, 描述了信道噪声的特性.o 后向概率后向概率p(ai|bj): 已知信道输出端接收到符号为bj但发送的输入符号为ai的概率. o 先验概率先验概率p(ai): 收到输出符号以前, 输入符号的概率;o 后验概率后验概率p(ai|bj): 收到输出符号以后, 输入符号的概率.现在学习的是第23页，共99页n (2) 根据联合概率可得输出符号的概率也可写成矩阵形式，即1()() (|),1,2,rjijiip bp a p bajr111121112212222212( )(|)(|)(|)()()()(|)(|)(|)()()()(|

15、)(|)(|)()()rrssssrrrp bp b ap b ap b ap ap ap bp bap bap bap ap ap bp bap bap bap ap a TP现在学习的是第24页，共99页o (3) 根据贝叶斯定律可得后验概率 o 可得 o 上式说明, 在信道输出端接收到任一符号bj一定是输入符号a1,a2,ar中的某一个送入信道.1()()( ()0)()( ) (|),1,2, ;1,2,( ) (|)ijijjjijirijiip abp a bp bp bp a p bairjsp a p ba1(|)1,1,2,rijip a bjs现在学习的是第25页，共99页

16、第三章离散信道o 3.1 信道的数学模型及分类o 3.2 信道疑义度及平均互信息o 3.3 平均互信息的特性o 3.4 离散无记忆的扩展信道o 3.5 信道容量及其迭代算法o 3.6 信源与信道的匹配现在学习的是第26页，共99页3.2.1 信道疑义度o 一、先验熵先验熵H(X)：n 在接收到输出Y以前，关于输入变量X的先验不确定性的度量。根据熵的概念，可计算出信道输入信源X的熵n 如果信道无干扰(噪声), 输出Y与输入X一一对应，那么，接收到传送的符号Y后就消除了对发送符号X的先验不确定性。111()( )log( )log( )( )riiXiH Xp ap xp ap x现在学习的是第

17、27页，共99页3.2.1 信道疑义度o 二、后验熵后验熵H(X|bj)n一般信道有干扰(噪声)存在, 接收到输出Y后对发送的符号X仍有不确定性。怎样度量接收到Y后关于X的不确定性呢？n接收到输出y=bj后, 其先验概率p(x)变成后验概率p(x|bj), 其先验熵H(X)变成了后验熵H(X|bj)为 n接收到输出为bj后关于输入X的信息测度(不确定性).111(|)(|)log( |)log(|)( |)rjijjiXijjH X bp a bp x bp a bp x b现在学习的是第28页，共99页3.2.1 信道疑义度o三、信道疑义度信道疑义度n后验熵是随输出y变化的随机量, 对输出Y

18、求期望, 得条件熵为 n这个条件熵称为信道疑义度信道疑义度. 表示输出端收到输出Y的全部符号后, 对于输入X尚存在的平均不确定性(疑义). 11111,1()(|)()(|)()(|)log(|)11()log()log(|)( | )ssrjjjjijjjiijsrijjiX YijH X YE H X bp b H X bp bp a bp a bp abp xyp a bp x y现在学习的是第29页，共99页3.2.1 信道疑义度o 三、信道疑义度信道疑义度n对X尚存的不确定性是信道干扰(噪声)引起. 如果是一一对应信道, 收到输出Y后, 对X的不确定性完全消除, 则H(X|Y)=0。

19、n由于H(X|Y)H(X), 这说明收到变量Y的所有符号, 总能消除一些关于输入端X的不确定性，从而获得了一些信息。现在学习的是第30页，共99页3.2.2 平均互信息o 根据上述可知: 收到输出Y后关于输入X的平均不确定性H(X)变成了条件熵H(X|Y). o 信道传输消除了一些不确定性, 获得了一定的信息.I(X;Y)=H(X)-H(X|Y) o I(X;Y)称为X和Y的平均互信息平均互信息. 它代表收到输出Y后平均每个符号获得的关于X的信息量。o : 从定义可进一步理解熵熵只是平均不确定性的描述, 而熵差熵差(不确定性的消除)才等于接收端所获得信息量. 因此, 信息量不应该与不确定性混为

20、一谈. 现在学习的是第31页，共99页3.2.2 平均互信息o 平均互信息I(X;Y)是绪论中提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果. 因此给出互信息I(x;y)的表达式以示区别. 即,11(; )( )log()log( )( | )( | )()log() ( ; )( )XX YX YX YI X Yp xp xyp xp x yp x yp xyp xy I x yp x( | )()( | )( ; )logloglog( )( ) ( )( )p x yp xyp y xI x yp xp x p yp y现在学习的是第32页，共99页3.2.2 平均互信息

21、o 互信息I(x;y)可取正值, 也可取负值. o 如果互信息I(x;y)取负值, 说明由于噪声的存在, 收到消息y后, 反而使收信者对消息x是否出现的猜测难度增加了. 获得的信息量为负值。o 但在下一节，将证明平均互信息I(X;Y)永远不会取负值。现在学习的是第33页，共99页3.2.3 平均互信息与各类熵的关系从Y中获得关于X的平均互信息I(X;Y), 等于1) 接收到输出Y的前、后, 关于X的平均不确定性的消除, 即I(X;Y)=H(X)-H(X|Y)2) 发X的前、后, 关于Y的平均不确定性的消除, 即I(X;Y)=H(Y)-H(Y|X)H(X|Y)H(X)H(Y)H(XY)I(X,Y

23、失熵. o H(Y|X)表示已知输入X, 对输出Y尚存在的不确定性(疑义), 这是由信道中噪声引起的, 故称噪声熵噪声熵, 或散布散布度度, 反映了信道中噪声源的不确定性.o图中可看出I(X;Y)与I(Y;X)的交互性. 可见, “互信息”的命名是恰当的.H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(X|Y)H(X)H(Y)H(XY)I(X,Y)H(Y|X) 图 3.8 信道各类熵之间的关系现在学习的是第36页，共99页3.2.3 条件平均互信息o 一、推广到三个概率空间n 互信息I(x;y)是求两个概率空间中事件之间的互信息. 可将这概念推广到三个概率空间中求

24、事件之间的互信息.n 设三个离散概率空间X, Y, Z; xX, yY, zZ, 且有概率关系式:()1XYZp xyz 现在学习的是第37页，共99页3.2.3 条件平均互信息一、推广到三个概率空间这三个概率空间可看作为两个串接系统1和系统2的输入和输出空间, 如图3.6(a)所示.也可考虑为如图3.6(b),(c)所示, 将X作为系统1的输入空间, 而Y和Z作为系统1的输出空间, 其中Y,Z可为并行输出或按时间前后的串行输出。系统1系统2系统1系统1XXXYZYZ,Y Z( )a( )b( )c 图 3.6 三个概率空间连接关系图现在学习的是第38页，共99页o 二、条件互信息n 在已知

25、z的条件下, 接收到y获得关于事件x的条件互信息 n 与互信息的区别与互信息的区别: 其先验概率和后验概率都是在某一特定条件下的取值.( |)( |)(| )( ;| )logloglog( | )( | )( | ) ( | )p x yzp y xzp xy zI x y zp x zp y zp x z p y z现在学习的是第39页，共99页o 三、平均条件互信息n 将条件互信息I(x;y|z)在概率空间XYZ中求统计平均, 得平均条件互信息: ( |)(;) ( ;| )()log( | )=(|)(|)(| )()log( | ) ( | )(|)(|)(|)XYZXYZp x y

26、zI X Y ZE I x y zp xyzp x zH X ZH X YZp xy zp xyzp x z p y zH X ZH Y ZH XY Z现在学习的是第40页，共99页o 四、互信息n从互信息的定义得出, 当已知y,z后, 总共获得关于x的互信息 n这个关系式表明: yz联合给出关于x的互信息量等于y给出关于x的互信息量与y已知条件下z给出关于x的互信息量之和.( |)( | ) ( |)( ;)loglog( )( ) ( | )( | )( |)loglog( ; )( ; | )( )( | )p x yzp x y p x yzI x yzp xp x p x yp x

27、yp x yzI x yI x z yp xp x y现在学习的是第41页，共99页o 五、平均互信息n 将互信息I(x;yz)在概率空间XYZ中求统计平均, 得平均互信息: (;) ( ;)( |)()log( )= ( ; )( ; | )= (; )(;|)= (; )(;|)XYZI X YZE I x yzp x yzp xyzp xE I x yI x z yI X ZI X Z YI X ZI X Y Z现在学习的是第42页，共99页o 六、关系式I(X;Y|Z)=H(X|Z)-H(X|YZ) I(X;YZ)=I(X;Y)+I(X;Z|Y) (3.29) n式(3.29)表明,

28、联合变量YZ和变量X之间的平均互信息, 等于变量X和Y的平均互信息加上在变量Y已知条件下变量X和Z的平均互信息.o 上述定义和关系式易于推广到任意有限维空间的情况. 特别是在多用户信息论中这些关系式十分有用。现在学习的是第43页，共99页X10a 21a 10b 21b Ypp11pp 图 3.3 二元对称信道例3.3 四个等概率分布的消息M1,M2,M3和M4被送入一个二元无记忆对称信道二元无记忆对称信道(BSC)进行传送. 通过编码使M1=00, M2=01, M3=10和M4=11. 而BSC信道如右图所示.试问, 输入是M1和输出符号是0的互信息是多少? 如果知道第二个符号也是0,

29、这是带来多少附加信息量?现在学习的是第44页，共99页o 解: (1)根据题意知p(M1)= p(M2) =p(M3)= p(M4)=1/4,而p(0|M1)=p(0|0)=1-p. 所以, 输入M1和第一个输出符号0的联合概率为n根据信源的概率分布，输出第一个符号为0的概率为n根据互信息的定义，可得1111(0)() (0|)4pp Mp MpM222111111(0)( 0)( ) (0|)(0|)(1)222iiiiiiipp ap a papapp1122211(1)(0)4(;0)loglog1log (1)11() (0)42pp MI Mpp Mp 比特现在学习的是第45页，共9

30、9页o(2) 若输出符号为00，可得n根据信道是无记忆的，有n同理，可得n由式(3.25)可知, 当已知第一个符号为0, 第二个也是0带来关于M1的附加信息2111(1)(00)() (00|)4pp Mp MpM1(00)(0)(0)4ppp21122211(1)(00)4(;00)loglog22log (1)11() (00)44pp MI Mpp Mp比特1112(;0|0)(;00)(;0)1 log (1)I MI MI Mp 比特现在学习的是第46页，共99页第三章离散信道o 3.1 信道的数学模型及分类o 3.2 信道疑义度及平均互信息o 3.3 平均互信息的特性o 3.4

31、离散无记忆的扩展信道o 3.5 信道容量及其迭代算法o 3.6 信源与信道的匹配现在学习的是第47页，共99页3.3 平均互信息的特性 o (1) 平均互信息的非负性. 即 I(X;Y)0. 当X和Y统计独立时, 等式成立.n 证明: 根据平均互信息的定义, 因为logx是严格型凸函数型凸函数, 直接应用詹森不等式应用詹森不等式得( ) ( )(; )()log()log( ) ( )log10XYXYp x p yI X Yp xyp xyp x p y现在学习的是第48页，共99页3.3 平均互信息的特性 o(1) 平均互信息的非负性. 即 I(X;Y)0. n这个性质说明: o 1) 平

32、均互信息量不会是负值. 从平均的角度来看, 信道传输总能消除一些不确定性, 接收到一定的信息. o 2) 在统计独立信道(信道输入和输出是统计独立)中, 接收不到任何信息. 因为传输的信息全部损失在信道中, 以致没有任何信息传输到终端, 但也不会失去已知的信息.现在学习的是第49页，共99页o (2) 平均互信息的极值性. 即0I(X;Y)H(X) n因为信道疑义度H(X|Y)总大于零, 所以平均互信息I(X;Y)总是小于熵H(X). n只有当信道中传输信息无损失时, 即H(X|Y)=0, 接收到Y后获得关于X的信息量才等于符号集X中平均每符号所含有的信息量.n一般情况下, 平均互信息I(X;

33、Y)必在零和H(X)之间.现在学习的是第50页，共99页o (3) 平均互信息的交互性(对称性). 即I(X;Y)=I(Y;X) n这个性质说明: o1) 当X和Y统计独立时(即H(X|Y)=H(X), 就不可能从一个随机变量获得关于另一个随机变量的信息, 所以I(X;Y)=I(Y;X)=0; o2) 当信道输入X和输出Y一一对应时, 即H(X|Y)=0, 从一个变量就可以充分获得关于另一个变量的信息, 即I(X;Y)=I(Y;X)=H(X)=H(Y).,()()(; )()log()log( ;)( ) ( )( ) ( )X YX Yp xyp yxI X Yp xyp yxI Y Xp

34、x p yp y p x现在学习的是第51页，共99页o (4) 平均互信息的凸函数性.n平均互信息I(X;Y)只是信源输入X的概率分布p(x)和信道传递概率p(y|x)的函数, 因此对于不同信源和不同信道得到的平均互信息是不同的. ( | )(; )()log( )( | )()log( ) ( | )XYXYXp y xI X Yp xyp yp y xp xyp x p y x现在学习的是第52页，共99页n 定理3.1 I(X;Y)是信源输入概率分布p(x)的型凸函数.n 定理3.2 I(X;Y)是信道传递概率p(y|x)的型凸函数.o 定理3.1意味着, 当固定某信道时, 一定存在有

35、一种信源(某一种概率分布p(x), 使输出端获得的平均信息量为最大(因为型凸函数存在极大值).o 定理3.2说明: 当信源(概率空间)固定后, 存在一种最差的信道, 此信道的干扰(噪声)最大, 而输出端获得的信息量最小.现在学习的是第53页，共99页o 证明3.1 n根据型凸函数的定义来证明. n首先固定信道, 即信道的转移概率p(y|x)是固定的. 那么平均互信息I(X;Y)将只是p(x)的函数, 简写成Ip(x).n现给定输入信源X两种概率分布p1(x)和p2(x), 其联合概率为p1(xy)=p1(x)p(y|x) 和p2(xy)=p2(x)p(y|x), 而信道输出的平均互信息分别为I

37、X YX YI p xI pxI p xp y xp y xp y xp xypxyp xyp ypyp yp y xp y xp xypxyp ypyp y xp xypxyp y,12,12)( )( )()log(1)()log( )( )X YX YX Yp yp yp xypxyp ypy111,111( )( )( )()loglog()log()0( )( )( )X YX YYXp yp yp yp xyp xyp xyp yp yp y现在学习的是第55页，共99页o 因为01, 可得o 即I(X;Y)是输入信源的概率分布p(x)的型凸函数. 12,12121212( )(

38、)()log(1)()log0( )( )( )(1) ( ) ( )0( )(1)( )( )(1) ( )X YX Yp yp yp xypxyp ypyI p xI pxI p xIp xpxI p xI px现在学习的是第56页，共99页o 例3.4(续例3.1) 设二元对称信道的输入概率空间和信道特性如图3.3所示. 计算得平均互信息其中, H(p)是0, 1区域上的熵函数.01( )1Xp xww(; )( )(|)1( )( )( | )log( | )11( ) log(1)log1( )( )XYI X YH YH Y XH Yp xp y xp y xH YppppH Y

39、H pX10a 21a 10b 21b Ypp11pp 图 3.3 二元对称信道现在学习的是第57页，共99页o根据可得 p(y=0)=w(1-p)+(1-w)pp(y=1)=wp+(1-w)(1-p)o那么, o其中, H(w,p)也是0, 1区域上的熵函数. 1()() (|),1,2,rjijiip bp a p bajr1(; ) (1)(1) log(1)(1)111(1)(1)log log(1)log(1)(1)1( , )( )I X Ywpw pwpw pwpwpppwpwpppH w pH p现在学习的是第58页，共99页o 当信道固定即固定p时, 可得I(X ;Y)是

40、w的型凸函数, 其曲线如图3.9. o 从图中可知, n当二元对称信道的信道矩阵固定后, 若输入变量X的概率分布不同, 在接收端平均每个符号获得的信息量就不同. n只有当输入变量X是等概率分布, 在信道接收端平均每个符号才获得最大的信息量. w(; )I X Y1( )H p121211()p信道即固定图 3.9 固定二元对称信道的互信息现在学习的是第59页，共99页o 当固定信源的概率分布w时, 即得I(X ;Y)是p的型凸函数, 其曲线如图3.10. o 从图中可知, n当二元信源固定后, 存在一种二元对称信道(即p=1/2), 使在信道输出端获得的信息量最小, 即等于零. 也就是

41、说, 信道的信息全部损失在信道中. 这是一种最差的信道(其噪声为最大).p(; )I X Y0.41( )H w()w信源即固定( )H w0.80.20.6 图 3.10 固定二元信源的互信息现在学习的是第60页，共99页例o 例4.2.2 一个信源以相等的概率及1000码元/秒的速率把0和1码送入有噪信道, 由于信道中噪声的影响. 发送为0接收为1的概率为1/16, 而发送为1接收为0的概率为1/32, 求信源熵、条件熵和平均互信息.o 解：根据题意, 令输入符号a0=0, a1=1, 输出符号b0=0, b1=1, 可以首先求出信源熵, 即22111()( )loglog 2log

42、21( )22XH Xp xp x现在学习的是第61页，共99页o 由题可知, 信道的转移概率矩阵为o 可得条件概率和联合概率分别为01151016161311323200001001111000 00001 00 11 115(|)30123116(|), (|), (|), (|)15131313333(|)1632151131()() (|), (), (), ()32643264iip bap abp abp abp abp bap a bp ap bap abp a bp ab现在学习的是第62页，共99页o根据条件概率和联合概率可得条件熵为o根据信源熵和条件熵可得平均互信息为I(X

43、 ;Y)=H(X)-H(X|Y)=1-0.27=0.73 比特/符号()()log( | )153011123131loglogloglog323164313233643315151113131log30log31log31log2log33log31log333232643232646415133log30log333232642.30.032.60.27XYH X Yp xyx y 现在学习的是第63页，共99页第三章离散信道o 3.1 信道的数学模型及分类o 3.2 信道疑义度及平均互信息o 3.3 平均互信息的特性o 3.4 离散无记忆的扩展信道o 3.5 信道容量及其迭代算法o 3

44、.6 信源与信道的匹配现在学习的是第64页，共99页离散无记忆的N次扩展信道o 1、信道模型信道11(,): ,NirXXXaaXX11( ,): ,NjsYYYbbYY(|)jip ba 图 3.4.1 离散无记忆信道模型信道11(,): ,NiNkkkkraaX11(,): ,NiNhhhhsbbbbbYhkp(|) 图 3.4.2 离散无记忆扩展信道模型现在学习的是第65页，共99页离散无记忆的N次扩展信道o 2、转移概率矩阵111212122212ssrrrspppppppppP111112121222121(/)(|)(|)NNNNNNNNiissrrr sNknhkhhkk

45、hkipp bbaap ba现在学习的是第66页，共99页例3.5 求例3.1中二元无记忆信道的二次扩展信道o 输入符号集A2=00,01,10,11,输出符号集B2=00,01,10,11;o转移概率为o转移概率矩阵为22222222ppppppppppppppppppppppppppppP2112131241(|)(00|00)(0|0) (0|0)(|)(01|00)(0|0) (1|0)(|)(10|00)(1|0) (0|0)(|)(11|00)(1|0) (1|0)pppppppppppppppppppppp现在学习的是第67页，共99页N次扩展信道的平均互信息oN次扩展信道的平均

46、互信息为o定理定理3.3 如果信道是无记忆的信道是无记忆的(信源有记忆信源有记忆), 即等式成立条件: 信源也无记忆.o定理定理3.4 如果信源是无记忆的信源是无记忆的(信道有记忆信道有记忆), 即等式成立条件: 信道也无记忆.11(|)(|)(;)(;)iiNNNNhkhkiiiipp baI XYI X Y 那么,(|)( ;)(;)()(|)()log()NNNNNNNkhkhXYkpII XYH XH XYpp X Y11()()(;)(;)iNNNNkkiiiipp aI XYI X Y那么现在学习的是第68页，共99页定理3.3证明？,11,1,1( ;)()(|)1()()lo

47、g(|)1()()log(|)1()()log(|)1()()log(|)()(|)()NNNNiiNNiiiiiiiiNNNNkhXYkhNkhNXYkhiNNkhiXYkhNNkhiX YkhNNiiiiiIH XH XYH XppH Xpp abH Xpp abH Xp a bp abH XH XYH X X Y111(|)(;)NNNiiiiiiH XYI X Y现在学习的是第69页，共99页o 定理3.3说明: 信源的有记忆性降低了信源的熵H(XN); I(X;Y)=H(XN)-H(XN|YN)n有记忆信源: 信源先后发出的符号是互相依赖的o 定理3.4说明: 信道的有记忆性降低了条

48、件熵H(XN|YN);n有记忆信道: 输出符号不但与对应时刻的输入符号有关, 还与以前时刻输入及输出符号有关现在学习的是第70页，共99页无记忆的N次扩展信道的平均互信息o 若信源和信道都是无记忆的信源和信道都是无记忆的, 即定理3.3和3.4同时成立, 那么等式成立, 即若同时满足:n1) Xi取自同一概率空间(相同符号集及符号集及概率分布);n2) 相同的信道(信道转移概率矩阵信道转移概率矩阵)则有:1(;)(;)NNNiiiI XYI X Y1(;)(; )NiiiI X YN I X Y现在学习的是第71页，共99页无记忆的N次扩展信道的平均互信息o 对于无扰一一对应无扰一一对应(无噪

49、无噪)信道信道(H(X|Y)=0), 接收到的平均互信息就是输入信源的熵, 定理3.3同时说明 1( )()NiiHH XX现在学习的是第72页，共99页第三章离散信道o 3.1 信道的数学模型及分类o 3.2 信道疑义度及平均互信息o 3.3 平均互信息的特性o 3.4 离散无记忆的扩展信道o 3.5 信道容量及特殊信道的容量计算o 3.6 信源与信道的匹配现在学习的是第73页，共99页信道的信息传输率Ro 信道研究的目的: 讨论信道中平均每个符号所能传送的信息量, 即信道的信息传输率信道的信息传输率R.o 信道的信息传输率信道的信息传输率R就是平均互信息平均互信息, 这是因为平均互信息I

50、(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量. 因此R=I(X;Y)=H(X)-H(X|Y) 比特/符号现在学习的是第74页，共99页信道容量Co定义: 最大的信息传输率, 即其相应的输入概率分布称为最佳输入分布最佳输入分布. 这是因为在信道固定时, I(X;Y)是输入变量X的概率分布p(x)的型凸函数(见定理3.1).o 可知: 信道容量C与信源概率分布无关, 它只是信道传输概率的函数, 只与信道统计特性有关. 所以, 信道容量是完全描述信道特性的参量, 是信道能够传输的最大信息量.( )max (; )/p xCI X Y比特符号现在学习的是第75页，共99页单位时间内

展开阅读全文