《第三章 信道模型和信道容量精选PPT.ppt》由会员分享，可在线阅读，更多相关《第三章 信道模型和信道容量精选PPT.ppt（106页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第三章 信道模型和信道容量第1页，本讲稿共106页第三章 信道模型和信道容量q信道的基本概念q信道的数学模型q平均互信息量、损失熵、噪音熵q信道容量q离散对称信道的信道容量计算第2页，本讲稿共106页信息传输系统消息消息消息消息消息消息消息消息第二章第二章:信息量信息量第三章信道第三章信道与信道容量与信道容量第3页，本讲稿共106页信道的基本概念第4页，本讲稿共106页信道的基本概念q信道的任务：以信号的方式传输信息和存储信息信道中存在随机噪声输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系 第5页，本讲稿共106页例：信源输出二元符号(0,1)调制时如采用正负方波的传输，正
2、负方波分别表示0和1 信道的基本概念第6页，本讲稿共106页信道的基本概念.无噪声干扰P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0第7页，本讲稿共106页信道的基本概念2.微小噪声干扰P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0第8页，本讲稿共106页信道的基本概念3.一般噪声干扰P(0|0)P(1|1)1 P(1|0)P(0|1)0第9页，本讲稿共106页信道的基本概念q信道的任务：以信号的方式传输信息和存储信息信道中存在随机噪声输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系 研究信道的目的：信道能够传输或存储的最大信息量，即信道容量第
3、10页，本讲稿共106页信道的基本概念信道分类根据信道用户的多少，可以分为：单用户信道：只有一个输入、一个输出的单向信道多用户信道：输入、输出至少有一端有两个以上的用户，还有可能是双向信道第11页，本讲稿共106页信道的基本概念信道分类根据信道的记忆特性无记忆信道：信道输出只与当前的输入有关有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关第12页，本讲稿共106页信道的基本概念信道分类根据输入、输出信号的取值特点：离散输入：输入输出的随机序列取值都是离散的连续信道：输入输出的随机序列取值都是连续的半离散半连续信道：输入序列取值离散而输出序列取值连续，或者反之。波形信道：输入输出信号在
4、时间上和取值上都是连续的，不能用随机序列，而需要用随机过程表示第13页，本讲稿共106页信道的基本概念信道分类根据信道参数与时间的关系，可以分为：固定参数信道：信道参数（统计特性）不随时间变化而变化时变参数信道：信道参数（统计特性）随时间变化而变化 我们在这门课程中，主要研究的是单用户、固定参数的离散信道单用户、固定参数的离散信道 第14页，本讲稿共106页信道的数学模型X和Y分别是输入和输出随机序列 第15页，本讲稿共106页信道的数学模型 是条件概率分布，或称为条件概率矩阵 描述了输入信号、输出信号之间的统计依赖关系，反映了信道的统计特性.第16页，本讲稿共106页信道的数学模型根据信道的
5、统计特性，即 的不同，离散信道可以分成三种情况：无干扰信道 有干扰无记忆信道 有干扰有记忆信道第17页，本讲稿共106页无干扰信道 最理想的信道，信道中没有随机性的干扰，输出信号和输入信号有一一对应的函数关系关系第18页，本讲稿共106页有干扰无记忆信道 一般信道中都存在着干扰和噪声，所以输出符号和输入符号之间没有确定的对应关系，而是统计依赖关系。第19页，本讲稿共106页有干扰无记忆信道不仅仅是有干扰信道，而且是无记忆的。无记忆的信道指的是在任一时刻的输出符号只统计依赖于对应时刻的输入符号，而与其它时刻的输入符号和其它时刻的输出符号无关。第20页，本讲稿共106页有干扰无记忆信道满足离散无记
6、忆信道的充要条件是 因为无记忆信道的输出只与对应时刻的输入有关，所以已知输入序列条件下输出序列的条件概率等于输入输出序列中，各对应分量的条件概率之积第21页，本讲稿共106页有干扰无记忆信道模型简化 一般的信道输入模型：对于有干扰无记忆信道：第22页，本讲稿共106页离散无记忆信道模型简化 输入输出随机序列间的随机特性可以用一对输入输出分量间的随机特性来表示，数学模型中的随机序列可以用随机变量来表示信道()NXXXXK21=()NYYYYK21=)|(11NNXXYYPKK)|(iiXYPiXiY离散无记忆信道(DMC)的模型为 第23页，本讲稿共106页单符号离散信道（单符号离散信道（DMC
7、）输入变量 的样本空间 输出变量 的样本空间 有 个条件概率 传递矩阵(信道矩阵)第24页，本讲稿共106页传递矩阵性质性质 满足且第25页，本讲稿共106页相关概率相关概率 研究信道的过程中，一般输入信号的概率 、信道的传递概率 是已知的，其它的概率未知，但可以求出：输入符号的先验概率输出符号的先验概率传递概率、转移概率、前向概率后向概率、后验概率联合概率第26页，本讲稿共106页相关概率计算相关概率计算 联合概率(根据乘法公式）输出符号概率(根据全概率公式)第27页，本讲稿共106页相关概率计算相关概率计算 后向概率(根据Beyas公式)可见：已知输入先验概率、信道传递概率后，联合概率、输
8、出先验概率、后向概率都可以求出来 第28页，本讲稿共106页相关概率例题相关概率例题设信源 ，通过一干扰信道 接收符号为 ，信道传输矩阵 为 ，求各种概率分布第29页，本讲稿共106页)联合概率 2)输出概率第30页，本讲稿共106页2)输出概率(或者)3)后向概率第31页，本讲稿共106页离散单符号信道举例离散单符号信道举例 二元对称信道（BSC）输入、输出的取值都为0、1，定义错误概率p，传递概率为：第32页，本讲稿共106页离散单符号信道举例离散单符号信道举例 信道矩阵信道线图第33页，本讲稿共106页离散单符号信道举例离散单符号信道举例 二元删除信道（BEC）输入的取值有2个为0、1，
9、输出的取值有3个为0、1、2(或者?)，定义正确概率p 第34页，本讲稿共106页离散单符号信道举例离散单符号信道举例 二元删除信道（BEC）BEC在实际应用中也经常用到，如正负方波的传输，正负方波分别表示0和1 由于码间串扰，输出端可能是 第35页，本讲稿共106页离散单符号信道举例离散单符号信道举例 二元删除信道（BEC）在输出端判决准则：对输出信号求积分 第36页，本讲稿共106页互信息量定义互信息量定义 回顾：自信息量 条件自信息量 联合信息量 第37页，本讲稿共106页互信息量互信息量定义定义 互信息量：通信过程中所获得的信息量.以单符号离散信道为例输入信号的概率空间是输出信号的概率
10、空间是 信源信道信宿XYaibj第38页，本讲稿共106页互信息量互信息量定义定义 先验概率 自信息量n后验概率 条件自信息量 收到输出信号前后，不确定性发生了变化 通信过程中所获得的信息量，即通过信道所传输的信息量第39页，本讲稿共106页互信息量互信息量定义定义 定义为事件 和 间的互信息量，表示通信过程中所获得的信息量信道)|(XYP)(:21raaaXK)(:21sbbbYK)(1log)(iiapaI=)|(1log)|(jijibapbaI=)|()();(jiijibaIaIbaI-=通信前通信后第40页，本讲稿共106页互信息量互信息量定义定义举例：发出0后，接收端收到的却是1
11、互信息量可以为负数。第41页，本讲稿共106页互信息量互信息量举例举例 例题：某地三月份天气构成的信源为有一天有人告诉你，“三月某天的天气不是晴天”，将此作为 事件求 第42页，本讲稿共106页互信息量互信息量举例举例 收到 ，有第43页，本讲稿共106页互信息量互信息量三种理解方式三种理解方式 经过概率互换，可以变化为另外两种形式。第44页，本讲稿共106页互信息量互信息量三种理解方式三种理解方式 第一种方式：从第一种方式：从接收端的接收端的角度观察，得到的是关于角度观察，得到的是关于 的信息的信息量量第二种方式：从第二种方式：从发送端发送端的角度观察，得到的是关于的角度观察，得到的是关于
12、的信的信息量息量第三种方式：从第三种方式：从通信系统总体通信系统总体角度观察角度观察 通信前通信前 通信后通信后 传输信息量传输信息量第45页，本讲稿共106页平均互信息量平均互信息量定义定义 互信息量也只能描述发生具体输入输出消息时流经信道的信息量，随着输入输出消息的不同，互信息量也不同。自信息量不能用来从整体上，描述信源发出信息量的能力，不能作为信源发出信息量的测度。同理，互信息量不能从整体上，作为信道中信息流通的测度第46页，本讲稿共106页平均互信息量平均互信息量定义定义每对输入输出消息的互信息量发生的概率是平均互信息量:第47页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系
13、与各种熵的关系定义：为已知输出Y的情况下，输入信号X的信息熵，称为后验熵.后验熵是条件熵。第48页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系收到输出信号以前输入信号的信息熵收到输出信号以后输入信号的信息熵代表了收到输出信号后，获得的关于输入信号的平均信息量 第49页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系第50页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系另外根据有 第51页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系第52页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各
14、种熵的关系 输入信号原本有 的平均信息量，经过信道传输的却只有 的平均信息量，还有 损失在信道中，所以称为损失熵。是信道疑义度、后验熵，也称为损失熵。第53页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系损失熵也是条件自信息量的平均值 第54页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系 通过信道传输的平均信息量是 ，而输出信号的平均信息量是 ，多出 了 的平均信息量，多出来的平均 信息量是由信道噪声引起的，所以称之 为噪声熵是信道的散布度，也称为信道的噪声熵。第55页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系噪音熵
15、也是条件自信息量的平均值 第56页，本讲稿共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系第57页，本讲稿共106页平均互信息量与各种熵的关系平均互信息量与各种熵的关系第58页，本讲稿共106页平均互信息量平均互信息量计算计算平均互信息的求解：一般情况下，知道输入信号的概率分布 ，信道传递概率分布 ，求解 有三种方法：第59页，本讲稿共106页平均互信息量平均互信息量计算计算第一种方法：已知 ，很容易求求损失熵 要求 个后验概率第二种方法：用的较少第60页，本讲稿共106页平均互信息量平均互信息量计算计算第三种方法：求输出信号的熵，要求s个输出概率 结论：第三种方法计算量更小一些
16、第61页，本讲稿共106页平均互信息量平均互信息量例题例题设信源 ，通过一干扰信道 接收符号为 ，信道传输矩阵 为 ，求第62页，本讲稿共106页平均互信息量平均互信息量第63页，本讲稿共106页平均互信息量平均互信息量课堂作业课堂作业设信源X的符号集0,1,2，其概率分布为Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通过一信道，其信道线图为：第64页，本讲稿共106页平均互信息量平均互信息量性质性质第65页，本讲稿共106页平均互信息量平均互信息量性质性质数学证明如下：第66页，本讲稿共106页平均互信息量平均互信息量性质性质凸状性：第67页，本讲稿共106页平均互信息量平均
17、互信息量性质性质凸状性：定理定理1 1：当信道给定：当信道给定(即即P(Y|X)P(Y|X)给定给定),),平均互信平均互信息量息量I(X;Y)I(X;Y)是输入信号先验概率分布是输入信号先验概率分布P(X)P(X)的上的上凸函数。凸函数。定理定理2 2：当信源给定：当信源给定(即即P(X)P(X)给定给定),),平均互信平均互信息量息量I(X;Y)I(X;Y)是信道传递概率分布是信道传递概率分布P(Y|X)P(Y|X)的下的下凸函数。凸函数。第68页，本讲稿共106页平均互信息量平均互信息量性质性质这两个定理非常重要，是研究信道容量，率失真信源编码的理论基础。在信道容量的研究中，信道是固定的
18、，平均互信息 是输入信号概率分布 的函数，总存在最佳的概率分布，使平均互信息达到最大值，这个最大值就是信道容量 第69页，本讲稿共106页平均互信息量平均互信息量性质性质在率失真信源编码的研究中，把编码过程看作信道，输入的信号是固定的，平均互信息 只是传递概率分布 的函数，这时在满足失真度的情况下，要压缩的更多，就是要平均互信息尽量小 第70页，本讲稿共106页信道容量的定义 研究信道的目的就是研究信道所能够传输的最大信息量，即信道容量定义平均互信息量，即信道的信息率：定义信息传输速率：(单位：bit/s)第71页，本讲稿共106页信道容量的定义 根据定理一：对于特定信道，是输入信号的概率分布
19、 的上凸型凸函数，存在一种输入信号的概率分布，使 最大。定义最大的信息传输率或信息传输速率为信道容量相应的输入概率分布称为最佳输入分布第72页，本讲稿共106页信道容量的计算 求信道容量是本章的重点从数学的角度上分析，求信道容量是对一个特定的信道，调整输入信号的概率分布，求 的最大值的问题对于一般的信道，信道容量的计算非常复杂，我们仅研究一些特殊的信道容量第73页，本讲稿共106页离散无噪确定信道的信道容量 信道中没有干扰，输入符号和输出符号之间有一一对应的函数关系第74页，本讲稿共106页离散无噪确定信道的信道容量离散无噪确定信道的信道容量的最佳输入分离散无噪确定信道的信道容量的最佳输入分布
20、是等概分布。第75页，本讲稿共106页有噪无损信道的信道容量第76页，本讲稿共106页有噪无损信道的信道容量最佳输入分布是等概分布第77页，本讲稿共106页无噪有损信道的信道容量第78页，本讲稿共106页无噪有损信道的信道容量第79页，本讲稿共106页对称信道的信道容量信道的传递概率矩阵中，每一行都是另一行的置换，每一列也都是另一列的置换，这样的信道称为对称信道第80页，本讲稿共106页对称信道的信道容量作为对称信道的一个特殊形式，我们定义了强对称信道或称均匀信道对角线上的元素是正确概率 ，错误概率平均分配给其它个符号，每个符号的概率第81页，本讲稿共106页对称信道的信道容量要求信道容量，先
21、求平均互信息：首先看是传递矩阵某一行的传递概率第82页，本讲稿共106页对称信道的信道容量因为是对称矩阵，每一行都是其他行的置换，根据熵的对称性，有：所以有第83页，本讲稿共106页对称信道的信道容量要得到信道容量，就要求 最大，根据离散熵定理，就要 等概率分布因为是对称矩阵，每一列都是其它列的置换，只要输入信号的概率分布 为等概率分布，那么输出信号就是等概率分布第84页，本讲稿共106页对称信道的信道容量对于输入等概率，输出信号的概率第85页，本讲稿共106页对称信道的信道容量可以看到，只要输入信号等概率分布，那么输出信号也是等概率分布第86页，本讲稿共106页对称信道的信道容量举例：对称信
22、道第87页，本讲稿共106页对称信道的信道容量举例：强对称信道第88页，本讲稿共106页对称信道的信道容量举例：二元对称信道第89页，本讲稿共106页准对称信道的信道容量信道的传递概率矩阵可按输出符号集Y分成几个子矩阵，每个子矩阵表示的信道都是对称，则称这个信道是准对称信道第90页，本讲稿共106页准对称信道的信道容量第91页，本讲稿共106页准对称信道的信道容量【例】信道的转移概率矩阵如下，求信道容量 第92页，本讲稿共106页准对称信道的信道容量 分解为：分解为：第93页，本讲稿共106页准对称信道的信道容量这样转换为：已知了输入概率分布、转移概率分布，求平均互信息的问题准对称信道的最佳输
23、入分布是等概分布第94页，本讲稿共106页准对称信道的信道容量第95页，本讲稿共106页2元输入信道的信道容量 信道的输入信号的样本只有2个，我们可以设概率空间为：只有一个变量p，信道传递矩阵也已知，这样可以求出平均互信息 ，是一个包含一个变量p的表达式 第96页，本讲稿共106页2元输入信道的信道容量 现在就是要求这个表达式的最大值.高等数学中讲过极值的算法：对函数求导数，令导数等于0，根据此等式求出变量的值。再把此值带回到函数中，即可得到函数的极值第97页，本讲稿共106页2元输入信道的信道容量【例】二元删除信道，输入的取值有2个为（0,1)，输出的取值有3个为(0,1,2)，定义正确概率
24、p。BEC的传递矩阵如下，求信道容量第98页，本讲稿共106页2元输入信道的信道容量解：设输入0的概率为第99页，本讲稿共106页2元输入信道的信道容量第100页，本讲稿共106页一般DMC信道容量的计算方法总结第101页，本讲稿共106页信源与信道的匹配为了描述信源与信道的匹配程度，定义了信道剩余度：相对信道剩余度：为了提高信道利用率，就必须平均互信息尽量接近或达到信道容量，也就是使输入信号概率分布接近或达到最佳输入分布第102页，本讲稿共106页连续信道容量第103页，本讲稿共106页连续信道容量加性高斯噪声信道容量：第104页，本讲稿共106页信道模型信道容量对称信道容量准对称信道容量一般DMC信道容量第105页，本讲稿共106页作业n3.1 n3.2n3.5n3.8第106页，本讲稿共106页