《第4章波形信源和波形信道优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第4章波形信源和波形信道优秀PPT.ppt（48页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第4章波形信源和波形信道05-06学年上Elements of Information Theory1现在学习的是第1页，共48页05-06学年上Elements of Information Theory24、波形信源和波形信道u4.1 波形信源的统计特性和离散化u4.2 连续信源和波形信源的信息测度u4.3 具有最大熵的连续信源u4.4 熵功率u4.5 连续信源熵的变换u4.6连续信道和波形信道的分类u4.7连续信道和波形信道的信息传输率u4.8连续信道和波形信道的信道容量现在学习的是第2页，共48页05-06学年上Elements of Information Theory3 4.1波形
2、信源的统计特性和离散化u随机变量u随机过程u随机矢量现在学习的是第3页，共48页05-06学年上Elements of Information Theory4表4.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discrete source)/数字信源(Digital source)连续连续波形信源Waveform source/模拟信源(Analog source)连续离散连续信源(Continuous source)离散连续现在学习的是第4页，共48页05-06学年上Elements of Information Theory54.2连续信源和波形信源的信息测
3、度u连续信源的数学模型 并满足现在学习的是第5页，共48页05-06学年上Elements of Information Theory6u一维概率密度函数u一维概率分布函数u条件概率密度函数u联合概率密度函数现在学习的是第6页，共48页05-06学年上Elements of Information Theory7u假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为现在学习的是第7页，共48页05-06学年上Elements of Information Theory8u这样，连续变量 X 就可用取值为 xi 的离散变量 X
4、n 来近似。连续信源 X 被量化成离散信源。现在学习的是第8页，共48页05-06学年上Elements of Information Theory9u这时离散信源 Xn 的熵是u当n,0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn)的极限值就是连续信源的信息熵：现在学习的是第9页，共48页05-06学年上Elements of Information Theory10u定义连续信源的熵连续信源的熵为：u又称为差熵、微分熵、相对熵。u两随机变量的联合熵和条件熵：连续信源的差熵连续信源的差熵现在学习的是第10页，共48页05-06学年上Elements of Inform
5、ation Theory11连续信源差熵的性质u可加性：u凸状性和极值性：差熵 H(X)是输入概率密度函数 p(x)的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。现在学习的是第11页，共48页05-06学年上Elements of Information Theory12u差熵可为负值。例如，若概率密度函数为例如，若概率密度函数为则则现在学习的是第12页，共48页05-06学年上Elements of Information Theory13例：例：设有一连续随机变量，其概率密度函数为设有一连续随机变量，其概率密度函数为又有又有 试求这随机变量的熵。试求这随机变量的熵。现在学习的是
6、第13页，共48页05-06学年上Elements of Information Theory14连续信源的平均互信息连续信源的平均互信息两个连续随机变量两个连续随机变量X、Y的互信息定义为：的互信息定义为：单位为比特单位为比特/自由度或奈特自由度或奈特/自由度自由度现在学习的是第14页，共48页05-06学年上Elements of Information Theory15三种特殊连续信源的差熵u1、均匀分布连续信源的熵值 一维连续随机变量一维连续随机变量X在在 区间内均匀分布时区间内均匀分布时 比特比特/自由度自由度现在学习的是第15页，共48页05-06学年上Elements of In
7、formation Theory16推广：推广：均匀分布均匀分布N维连续信源的差熵为维连续信源的差熵为 现在学习的是第16页，共48页05-06学年上Elements of Information Theory17u2、高斯信源的熵值高斯信源是指信源输出的一维随机变量高斯信源是指信源输出的一维随机变量X的概率密度分布是正态分的概率密度分布是正态分布，即：布，即：该连续信源的熵为：该连续信源的熵为：现在学习的是第17页，共48页05-06学年上Elements of Information Theory18u3、指数分布连续信源的指数分布连续信源的熵值指数分布的一维连续信源指数分布的一维连续信源
8、X X的概率密度函数为：的概率密度函数为：其中常数其中常数a是一维连续信源是一维连续信源X的均值，的均值，该连续信源的熵为：该连续信源的熵为：现在学习的是第18页，共48页05-06学年上Elements of Information Theory194.3具有最大熵的连续信源u离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。现在学习的是第19页，共48页05-06学年上Elements of Information Theory20u在什么条件下，连续信源的熵最大？在不同的条件下，信源的最大熵也不同。在不同的条件下，信源的最大熵也不同。现在学习的是第2
9、0页，共48页05-06学年上Elements of Information Theory21u通通常常有有三三种种情情况况是是我我们们感感兴兴趣趣的的：一一种种是是信信源源输输出出值值受受限限的的情情况况，另另一一种种是是信信源源输输出出的的平平均均功功率率受受限限的的情情况况，还还有有一一种种是是均均值值受受限限的情况。下面分别讨论。的情况。下面分别讨论。现在学习的是第21页，共48页05-06学年上Elements of Information Theory22峰值功率受限条件下信源的最大熵（取值幅度受限）（取值幅度受限）u定理：定理：若信源输出的若信源输出的幅度被限定幅度被限定在在 区
10、域内，则当区域内，则当输出信号输出信号的概率密度分布是的概率密度分布是均均匀分布匀分布时，信源具有最大熵。时，信源具有最大熵。最大熵为：最大熵为：现在学习的是第22页，共48页05-06学年上Elements of Information Theory23u当当N维随机矢量维随机矢量取值受限取值受限时，也只有各随机时，也只有各随机分量统计独立时，并分量统计独立时，并均匀分布均匀分布时具有最大熵。时具有最大熵。最大熵为：最大熵为：现在学习的是第23页，共48页05-06学年上Elements of Information Theory24平均功率受限条件下信源的最大熵（方差受限）（方差受限）u定
11、理：若一个信源输出信号的定理：若一个信源输出信号的平均功率被限定平均功率被限定为为P，则其则其输出信号输出信号幅度的概率密度分布是幅度的概率密度分布是高高斯分布斯分布时，信源具有最大熵。时，信源具有最大熵。最大熵为：最大熵为：现在学习的是第24页，共48页05-06学年上Elements of Information Theory25均值受限条件下的最大连续熵定理均值受限条件下的最大连续熵定理（均值受限）（均值受限）u 若若连连续续信信源源X X输输出出非非负负信信号号的的均均值值受受限限，则则其其输输出出信信号号呈呈指指数数分分布布时时，连连续续信信源源X X具具有有最最大熵值。大熵值。最大
12、熵为：最大熵为：其中常数其中常数a是一维连续信源是一维连续信源X的均值的均值现在学习的是第25页，共48页05-06学年上Elements of Information Theory264.4 连续信源熵的变换u从信源发出的消息大都要通过一系列的信息从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息处理设备处理后才在信道中传输。任何信息处理设备都可用下图所示来表示，可以认为这是一种都可用下图所示来表示，可以认为这是一种坐标变换。坐标变换。现在学习的是第26页，共48页05-06学年上Elements of Information Theory27u设连续平稳信源输出的是设连续
13、平稳信源输出的是N维连续型随机矢量维连续型随机矢量 ,将它送入信息处理网络，其输出为另一个将它送入信息处理网络，其输出为另一个N维随机矢量维随机矢量 Y和和X之间的变换关系如下：之间的变换关系如下：现在学习的是第27页，共48页05-06学年上Elements of Information Theory28u在在离离散散信信源源中中，若若有有确确定定的的对对应应变变换换关关系系，变变换换后后信信源源熵熵是是不不变变的的。问问：在在连连续续信信源源中中，输输出出的的消消息息经经过过变变换换后后，其其熵熵（差差熵熵）会不会发生改变？会不会发生改变？u下下面面我我们们将将讨讨论论这这个个问问题题。从
14、从数数学学上上讲讲，这这可归纳为坐标变换的问题。可归纳为坐标变换的问题。现在学习的是第28页，共48页05-06学年上Elements of Information Theory29坐标变换后概率密度函数的变化坐标变换后概率密度函数的变化 u已知已知Y Y和和X X之间有一一对应关系之间有一一对应关系,则则X X也可以表也可以表示位示位Y Y的单值连续函数。的单值连续函数。现在学习的是第29页，共48页05-06学年上Elements of Information Theory30引入雅可比行列式引入雅可比行列式 定义：定义：证明可得证明可得现在学习的是第30页，共48页05-06学年上Ele
15、ments of Information Theory31经分析可得坐标变化后新旧概率密度函数的关系为：经分析可得坐标变化后新旧概率密度函数的关系为：结结论论：除除非非雅雅可可比比行行列列式式等等于于1，否否则则，在在一一般般情情况况下下，连连续续型型随随机机变变量量通通过过变变化化后后其其概概率率密密度度函函数数会会发发生变化。生变化。现在学习的是第31页，共48页05-06学年上Elements of Information Theory32坐标变换后差熵的变化坐标变换后差熵的变化 u经过计算可得变换后连续信源的差熵为：经过计算可得变换后连续信源的差熵为：现在学习的是第32页，共48页05
16、-06学年上Elements of Information Theory33u一一、熵熵速速率率：信信源源在在单单位位时时间间内内输输出出的的熵称为信源的熵速率。熵称为信源的熵速率。u若若信信源源是是时时间间连连续续、信信号号带带宽宽为为F的的连连续续信信源源，根根据据随随机机信信号号的的抽抽样样定定理理，可可用用2F的的速速率率对对信信源源进进行行采采样样。因因此此，连连续续信源的熵速率为：信源的熵速率为：4.5熵速率和熵功率现在学习的是第33页，共48页05-06学年上Elements of Information Theory34当当信信号号平平均均功功率率受受限限时时，高高斯斯分分布布
17、信信源源的的熵熵最最大。令其平均功率为大。令其平均功率为P，则其熵为：，则其熵为：若另一信号若另一信号Y的平均功率也为的平均功率也为P，但不是高斯，但不是高斯分布，那它的熵一定比上式计算的小，即：分布，那它的熵一定比上式计算的小，即：现在学习的是第34页，共48页05-06学年上Elements of Information Theory35u二、熵功率：二、熵功率：若平均功率为若平均功率为P的非高斯分布的的非高斯分布的信源具有熵为信源具有熵为 ,称熵也为称熵也为 的高斯的高斯信源的平均功率为熵功率信源的平均功率为熵功率 .由于当平均功率受限时一般信源的熵小于高斯分布信源的由于当平均功率受限时
18、一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率熵，所以信号的熵功率总小于信号的实际平均功率P，即即 现在学习的是第35页，共48页05-06学年上Elements of Information Theory36u三、连续信源的剩余度三、连续信源的剩余度u熵熵功功率率的的大大小小可可以以表表示示连连续续信信源源剩剩余余的的大大小小。若若熵熵功功率率等等于于信信号号平平均均功功率率，就就表表示示信信号号没没有有剩剩余余。熵熵功功率率和和信信号号的的平平均均功功率率相相差差越越大大，说说明明信信号号的的剩剩余余越越大大。所所以以，信信号号平平均均功功率率和和熵熵功率之差被
19、称为连续信源的剩余度。功率之差被称为连续信源的剩余度。连续信源的剩余度连续信源的剩余度=现在学习的是第36页，共48页05-06学年上Elements of Information Theory374.6连续信道和波形信道的分类u波形信道：当信道的输入和输出都是随波形信道：当信道的输入和输出都是随机过程机过程 和和 时，这个信称为波形信时，这个信称为波形信道。道。它不仅在时间上是连续的，幅度上也是连它不仅在时间上是连续的，幅度上也是连续的。实际模拟通信系统中，信道都是续的。实际模拟通信系统中，信道都是波形信道。波形信道。现在学习的是第37页，共48页05-06学年上Elements of In
20、formation Theory38u研研究究波波形形信信道道就就要要研研究究噪噪声声。在在通通信信系系统统中中，可可把把来来自自各各部部分分的的噪噪声声都都集集中中在在一一起起，认认为为是是通过信道加入的。通过信道加入的。u（1）按噪声的统计特性进行分类有：）按噪声的统计特性进行分类有：u高高斯斯噪噪声声信信道道、白白噪噪声声信信道道、高高斯斯白白噪噪声声信道和有色噪声信道等。信道和有色噪声信道等。u（2）按按噪噪声声对对信信号号的的作作用用共共能能来来分分有有：加加性性信道和乘性信道。信道和乘性信道。现在学习的是第38页，共48页05-06学年上Elements of Informatio
21、n Theory39信道按噪声统计特性的分类信道按噪声统计特性的分类 u1、高斯噪声信道、高斯噪声信道u定定义义：信信道道中中的的噪噪声声是是高高斯斯噪噪声声，这这个个信信道道称称之之为为高斯噪声信道。高斯噪声信道。u其瞬时值的概率密度函数服从正态分布其瞬时值的概率密度函数服从正态分布。u高斯噪声的一维概率密度函数为：高斯噪声的一维概率密度函数为：现在学习的是第39页，共48页05-06学年上Elements of Information Theory40u2、白噪声信道、白噪声信道u定定义义：信信道道中中的的噪噪声声是是白白噪噪声声，即即噪噪声声是是平平稳稳随随机机过过程程，其其功功率率谱谱
22、密密度度均均匀匀分分布布于于整整个个频频域域，这这个个信信道道称称为白噪声信道。为白噪声信道。u其功率谱密度为一常数：其功率谱密度为一常数：现在学习的是第40页，共48页05-06学年上Elements of Information Theory41u3、高斯白噪声、高斯白噪声u定定义义：具具有有高高斯斯分分布布规规律律的的白白噪噪声声称称为为高高斯斯白白噪噪声。声。u高斯噪声是指它的高斯噪声是指它的N维概率密度函数服从高斯分布，维概率密度函数服从高斯分布，并不涉及其功率密度的形状；白噪声则是就其功率并不涉及其功率密度的形状；白噪声则是就其功率谱密度是均匀分布而言，而不论它服从什么样的概谱密度
23、是均匀分布而言，而不论它服从什么样的概率分布。在一般情况下，率分布。在一般情况下，把概率密度函数服从高把概率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。斯白噪声。现在学习的是第41页，共48页05-06学年上Elements of Information Theory42u4、有色噪声信道、有色噪声信道u除白噪声以外的噪声称为有色噪声。除白噪声以外的噪声称为有色噪声。u定定义义：信信道道的的 噪噪声声是是有有色色噪噪声声，称称此此信信道道为为有色噪声信道。有色噪声信道。现在学习的是第42页，共48页05-06学年上Elements
24、 of Information Theory43信道按噪声对信号的作用功能信道按噪声对信号的作用功能分类分类u1、乘性信道、乘性信道u定定义义：若若信信道道中中噪噪声声对对信信号号的的干干扰扰作作用用表表现现为为与与信信号号相相乘乘的的关关系系，则则此此信信道道称称为乘性信道。此噪声为乘性干扰。为乘性信道。此噪声为乘性干扰。u2、加性信道、加性信道u定定义义：若若信信道道中中噪噪声声对对信信号号的的干干扰扰作作用用表表现现为为与与信信号号相相加加的的关关系系，则则此此信信道道称称为加性信道。此噪声为加性干扰。为加性信道。此噪声为加性干扰。现在学习的是第43页，共48页05-06学年上Eleme
25、nts of Information Theory44连续信道的信息传输速率连续信道的信息传输速率u一、单维连续信道的平均互信息一、单维连续信道的平均互信息单维连续信道的数学模型为单维连续信道的数学模型为 输入输入X和输出和输出Y之间的平均互信息为之间的平均互信息为 单维连续信道的信息传输速率为：单维连续信道的信息传输速率为：现在学习的是第44页，共48页05-06学年上Elements of Information Theory45u二、多维连续信道的平均互信息二、多维连续信道的平均互信息 u多维连续信道的数学模型为多维连续信道的数学模型为其信道转移概率密度函数其信道转移概率密度函数满足下表
26、达式：满足下表达式：其平均互信息为：其平均互信息为：现在学习的是第45页，共48页05-06学年上Elements of Information Theory46u多维连续信道的信息传输速率为：多维连续信道的信息传输速率为：u 平均每个自由度的信息传输率为平均每个自由度的信息传输率为 现在学习的是第46页，共48页05-06学年上Elements of Information Theory47连续信道平均互信息的特性连续信道平均互信息的特性u1 1、非负性、非负性 u2、对称性对称性u3 3、凸状性：连续变量之间的平均互信息、凸状性：连续变量之间的平均互信息 是输入连续变量是输入连续变量X X
27、的概率密度函数的概率密度函数 的上凸的上凸函数；函数；又是连续信道转移概率密度函数又是连续信道转移概率密度函数的下凸函数的下凸函数。现在学习的是第47页，共48页05-06学年上Elements of Information Theory48u4 4、信息不增性（又称数据处理定理）、信息不增性（又称数据处理定理）若连续随机变量若连续随机变量 形成马尔可夫链，形成马尔可夫链，则则 5 5、坐标变换平均互信息的不变性、坐标变换平均互信息的不变性 前前面面学学习习已已知知，通通过过一一一一对对应应的的变变换换，差差熵熵会会发生变化，但传输的平均互信息是不变的。发生变化，但传输的平均互信息是不变的。现在学习的是第48页，共48页