《第6讲——连续信源的数学模型及其信息测度.pdf》由会员分享，可在线阅读，更多相关《第6讲——连续信源的数学模型及其信息测度.pdf（24页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、连续信源的数学模型及其测度连续信源的数学模型及其测度连续信源的数学模型连续信源的数学模型连续信源的数学模型连续信源的数学模型及其测度及其测度及其测度及其测度第六讲第六讲第六讲第六讲信源的数学模型信源的数学模型信源的信息测度信源的信息测度 随机变量、随机序列随机变量、随机序列 简单离散信源：简单离散信源：H(X)离散无记忆信源：离散无记忆信源：H(X)离散有记忆信源：离散有记忆信源：H(X)Review=HL(X)=H(X)离散信源离散信源连续信源的数学模型及其测度连续信源的数学模型及其测度连续信源的数学模型连续信源的数学模型连续信源的数学模型连续信源的数学模型及其测度及其测度及其测度及其测度第
2、六讲第六讲第六讲第六讲5.1 5.1 5.1 5.1 连续信源的数学连续信源的数学连续信源的数学连续信源的数学模型模型模型模型输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。连续信源输出的状态概率用概率密度来表示。连续信源输出的状态概率用概率密度来表示。连续信源的数学模型连续信源的数学模型(,)()()()1baXa bp xp xp x dx=并满足5.2 5.2 5.2 5.2 连续信源的连续信源的连续信源的连续信源的信息测度信息测度信息测度信息测度考虑一个定义在
3、在考虑一个定义在在a,b区间的连续随机变量，如下图区间的连续随机变量，如下图首先把首先把X的取值区间的取值区间a,b分割为分割为n个小区间，小区间宽度为个小区间，小区间宽度为=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系，根据概率分布与概率密度曲线区间面积的关系X取值为取值为xi的概率为的概率为p(xi).，于是得到离散信源，于是得到离散信源Xn的概率源空间为：的概率源空间为：p(x)p(xi)a 0 xi b x连续熵连续熵x1x2xnp(x1)p(x2)p(xn)其中其中1()()1nbiaip xp x dx=按离散信源熵定义按离散信源熵定义1()()log()nniiiH
4、Xp xp x=log)()(log)(11niiniiixpxpxp1()log()logniiip xp x=当当0，n时，时，Xn接近于连续随机变量接近于连续随机变量X，这时可得连续信源的熵为：，这时可得连续信源的熵为：loglim)(log)(0=badxxpxp+=)(XHc=niiinnnxpxpXHXH100log)(log)(lim)(lim)(绝对熵绝对熵相对熵相对熵x1x2xnp(x1)p(x2)p(xn)定义定义=bacdxxpxpXH)(log)()(1)连续信源熵为相对熵，其值为绝对熵减去一个无穷大量连续信源熵为相对熵，其值为绝对熵减去一个无穷大量(因为连续信源有无穷
5、多个状态）因为连续信源有无穷多个状态）2)连续信源熵不具有非负性，可以为负值；连续信源熵不具有非负性，可以为负值；4)尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，因此，当分析其互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而不影响分析。尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，因此，当分析其互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而不影响分析。3)连续信源熵不等于一个消息状态具有的平均信息量，其值是有限的，而信息量是无限的；连续信源熵不等于一个消息状态具有的平均信息量，其值是有限
6、的，而信息量是无限的；连续熵连续熵连续变量的联合熵和条件熵连续变量的联合熵和条件熵222()()log()(/)()log(/)(/)()log(/)cxycxycxyHXYp xyp xy dxdyHXYp xyp xy dxdyHYXp xyp yx dxdy=连续熵连续熵(;)()(|)()(|)()()()CCCCCCCI X YH XH X YH YH Y XH XH YH XY=+平均互信息量平均互信息量 均匀分布的连续信源的熵：均匀分布的连续信源的熵：:()ln()cHXba=一维均匀分布 高斯分布的连续信源的熵：高斯分布的连续信源的熵：21()ln22cHXe=连续熵实例连续熵
7、实例仅与区域的边界有关与数学期望无关，仅与方差有关仅与区域的边界有关与数学期望无关，仅与方差有关11:()ln()ln()NNciiiiiiNHXbaba=维均匀分布 性质性质 连续熵可为负值（连续熵的相对性所致）连续熵可为负值（连续熵的相对性所致）可加性可加性 平均互信息的非负性，对称性，信息处理定理平均互信息的非负性，对称性，信息处理定理);();();();(0);(YXIZXIXYIYXIYXIccccc=)/()()/()()(YXHYHXYHXHXYHccccc+=+=连续熵的性质连续熵的性质5.3 5.3 5.3 5.3 最大连续熵定理最大连续熵定理最大连续熵定理最大连续熵定理
8、峰值功率受限的最大熵定理峰值功率受限的最大熵定理若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内取值，则内取值，则X的相对熵的相对熵()ln2cHXM当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。平均功率受限的最大熵定理平均功率受限的最大熵定理若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则X服从正态分布时的相对熵最大，即服从正态分布时的相对熵最大，即()21ln2ln22cHXee =连续信源与离散信源不同，连续信源与离散信源不同，1)它不存在绝对最大熵它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。其最大熵与信源的
9、限制条件有关。最大连续熵定理最大连续熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内取值，则内取值，则X的相对熵的相对熵()ln2cHXM当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。平均功率受限的最大熵定理平均功率受限的最大熵定理若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则X服从正态分布时的相对熵最大，即服从正态分布时的相对熵最大，即()21ln2ln22cHXee =最大连续熵定理最大连续熵定理证明：应用拉格朗日乘因子法，首先构造函数证明：应用拉格朗日乘因子法，
10、首先构造函数MMcdxxpXH)()(由相对熵定义，可得由相对熵定义，可得()ln()()MMMMp xp x dxp x dx()ln()MMp xe p x dx=()lnMMp xe dx11()ln()1()()MMMMp xdxp xdxe p xe p x=21Me=当且仅当当且仅当11,()()p xee p x=即时，等号成立。将其代入约束条件时，等号成立。将其代入约束条件1=MMdxxp)(可得可得1/2eM=，则有，则有()ln()ln2MMp xp x dxMMxp2/1)(=于是有于是有()ln2cHXMX (-M,M)峰值功率受限的最大熵定理峰值功率受限的最大熵定理若
11、连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内取值，则内取值，则X的相对熵的相对熵()ln2cHXM当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。平均功率受限的最大熵定理平均功率受限的最大熵定理若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则X服从正态分布时的相对熵最大，即服从正态分布时的相对熵最大，即()21ln2ln22cHXee =最大连续熵定理最大连续熵定理证明：考虑到约束条件证明：考虑到约束条件=dxmxxp22)(应用拉格朗日乘因子法计算极大值应用拉格朗日乘因子法计算极大值212()ln()()()()MMp x
12、p x dxp x dxp x xm dx212()()ln()x meep xdxp x=当且仅当当且仅当212()()x mp xee=时，等号成立。将其代入两个约束条件，即可求得时，等号成立。将其代入两个约束条件，即可求得和和1=dxxp)(212()()1()x meep xdxp x22221)()(mxexp=于是有于是有()21ln2ln22cHXee =X的方差一定的方差一定()ln2cHXe 5.4 5.4 5.4 5.4 熵功率熵功率熵功率熵功率当平均功率受限时，高斯分布信源的熵最大，若令其平均功率为，则其熵为当平均功率受限时，高斯分布信源的熵最大，若令其平均功率为，则其熵
13、为221()ln22CHXe=22熵功率熵功率若平均功率为的信源具有熵为若平均功率为的信源具有熵为HC(X)，则称熵为，则称熵为HC(X)的高斯信源的平均功率为熵功率的高斯信源的平均功率为熵功率2222()212CHXee=若另一信源的平均功率仍为，则它的熵一定小于若另一信源的平均功率仍为，则它的熵一定小于HC(X)222222连续信源的剩余度连续信源的剩余度平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率。熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差，称为连续信源的平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率
14、总小于信号的实际平均功率。熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差，称为连续信源的剩余度剩余度。设设pXY是是(xy)二维高斯概率密度函数二维高斯概率密度函数=2222)()1(21exp121)(xxyxXYmxxyp222()()()xyyxyyxmymym+求求X与与Y的平均互信息。的平均互信息。例 题例 题作业作业2.28 2.29本节小结本节小结（内容见课本（内容见课本32-39页）页）连续信源的数学模型连续信源的数学模型连续信源的相对熵连续信源的相对熵 随机过程随机过程 定义及含义定义及含义 连续型随机变量或随机序列连续型随机变量或随机序列 性质：性质：可加性、极值性（最大熵定理）可加性、极值性（最大熵定理）熵功率熵功率平均互信息平均互信息 定义、含义及性质定义、含义及性质