《第6章 连续信源精选文档.ppt》由会员分享，可在线阅读，更多相关《第6章 连续信源精选文档.ppt（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第6章章 连续信源连续信源本讲稿第一页，共三十二页本章主要内容6.16.1连续信源的熵连续信源的熵6.26.2几种常见的连续信源的熵几种常见的连续信源的熵6.36.3连续最大熵定理连续最大熵定理2本讲稿第二页，共三十二页6.1 连续信源及其熵1.连续信源的特征连续信源的特征2.连续信源的熵连续信源的熵 3本讲稿第三页，共三十二页6.1.1连续信源的特征连续信源的特征l离散信源：文字、数据、电报离散信源：文字、数据、电报随机序列随机序列l连续信源：话音、图像连续信源：话音、图像随机过程随机过程1.输出的消息数是无限的，每个可能的消息是随机过输出的消息数是无限的，每个可能的消息是随机过程程x(t
2、)x(t)的一个样本函数的一个样本函数X(t)X(t)，时间取值和幅度取，时间取值和幅度取值无限。值无限。4本讲稿第四页，共三十二页2.2.可采用可采用n n维概率密度函数来描述维概率密度函数来描述3.3.平稳性：不随时间平移而变化的过程平稳性：不随时间平移而变化的过程4.4.遍历性：时间平均遍历性：时间平均=集平均集平均5本讲稿第五页，共三十二页6.1.2连续信源的熵连续信源的熵l问题：如何来求解？问题：如何来求解？先将连续信源在时间上离散化，再对连续变量进行先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化分层，并用离散变量来逼近连续变量。量化间隔越小，
3、离散变量与连续变量越接近，量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。当量化间隔趋近于零时，离散变量就等于连续变量。6本讲稿第六页，共三十二页连续信源的表达方式：连续信源的表达方式：l（用（用概率密度函数概率密度函数pX(x)来表示来表示）l概率空间：概率空间：7本讲稿第七页，共三十二页离散化利用中值定理，可以知道x落入第I个区间的概率：px(x)为连续变量为连续变量X的概率密度函数的概率密度函数xi：a(i-1)x,aix 8本讲稿第八页，共三十二页l连续变量连续变量X就可用取值为就可用取值为xi的离散变量的离散变量Xn来近来近似，连续信源变为离散信
4、源似，连续信源变为离散信源根据离散信源熵的定义，则：9本讲稿第九页，共三十二页上式的第一项具有离散信源熵的形式，是定值，第二项为无穷大。上式的第一项具有离散信源熵的形式，是定值，第二项为无穷大。l不考虑第二项无穷大项，因此不考虑第二项无穷大项，因此,连续信源熵连续信源熵(也叫相对熵也叫相对熵)定定义为义为:10本讲稿第十页，共三十二页说明说明:l为什么连续信源的不确定度为为什么连续信源的不确定度为无穷大无穷大?虽然连续信源熵与离散信源熵具有相同的形式，但其虽然连续信源熵与离散信源熵具有相同的形式，但其意义不同。连续信源的不确定度应为无穷大，这是因为意义不同。连续信源的不确定度应为无穷大，这是因
5、为连续信源可以假设是一个不可数的无限多个幅度值的信连续信源可以假设是一个不可数的无限多个幅度值的信源，源，需要无限多个二进制比特来表示，因而它的熵为无需要无限多个二进制比特来表示，因而它的熵为无穷大穷大(绝对熵绝对熵)。但采用上式来定义连续信源的熵是因为。但采用上式来定义连续信源的熵是因为在实际问题中，常遇到的是熵之间的差，如互信息量，在实际问题中，常遇到的是熵之间的差，如互信息量，只要两者逼近时所取的只要两者逼近时所取的一致，上式中第二项无穷大量一致，上式中第二项无穷大量是抵消的。是抵消的。11本讲稿第十一页，共三十二页l连续信源的熵连续信源的熵由两部分组成：一部分为绝对熵，由两部分组成：一
6、部分为绝对熵，其值为无限大，用其值为无限大，用 h 0(x)表示表示；另一部为差另一部为差熵或微分熵，用熵或微分熵，用 h(X)表示。表示。差熵的单位：比特差熵的单位：比特(奈特奈特)/自由度自由度l连续信源的条件熵连续信源的条件熵也由两部分组成：一部分为也由两部分组成：一部分为绝对熵，绝对熵，其值为无限大，用其值为无限大，用 h0(x/y)表示；另表示；另一部分为差熵，用一部分为差熵，用h(X/Y)表示，表示，12本讲稿第十二页，共三十二页l连续信源条件熵连续信源条件熵l连续信源联合熵连续信源联合熵l设设X、Y为两个连续随机变量集合，它们的为两个连续随机变量集合，它们的平均互信息平均互信息定
7、义为：定义为：I(X;Y)l l h(X)h(X/Y)l h(X)h(Y)h(XY)l h(Y)h(Y/X)13本讲稿第十三页，共三十二页连续信源平均互信息的性质连续信源平均互信息的性质1）对称性，即）对称性，即 I(X;Y)=I(Y;X)2）非负性，即非负性，即 I(X;Y)0连续信源之间的平均互信息保持与离散情况类似的性质。连续信源之间的平均互信息保持与离散情况类似的性质。14本讲稿第十四页，共三十二页差熵的性质差熵的性质1.与离散熵的类似性与离散熵的类似性 1)计算表达式类似计算表达式类似 将离散概率变成概率密度将离散概率变成概率密度，将离散求和变成积分。，将离散求和变成积分。2)熵的不
8、增性：熵的不增性：h(X)h(X/Y)3)可加性可加性h(XY)h(X)h(Y/X)h(Y)h(X/Y)设设 N 维高斯随机变量维高斯随机变量 集合集合XN=X1X2XN,则有则有 h(XN)=h(X1)+h(X2/X1)+h(XN/X1X2XN-1)h(X1)+h(X2)+h(XN)15本讲稿第十五页，共三十二页2与离散熵的差别与离散熵的差别 1)差熵实际上只是连续信源熵差熵实际上只是连续信源熵 的一部分，因此不能作为的一部分，因此不能作为信源平均不确定性的量度；信源平均不确定性的量度；2)差熵不具有非负性；差熵不具有非负性；3)在一一对应变换的条件下，差熵可能发生变化。在一一对应变换的条件
9、下，差熵可能发生变化。16本讲稿第十六页，共三十二页 0 1 2 3 x1/2Px(x)（a）信源输出信号概率密度）信源输出信号概率密度例例6-1 已知信源概率密度，求连续熵？已知信源概率密度，求连续熵？17本讲稿第十七页，共三十二页6.2几种常见的信源熵几种常见的信源熵1.均匀分布均匀分布2.高斯分布高斯分布3.指数分布指数分布18本讲稿第十八页，共三十二页差熵差熵举例已知:求求h(X)解:=19本讲稿第十九页，共三十二页6.3最大熵定理最大熵定理l提出问题提出问题:在连续信源中，当概率密度函数满足什么条在连续信源中，当概率密度函数满足什么条件时才能使连续信源相对熵最大？件时才能使连续信源相
10、对熵最大？1.峰值功率受限的最大相对熵定理峰值功率受限的最大相对熵定理:对于定义域为有限的随机矢量对于定义域为有限的随机矢量X，当它是均匀分布时，当它是均匀分布时，其熵最大。其熵最大。2.限平均功率最大相对熵定理限平均功率最大相对熵定理:对于相关矩阵一定的随机矢量对于相关矩阵一定的随机矢量X，当它是正态分布时具，当它是正态分布时具有最大相对熵。有最大相对熵。20本讲稿第二十页，共三十二页1.峰值功率受限的最大相对熵定理 l对于定义域为有限的随机矢量对于定义域为有限的随机矢量X，当它是均匀分布时，当它是均匀分布时，其熵最大。其熵最大。证明证明:已知已知变量变量X的幅度取值限制在的幅度取值限制在a
11、,b，则，则由由，有有 ，对于对于由拉格郎日乘数法知由拉格郎日乘数法知 21本讲稿第二十一页，共三十二页l令 有有22本讲稿第二十二页，共三十二页l当任意 符合平均分布条件 时，信源达到最大熵。23本讲稿第二十三页，共三十二页2.限平均功率最大相对熵定理 l对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大相对熵。l定理：对于单维连续信源定理：对于单维连续信源X来说，在取值区间来说，在取值区间a,b（或（或R)内，若有内，若有这样一个概率密度函数这样一个概率密度函数 对另一个满足同样约束条件的概率密度对另一个满足同样约束条件的概率密度函数函数 ，如有，如有 则这个概率密度函数则这个概率密度
12、函数 就是使单维连续信源就是使单维连续信源X的相对熵达到最的相对熵达到最大值的概率密度函数，其最大相对熵是：大值的概率密度函数，其最大相对熵是：24本讲稿第二十四页，共三十二页证明证明:设：设：连续信源连续信源X在整个实数轴在整个实数轴R:（-，）取值，取值，其平均功率限定为其平均功率限定为P(均值固定为均值固定为m)。若。若 是是 满足平均功率限定条件（均值固定为满足平均功率限定条件（均值固定为m）的除）的除 了正态分布的概率密度函数以外的任一概率密了正态分布的概率密度函数以外的任一概率密 度函数，即有度函数，即有 25本讲稿第二十五页，共三十二页 若若把把连连续续信信源源X在在取取值值区区
13、间间（-，）内内满满足足平平均均功功率率限限定定条条件件（均均值值固固定定为为m）的的正正态态分分布布的的概概率率密密度度函函数记为数记为 ,则有则有 =1 （4）=m （5）=P （6）26本讲稿第二十六页，共三十二页 符符合合约约束束条条件件（4）和和（5）及及（6）式式的的正正态态分分布的概率密度函数布的概率密度函数 其中：其中：m为数学期望，为数学期望，是方差是方差 27本讲稿第二十七页，共三十二页 由于平均功率由于平均功率P是限定值（均值固定为是限定值（均值固定为m），），所以方差所以方差 也是限定值也是限定值（7）本讲稿第二十八页，共三十二页l由由(1),(2),和和(3)及及(4)式可有式可有 29本讲稿第二十九页，共三十二页30本讲稿第三十页，共三十二页 这就证明了，平均功率限定这就证明了，平均功率限定P（均值固定为（均值固定为m）的连续信源）的连续信源X，当输出消息的概率密度函数为高，当输出消息的概率密度函数为高斯分布的概率密度函数斯分布的概率密度函数p(x)时，其相对熵时，其相对熵H(X)达达到最大值到最大值Hp(X)，其值只取决于限定的平均功率，其值只取决于限定的平均功率（固定均值为（固定均值为m）,即取决于方差即取决于方差 31本讲稿第三十一页，共三十二页熵功率熵功率l平均功率受限平均功率受限32本讲稿第三十二页，共三十二页