《第三章 信源精选文档.ppt》由会员分享，可在线阅读，更多相关《第三章 信源精选文档.ppt（78页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第三章信源本讲稿第一页，共七十八页信源的分类及其数学模型第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l信源是产生消息（符号）、消息序列（符号序列）以及时间连信源是产生消息（符号）、消息序列（符号序列）以及时间连续的消息的来源。续的消息的来源。l 信源的主要问题：信源的主要问题：如何描述信源的输出（信源的建模问题）如何描述信源的输出（信源的建模问题）怎样确定信源产生的信息量怎样确定信源产生的信息量 信源编码信源编码多符号信源多符号信源连续信源连续信源信源分类信源分类单符号信源单符号信源本讲稿第二页，共七十八页时间（空间）取值信源种类举例消息的数学描述离散离散离
2、散信源（数字信源）文字、数据、离散化图象离散随机变量序列离散连续连续信源连续随机变量序列连续连续波形信源（模拟信源）语音、音乐、热噪声、图形、图象随机过程连续离散不常见根据信源输出消息在时间和取值上是离散或连续分类：根据信源输出消息在时间和取值上是离散或连续分类：本讲稿第三页，共七十八页信源的分类及其数学模型多符号信源多符号信源连续信源连续信源信源分类信源分类单符号信源单符号信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四页，共七十八页l 本章重点研究本章重点研究离散平稳无记忆信源离散平稳无记忆信源，以及较简单的有记忆，以及较简单的有记忆信源信源马
3、尔可夫信源马尔可夫信源。l 根据信源发出的单个消息取值是离散值还是连续值，信源可根据信源发出的单个消息取值是离散值还是连续值，信源可分为分为离散离散信源信源/连续连续信源。信源。l 根据信源发出的消息序列之间是否有统计依赖关系，信源可根据信源发出的消息序列之间是否有统计依赖关系，信源可分为分为有记忆有记忆信源信源/无记忆无记忆信源。信源。l 根据根据信源发出的消息序列中的消息，统计特性是否保持不变，信信源发出的消息序列中的消息，统计特性是否保持不变，信源可分为源可分为平稳平稳信源信源/非平稳非平稳信源。信源。信源的分类及其数学模型多符号信源多符号信源连续信源连续信源信源分类信源分类单符号信源单
4、符号信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第五页，共七十八页二：离散单符号信源二：离散单符号信源三：离散多符号信源三：离散多符号信源一：一：信源的分类及其数学模型信源的分类及其数学模型四：连续信源四：连续信源第三章：信源及信源熵 本讲稿第六页，共七十八页离散单符号信源离散单符号信源l 离散单符号信源：输出离散取值的单个符号的信源。离散单符号信源：输出离散取值的单个符号的信源。离散单符号信源是最简单、最基本的信源，是组成实际信源的基本单元，可离散单符号信源是最简单、最基本的信源，是组成实际信源的基本单元，可以用一个离散随机变量来表示。以用一个离
5、散随机变量来表示。l 离散单符号信源离散单符号信源X的概率空间：的概率空间：多符号信源多符号信源连续信源连续信源单符号信源单符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第七页，共七十八页离散单符号信源（续）离散单符号信源（续）l 信源输出的所有消息的自信息的信源输出的所有消息的自信息的 统计平均值，定义为统计平均值，定义为信源的信源的平均自信息平均自信息（信息熵信息熵）：）：l 信息熵表示离散单符号信源的平均不确定性。信息熵表示离散单符号信源的平均不确定性。多符号信源多符号信源连续信源连续信源单符号信源单符号信源信源分类信源分类
6、第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第八页，共七十八页一：一：信源的分类及其数学模型信源的分类及其数学模型二：离散单符号信源二：离散单符号信源三：离散多符号信源三：离散多符号信源1.预备知识预备知识2.离散平稳无记忆信源离散平稳无记忆信源3.离散平稳有记忆信源离散平稳有记忆信源4.马尔可夫信源马尔可夫信源5.信源的相关性和剩余度信源的相关性和剩余度四：连续信源四：连续信源第三章：信源及信源熵 本讲稿第九页，共七十八页1.预备知识l实际信源输出往往是符号序列，称为实际信源输出往往是符号序列，称为离散多符号信源离散多符号信源。l离散多符号信源可以用
7、离散多符号信源可以用随机矢量随机矢量/随机变量序列来描述，随机变量序列来描述，即即l一般来说，一般来说，信信源的统计特性随着时间的推移而有所变化。为源的统计特性随着时间的推移而有所变化。为了便于研究，我们常常假定在一个较短的时间段内，信源是了便于研究，我们常常假定在一个较短的时间段内，信源是平稳信源。平稳信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十页，共七十八页1.预备知识（续1）定义定义1：对于离散随机变量序列：对于离散随机变量序列 ，若任意两个不同时刻，若任意两个不同
8、时刻i和和j(大大于于1的任意整数的任意整数)信源发出消息的概率分布完全相同，即对于任意的信源发出消息的概率分布完全相同，即对于任意的 ，和和 具有相同的概率分布。也就是具有相同的概率分布。也就是即各维联合概率分布均与时间起点无关的信源称为即各维联合概率分布均与时间起点无关的信源称为离散平稳信源离散平稳信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十一页，共七十八页1.预备知识（续2）对离散平稳信源，由联合概率与条件概率的关系可以推出：对离散平稳信源，由联合概率与条件概率的关
9、系可以推出：因此：因此：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十二页，共七十八页1.预备知识（续3）定义定义2：随机变量序列中，对前随机变量序列中，对前N个随机变量的联合熵求平均称为个随机变量的联合熵求平均称为平均符平均符号熵号熵：如果当如果当 时上式极限存在，则时上式极限存在，则 被称为被称为熵率熵率，或，或极极限熵限熵，记为，记为 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：
10、信源及信源熵本讲稿第十三页，共七十八页2.离散平稳无记忆信源l为了研究离散平稳无记忆信源的极限熵，把信源输出的符号为了研究离散平稳无记忆信源的极限熵，把信源输出的符号序列看成是一组一组发出的。序列看成是一组一组发出的。例例1：电报系统中，可以认为每电报系统中，可以认为每2个二进制数字组成一组。这样信个二进制数字组成一组。这样信源输出的是由源输出的是由2个二进制数字组成的一组组符号。这时可以将它们个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号等效看成一个新的信源，它由四个符号00，01，10，11组成，把该组成，把该信源称为二进制无记忆信源的二次扩展。信源称为二进
11、制无记忆信源的二次扩展。例例2：如果把每三个二进制数字组成一组，这样长度为如果把每三个二进制数字组成一组，这样长度为3的二进制的二进制序列就有序列就有8种不同的符号，可等效成一个具有种不同的符号，可等效成一个具有8个符号的信源，把个符号的信源，把它称为二进制无记忆信源的三次扩展信源。它称为二进制无记忆信源的三次扩展信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十四页，共七十八页2.离散平稳无记忆信源（续1）l假定信源输出的是假定信源输出的是N长符号序列，把它看成是一个新信源，
12、长符号序列，把它看成是一个新信源，称为称为离散平稳无记忆信源的离散平稳无记忆信源的N N次扩展信源次扩展信源，用，用N N维离散随机维离散随机矢量来表示：矢量来表示：lN N次扩展信源的概率空间为：次扩展信源的概率空间为：l 是一个长为是一个长为N N的序列，的序列，单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十五页，共七十八页2.离散平稳无记忆信源（续2）lN N次扩展信源次扩展信源的熵：的熵：l离散平稳无记忆信源的离散平稳无记忆信源的N N次扩展信源的熵等于离散单符号信次扩展
13、信源的熵等于离散单符号信源熵的源熵的N N倍：倍：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十六页，共七十八页2.离散平稳无记忆信源（续3）l离散平稳无记忆信源的熵率：离散平稳无记忆信源的熵率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十七页，共七十八页2.离散平稳无记忆信源（续4）例例1：设有一离散无记忆信源：设有一离散无记忆信源X，其概率空间为，其概率空间为
14、求该信源的熵率及二次扩展信源的熵。求该信源的熵率及二次扩展信源的熵。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十八页，共七十八页2.离散平稳无记忆信源（续5）解：解：l离散单符号信源熵离散单符号信源熵比特/符号l熵率：熵率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第十九页，共七十八页2.离散平稳无记忆信源（续6）l二次扩展信源的概率空间：二次扩展信源的概率空间：
15、l二次扩展信源的熵：二次扩展信源的熵：比特比特/二个符号二个符号单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十页，共七十八页3.离散平稳有记忆信源l实实际际信信源源常常常常是是有有记记忆忆信信源源。设设信信源源输输出出N N长长的的符符号号序序列列，则则可可以以用用N N维维随随机机矢矢量量 来来表表示示信信源源，其其中中每每个个随随机机变变量量之之间间存存在在统统计依赖关系。计依赖关系。lN N维随机矢量的联合熵为：维随机矢量的联合熵为：单符号信源单符号信源连续信源连续信源多
16、符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十一页，共七十八页3.离散平稳有记忆信源（续1）定理定理：对于离散平稳信源，如果：对于离散平稳信源，如果 ，则有，则有单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十二页，共七十八页3.离散平稳有记忆信源（续2）证明：证明：（1 1）首先证明极限条件熵存在：）首先证明极限条件熵存在：只要只要X X的样本空间有限，则必然有的样本空间有限，则必然有 。根据条件熵
17、的性质，以及信源的平稳性有根据条件熵的性质，以及信源的平稳性有 是单调有界数列，是单调有界数列，极极限限 必必然然存存在在，且且极极限限为为0 0和和 之之间间的的某某一一个值。个值。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十三页，共七十八页3.离散平稳有记忆信源（续3）（2 2）对于收敛的实数列，有以下结论成立：）对于收敛的实数列，有以下结论成立：如果如果 是一个收敛的实数列，那么是一个收敛的实数列，那么利用上述结论可以推出：利用上述结论可以推出：单符号信源单符号信源连续
18、信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十四页，共七十八页3.离散平稳有记忆信源（续4）例例2：信源信源X的信源模型为的信源模型为 输出符号序列中，只有前后两输出符号序列中，只有前后两个符号之间有记忆，条件概率个符号之间有记忆，条件概率空间见右边的表。空间见右边的表。求熵率并比求熵率并比较较 H(X)、H(X2|X1)、1/2H(X1X2)。条件概率条件概率 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：
19、信源及信源熵本讲稿第二十五页，共七十八页3.离散平稳有记忆信源（续5）解：解：1)1)比特比特/符号符号 2)2)如果不考虑符号间的相关性，则信源熵为如果不考虑符号间的相关性，则信源熵为比特比特/符号符号 3)3)如果把信源发出的符号看成是分组发出的，每两个符号为一组，这如果把信源发出的符号看成是分组发出的，每两个符号为一组，这个新信源的熵为个新信源的熵为比特比特/两个符号两个符号 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十六页，共七十八页3.离散平稳有记忆信源（续6）结论
20、：结论：如何从理论上解释这个结果？单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十七页，共七十八页4.马尔可夫信源(1)定义(2)熵率(3)马尔可夫信源马尔可夫链(4)马尔可夫链单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十八页，共七十八页4.马尔可夫信源（续1）l 实际的有记忆信源，符号间的相关性可以追溯到很远，使得熵率的计算实际的有记忆信源，符号间的相关性可以
21、追溯到很远，使得熵率的计算比较复杂。比较复杂。l马尔可夫信源马尔可夫信源是一类相对简单的有记忆信源。信源在某一时刻是一类相对简单的有记忆信源。信源在某一时刻发出某一符号的概率，除与该符号有关外，只与此前发出的有发出某一符号的概率，除与该符号有关外，只与此前发出的有限个符号有关。限个符号有关。(1)定义单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第二十九页，共七十八页4.马尔可夫信源（续2）l对于对于m阶马尔可夫信源，阶马尔可夫信源，(2)熵率l如何计算条件熵？如何计算条件熵？条件概
22、率条件概率 通常是已知的，我们需要求解的是联合概率通常是已知的，我们需要求解的是联合概率 。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十页，共七十八页4.马尔可夫信源（续3）(3)马尔可夫信源马尔可夫链单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十一页，共七十八页4.马尔可夫信源（续4）例例3 3：设一个二元一阶马尔可夫信源，信源符号集为设一个二元一阶马尔可夫
23、信源，信源符号集为 ，输出符号的条件概率为输出符号的条件概率为用状态转移图来描述该信源。用状态转移图来描述该信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十二页，共七十八页4.马尔可夫信源（续5）图图1 二元一阶马尔可夫信源状态转移图二元一阶马尔可夫信源状态转移图单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十三页，共七十八页4.马尔可夫信源（续6）例例4 4
24、：设一个二元二阶马尔可夫信源，信源符号集为设一个二元二阶马尔可夫信源，信源符号集为 ，输出符，输出符号的条件概率为号的条件概率为求该信源的状态转移图。求该信源的状态转移图。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十四页，共七十八页4.马尔可夫信源（续7）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十五页，共七十八页4.马尔可夫信源（续8）l对于对于 m阶马尔
25、可夫信源，阶马尔可夫信源，单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十六页，共七十八页4.马尔可夫信源（续9）(4)马尔可夫链l 有限状态马尔可夫链有限状态马尔可夫链l 状态转移概率状态转移概率l 齐次马尔可夫链齐次马尔可夫链l Chapman-Kolmogorov方程方程l马尔可夫链的平稳分布马尔可夫链的平稳分布单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十
26、七页，共七十八页4.马尔可夫信源（续10）l 马尔可夫链马尔可夫链：设设 为一随机序列，如果对所有为一随机序列，如果对所有 ，有，有则称则称 为马尔可夫链。为马尔可夫链。l 如果马尔可夫链的状态空间如果马尔可夫链的状态空间 有限，则被称为有限，则被称为有限状态马尔有限状态马尔可夫链可夫链；如果状态空间；如果状态空间 是无穷集合，则被称为可数无穷状态是无穷集合，则被称为可数无穷状态的马尔可夫链。的马尔可夫链。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十八页，共七十八页4.马尔可
27、夫信源（续11）l 状态转移概率状态转移概率（描述马氏链最重要的参数）：（描述马氏链最重要的参数）：l 状态转移概率的性质：状态转移概率的性质：l 一步转移概率：一步转移概率：l k步转移概率：步转移概率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第三十九页，共七十八页4.马尔可夫信源（续12）l 齐次马尔可夫链齐次马尔可夫链：如果马氏链状态转移概率与起始时刻无关，即对任意如果马氏链状态转移概率与起始时刻无关，即对任意m，有，有 ，则称为，则称为时齐马尔可夫链或齐次马尔可夫链时齐
28、马尔可夫链或齐次马尔可夫链，也称为具有平稳转移概率的，也称为具有平稳转移概率的马尔可夫链。马尔可夫链。l 齐次马氏链可以用转移概率矩阵或状态转移图来描述。齐次马氏链可以用转移概率矩阵或状态转移图来描述。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四十页，共七十八页4.马尔可夫信源（续13）l Chapman-Kolmogorov方程方程：或用矩阵表示为或用矩阵表示为单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三
29、章：信源及信源熵第三章：信源及信源熵本讲稿第四十一页，共七十八页4.马尔可夫信源（续14）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四十二页，共七十八页4.马尔可夫信源（续15）l 遍历性遍历性：若齐次马尔可夫链，若齐次马尔可夫链，存在不依赖于，存在不依赖于 的极限的极限且满足且满足则称其具有遍历性（各态历经性）。则称其具有遍历性（各态历经性）。为平稳分布。为平稳分布。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源
30、熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四十三页，共七十八页4.马尔可夫信源（续16）l 定理定理1：是满足方程组是满足方程组 和和 的唯一解。的唯一解。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四十四页，共七十八页4.马尔可夫信源（续17）l 定理定理2：设设 为马氏链的状态转移矩阵，则该马氏链平稳分布存在的充要条为马氏链的状态转移矩阵，则该马氏链平稳分布存在的充要条件是，存在一个正整数件是，存在一个正整数 ，使矩阵，使矩阵 中的所有元素均大于零。中的所有元素均大于
31、零。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四十五页，共七十八页4.马尔可夫信源（续18）例例5 5：求例：求例4 4中的二阶马尔可夫信源的极限熵。中的二阶马尔可夫信源的极限熵。解：解：1 1）首先根据定理）首先根据定理2 2检查该信源是否存在稳态分布：检查该信源是否存在稳态分布：所有元素均大于所有元素均大于0 0，稳态分布存在。，稳态分布存在。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵
32、第三章：信源及信源熵本讲稿第四十六页，共七十八页4.马尔可夫信源（续19）2 2）设状态的平稳分布为）设状态的平稳分布为 ，根据定理，根据定理1 1有有 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四十七页，共七十八页4.马尔可夫信源（续20）3 3）求熵率：）求熵率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第四十八页，共七十八页4.马尔可夫信源（续21）如何求信
33、源发出的符号的极限概率？如何求信源发出的符号的极限概率？单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵符号的平稳概率分布为：如果不考虑符号间的相关性，则由符号的平稳概率分布可得信源熵H(X)=1比特/符号，而考虑符号间的相关性后，该信源的熵率0.80比特/符号本讲稿第四十九页，共七十八页4.马尔可夫信源（续22）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例1：设有一马氏链，其状态转
34、移矩阵为：问是否存在稳态分布。如果存在，求其稳态分布。本讲稿第五十页，共七十八页4.马尔可夫信源（续23）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第五十一页，共七十八页5.信源的相关性和剩余度l 信源的相关性就是信源符号间的依赖程度。信源的相关性就是信源符号间的依赖程度。l 设信源有设信源有q q个符号，那么对于不同情况可以分别计算信源的熵：个符号，那么对于不同情况可以分别计算信源的熵：（独立等概信源）（独立等概信源）（平稳无记忆信源）（平稳无记忆信源）（一阶马尔可夫信源）（一
35、阶马尔可夫信源）（m阶马尔可夫信源）阶马尔可夫信源）（记忆长度无限的记忆长度无限的信源）信源）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第五十二页，共七十八页5.信源的相关性和剩余度（续）l 对同一信源，采用不同的模型，计算得到的熵的关系为对同一信源，采用不同的模型，计算得到的熵的关系为l 结论：结论：符号间相关性越大，熵越小。符号间相关性越大，熵越小。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信
36、源熵第三章：信源及信源熵本讲稿第五十三页，共七十八页5.信源的相关性和剩余度（续1）l 定义定义1 1：熵的相对率：熵的相对率l 定义定义2 2：信源的剩余度：信源的剩余度单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第五十四页，共七十八页英文信源：H0=4.76H1=4.03H2=3.32H3=3.1H5=1.65=1.45.信源的相关性和剩余度（续2）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源
37、熵第三章：信源及信源熵本讲稿第五十五页，共七十八页英文 法文德文 西班牙文 中文 （按8千汉字计算）5.信源的相关性和剩余度（续3）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第五十六页，共七十八页例3.7：计算汉字的剩余度。假设常用汉字约为10000个，其中140个汉字出现的概率占50%，625个汉字（含140个）出现的概率占85%，2400个汉字（含625个）出现的概率占99.7%，其余7600个汉字出现的概率占0.3%，不考虑符号间的相关性，只考虑它的概率分布，在这一级近似下
38、计算汉字的剩余度。5.信源的相关性和剩余度（续4）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第五十七页，共七十八页解：为了计算方便，假设每类中汉字出现是等概的，得表类别汉字个数所占概率每个汉字的概率11400.50.5/1402625-140=4850.85-0.5=0.350.35/48532400-625=17750.997-0.85=0.1470.147/1775476000.0030.003/7600H1=H(X)=9.773bit/汉字H0=13.288bit/汉字5.
39、信源的相关性和剩余度（续5）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵本讲稿第五十八页，共七十八页一：一：信源的分类及其数学模型信源的分类及其数学模型二：离散单符号信源二：离散单符号信源三：离散多符号信源三：离散多符号信源四：连续信源四：连续信源1.连续信源的微分熵连续信源的微分熵 2.连续信源的最大熵连续信源的最大熵3.连续信源的熵功率连续信源的熵功率第三章：信源及信源熵 本讲稿第五十九页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源
40、及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵离散：本讲稿第六十页，共七十八页（一）数学模型单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续1）本讲稿第六十一页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续2）本讲稿第六十二页，共七十八页（二）H(X)：信息熵量化分层连续离散单符号信源单
41、符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续3）p(x)-1-0.500.51x本讲稿第六十三页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续4）本讲稿第六十四页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源
42、的微分熵（续5）本讲稿第六十五页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续6）微分熵：h(X)又称为差熵确定值部分无限大常数项本讲稿第六十六页，共七十八页同样，我们可以定义两个连续随机变量的联合熵：及条件熵，并且它们之间也有与离散随机变量一样的相互关系：单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续7）本讲稿第六十七页，共
43、七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续8）例3.8：求均匀分布的随机变量的微分熵：本讲稿第六十八页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续9）微分熵无非负性，可为负值本讲稿第六十九页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵
44、第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续10）例3.9：求高斯分布的随机变量的微分熵：本讲稿第七十页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续11）本讲稿第七十一页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续12）高斯分布的微分熵与方差有关，与均值无关当均值m=0时，方差代表平均功率P
45、。微分熵只与平均功率有关(平均功率P=直流功率m2+交流功率)本讲稿第七十二页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续13）例3.10：求指数分布的随机变量的相对熵：本讲稿第七十三页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续14）指数分布的微分熵只取决于均值a本讲稿第七十四页，共七十八页单符号信源单符号信
46、源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续15）例3.11 求N维高斯信源的熵。本讲稿第七十五页，共七十八页思考：若随机噪声在 之间的概率密度函数 。求该信源的微分熵。p(x)-11x单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续16）本讲稿第七十六页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.连续信源的最大熵定理3.1在输出幅度受限的情况，服从均匀分布的随机变量X具有最大输出熵。定理3.2对于均值为m，方差为的连续随机变量，当服从高斯分布时具有最大熵。本讲稿第七十七页，共七十八页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵熵功率3.连续信源的熵功率本讲稿第七十八页，共七十八页