《第三章离散信源及离散熵精选文档.ppt》由会员分享，可在线阅读，更多相关《第三章离散信源及离散熵精选文档.ppt（26页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第三章离散信源及离散熵2023/4/12本讲稿第一页，共二十六页将信源分为无记忆信源将信源分为无记忆信源(memoryless source)和和有记忆信源有记忆信源(memory source)。从一个离散信源的整体出发，它的信息量应从一个离散信源的整体出发，它的信息量应该如何度量？该如何度量？本章主要讨论离散无记忆信源。本章主要讨论离散无记忆信源。本讲稿第二页，共二十六页从最简单的单符号离散信源开始讨论：从最简单的单符号离散信源开始讨论：1、单符号离散信源的数学模型、单符号离散信源的数学模型一、单符号离散信源的离散熵一、单符号离散信源的离散熵如果说自信息量反映的是一个随机事件出现如果说自信
2、息量反映的是一个随机事件出现各种结果所包含着的信息量，那么各种结果所包含着的信息量，那么本讲稿第三页，共二十六页自信息量的数学期望自信息量的数学期望(概率加权的统计平均概率加权的统计平均值值)所反映的是该随机事件出现所包含的平所反映的是该随机事件出现所包含的平均自信息量。均自信息量。如果将离散信源所有自信息量的数学期望用如果将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的离散熵，也叫香来表示并称其为信源的离散熵，也叫香农熵，离散熵的定义为：农熵，离散熵的定义为：离散熵的单位是比特离散熵的单位是比特/符号符号(bit/symbol)。2、单符号离散信源的离散熵、单符号离散信源的离散
3、熵本讲稿第四页，共二十六页离散熵是从整体出发对一个离散信源信息量的离散熵是从整体出发对一个离散信源信息量的度量。度量。需要注意，平均自信息量和离散熵虽然在需要注意，平均自信息量和离散熵虽然在数值上相同，但在含义上却有区别：数值上相同，但在含义上却有区别：平均自信息量所反映的仅仅是信源输出平均自信息量所反映的仅仅是信源输出X所包所包含的平均自信息量，是消除信源不确定度所需含的平均自信息量，是消除信源不确定度所需要的信息的度量；要的信息的度量；本讲稿第五页，共二十六页换句话说，平均自信息量只有在信源输出换句话说，平均自信息量只有在信源输出时才有意义，而离散熵则不管信源输出与时才有意义，而离散熵则不
4、管信源输出与否都有意义。否都有意义。离散熵则既反映了信源输出离散熵则既反映了信源输出X所包含的平均自所包含的平均自信息量，是消除信源不确定度所需要的信息的信息量，是消除信源不确定度所需要的信息的度量，同时又描述了信源的平均不确定度。度量，同时又描述了信源的平均不确定度。本讲稿第六页，共二十六页3、离散熵的性质和定理、离散熵的性质和定理H(X)的非负性；的非负性；H(X)的上凸性；的上凸性；H(X)的上凸性不作证明。的上凸性不作证明。最大离散熵定理最大离散熵定理本讲稿第七页，共二十六页本讲稿第八页，共二十六页本讲稿第九页，共二十六页例例1，求掷骰子这一信源的离散熵。，求掷骰子这一信源的离散熵。解
5、：该信源的数学模型为解：该信源的数学模型为本讲稿第十页，共二十六页解：解：该信源的数学模型为：该信源的数学模型为：例例2，求某一天简单的天气气象这一信源的，求某一天简单的天气气象这一信源的离散熵。离散熵。本讲稿第十一页，共二十六页例例3，已知信源，已知信源求离散熵并作出求离散熵并作出p-H(p)曲线。曲线。解：解：本讲稿第十二页，共二十六页00.51H(p)1p当当p=0时，时，H(p)=0p=0.25时，时，H(p)=0.811p=0.5时，时，H(p)=1p=0.75时，时，H(p)=0.811p=1时，时，H(p)=0本讲稿第十三页，共二十六页二、多符号离散信源及其离散熵二、多符号离散信
6、源及其离散熵如果信源每次发出的消息都是有限或可数如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符有限或可数的集合，则称这种信源为多符号离散信源。号离散信源。实际上，信源每次发出的消息是符号序列实际上，信源每次发出的消息是符号序列的情况更为普遍。的情况更为普遍。多符号离散信源的例子有电报、文字等。多符号离散信源的例子有电报、文字等。本讲稿第十四页，共二十六页一般情况下，信源在不同时刻发出符号的一般情况下，信源在不同时刻发出符号的概率分布是不同的，即概率分布是不同的，即将多符号离散信源发出的符号序列记为
7、将多符号离散信源发出的符号序列记为并设序列中任一符号都取值于集合并设序列中任一符号都取值于集合这种情况分析起来比较困难，不作讨论。这种情况分析起来比较困难，不作讨论。本讲稿第十五页，共二十六页对于多符号离散信源发出的符号序列对于多符号离散信源发出的符号序列1、离散平稳信源及其数学模型、离散平稳信源及其数学模型如果任意两个不同时刻如果任意两个不同时刻k和和l，k=1,2,，l=1,2,，其概率分布相同，即，其概率分布相同，即则称该多符号离散信源为一维离散平稳信源。则称该多符号离散信源为一维离散平稳信源。本讲稿第十六页，共二十六页如果不仅其概率分布相同，其二维联合概率如果不仅其概率分布相同，其二维
8、联合概率分布也相同，即分布也相同，即则称该多符号离散信源为二维离散平稳信源。则称该多符号离散信源为二维离散平稳信源。同理，如果除概率分布相同外，直到同理，如果除概率分布相同外，直到N维的维的各维联合概率分布也都与时间起点无关，各维联合概率分布也都与时间起点无关，即即本讲稿第十七页，共二十六页则称该多符号离散信源为则称该多符号离散信源为N维离散平稳信源。维离散平稳信源。一般，可将一般，可将N维离散平稳信源发出的符号序列维离散平稳信源发出的符号序列看成长度为看成长度为N的一段段符号序列，即的一段段符号序列，即本讲稿第十八页，共二十六页N维离散平稳信源的数学模型：维离散平稳信源的数学模型：其联合概率
9、分布为其联合概率分布为本讲稿第十九页，共二十六页2、离散平稳信源的离散熵、离散平稳信源的离散熵先讨论二维离散平稳信源的离散熵。先讨论二维离散平稳信源的离散熵。二维离散平稳信源的数学模型：二维离散平稳信源的数学模型：该信源的离散熵该信源的离散熵本讲稿第二十页，共二十六页本讲稿第二十一页，共二十六页式中，式中，H(X2/X1)称为条件熵，是条件信息量称为条件熵，是条件信息量在联合概率上的数学期望。在联合概率上的数学期望。本讲稿第二十二页，共二十六页与此相对应，将该信源的离散熵与此相对应，将该信源的离散熵H(X1X2)称为联合熵，信源符号的离散熵称为联合熵，信源符号的离散熵H(X1)、H(X2)称为无条件熵。称为无条件熵。本讲稿第二十三页，共二十六页如果将该信源符号所提供的平均信息量记为如果将该信源符号所提供的平均信息量记为H2(X1X2)并称其为平均符号熵，则并称其为平均符号熵，则本讲稿第二十四页，共二十六页x1x2x3x17/92/90 x21/83/41/8x302/119/11xi2xi1例例1，已知二维离散平稳信源的符号，已知二维离散平稳信源的符号，其概率分布，其概率分布，其条件概率，其条件概率分布分布P(X2/X1)本讲稿第二十五页，共二十六页求该信源的联合熵和平均符号熵。求该信源的联合熵和平均符号熵。本讲稿第二十六页，共二十六页