《信息理论基础2信息的统计度量.ppt》由会员分享，可在线阅读，更多相关《信息理论基础2信息的统计度量.ppt（217页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础第第2章章 信息的统计度量信息的统计度量第第2 2章章2.1 2.1 自信息量和条件自信息量自信息量和条件自信息量2.2 2.2 互信息量和条件互信息量互信息量和条件互信息量2.3 2.3 离散集的平均自信息量离散集的平均自信息量2.4 2.4 离散集的平均互信息量离散集的平均互信息量2.5 2.5 连续随机变量的互信息量和相对熵连续随机变量的互信息量和相对熵2004-07-291华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1 自信息量和条件自
2、信息量自信息量和条件自信息量2.1.1 2.1.1 自信息量自信息量2.1.2 2.1.2 条件自信息量条件自信息量2004-07-292华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.1v 今年冬天比夏天冷今年冬天比夏天冷v今年冬天比夏天热今年冬天比夏天热两则消息很正常，在我的有很正常，在我的有生之年年年如此啊生之年年年如此啊废话一般废话一般没有任何信息没有任何信息是吗？太不正常了，在我的有生之是吗？太不正常了，在我的有生之年我还没遇到过年我还没遇到过老天爷发疯了么：难道外星人来了老天爷发疯了么：难道外星人来了？彗
3、星撞地球了？彗星撞地球了？我发疯了么：我没听错吧？我脑子我发疯了么：我没听错吧？我脑子有问题了么？有问题了么？你发疯了吧：散布妖言？你发疯了吧：散布妖言？含有极其丰富的信息含有极其丰富的信息2004-07-293华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.2信息量与消息的发生概率有关：信息量与消息的发生概率有关：越不可能的消息，包含的信息量越多；越不可能的消息，包含的信息量越多；确定无疑的消息，包含的信息量为零确定无疑的消息，包含的信息量为零有一个比较简单的函数满足上述特性：有一个比较简单的函数满足上述特性：20
4、04-07-294华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.32004-07-295华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.4定理定理2.1.1 2.1.1 任意随机事件的自信息量定义为该事件发生概率的任意随机事件的自信息量定义为该事件发生概率的 对数的负值对数的负值？自信息量没有单位自信息量没有单位2004-07-296华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1
5、 自信息量自信息量.5自信息量的单位自信息量的单位2004-07-297华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.6自信息量各单位之间的换算关系自信息量各单位之间的换算关系使用的公式使用的公式2004-07-298华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.7同理可得同理可得2004-07-299华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.8定理定理
6、2.1.2 2.1.2 联合自信息量定义为联合自信息量定义为定理定理2.1.2是定理是定理2.1.1的自然推广的自然推广2004-07-2910华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.9例例一信息源会发出一信息源会发出4 4个符号：个符号：0 0、1 1、2 2、3 3、4 4。这。这4 4个符号出现的个符号出现的概率分别为：概率分别为：，同时各个符号的出现都是独立的。，同时各个符号的出现都是独立的。求：下面这个消息的自信息量：求：下面这个消息的自信息量：2004-07-2911华北电力大学电子与信息工程学院
7、翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.1 自信息量自信息量.10此消息中0出现23次，1出现14次，2出现13次，3出现7次。由于出现是独立的，因此出现此消息的概率为：此消息的自信息量为：2004-07-2912华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.2 条件自信息量条件自信息量.1自信息量定义的自然推广自信息量定义的自然推广2004-07-2913华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.2 条件自信息量条件自信息量.2例例设在一正
8、方形棋盘上共有设在一正方形棋盘上共有6464个方格，如果甲将一枚个方格，如果甲将一枚棋子随意放在棋盘上的某一方格，且让乙猜测棋子棋子随意放在棋盘上的某一方格，且让乙猜测棋子所在的位置。所在的位置。（1 1）将方格按照顺序编号，令乙猜测棋子所在方格）将方格按照顺序编号，令乙猜测棋子所在方格的序号的序号（2 2）将方格按行和列编号，甲将棋子所在方格的行）将方格按行和列编号，甲将棋子所在方格的行编号告诉乙之后，再令乙猜测棋子所在的列编号告诉乙之后，再令乙猜测棋子所在的列求：以上两种情况所包含的信息量求：以上两种情况所包含的信息量2004-07-2914华北电力大学电子与信息工程学院翟明岳华北电力大学
9、电子与信息工程学院翟明岳信息理论基础信息理论基础2.1.2 条件自信息量条件自信息量.3解：解：2004-07-2915华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2 互信息量和条件互信息量互信息量和条件互信息量2.2.1 2.2.1 互信息量互信息量2.2.2 2.2.2 互信息量的性质互信息量的性质2.2.2 2.2.2 条件互信息量条件互信息量内容内容2004-07-2916华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.1介绍几个名词介绍几个名词符号消息
10、符号消息消息的表现形式为符号，例如消息的表现形式为符号，例如a,b,c,0,1,2a,b,c,0,1,2等等等等通信系统中的符号消息通信系统中的符号消息由于通信系统中信宿（消息的接收者）并不知道信源（消由于通信系统中信宿（消息的接收者）并不知道信源（消息的发送者）发送的是哪一个消息，因此每个符号消息是息的发送者）发送的是哪一个消息，因此每个符号消息是一个随机事件一个随机事件2004-07-2917华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.2先验概率先验概率2004-07-2918华北电力大学电子与信息工程学院翟
11、明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.3后验概率后验概率2004-07-2919华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.4解释解释2004-07-2920华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.5理想信道（假设，不符合实际情况）2004-07-2921华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信
12、息量.62004-07-2922华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.72004-07-2923华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.8简单的解决办法简单的解决办法2004-07-2924华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.9回到我们的例子回到我们的例子2004-07-2925华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信
13、息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.10回回顾顾整整个个过过程程2004-07-2926华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.112004-07-2927华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.122004-07-2928华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.13后验概率不是后验概率不是0 0就是就是1
14、 1，相同的是，相同的是1 1，不相同的就是，不相同的就是0 0。引入此概念有什么意思？引入此概念有什么意思？2004-07-2929华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.142004-07-2930华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.15如果信道噪声变为下面的形式如果信道噪声变为下面的形式2004-07-2931华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1
15、 互信息量互信息量.162004-07-2932华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.172004-07-2933华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.18对先验概率和后验概率有了一定了解，后面会具体讲计算的问题对先验概率和后验概率有了一定了解，后面会具体讲计算的问题2004-07-2934华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.192
16、004-07-2935华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.20初步分析互信息量初步分析互信息量2004-07-2936华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.21初步分析互信息量初步分析互信息量收到符号收到符号“1”“1”时，信源发出的消息必为时，信源发出的消息必为“1”“1”，因，因此在这一条件之下，信源发出消息为此在这一条件之下，信源发出消息为“1”“1”这一事件这一事件所包含的信息为所包含的信息为“0”“0”200
17、4-07-2937华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.22初步分析互信息量初步分析互信息量收到符号收到符号“1”“1”时，所获得的时，所获得的信源发送消息为信源发送消息为“1”“1”的分布，仍为先验概率，表明两者之间有密切的关的分布，仍为先验概率，表明两者之间有密切的关系系2004-07-2938华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.23初步分析互信息量初步分析互信息量收到符号收到符号“1”“1”时，时，信源发出的消息
18、为信源发出的消息为“1”“1”概率等概率等于先验概率，因此在这一条件之下，于先验概率，因此在这一条件之下，信源发出消息信源发出消息为为“1”“1”这一事件所包含的信息量为自信息量这一事件所包含的信息量为自信息量2004-07-2939华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.1 互信息量互信息量.24初步分析互信息量初步分析互信息量收到符号收到符号“1”“1”时，时，不能不能所获得的所获得的信源发送消息为信源发送消息为“1”“1”的分布，表明两者之间有独立的关系的分布，表明两者之间有独立的关系2004-07-2940华北电力大学电子
19、与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.11.1.互信息量的互易性互信息量的互易性证明证明2004-07-2941华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.21.1.互信息量的互易性互信息量的互易性2004-07-2942华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.32.2.互信息量可为零互信息量可为零2004-07-2943
20、华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.43.3.互信息量可正可负互信息量可正可负2004-07-2944华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.5举例解释可负的原因2004-07-2945华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.62004-07-2946华北电力大学电子与信息工程学院翟明岳华北电力大学电
21、子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.72004-07-2947华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.82004-07-2948华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.9我们我们的问的问题题2004-07-2949华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.
22、10从前面已经知道y=0是不可能事件，那么x=0|y=0也是不可能事件2004-07-2950华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.11因为信道噪声太强大了，掩盖了传输的信号，信号畸变，因为信道噪声太强大了，掩盖了传输的信号，信号畸变，接收到的消息不利于判断输入的信息接收到的消息不利于判断输入的信息例子：例子：你不说我还明白，你越说我越糊涂你不说我还明白，你越说我越糊涂2004-07-2951华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.
23、2 互信息量的性质互信息量的性质.124.4.互信息量不能大于自信息量互信息量不能大于自信息量证明证明2004-07-2952华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.134.4.互信息量不能大于自信息量互信息量不能大于自信息量2004-07-2953华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.142004-07-2954华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信
24、息理论基础2.2.2 互信息量的性质互信息量的性质.15解解2004-07-2955华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.162004-07-2956华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.2 互信息量的性质互信息量的性质.172004-07-2957华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.3 条件互信息量条件互信息量.12004-07-2958华北电力大学电子与信息工
25、程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.3 条件互信息量条件互信息量.2进一步说明进一步说明2004-07-2959华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.2.3 条件互信息量条件互信息量.32004-07-2960华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3 离散集中的平均自信息量离散集中的平均自信息量2.3.1 2.3.1 平均自信息量（熵）平均自信息量（熵）2.3.2 2.3.2 熵函数的数学特性熵函数的数学特性2.3.3 2.3.
26、3 条件熵条件熵2.3.4 2.3.4 联合熵联合熵2.3.5 2.3.5 各种熵的性质各种熵的性质2.3.6 2.3.6 加权熵加权熵2004-07-2961华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均自信息量（熵）.1随机变量随机变量自信息量无法衡量整个信源的信息测度自信息量无法衡量整个信源的信息测度引入平均自信息量：信息熵引入平均自信息量：信息熵2004-07-2962华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均自信息
27、量（熵）.22004-07-2963华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均自信息量（熵）.3信息熵的单位取决于对数的底信息熵的单位取决于对数的底例子例子2004-07-2964华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均自信息量（熵）.4例例2.3.12.3.11 12004-07-2965华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均
28、自信息量（熵）.5解：解：2004-07-2966华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均自信息量（熵）.6例例2.3.12.3.12 2已知：一篇千字文，每字可从万字表中任选，每篇千字文等概率出现求：一篇千字文可提供的平均信息量2004-07-2967华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均自信息量（熵）.7解解2004-07-2968华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论
29、基础信息理论基础2.3.1 平均自信息量（熵）平均自信息量（熵）.82004-07-2969华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.1 平均自信息量（熵）平均自信息量（熵）.9解解2004-07-2970华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.12004-07-2971华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.22004-07-29
30、72华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.3定义定义2.3.2 2.3.2 上凸函数上凸函数2004-07-2973华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.4直观解释直观解释2004-07-2974华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.52004-07-2975华北电力大学电子与信息工程学
31、院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.6引理引理2.3.12.3.1的推广的推广2004-07-2976华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.7引理引理2.3.12.3.1的推广的推广书上的结论有问题书上的结论有问题2004-07-2977华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.81.1.熵的对称性熵的对称性2004
32、-07-2978华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.9例子例子三个信源，概率空间分别为三个信源，概率空间分别为求：求：信息熵信息熵H(X),H(Y),H(Z)H(X),H(Y),H(Z)2004-07-2979华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.10解解2004-07-2980华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵
33、函数的数学特性熵函数的数学特性.11对称性的物理意义对称性的物理意义信息熵的对称性说明熵仅与随机变量的总体信息熵的对称性说明熵仅与随机变量的总体结构有关（例如，信源的信息熵仅与信源的结构有关（例如，信源的信息熵仅与信源的总体结构有关）总体结构有关）2004-07-2981华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.12已知：已知：A、B两地的天气情况如表。两地的天气情况如表。求：求：信息熵信息熵2004-07-2982华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论
34、基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.13解解2004-07-2983华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.14信息熵没有反映出关于冰雹的差别：信息熵没有反映出关于冰雹的差别：信息熵的局限信息熵的局限2004-07-2984华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.152.2.熵的非负性熵的非负性证明证明2004-07-2985华北电力大学电子与信息工程学院翟明岳华北电
35、力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.162004-07-2986华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.173.3.熵的扩展性熵的扩展性2004-07-2987华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.18熵扩展性的含义熵扩展性的含义如果两个集合的唯一差别是一个概率接近于0的事件，那么两个集合的熵是一样的2004-07-2988华北
36、电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.194.4.熵的可加性熵的可加性2004-07-2989华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.192 2个随机变量的熵的定义形式个随机变量的熵的定义形式2个随机变量的联合概率2004-07-2990华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.202004-07
37、-2991华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.212004-07-2992华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.22先看第一项2004-07-2993华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.232004-07-2994华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明
38、岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.24再看第二项2004-07-2995华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.252004-07-2996华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.264.4.熵的可加性的推论熵的可加性的推论当二维随机变量当二维随机变量X X、Y Y相互统计独立时，有相互统计独立时，有2004-07-2997华北电力大学电子与信息工程学院翟
39、明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.27证明证明明确符号意义2004-07-2998华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.28X,Y相互独立2004-07-2999华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.29与与i i无关无关12004-07-29100华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院
40、翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.305.5.熵的极值性熵的极值性说明说明在离散的情况下，集合X中的各事件等概率发生时，熵达到极大值。n越大，熵值越大2004-07-29101华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.312004-07-29102华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.32证明证明2004-07-29103华北电力大学电子与信息工程学院
41、翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.33例例2004-07-29104华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.346.6.确定性确定性2004-07-29105华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.357.7.上凸性上凸性证明证明2004-07-29106华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程
42、学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.36乘积展开【】后乘1分子单独提出分别取对数2004-07-29107华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.37熵的表达式?2004-07-29108华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.2 熵函数的数学特性熵函数的数学特性.382004-07-29109华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基
43、础2.3.3条件熵条件熵.1前述的信息熵前述的信息熵:单个信源单个信源(概率空间概率空间)的不确定性的度量的不确定性的度量实际应用中实际应用中,需要考虑两个或者两个以上的概率空间之间的需要考虑两个或者两个以上的概率空间之间的相互关系相互关系,故要引入条件熵故要引入条件熵定义定义2.3.3 2.3.3 条件熵条件熵2004-07-29110华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.3 条件熵条件熵.2条件熵的数学表达式条件熵的数学表达式随机变量随机变量2004-07-29111华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息
44、工程学院翟明岳信息理论基础信息理论基础2.3.3 条件熵条件熵.3条件熵的例子条件熵的例子出现的概率2004-07-29112华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.4 联合熵联合熵.1定义定义2.3.4 2.3.4 联合熵联合熵2004-07-29113华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.11 1。联合熵与信息熵、条件熵的关系。联合熵与信息熵、条件熵的关系或者或者联合熵联合熵X X的熵在的熵在X X的条件下的条件熵的条件下的条件熵H
45、 H（Y|XY|X）或者或者联合熵联合熵Y Y的熵在的熵在Y Y的条件下的条件熵的条件下的条件熵H H（X|YX|Y）2004-07-29114华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.2性质性质1 1的推论的推论性质性质1 1的推论的推论2004-07-29115华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.3性质性质1 1的推广的推广举例举例2004-07-29116华北电力大学电子与信息工程学院翟明岳华北电力大
46、学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.42 2。联合熵与信息熵的关系。联合熵与信息熵的关系证明证明2004-07-29117华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.52004-07-29118华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.62004-07-29119华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3
47、.5 各种熵的性质各种熵的性质.7推论推论1 1：等式成立的条件是：等式成立的条件是X X与与Y Y统计独立统计独立证明证明2004-07-29120华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.8推论推论2 2 当当X,YX,Y取自同一符号集时，有取自同一符号集时，有证明证明当当X,YX,Y取自同一符号集时，有取自同一符号集时，有2004-07-29121华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.9推论推论3 3等
48、式成立的条件是相互统计独立等式成立的条件是相互统计独立2004-07-29122华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.103 3。条件熵与信息熵的关系。条件熵与信息熵的关系证明证明由图可知：f(x)为上凸函数2004-07-29123华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.112004-07-29124华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5
49、 各种熵的性质各种熵的性质.12等式成立的条件：等式成立的条件：X,YX,Y相互独立相互独立2004-07-29125华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.132004-07-29126华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.14解解先验概率先验概率2004-07-29127华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.
50、15信息熵信息熵2004-07-29128华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.16联合熵联合熵2004-07-29129华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.17条件熵条件熵2004-07-29130华北电力大学电子与信息工程学院翟明岳华北电力大学电子与信息工程学院翟明岳信息理论基础信息理论基础2.3.5 各种熵的性质各种熵的性质.18条件熵条件熵2004-07-29131华北电力大学电子与信息工程学院