《信息的概念与测量优秀PPT.ppt》由会员分享，可在线阅读，更多相关《信息的概念与测量优秀PPT.ppt（37页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息的概念与测量2022/12/2第1页，本讲稿共37页1.1.信息的界定信息的界定对客观世界中各种事物的变化和特征的反映；对客观世界中各种事物的变化和特征的反映；客观事物之间相互作用和联系的表征；客观事物之间相互作用和联系的表征；客观事物经过感知和认识后的再现；客观事物经过感知和认识后的再现；减少不确定性的一种客观存在和能动过程。减少不确定性的一种客观存在和能动过程。2022/12/2第2页，本讲稿共37页2.2.信息的性质信息的性质（characteristicscharacteristics，propertiesproperties，or natures of or natures of
2、 informationinformation）普遍性普遍性：信息充满于客观世界，人类存在于信息的汪：信息充满于客观世界，人类存在于信息的汪洋大海之中，即事事有信息，时时有信息，处处有信洋大海之中，即事事有信息，时时有信息，处处有信息。息。寄载性寄载性：信息必须要依附在一定的实物上。：信息必须要依附在一定的实物上。动态性动态性：信息的内容和数量是不断变化的。：信息的内容和数量是不断变化的。客客观观性性：信信息息存存在在的的客客观观性性，主主观观信信息息（决决策策、判判断断、指令、计划、目标等）也有客观实际背景指令、计划、目标等）也有客观实际背景2022/12/2第3页，本讲稿共37页传传递递性
3、性：也也称称转转移移性性，是是指指信信息息可可在在空空间间上上从从某某一一地地点点转转移移到到另另一一地地点点，或或在在时时间间上上从从某某一一时时刻刻保保存存到到另另一一时时刻刻。（通通信信理论）理论）时时效效性性：脱脱离离了了母母体体的的信信息息因因不不再再能能反反映映母母体体的的新新的的运运动动状状态态及及其其状状态态变变化化方方式式，其其效效用用将将会会降降低低，乃乃至至完完全全丧丧失失。（军军事情报、网络新闻、试题答案等）事情报、网络新闻、试题答案等）不不完完全全性性：任任何何有有关关客客观观事事物物运运动动状状态态及及其其变变化化方方式式的的认认识识都都不不可可能能包包揽揽无无余余
4、，在在实实际际工工作作中中人人们们所所获获得得和和运运用用的的信信息不可能绝对完整。息不可能绝对完整。可可伪伪性性：人人在在一一定定的的条条件件下下，可可以以按按照照自自己己的的意意志志来来生生产产、储储存存和传播假冒伪劣信息和传播假冒伪劣信息.（诸葛亮（诸葛亮“空城计空城计”、草船借箭）、草船借箭）2022/12/2第4页，本讲稿共37页l滞滞后后性性：信信息息是是事事物物运运动动的的状状态态及及其其状状态态变变化化的的方方式式，因因此，先有事物，后有信息。此，先有事物，后有信息。l共共享享性性：指指同同一一内内容容的的信信息息，可可在在相相同同的的时时间间、相相同同或或不不同同的的地地点点
5、，不不同同的的时时间间、相相同同或或不不同同的的地地点点，为为多多个个使使用用者者所所获获取取、掌掌握握、占占有有和和使使用用。（与与物物质质、能能量量资源的比较，竞争性关系）资源的比较，竞争性关系）l价值的不定性价值的不定性:同样的信息对于不同的使用者可能有不同同样的信息对于不同的使用者可能有不同的价值，同量的不同类型的信息，对于不同的使用者也不一的价值，同量的不同类型的信息，对于不同的使用者也不一定有相同的价值。因此，信息价值是信息对使用者有用程度定有相同的价值。因此，信息价值是信息对使用者有用程度的量度。（的量度。（信息的效用信息的效用）2022/12/2第5页，本讲稿共37页例：首批气
6、象经纪人现身上海例：首批气象经纪人现身上海 买卖气象信息商品买卖气象信息商品 越来越多的商家开始越来越多的商家开始“看天吃饭看天吃饭”，尤其是冷饮、，尤其是冷饮、空调、服装等空调、服装等“天气敏感厂家天气敏感厂家”。据上海中心气象台信息市场部介绍，仅据上海中心气象台信息市场部介绍，仅20072007年年1-61-6月，月，上海市已经有上海市已经有100100多家企业与气象部门签署了相关协议，多家企业与气象部门签署了相关协议，要求提供气象服务。要求提供气象服务。据不完全统计，上海市据不完全统计，上海市20082008一年的气象服务产值就一年的气象服务产值就在五千万元左右。在五千万元左右。讨论：讨
7、论：该例子体现了信息的哪些特征？该例子体现了信息的哪些特征？2022/12/2第6页，本讲稿共37页案案例例讨讨论论：案例：啤酒和尿布的故事案例：啤酒和尿布的故事案例：啤酒和尿布的故事案例：啤酒和尿布的故事 美国加州沃尔玛超市连锁店发现美国加州沃尔玛超市连锁店发现美国加州沃尔玛超市连锁店发现美国加州沃尔玛超市连锁店发现:在下班后前来购买婴在下班后前来购买婴在下班后前来购买婴在下班后前来购买婴儿尿布的顾客多数是男性，他们往往也同时购买啤酒。儿尿布的顾客多数是男性，他们往往也同时购买啤酒。儿尿布的顾客多数是男性，他们往往也同时购买啤酒。儿尿布的顾客多数是男性，他们往往也同时购买啤酒。原因？原因？原
8、因？原因？分析得知，通常周末购买尿布的是男士，他分析得知，通常周末购买尿布的是男士，他分析得知，通常周末购买尿布的是男士，他分析得知，通常周末购买尿布的是男士，他们在完成了太太交给的任务后，经常会顺便买一些啤们在完成了太太交给的任务后，经常会顺便买一些啤们在完成了太太交给的任务后，经常会顺便买一些啤们在完成了太太交给的任务后，经常会顺便买一些啤酒。酒。酒。酒。处理处理：重新布置了货架，啤酒类商品、婴儿尿布、土：重新布置了货架，啤酒类商品、婴儿尿布、土：重新布置了货架，啤酒类商品、婴儿尿布、土：重新布置了货架，啤酒类商品、婴儿尿布、土豆片之类的佐酒小食品、男士们日常生活用品就近布置。豆片之类的佐
9、酒小食品、男士们日常生活用品就近布置。豆片之类的佐酒小食品、男士们日常生活用品就近布置。豆片之类的佐酒小食品、男士们日常生活用品就近布置。结果结果：上述几种商品的销量几乎马上成倍增长。：上述几种商品的销量几乎马上成倍增长。：上述几种商品的销量几乎马上成倍增长。：上述几种商品的销量几乎马上成倍增长。启示：启示：1.1.对信息进行决策分析的重要性！对信息进行决策分析的重要性！2.2.要养成善于收集信息的习惯，训练自己的信息处要养成善于收集信息的习惯，训练自己的信息处理能力理能力 2022/12/2第7页，本讲稿共37页3.3.信息的分类信息的分类按按信息的生成领域信息的生成领域：自然信息、机器信息
10、和：自然信息、机器信息和社会信息社会信息按照按照信息的流动方向信息的流动方向：纵向信息、横向信息：纵向信息、横向信息和网状信息。见下页图。和网状信息。见下页图。(结合组织的信息结合组织的信息流流)按照按照信息的利用对象信息的利用对象和作用层次，可将信息和作用层次，可将信息划分为战略信息、战术信息和业务信息划分为战略信息、战术信息和业务信息2022/12/2第8页，本讲稿共37页纵向信息纵向信息横向信息横向信息网状信息网状信息2022/12/2第9页，本讲稿共37页按照按照信息的加工深度信息的加工深度，可以将信息划分为一次信息、，可以将信息划分为一次信息、二次信息和三次信息二次信息和三次信息 一
11、次信息一次信息一般是指社会实践活动过程中产生的原始论文、报告、一般是指社会实践活动过程中产生的原始论文、报告、记录等。记录等。二次信息二次信息是在对一次信息进行加工的基础上产生的一类信是在对一次信息进行加工的基础上产生的一类信息，如书目、索引、目录、题录、文摘和简介等。息，如书目、索引、目录、题录、文摘和简介等。三次信息三次信息是在一次信息和二次信息的基础上经过研究者的综是在一次信息和二次信息的基础上经过研究者的综合、分析而产生的信息，常见的有综述、述评、年度总结、合、分析而产生的信息，常见的有综述、述评、年度总结、进展报告、数据手册、调查报告等。进展报告、数据手册、调查报告等。讨论：您所接触
12、到的不同信讨论：您所接触到的不同信息分别属于哪一类呢？息分别属于哪一类呢？2022/12/2第10页，本讲稿共37页按照按照信息的时间状态信息的时间状态，可以将信息划分为历史信息、现，可以将信息划分为历史信息、现状信息和预测信息状信息和预测信息按照按照信息是否已经被量化信息是否已经被量化，可以将信息划分为，可以将信息划分为定量信息定量信息和定性信息和定性信息 按照按照信息反映和描述的客观事物的范围信息反映和描述的客观事物的范围，可以将信息，可以将信息划分为宏观信息和微观信息划分为宏观信息和微观信息按照按照信息的获取方式信息的获取方式，可以将信息划分为直接信息和，可以将信息划分为直接信息和间接信
13、息间接信息按照按照信息的内容是否与现实事物相符信息的内容是否与现实事物相符，可以将其划分为，可以将其划分为真实信息和虚假信息真实信息和虚假信息。2022/12/2第11页，本讲稿共37页前馈信息和反馈信息前馈信息和反馈信息现场控制现场控制前馈控制前馈控制反馈控制反馈控制执行过程执行过程输入输入输出输出信息流向信息流向纠正措施纠正措施反馈控制反馈控制是根据最终结果产生的偏差信息来指导将来是根据最终结果产生的偏差信息来指导将来的行动。的行动。前馈控制前馈控制是利用所能得到的最新信息，进行认真、反复的是利用所能得到的最新信息，进行认真、反复的预测，把计划所要达到的目标同预测相比较，并采取措预测，把计
14、划所要达到的目标同预测相比较，并采取措施修改计划，以使预测与计划目标相吻合。施修改计划，以使预测与计划目标相吻合。常见的反馈信息和前馈信息有哪些？常见的反馈信息和前馈信息有哪些？2022/12/2第12页，本讲稿共37页4.4.信息的质量信息的质量信息质量的定义信息质量的定义 信信息息质质量量是是指指信信息息对对事事物物运运动动状状态态和和方方式式的反映、描述的真实性或准确性。的反映、描述的真实性或准确性。真实性真实性则是指信息的来源是否可靠；则是指信息的来源是否可靠；准确性准确性是指信息的内容与实际情况是否相符。是指信息的内容与实际情况是否相符。2022/12/2第13页，本讲稿共37页信息
15、的质量指标信息的质量指标.信信息息模模糊糊度度:也也称称乏乏晰晰度度，是是指指描描述述、表表示示客客观观事事物物的的状状态态及及其其状状态态变变化化的的方方式式时时，出出现现的的没没有有精精确确规规定定的的界界限限，以致表达不清楚、意思模糊。以致表达不清楚、意思模糊。.如：自然语言中的如：自然语言中的“好、高、大好、高、大”2022/12/2第14页，本讲稿共37页.信息多余度信息多余度:信息中含有的某类（些）信息的量的多余信息中含有的某类（些）信息的量的多余程度；与真正要表达的内容无关或无用成分的量的多程度；与真正要表达的内容无关或无用成分的量的多余程度；信息中无效成分的相对含量余程度；信息
16、中无效成分的相对含量.信信息息密密集集度度:指指信信息息中中有有效效成成分分的的相相对对含含量量。用用较较少少的的符符号表达较多的信息内容，可称为信息的密集度越大。号表达较多的信息内容，可称为信息的密集度越大。2022/12/2第15页，本讲稿共37页 5.5.信息的度量信息的度量(P.43)(P.43)怎么度量信息怎么度量信息首先分析一下问题的认识过程首先分析一下问题的认识过程1.1.对一问题毫无了解，对它的认识是不确定的对一问题毫无了解，对它的认识是不确定的2.2.通过各种途径获得信息，逐渐消除不确定性通过各种途径获得信息，逐渐消除不确定性 3.3.对这一问题非常的了解，不确定性很小对这一
17、问题非常的了解，不确定性很小黑箱黑箱不确定度不确定度A A灰箱灰箱不确定度不确定度B B白箱白箱不确定度不确定度C C信息信息I I信息信息II II对于系统，可以利用守恒关对于系统，可以利用守恒关系有系有 A+I=BA+I=B，得，得I=B-AI=B-A。可用消除不确定性的多少可用消除不确定性的多少 来度量信息！来度量信息！2022/12/2第16页，本讲稿共37页几个例子：几个例子：例例 当你要到大会堂去找某一个人时，甲告诉你两条消息：（当你要到大会堂去找某一个人时，甲告诉你两条消息：（1 1）此人不坐在前十排，（此人不坐在前十排，（2 2）他也不坐在后十排；乙只告诉你一条）他也不坐在后十
18、排；乙只告诉你一条消息：此人坐在第十五排。问谁提供的信息量大？消息：此人坐在第十五排。问谁提供的信息量大？乙虽然只提供了一条消息，但这一条消息对此人在什么位置上这一不确定性乙虽然只提供了一条消息，但这一条消息对此人在什么位置上这一不确定性消除得更多，所以后者包含的信息量应比前者提供的两条消息所包含的总信消除得更多，所以后者包含的信息量应比前者提供的两条消息所包含的总信息量更大息量更大例例 假如在盛夏季节气象台突然预报假如在盛夏季节气象台突然预报“明天无雪明天无雪”的消息。在的消息。在明天是否下雪的问题上，根本不存在不确定性，所以这条消明天是否下雪的问题上，根本不存在不确定性，所以这条消息包含的
19、信息量为零。息包含的信息量为零。2022/12/2第17页，本讲稿共37页是否存在信息量的度量公式？是否存在信息量的度量公式？基于前面的观点，美国贝尔实验室的学者香农基于前面的观点，美国贝尔实验室的学者香农（ShannonShannon）应用）应用概率论知识和逻辑方法概率论知识和逻辑方法推导出了信息量推导出了信息量的计算公式的计算公式 InhiswordsInhiswordsIjustwonderedhowthingsIjustwonderedhowthingswereputtogether.wereputtogether.ClaudeElwoodShannonClaudeElwoodShan
20、non(April 30,1916-February 24,2001)has been called the father of information theory.2022/12/2第18页，本讲稿共37页5.15.1概率（概率（probabilityprobability）及其计算及其计算 概概率率是是表表示示事事件件发发生生可可能能性性大大小小的的一一个个数数。如如果果用用X X表示事件，则它的概率可用表示事件，则它的概率可用P P（X X）来表示。来表示。P P（X X）=1=1，表示事件表示事件X X肯定会发生。肯定会发生。P P（X X）=0=0，表示事件表示事件X X肯定不会发
21、生。肯定不会发生。事件发生的概率满足事件发生的概率满足:2022/12/2第19页，本讲稿共37页 例例 一个不透明的袋子中装有一个不透明的袋子中装有100100个球，其中红球个球，其中红球9999个，白球个，白球一个。假定球的大小、形状、质量完全一样，则求：一个。假定球的大小、形状、质量完全一样，则求：1 1、随随意意从从袋袋子子中中摸摸到到一一个个白白球球（记记为为事事件件A A）的的概概 率率是是多多少？少？2 2、随随意意从从袋袋子子中中摸摸到到一一个个红红球球（记记为为事事件件B B）的的概概率率是多少？是多少？P P（A A）=1/100=1/100 P P（B B）=99/100
22、=99/1002022/12/2第20页，本讲稿共37页5.2 5.2 信息量与可能性（信息量与可能性（probabilityprobability）可能性可用概率来表示可能性可用概率来表示概率与可能性间的关系是：概率与可能性间的关系是：可能性可能性=概率概率可能性与信息量间的关系为：可能性与信息量间的关系为：可能性可能性=信息量信息量概率可表示信息量：概率概率可表示信息量：概率=信息量信息量信息量是概率的递减函数信息量是概率的递减函数2022/12/2第21页，本讲稿共37页5.3 5.3 信息量与不确定性信息量与不确定性假假如如你你从从未未来来过过华华政政，也也没没有有看看过过或或听听过过
23、任任何何有有关关华华政政的的介介绍绍，那那么么华华政政对对你你来来说说就就是是一一个个“未未知知数数”，存存在在着着所所谓谓“不不确确定定性性”（uncertaintyuncertainty）当当你你考考取取华华政政并并来来此此报报到到学学习习后后，就就能能通通过过耳耳闻闻目目睹睹、接接触触交交谈谈，了了解华政的具体情况解华政的具体情况“信息信息”“信信息息”将将帮帮你你逐逐渐渐解解开开头头脑脑中中的的疑疑团团，消消除除你你对对“华华政政”认认识识的的不不确确定性，并由不确定性变成较为确定或确定。定性，并由不确定性变成较为确定或确定。如获得的如获得的“信息信息”越多，你对越多，你对“华政华政”
24、的了解就越全面的了解就越全面。不不确确定定性性的的变变化化程程度度能能反反映映你你所所获获取取的的信信息息量量的多少。的多少。只只要要能能量量度度不不确确定定性性及及其其变变化化程程度度，就就可可量量度度信息。信息。2022/12/2第22页，本讲稿共37页不确定性，亦称不肯定性、不定性，是指人脑不确定性，亦称不肯定性、不定性，是指人脑 对客观事件能否发生的一种近似把握对客观事件能否发生的一种近似把握在简单的通信（如打电话、写信、面谈等）过在简单的通信（如打电话、写信、面谈等）过 程中，它表现为以下的形式：程中，它表现为以下的形式：告诉告诉B B一件事一件事 打电话：打电话：A A B B B
25、 B的头脑中存在不确定性，因为的头脑中存在不确定性，因为他不知道他不知道A A 要告诉他的事件内容要告诉他的事件内容 向向B B打听一件事打听一件事 打电话：打电话：A A B BA A的头脑中存在不确定性，因为的头脑中存在不确定性，因为他不知道他不知道B B要告诉他的事件内容要告诉他的事件内容 2022/12/2第23页，本讲稿共37页不确定性不确定性的大小在数学中可用随机事件发生的概率表示，的大小在数学中可用随机事件发生的概率表示，随机事件发生与否或者随机变量的取值在事先是不确定随机事件发生与否或者随机变量的取值在事先是不确定的，其不确定性的大小在人们直觉中的反映就是：的，其不确定性的大小
26、在人们直觉中的反映就是：就单个事件而言，就单个事件而言，小概率事件小概率事件发生的可能性很小，但发生的可能性很小，但它一旦发生变成确定的，则由此而产生的从不确定性到它一旦发生变成确定的，则由此而产生的从不确定性到确定性的变化幅度就大；确定性的变化幅度就大；2022/12/2第24页，本讲稿共37页概率为概率为1 1的事件的事件，其发生不足为奇，因此其不确定性的变，其发生不足为奇，因此其不确定性的变化为化为0 0，表示确定事件发生得不到任何信息，表示确定事件发生得不到任何信息;概率为概率为0 0的事的事件件，永远不会发生，若真的发生了，则是从确定的发生，永远不会发生，若真的发生了，则是从确定的发
27、生到确定的不发生的最大变化，这将是不确定性变化的最到确定的不发生的最大变化，这将是不确定性变化的最大值，可视为无穷大。大值，可视为无穷大。两个独立的随机事件两个独立的随机事件的不确定性是相互独立的，它们的的不确定性是相互独立的，它们的不确定性变化也是相互独立的。故两者的不确定性变化幅不确定性变化也是相互独立的。故两者的不确定性变化幅度为其各自的不确定性变化幅度之和。度为其各自的不确定性变化幅度之和。2022/12/2第25页，本讲稿共37页 设设X Xi i，X Xj j 为随机事件，为随机事件，P P（X Xi i）为为X Xi i发生的先验概率，发生的先验概率，H(XH(Xi i)为为X
28、Xi i发生与否的发生与否的不确定性到确定性的变化量不确定性到确定性的变化量，则可将上述三条用数学语言表示为：则可将上述三条用数学语言表示为：1.H(Xi)1.H(Xi)是先验概率是先验概率P P（XiXi）的单调递减函数，即的单调递减函数，即当当P(Xi)P(Xi)P(Xj)P(Xj)时，时，H(Xi)H(Xi)H(Xj)H(Xj)；2.P(Xi)=12.P(Xi)=1时，时，H H（XiXi）=0=0；P(Xi)=0P(Xi)=0时时,H(Xi)=,H(Xi)=；3.3.如果如果XiXi与与XjXj相互独立，那么相互独立，那么 HH（XiXjXiXj）=H=H（XiXi）+H+H（XjXj
29、）2022/12/2第26页，本讲稿共37页申农证明了满足上述三个条件的函数具有对数的形式：申农证明了满足上述三个条件的函数具有对数的形式：若取若取c=1c=1，则则H H（X Xi i）=-log=-loga aPP（X Xi i）上述公式描述随机事件上述公式描述随机事件X Xi i不确定程度的变化量。不确定程度的变化量。在该公式中，如不作特别说明，一般都把在该公式中，如不作特别说明，一般都把a a取作取作2 2，此时信息，此时信息量的单位为比特。量的单位为比特。2022/12/2第27页，本讲稿共37页5.45.4自信息量自信息量 所所谓谓自自信信息息量量是是指指信信息息源源（事事物物）X
30、 X发发出出某某一一消消息息X Xi i时时所所含含的的信信息息量量，消息不同，自信息量也不同。消息不同，自信息量也不同。如如已已知知事事件件XiXi已已经经发发生生，则则定定义义该该消消息息中中所所包包含含的的信信息息量量（即即自自信信息息量）为：量）为：HH（XiXi）=Xi=Xi的不确定性的变化量的不确定性的变化量=-=-logaPlogaP（XiXi）前面导出的公式实际上是自信息量计算公式。前面导出的公式实际上是自信息量计算公式。2022/12/2第28页，本讲稿共37页-logaPlogaP（XiXi）的含义是：的含义是：在事件发生之前，表示在事件发生之前，表示XiXi发生与否的不确
31、定性；发生与否的不确定性；如已知事件如已知事件XiXi已发生，则表示已发生，则表示XiXi所含有或所提供的信息量。所含有或所提供的信息量。2022/12/2第29页，本讲稿共37页 例例 计算上例中两个事件的信息量。计算上例中两个事件的信息量。随意从袋子中摸到一个白球这一事件（状态）的信息量。随意从袋子中摸到一个白球这一事件（状态）的信息量。HH（白球）白球）=-=-log2log2（1/1001/100）6.646.64（比特）比特）随意从袋子中摸到一个红球这一事件（状态）的信息量。随意从袋子中摸到一个红球这一事件（状态）的信息量。HH（红球）红球）=-=-log2log2（99/10099
32、/100）0.0140.014（比特）比特）2022/12/2第30页，本讲稿共37页 例例33 若若估估计计在在一一次次国国际际象象棋棋比比赛赛中中谢谢军军获获得得冠冠军军的的可可能能性性为为0.10.1（记记为为事事件件A A），而而在在另另一一次次国国际际象象棋棋比比赛赛中中她她得得到到冠冠军军的的可可能能性性为为0.90.9（记记为为事事件件B B）。试试分分别别计计算算当当你你得得知知她她获获得得冠冠军军时时，从从这这两两个事件中获得的信息量各为多少？个事件中获得的信息量各为多少？HH（A A）=-log2=-log2（0.10.1）3.323.32（比特）比特）HH（B B）=-l
33、og2=-log2（0.90.9）0.1520.152（比特）比特）2022/12/2第31页，本讲稿共37页 5.55.5统计信息量（平均自信息量）统计信息量（平均自信息量）如如果果事事物物X X具具有有n n种种独独立立的的可可能能状状态态（结结果果）为为X1X1，X2X2，XnXn，每每一一状状态态出出现现的的概概率率分分别别为为P P（X1X1），P P（X2X2），P P（XnXn），当当然有：然有：2022/12/2第32页，本讲稿共37页人人们们注注意意的的是是整整个个系系统统的的统统计计特特性性，当当信信源源各各个个消消息息的的出出现现概概率率相相互互统统计计独独立立时时，这这
34、种种信信源源称为称为无记忆信源无记忆信源。无无记记忆忆信信源源的的平平均均自自信信息息量量定定义义为为各各消消息息自自信信息息量量的的概概率率加加权权平平均均值值，表表示示用用以以消消除除这这个个事事物物的的不不确确定定性性所所需需要要的的信信息息量量。即即统统计计信信息息量量H(X)H(X)定义为：定义为：H H(X X)的表达式与统计物理学中的热熵具有相类似的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵的形式，在概念上二者也有相同之处，故借用熵这个词把这个词把H H(X X)称为集合称为集合X X的的信息熵信息熵，简称熵。，简称熵。2022/12/2第33
35、页，本讲稿共37页 如信息源发出的消息有几种可能性，则其输如信息源发出的消息有几种可能性，则其输出一个消息所提供的平均信息量（信息熵）出一个消息所提供的平均信息量（信息熵）为为H H（X X），），它就是用于消除信息源不确定它就是用于消除信息源不确定性所需要的信息量性所需要的信息量。熵的增加就意味着信息的损失，物质系统无序性的增强。熵的增加就意味着信息的损失，物质系统无序性的增强。信息量增加，熵减少，系统有序程度就提高。因信息量增加，熵减少，系统有序程度就提高。因此，信息量是系统有序化程度的一种量度。此，信息量是系统有序化程度的一种量度。2022/12/2第34页，本讲稿共37页 例例 向空中
36、投掷硬币，落地后有两种可能的状向空中投掷硬币，落地后有两种可能的状态，一个是正面朝上，另一个是反面朝上，每个状态，一个是正面朝上，另一个是反面朝上，每个状态出现的概率为态出现的概率为1/21/2。如投掷均匀的正六面体的骰子，则可能会出现如投掷均匀的正六面体的骰子，则可能会出现的状态有的状态有6 6个，每一个状态出现的概率均为个，每一个状态出现的概率均为1/61/6。试通过计算来比较骰子状态的不确定性与硬币试通过计算来比较骰子状态的不确定性与硬币状态的不确定性的大小。状态的不确定性的大小。2022/12/2第35页，本讲稿共37页 例例55：设甲地的天气预报为晴（占：设甲地的天气预报为晴（占4/
37、84/8），阴（占），阴（占2/82/8）小）小雨（占雨（占1/81/8），大雨（占），大雨（占1/81/8）；乙地的天气预报为晴（占）；乙地的天气预报为晴（占7/87/8），小雨（占），小雨（占1/81/8）。试比较甲乙两地天气预报提供的）。试比较甲乙两地天气预报提供的平均信息量大小。平均信息量大小。2022/12/2第36页，本讲稿共37页 可见甲地的天气预报提供的信息量比乙地大。可见甲地的天气预报提供的信息量比乙地大。推论推论11 当且仅当某个当且仅当某个P P（XiXi）=1=1，其余的都等于其余的都等于0 0时，时，H H（X X）=0=0。推论推论22当且仅当某个当且仅当某个P P（XiXi）=1/n=1/n，i=1i=1，2 2，n n时，时，H H（X X）有极大值有极大值lognlogn。2022/12/2第37页，本讲稿共37页