《信息论基础知识讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论基础知识讲稿.ppt（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论基础知识信息论基础知识第一页，讲稿共三十九页哦第第三三章章 信息论基础知识信息论基础知识v信息与信息技术信息与信息技术v信息论与广义通信系统信息论与广义通信系统v信息的定量描述信息的定量描述v连续信源及最大熵定理连续信源及最大熵定理v信息与熵的守恒定律信息与熵的守恒定律v思考题（作业）思考题（作业）第二页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术v一、信息的定义一、信息的定义信息就是信息，不是物质，也不是能量。信息就是信息，不是物质，也不是能量。信息是人和外界互相作用的过程中互相交换的内容的信息是人和外界互相作用的过程中互相交换的内容的名称。名称。（美国：维纳）（美国：维纳）
2、能够用来消除不定性的东西。能够用来消除不定性的东西。（美国：山农）（美国：山农）信息是事物之间的差异，而不是事物本身。信息是事物之间的差异，而不是事物本身。（意大利：朗格）（意大利：朗格）凡是能从过去的事件中提取出来用以指导未来的，便凡是能从过去的事件中提取出来用以指导未来的，便是信息。是信息。信息就是事物运动的状态和方式。信息就是事物运动的状态和方式。第三页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术v二、信息的作用二、信息的作用1 1、信息是一种资源、信息是一种资源正像物质和能量是人类生存和发展所必须的资源一样，信息也是正像物质和能量是人类生存和发展所必须的资源一样，信息也是一种
3、不可缺少的资源。物质提供各种各样有用的材料；能源提供一种不可缺少的资源。物质提供各种各样有用的材料；能源提供各种形式的动力；而信息向人类所提供的则是无穷无尽的知识和各种形式的动力；而信息向人类所提供的则是无穷无尽的知识和智慧。智慧。2 2、物质、能量、信息三者的关系、物质、能量、信息三者的关系现代科学认为，物质、能量、信息是物质世界的三大支柱，是科现代科学认为，物质、能量、信息是物质世界的三大支柱，是科学史上三个最重要的概念，而这三者之间存在着密切的联系。学史上三个最重要的概念，而这三者之间存在着密切的联系。物质运动的动力是能量，而信息是关于物质运动状态的特征，只物质运动的动力是能量，而信息是
4、关于物质运动状态的特征，只要有运动的事物，就需要有能量，也就会存在信息。信息是普遍要有运动的事物，就需要有能量，也就会存在信息。信息是普遍的，因此也可以说，的，因此也可以说，信息描述了客观事物变化的时空特性，即无信息描述了客观事物变化的时空特性，即无时不有，无地不存。时不有，无地不存。第四页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术第五页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术3 3信息的基本性质信息的基本性质v(1)(1)可以识别可以识别：信息可以通过人的感官直接识别，也可以通过：信息可以通过人的感官直接识别，也可以通过各种探测器间接识别。各种探测器间接识别。v(2
5、)(2)可以转换可以转换：信息可以从一种形态转换成另一种形态，如语：信息可以从一种形态转换成另一种形态，如语言、文字、图像、图表等信号形式；也可以转换成计算机代码言、文字、图像、图表等信号形式；也可以转换成计算机代码及广播、电视等电信号，而电信号和代码又可以转换成语言、及广播、电视等电信号，而电信号和代码又可以转换成语言、文字、图像等。文字、图像等。v(3)(3)可以存贮可以存贮：人用脑神经细胞存贮信息：人用脑神经细胞存贮信息(称作记忆称作记忆)；计算机；计算机用内存贮器和外存贮器存贮信息；录音机、录相机用磁带等介用内存贮器和外存贮器存贮信息；录音机、录相机用磁带等介质存贮信息等。质存贮信息等
6、。v(4)(4)可以传输可以传输：人与人之间的信息传递依靠语言、表情、动作；：人与人之间的信息传递依靠语言、表情、动作；社会信息的传输借助报纸、杂志、广播；工程中的信息则可以社会信息的传输借助报纸、杂志、广播；工程中的信息则可以借助机械、光、声、电等传输。借助机械、光、声、电等传输。第六页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术v三、信息科学三、信息科学1 1信息科学信息科学v信息科学是研究信息现象及其规律的科学。包括：信息科学是研究信息现象及其规律的科学。包括：信息本身有关的规律；信息本身有关的规律；有关利用信息方面的规律。有关利用信息方面的规律。因此，也可以说，信息科学是关于
7、如何认识信息以及如何利用因此，也可以说，信息科学是关于如何认识信息以及如何利用信息的科学信息的科学。v在认识信息方面：在认识信息方面：建立信息问题的完整的数学描述方法和定量建立信息问题的完整的数学描述方法和定量度量方法；探明信息是怎样产生的，怎样识别、提取、变换、度量方法；探明信息是怎样产生的，怎样识别、提取、变换、传递、检测、存贮、检索、处理和分析信息，研究这些过程中传递、检测、存贮、检索、处理和分析信息，研究这些过程中的基本规律和关系。的基本规律和关系。v在利用信息方面：在利用信息方面：主要研究利用信息来进行有效控制和组织最主要研究利用信息来进行有效控制和组织最优系统的一般原理和方法。优系
8、统的一般原理和方法。v认识是基础，是前提；而利用是结果，是目的。认识和利用，认识是基础，是前提；而利用是结果，是目的。认识和利用，两者密切关联，是一个统一的有机体。两者密切关联，是一个统一的有机体。v信息科学的主体结构应是信息论、控制论、系统论三者的结合，信息科学的主体结构应是信息论、控制论、系统论三者的结合，而人工智能则是三者的综合利用。而人工智能则是三者的综合利用。第七页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术2 2信息科学的目的和任务信息科学的目的和任务以扩展人的信息功能作为主要的研究目标，这是信息科学区别以扩展人的信息功能作为主要的研究目标，这是信息科学区别于其他现代的和
9、传统的科学的又一个根本特点。于其他现代的和传统的科学的又一个根本特点。信息科学的目的和任务：信息科学的目的和任务：在分析、探索和掌握人的信息器官功能在分析、探索和掌握人的信息器官功能的机制基础上，运用信息科学提供的原理和方法以及各种技术的机制基础上，运用信息科学提供的原理和方法以及各种技术(包括机械、电子、激光、生物等包括机械、电子、激光、生物等)，综合出新的人工系统，来延，综合出新的人工系统，来延长、增强、补充和扩展人的信息器官的功能。长、增强、补充和扩展人的信息器官的功能。第八页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术v四、信息技术四、信息技术1 1信息技术信息技术凡是可以扩
10、展人的信息功能的技术，都是信息技术。信息技凡是可以扩展人的信息功能的技术，都是信息技术。信息技术的主体内容包括术的主体内容包括传感技术传感技术、通信技术通信技术和和计算机技术计算机技术。v传感技术：传感技术：主要包括信息的识别、检测、提取、变换以及某些主要包括信息的识别、检测、提取、变换以及某些信息处理技术，它是人的感官功能的扩展和延伸。信息处理技术，它是人的感官功能的扩展和延伸。v通信技术：通信技术：包含信息的变换、传递存贮、处理以及某些控制与包含信息的变换、传递存贮、处理以及某些控制与调节技术，它是人的信息传输系统调节技术，它是人的信息传输系统(神经系统神经系统)功能的扩展和延功能的扩展和
11、延长。长。v计算机技术：计算机技术：主要包括信息的存贮、检索、处理、分析、产生主要包括信息的存贮、检索、处理、分析、产生(决策或称指令信息决策或称指令信息)、以及控制等，它是人的信息处理器官、以及控制等，它是人的信息处理器官 (大脑大脑)功能的延长。功能的延长。第九页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术2 2、信息技术与新技术革命、信息技术与新技术革命信息技术、新材料技术和新能源技术构成了科学技术和谐的信息技术、新材料技术和新能源技术构成了科学技术和谐的鼎足结构。鼎足结构。v微电子技术是由新材料和信息技术派生出来的一门新技术微电子技术是由新材料和信息技术派生出来的一门新技术v
12、激光技术是新能源和信息技术派生出来的新技术激光技术是新能源和信息技术派生出来的新技术v生物、海洋和空间技术是新材料、新能源和信息技术派生出来生物、海洋和空间技术是新材料、新能源和信息技术派生出来的三门新技术的三门新技术v光导纤维通信和计算机技术是信息技术的分支。光导纤维通信和计算机技术是信息技术的分支。第十页，讲稿共三十九页哦3-1 信息与信息技术信息与信息技术3 3、信息技术与传统技术、信息技术与传统技术信息技术在当代整个技术体系中，担负着对传统技术进行补信息技术在当代整个技术体系中，担负着对传统技术进行补充、改造和更新的使命。信息技术在改造传统工业方面大有可充、改造和更新的使命。信息技术在
13、改造传统工业方面大有可为，其中最主要的贡献是实现工业生产过程的自动化。为，其中最主要的贡献是实现工业生产过程的自动化。第十一页，讲稿共三十九页哦3-2 信息论与广义通信系统信息论与广义通信系统v一、信息论的基本概念一、信息论的基本概念信息论源于通信工程，其发展背景源于通讯系统中的：信息论源于通信工程，其发展背景源于通讯系统中的：(1)(1)信息传输的效率；信息传输的效率；(2)(2)信息传输的准确性；信息传输的准确性；(3)(3)噪声干扰；噪声干扰；(4)(4)信道频率特性等。信道频率特性等。实际上信息论范畴更广，而通信理论只是信息论中与通实际上信息论范畴更广，而通信理论只是信息论中与通信有关
14、的一部分。通常，对于信息论有三种理解：信有关的一部分。通常，对于信息论有三种理解：v狭义信息论狭义信息论，主要研究信息的测度、信道容量以及信源和信道，主要研究信息的测度、信道容量以及信源和信道编码理论等，这一部分即山农信息基本理论；编码理论等，这一部分即山农信息基本理论；v一般信息论一般信息论，也主要是研究通信问题，但包括噪声理论，信号，也主要是研究通信问题，但包括噪声理论，信号滤波与预测，信号调制与信号处理等。这一部分理论的代表人滤波与预测，信号调制与信号处理等。这一部分理论的代表人是维纳和苏联科学家卡尔莫格洛夫；是维纳和苏联科学家卡尔莫格洛夫；第十二页，讲稿共三十九页哦3-2 信息论与广义
15、通信系统信息论与广义通信系统v广义信息论广义信息论，不仅包括上述内容，而且包括与信息有关的领域，不仅包括上述内容，而且包括与信息有关的领域，如心理学、遗传学、神经生理学、语言学甚至包括社会学中有如心理学、遗传学、神经生理学、语言学甚至包括社会学中有关信息的问题。关信息的问题。将信息论应用于工程测试领域，始于将信息论应用于工程测试领域，始于6060年代，从信息年代，从信息论观点出发，认识测试技术领域中的一些问题。如：论观点出发，认识测试技术领域中的一些问题。如：v测试系统实质上就是一个广义通信系统；测试系统实质上就是一个广义通信系统；v传感器是一个信息检测与转换装置，引入熵的概念，作为被观传感器
16、是一个信息检测与转换装置，引入熵的概念，作为被观测系统不确定性的尺度；测系统不确定性的尺度；v基于最大熵定理的最大熵谱分析方法；基于最大熵定理的最大熵谱分析方法；v运用山农信道容量理论分析测试系统的最佳信息传输条件；运用山农信道容量理论分析测试系统的最佳信息传输条件；v运用维纳滤波理论研究剔除噪声、提取源信号的方法；运用维纳滤波理论研究剔除噪声、提取源信号的方法；v第十三页，讲稿共三十九页哦3-2 信息论与广义通信系统信息论与广义通信系统v二、广义通信系统二、广义通信系统指所有信息流通的系统。可概括为如图所示的模型。指所有信息流通的系统。可概括为如图所示的模型。第十四页，讲稿共三十九页哦3-2
17、 信息论与广义通信系统信息论与广义通信系统第十五页，讲稿共三十九页哦3-2 信息论与广义通信系统信息论与广义通信系统工工程程测测试试系系统统是是一一个个广广义义的的通通信信系系统统，它它符符合合信信息息转转换换、传传输输与与分分析析处处理理的的共共同同规规律律。因因此此，运运用用广广义义信信息息论论去去认认识识、分分析析工工程程测测试试领领域域中中的的问问题题，是符合这一客观规律的。是符合这一客观规律的。第十六页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述v一、概述一、概述自然科学通常都应作定量的描述，定性描述只能解释一些现象，即使认自然科学通常都应作定量的描述，定性描述只能解释一些
18、现象，即使认为能作直观理解，也是悬而未决的，尚未上升到学术水平。出于要从理为能作直观理解，也是悬而未决的，尚未上升到学术水平。出于要从理论上研究信息，就必须对信息大小作定量描述。论上研究信息，就必须对信息大小作定量描述。山农信息理论的贡献就在于：运用概率论与数理统计学方法，对信息给予了数学山农信息理论的贡献就在于：运用概率论与数理统计学方法，对信息给予了数学描述描述。从而使信息论作为一门科学建立起来。因此，信息论被认为是第二次从而使信息论作为一门科学建立起来。因此，信息论被认为是第二次世界大战以后的一门新兴科学。世界大战以后的一门新兴科学。v二、二、信源信源信源一般是以符号信源一般是以符号(或
19、信号或信号)的形式发出信息。的形式发出信息。信源的内部结构往往很复杂，例信源的内部结构往往很复杂，例如，人发出信息，是通过大脑的思维活动，指挥口腔或手以语言或文字的形式表如，人发出信息，是通过大脑的思维活动，指挥口腔或手以语言或文字的形式表达出来的，这是相当复杂的过程，因此，一般只研究它的输出，即语言或文字等。达出来的，这是相当复杂的过程，因此，一般只研究它的输出，即语言或文字等。语言文字是一种表达信息的符号，是物理性的。语言是声信号，而文字是光信号。语言文字是一种表达信息的符号，是物理性的。语言是声信号，而文字是光信号。同一件事情，可用不同语言表达，也就是同一信息可用不同的编码方式转换成符同
20、一件事情，可用不同语言表达，也就是同一信息可用不同的编码方式转换成符号。号。第十七页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述对于工程物理系统，信源就是所研究的客观事物，或称为物理过程。例如，对于工程物理系统，信源就是所研究的客观事物，或称为物理过程。例如，雷达遥测系统，被搜寻物在空间的坐标、速度、形状等构成了信源，当电磁雷达遥测系统，被搜寻物在空间的坐标、速度、形状等构成了信源，当电磁波射向它，反射波中就携带着这些信息，故而反射波就是经过编码的符号波射向它，反射波中就携带着这些信息，故而反射波就是经过编码的符号(或信号或信号)。信源的输出是随机的，因为，如果事先已经知道信源的输出
21、，那么就信源的输出是随机的，因为，如果事先已经知道信源的输出，那么就无信息可言。正如所研究的物理过程，它应是未知的，这时才有研究无信息可言。正如所研究的物理过程，它应是未知的，这时才有研究的价值，信源的输出常用随机变量或随机矢量来描述，或者说用概率的价值，信源的输出常用随机变量或随机矢量来描述，或者说用概率空间来描述信源，从随机变量出发来研究信息量是山农信息理论的基空间来描述信源，从随机变量出发来研究信息量是山农信息理论的基本假设。本假设。从概率论可知，随机变量可取值于某一离散集合，也可取值于某一连从概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相当的信源称为离散信源及连续
22、信源。续区间，相当的信源称为离散信源及连续信源。第十八页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述v三、离散信源模型三、离散信源模型离散信源的数学模型是离散型概率空间，即：离散信源的数学模型是离散型概率空间，即：集集合合中中的的元元素素x1，x2，描描述述了了信信源源输输出出的的可可能能状状态态；各各元元素素的的概概率率P(x1)，P(x2)，描述了各个状态出现的可能性；状态的出现往往是不相容的。描述了各个状态出现的可能性；状态的出现往往是不相容的。第十九页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述例例如如，掷掷硬硬币币，在在末末抛抛下下之之前前，可可认认为为是是一一个
23、个未未知知的的物物理理系系统统，抛抛下下之之后后，必须是正、反两种状态之一，其信源模型为：必须是正、反两种状态之一，其信源模型为：其其中中P(x1)=P(x2)=0.5表表明明该该系系统统是是等等概概率率事事件件。此此可可称称之之为为先先验验概概率率，与人们对该事物的认识有关，是根据历史或知识的积累而分析判断的。与人们对该事物的认识有关，是根据历史或知识的积累而分析判断的。用用超超声声波波发发生生器器检检测测物物体体内内部部有有无无裂裂纹纹，超超声声波波穿穿透透试试件件后后，携携带带着着有有无无裂裂纹纹的的信信息息，经经过过对对接接收收的的信信号号进进行行处处理理之之后后，用用图图像像或或数数
24、据据显显示示出出来来。试试件件内内部部状状态态构构成成一一个个信信息息源源，在在未未检检测测之之前前是是不不清清楚楚的的，这这是是一一个个典典型型的的是、非信源，其信源模型为：是、非信源，其信源模型为：第二十页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述v四、自信息四、自信息如果信源中某一状态发生的先验概率很小，那么，一旦它发生，人如果信源中某一状态发生的先验概率很小，那么，一旦它发生，人们获得的信息量就多，这应是很自然的。们获得的信息量就多，这应是很自然的。例如，一台机器，具有正常工作和发生事故两种可能状态，如果正常工作的概例如，一台机器，具有正常工作和发生事故两种可能状态，如果正
25、常工作的概率为率为P(x1)0.99；发生故障的概率；发生故障的概率P(x2)0.Ol0.Ol，则可认为这台机器一般处于正，则可认为这台机器一般处于正常工作状态。但是，一旦发生故障，则是一件引人注目的事件。常工作状态。但是，一旦发生故障，则是一件引人注目的事件。事件发生的不确定性与事件发生的概率有关。事件发生的不确定性与事件发生的概率有关。事件发生的概率越小，人们猜事件发生的概率越小，人们猜测它有没有发生的因难程度就越大。而事件发生的概率越大，人们猜测这件事测它有没有发生的因难程度就越大。而事件发生的概率越大，人们猜测这件事发生的成功率就越大，不确定性就越小。对于发生概率为发生的成功率就越大，
26、不确定性就越小。对于发生概率为l l的必然事件，就不存的必然事件，就不存在不确定性。因此，某事件发生所含有的信息量，应该是该事件发生的先验概率的在不确定性。因此，某事件发生所含有的信息量，应该是该事件发生的先验概率的函数，即：函数，即：式式中中，P(xi)是是事事件件xi发发生生的的先先验验概概率率，I(xi)表表示示事事件件xi发发生生所所含含有有的的信信息息量。量。第二十一页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述根据客观事实和人们的习惯概念，根据客观事实和人们的习惯概念，函数函数I(xi)应满足以下条件应满足以下条件:(1)(1)I(xi)是是先先验验概概率率P(xi)的的
27、单单调调递递减减函函数，数，P(xi)越大，越大，I(xi)越小；越小；(2)(2)当当P(xi)1 1时时，I(xi)0 0，必必然然事事件件信息量为零；信息量为零；(3)(3)当当P(xi)=O O时时，I(xi)，不不可可能能发发生生的的事事件件发发生生了了，其其信信息息量量为为无无穷穷大；大；(4)(4)两两个个独独立立事事件件的的联联合合信信息息量量，等等于于它们各自信息量之和。它们各自信息量之和。显显然然，满满足足条条件件(1)(1)、(2)(2)、(3)(3)时时，应应取取信信息息量量I(xi)为为先先验验概概率率P(xi)的的倒数；满足条件倒数；满足条件(4)(4)时，最好的方
28、法是用对数来定义信息量。时，最好的方法是用对数来定义信息量。事件事件xi发生时，该事件所含有的信息量。发生时，该事件所含有的信息量。第二十二页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述因因为为I(xi)描描述述的的是是事事件件xi发发生生时时的的信信息息量量，故故又又称称为为自自信信息息。I(xi)代代表表两两种种含义含义：(1)(1)当事件当事件xi发生以前，表示事件发生以前，表示事件xi发生的不确定性；发生的不确定性；(2)(2)当事件当事件xi发生以后，表示事件发生以后，表示事件xi所含有所含有(或所提供或所提供)的信息量。的信息量。自信息采用的测度单位取决于所取对数之底自信
29、息采用的测度单位取决于所取对数之底:如果以如果以2 2为底，则所得信息量单位为为底，则所得信息量单位为比特比特(bit(bit，binary unit)binary unit)；以以e e为底，则为为底，则为奈特奈特(nat(nat，nature unitnature unit的缩写的缩写)；以以1010为底，则为为底，则为哈特哈特(Hart(Hart，hartley hartley的缩写的缩写)等。等。一一般般都都采采用用以以2 2为为底底的的对对数数，因因为为当当P(xi)1 12 2时时，I(xi)1 1比比特特，所所以以，1 1 bitbit信信息息量量就就是是两两个个互互不不相相容容
30、的的等等可可能能事事件件之之一一发发生生时时，所所提提供供的的信息。信息。第二十三页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述v五、信息熵五、信息熵自信息自信息I(xi)是指信源是指信源(物理系统物理系统)某一事件某一事件xi发生时所包含的信息量，物理系统发生时所包含的信息量，物理系统内不同事件发生时，其信息量不同，所以自信息内不同事件发生时，其信息量不同，所以自信息I(xi)是一个随机变量，它是一个随机变量，它不能用来作为整个系统的信息的量度。不能用来作为整个系统的信息的量度。山农定义自信息的数学期望为信息熵，即信源的平均信息量。山农定义自信息的数学期望为信息熵，即信源的平均信息
31、量。熵的单位是熵的单位是bitbit事件事件 或或bitbit符号符号。信信息息熵熵表表征征了了信信源源整整体体的的统统计计特特性性，是是总总体体的的平平均均不不确确定定性性的的量量度度。对对某某一一特定的信源，其信息熵只有一个；不同的信源，因统计特性不同，其熵也不同。特定的信源，其信息熵只有一个；不同的信源，因统计特性不同，其熵也不同。第二十四页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述例如，两个信源，其概率空间分别为：例如，两个信源，其概率空间分别为：它们的信息熵为：它们的信息熵为：H(X)-0.99log0.99-0.01log0.01=0.08 bit/事件事件 H(Y)=
32、0.5log0.5-0.5log0.5=1 bit/事件事件H(Y)H(X)，说说明明信信源源Y比比信信源源X的的平平均均不不确确定定性性要要大大，即即在在事事件件发发生生之之前前，分分析析信信源源Y，由由于于事事件件y1、y2是是等等概概率率的的，难难以以猜猜测测哪哪一一个个事事件件会会发发生生；而信源而信源X，虽然也存在不确定性，但大致可以知道，虽然也存在不确定性，但大致可以知道，x1出现的可能性要大。出现的可能性要大。第二十五页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述v六、信息熵的基本性质六、信息熵的基本性质1.1.对称性对称性当当概概率率空空间间中中P(x1)，P(x1)
33、顺顺序序任任意意互互换换时时、熵熵函函数数的的值值不不变变。例例如如下下面两个信源空间：面两个信源空间：其其信信息息熵熵H(X)=H(y)。该该性性质质说说明明，熵熵只只与与随随机机变变量量的的总总体体结结构构有有关关，与与信信源源总总体体的的统统计计特特性性有有关关。此此点点也也说说明明了了所所定定义义的的熵熵有有其其局局限限性，它不能描述事件本身的主观意义。性，它不能描述事件本身的主观意义。第二十六页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述2.2.确定性确定性如如果果信信源源的的输输出出只只有有一一个个状状态态是是必必然然的的，即即P(x1)=1，P(x2)=P(x3)=0，
34、则信源的熵为：，则信源的熵为：这这个个性性质质表表明明，信信源源的的输输出出虽虽有有多多种种不不同同形形态态，但但其其中中一一种种是是必必然然的的，这这意意味味着着其其他他状状态态不不可可能能出出现现。那那么么，这这个个信信源源是是一一个个确确知知信信源源，其其熵熵为为零。零。3.3.非负性非负性即即H(X)=0。因因为为随随机机变变量量X的的所所有有取取值值的的概概率率分分布布为为0P(xi)1，当当取取对对数数的的底底大大于于1时时，log P(xi)0，而而-P(xi)log P(xi)0，则则得得到到的的熵熵是是正正值值。只只有有当当随随机机变变量量是是一一确确知知量量时时，熵熵才才等
35、等于于零零。这这种种非非负负性性对对于于离离散散信信源源的熵是合适的，但对连续信源的熵来说，这一性质并不存在。的熵是合适的，但对连续信源的熵来说，这一性质并不存在。第二十七页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述4.4.可加性可加性即即统统计计独独立立信信源源X和和Y的的联联合合信信源源的的熵熵等等于于它它们们各各自自的的熵熵之之和和。如如果果有有两两个个随随机机变变量量X和和Y，它它们们彼彼此此是是统统计计独独立立的的，即即X的的概概率率分分布布为为P(x1)，P(x2)，P(xN)，而而Y的概率分布为的概率分布为P(y1)，P(y2)，P(yN)，则联合信源的熵为：，则联合
36、信源的熵为：可可加加性性是是熵熵函函数数的的一一个个重重要要特特性性，正正因因为为有有可可加加性性，所所以以可可以以证证明明熵熵函函数数的形式是唯一的。的形式是唯一的。第二十八页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述5.5.极值性极值性信信源源各各个个状状态态为为等等概概率率分分布布时时，熵熵值值最最大大，并并且且等等于于信信源源输输出出状状态数。态数。P(x1)=P(x2)=P(xN)=1/N时：时：信源有两种状态时，其概率空间为：信源有两种状态时，其概率空间为：其其H(X)-P(xi)关系如图所示。关系如图所示。当当P(xi)=1/2时，熵有最大值。时，熵有最大值。以以上上
37、分分析析表表明明，对对于于具具有有N个个状状态态的的离离散散信信源源，只只有有在在信信源源N个个状状态态等等概概率率出出现现的的情情况况下下，信信源源熵熵才才能能达达到到最最大大值值。这这也也表表明明，等等概概率率分分布布信信源源的的平平均均不不确确定定性性最最大，这是一个很重要的结论，称为大，这是一个很重要的结论，称为最大离散熵定理最大离散熵定理。图图3-12还还进进一一步步说说明明，如如果果二二进进制制信信源源输输出出是是确确定定的的，即即P(x1)=1，则则H(X)=0，此此时时表表明明该该信信源源不不提提供供任任何何信信息息；反反之之，当当信信源源输输出出为为等等概概率率发发生生时时，
38、信信源源的熵达到最大值，等于的熵达到最大值，等于1bit信息量信息量第二十九页，讲稿共三十九页哦3-3 信息的定量描述信息的定量描述v七、信息熵与热力学熵七、信息熵与热力学熵以上把信源的平均信息量定义为熵。熵这个字来源于统计热力学，以上把信源的平均信息量定义为熵。熵这个字来源于统计热力学，熵字的中文意义是热量被温度除所得的商熵字的中文意义是热量被温度除所得的商，相同热量，温度高则熵小，相同热量，温度高则熵小，温度低则熵大；熵的外文原名是希腊字母拼成的，原意是温度低则熵大；熵的外文原名是希腊字母拼成的，原意是“转变转变”的意思，的意思，指热量可以转变为功的程度。熵小则转变程度高，熵大则转变程度低
39、。在通指热量可以转变为功的程度。熵小则转变程度高，熵大则转变程度低。在通讯系统中，信源的信息熵的定义和热力学熵的定义在表达形式上是相似的，讯系统中，信源的信息熵的定义和热力学熵的定义在表达形式上是相似的，在物理概念上也有一定联系。在物理概念上也有一定联系。广义地讲，广义地讲，热力学的熵是物理系统无序状态的描述，是紊乱程度的热力学的熵是物理系统无序状态的描述，是紊乱程度的测度测度。一个物理系统的熵，可以用系统的微观状态数的对数来描述。一个物理系统的熵，可以用系统的微观状态数的对数来描述。信息熵也可以认为是信源紊乱程度的测度，亦可以用来表征物理系统运信息熵也可以认为是信源紊乱程度的测度，亦可以用来
40、表征物理系统运动状态的不确定性，通过通信收到消息后，消除了这种不确定性，就获得信动状态的不确定性，通过通信收到消息后，消除了这种不确定性，就获得信息，信息熵也是动态的，如当消息通过系统传输到收信者后，信源的熵要改息，信息熵也是动态的，如当消息通过系统传输到收信者后，信源的熵要改变。变。在信息论中，信息熵只会减少，不可能增加，这就是在信息论中，信息熵只会减少，不可能增加，这就是信息熵不增原理信息熵不增原理。第三十页，讲稿共三十九页哦3-4 连续信源及最大熵定理连续信源及最大熵定理v一、连续信源一、连续信源实际中，一些信源的输出常常是时间和取值都是连续的信息，即可能实际中，一些信源的输出常常是时间
41、和取值都是连续的信息，即可能出现的状态数是不可数的无限值。例如语音信号出现的状态数是不可数的无限值。例如语音信号x(t)，电视信号，电视信号x(xo，yo，t)等，都是时间的连续函数。而且任一时刻，它们的取值也是连续的，这时可用等，都是时间的连续函数。而且任一时刻，它们的取值也是连续的，这时可用连续随机变量来描述这些状态，这种信源称为连续随机变量来描述这些状态，这种信源称为连续信源连续信源。连续信源的数学模型为连续型的概率空间，即：连续信源的数学模型为连续型的概率空间，即：并满足并满足其中，其中，R或或(a,b)表示数集区间，表示数集区间，p(x)是随机变量是随机变量x的概率密度函数。的概率密
42、度函数。第三十一页，讲稿共三十九页哦3-4 连续信源及最大熵定理连续信源及最大熵定理连连续续信信源源的的信信息息测测度度可可以以用用离离散散信信源源的的信信息息测测度度来来逼逼近近。假假定定随随机机变变量量X的的概概率率密密度度函函数数如如图图所所示示，将将取取值值区区间间(a，b)分分成成n个个小小区区间间，任任一一小小区区间间的的概概率率为：为：这时离散信源的熵：这时离散信源的熵：当当x0，n 时，若极限存在，即得到连续信源的熵：时，若极限存在，即得到连续信源的熵：第三十二页，讲稿共三十九页哦3-4 连续信源及最大熵定理连续信源及最大熵定理一一般般情情况况下下，上上式式的的第第一一项项是是
43、定定值值，而而当当x0时时，第第二二项项趋趋于于无无限限大大。所以避开第二项，定义连续信源的熵为：所以避开第二项，定义连续信源的熵为：v二、最大熵定理二、最大熵定理熵熵h(x)是概率密度函数是概率密度函数p(x)的函数，在信息处理过程中，常常希的函数，在信息处理过程中，常常希望求得最大熵，即找出望求得最大熵，即找出p(x)是什么样的函数时能使连续信源的熵具有最是什么样的函数时能使连续信源的熵具有最大值。在离散信源中，已经证明，当信源的输出状态是等概率分布时，信源大值。在离散信源中，已经证明，当信源的输出状态是等概率分布时，信源的熵取最大值。在连续信源中，情况有所不同，当各约束条件不同时，信源的
44、熵取最大值。在连续信源中，情况有所不同，当各约束条件不同时，信源的最大相对熵值不同，有两种情况。的最大相对熵值不同，有两种情况。第三十三页，讲稿共三十九页哦3-4 连续信源及最大熵定理连续信源及最大熵定理峰值功率受限条件下信源的最大熵峰值功率受限条件下信源的最大熵当信源输出信号的峰值功率受限，即信号的取值区间被限定当信源输出信号的峰值功率受限，即信号的取值区间被限定在某一范围在某一范围(a,b)之内时，则在限定的范围内，当输出信号的概之内时，则在限定的范围内，当输出信号的概率密度是均匀分布时，信源具有最大相对熵。率密度是均匀分布时，信源具有最大相对熵。此此式式表表明明，熵熵是是幅幅值值区区间间
45、(a，b)的的函函数数，即即在在峰峰值值功功率率受受限限条条件件下下，幅幅值值区区间间越越大大，则则熵熵值值越越大大。这这也也说说明明，信信号号的的波波动动范范围围越越宽宽，则则系系统统的的不不定定性程度越大。性程度越大。第三十四页，讲稿共三十九页哦3-4 连续信源及最大熵定理连续信源及最大熵定理平均功率受限条件下信源的最大熵平均功率受限条件下信源的最大熵若一个信源输出信号的平均功率有限，则其输出信号幅度的若一个信源输出信号的平均功率有限，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵。概率密度分布是高斯分布时，信源有最大熵。一维随机变量一维随机变量X的概率密度分布为：的概率密度分布
46、为：这个连续信源的熵：这个连续信源的熵：可可见见，正正态态分分布布的的连连续续信信源源的的熵熵与与数数学学期期望望m无无关关，只只与与其其方方差差2有有关。当关。当m=0时，时，X的方差就等于信源输出的平均功率。的方差就等于信源输出的平均功率。第三十五页，讲稿共三十九页哦3-4 连续信源及最大熵定理连续信源及最大熵定理这这一一结结论论说说明明，当当连连续续信信源源输输出出信信号号的的平平均均功功率率受受限限时时，只只有有信信号号的的统统计计特特性性与与高高斯斯噪噪声声的的统统计计特特性性一一样样时时，才才会会有有最最大大的的熵熵值值。从从物物理理意意义义上上解解释释这这是是合合理理的的，因因为
47、为噪噪声声是是一一个个最最不不确确定定的的随随机机过过程程，而而最最大大的的信信息息量量只只能能从从最最不不确确定定的的事事件件中中获获得。得。为为什什么么在在平平均均功功率率受受限限条条件件下下正正态态分分布布信信源源的的熵熵最最大大，亦亦可可作作如如下下解解释释。当当限限制制平平方方平平均均值值时时，由由于于大大的的幅幅值值x平平方方后后变变得得更更大大，因因此此出出现现的的次次数数不不可可能能太太多多，所所以以x值值愈愈增增大大，出出现现的的概概率率就就愈愈小小，而而且且对对于于x的的正正负负值值是是对对称称的的。若若x较较小小，则则概概率率尽尽可可能能相相同同时时，熵熵变变大大。在在接
48、接近近x=0时时，变变得得接接近近于于平平均均的的均均匀匀分分布布，故故有正态分布形式。有正态分布形式。第三十六页，讲稿共三十九页哦3-5 信息与熵的守恒定理信息与熵的守恒定理熵熵描描述述了了系系统统的的不不确确定定性性程程度度，而而信信息息则则是是消消除除了了系系统统不不确确定定性性(或或事事件件发发生生以以后后)而而得得到到的的东东西西。因因此此，熵熵与与信信息息通通过过一一个个简简单单的的守守恒恒定定律律相相联联系系，即即一一个个体体系系的的信信息息与与熵熵的的和和保保持持恒恒定定，并并等等于于该该体体系系在在给给定定条条件件下下所所能能达达到到的的最最多信息或最大熵。在数学上可以表达为
49、：多信息或最大熵。在数学上可以表达为：H和和I分分别别表表示示熵熵和和信信息息的的实实际际值值；Hmax和和Imax则则分分别别表表示示系系统统熵熵和和信信息息的的最最大大的可能值。的可能值。掷掷硬硬币币，在在末末抛抛下下之之前前，出出现现正正面面与与反反面面的的可可能能性性是是未未知知的的，系系统统存存在在着着不不确确定定性性，其其概概率空间为：率空间为：在在 未未 掷掷 之之 前前，先先 验验 概概 率率p(x1)p(x2)=0.5，故有先验概率空间：，故有先验概率空间：此时，系统的原始熵此时，系统的原始熵Hmax1。第三十七页，讲稿共三十九页哦3-5 信息与熵的守恒定理信息与熵的守恒定理
50、硬币抛下之后，则其后验概率空间变为：硬币抛下之后，则其后验概率空间变为：此此时时，已已消消除除了了系系统统的的不不确确定定性性，其其熵熵H0。因因此此，观观测测后后实实得得信信息应是两个概率空间变化量，即：息应是两个概率空间变化量，即：Ibit第三十八页，讲稿共三十九页哦思考题（作业）思考题（作业）1、某某装装置置的的正正常常工工作作温温度度保保持持在在3540之之间间。在在35 以以下下时时停停止止使使用用，等等待待升升温温；在在40 以以上上时时，也也停停止止使使用用，进进行行强强制制冷冷却却。已已知知25%的的时时间间在在35 以以下下，5%的的时时间间在在40 以以上上。求求以以下下三