《信息论课件.ppt教学文案.ppt》由会员分享，可在线阅读，更多相关《信息论课件.ppt教学文案.ppt（27页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论课件信息论课件.ppt.ppt第一章第一章 绪论绪论相结合逐步发展而形相结合逐步发展而形相结合逐步发展而形相结合逐步发展而形成的一门新兴科学成的一门新兴科学成的一门新兴科学成的一门新兴科学 本章内容：本章内容：信息的概念信息的概念 数字通信系统模型数字通信系统模型 信息论与编码理论研究的主要内容及意义信息论与编码理论研究的主要内容及意义奠基人：美国数学家香农（奠基人：美国数学家香农（C.E.Shannon）1948年年“通信的数学理论通信的数学理论”信息论信息论通信技术通信技术概率论概率论随机过程随机过程数理统计数理统计1.1 信息的概念信息的概念l l信息是信息论中最基本、最重要的概念
2、，既抽象又复杂信息是信息论中最基本、最重要的概念，既抽象又复杂信息是信息论中最基本、最重要的概念，既抽象又复杂信息是信息论中最基本、最重要的概念，既抽象又复杂l l信息在日常生活中被认为是信息在日常生活中被认为是信息在日常生活中被认为是信息在日常生活中被认为是“消息消息消息消息”、“知识知识知识知识”、“情报情报情报情报”等等等等 “信息信息信息信息”不同于消息不同于消息不同于消息不同于消息（在现代信息论形成之前，信息一直（在现代信息论形成之前，信息一直（在现代信息论形成之前，信息一直（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），被看作是通信中消息的同义词，
3、没有严格的数学含义），被看作是通信中消息的同义词，没有严格的数学含义），被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；“信息信息信息信息”不同于情报不同于情报不同于情报不同于情报，情报的含义比情报的含义比情报的含义比情报的含义比“信息信息信息信息”窄的多，一般窄的多，一般窄的多，一般窄的多，一般只限于特殊的领域，是一类特殊的信息；只限于特殊的领域，是一类特殊的信息；只限于特殊的领域，是一类特殊的信息；只限于特殊的领域，是一类特殊的信息；信息不同于信号信息不同于信号信息不同于信号信
4、息不同于信号，信号是承载消息的物理量；，信号是承载消息的物理量；，信号是承载消息的物理量；，信号是承载消息的物理量；信息不同于知识信息不同于知识信息不同于知识信息不同于知识，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的,从自然界收从自然界收从自然界收从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。是一种高层次的信息。是一种高层次的信息。是一种高层次的信息。消息：消息
5、：消息：消息：用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。把客观物质运动和主观思维活动的状态表达出来。把客观物质运动和主观思维活动的状态表达出来。把客观物质运动和主观思维活动的状态表达出来。知识：知识：知识：知识：一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息，以，以，以，以实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象
6、思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概括。括。括。括。情报：情报：情报：情报：是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解而产生的知识而产生的知识而产生的知识而产生的知识。它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛，信息的含义更深刻、广泛，信息的含义更深刻、广泛，信息的含义更深刻、广泛就狭义而言，就狭义而言
7、，就狭义而言，就狭义而言，在通信中在通信中在通信中在通信中对信息的表达分为三个层次：信号、对信息的表达分为三个层次：信号、对信息的表达分为三个层次：信号、对信息的表达分为三个层次：信号、消息、信息。消息、信息。消息、信息。消息、信息。信号：信号：信号：信号：是信息的物理表达层，是三个层次中最具体的层次。是信息的物理表达层，是三个层次中最具体的层次。是信息的物理表达层，是三个层次中最具体的层次。是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、它是一个物理量，是一个载荷信息的实体，可测量、可描述、它是一个物理量，是一个载荷信息的实体，可测量、可描
8、述、它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。可显示。可显示。可显示。消息：消息：消息：消息：(或称为符号或称为符号或称为符号或称为符号)是信息的数学表达层，它虽不是一个是信息的数学表达层，它虽不是一个是信息的数学表达层，它虽不是一个是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进物理量，但是可以定量地加以描述，它是具体物理信号的进物理量，但是可以定量地加以描述，它是具体物理信号的进物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：一步数学抽象，可将具体物理信号抽象为两大类型：一步数学抽象，
9、可将具体物理信号抽象为两大类型：一步数学抽象，可将具体物理信号抽象为两大类型：离散离散离散离散(数字数字数字数字)消息消息消息消息，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述：X=X=(X(X1 1XXi iXXn n)连续连续连续连续(模拟模拟模拟模拟)消息消息消息消息，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述：X X(t(t,)信息：信息：信息：信息：它是更高层次哲学上的抽象，是信号与消息的更高它是更高层次哲学上的抽象
10、，是信号与消息的更高它是更高层次哲学上的抽象，是信号与消息的更高它是更高层次哲学上的抽象，是信号与消息的更高表达层次。表达层次。表达层次。表达层次。v信息、消息和信号是既有区别又有联系的三个不同信息、消息和信号是既有区别又有联系的三个不同信息、消息和信号是既有区别又有联系的三个不同信息、消息和信号是既有区别又有联系的三个不同的概念。的概念。的概念。的概念。消息中包含信息，是信息的载体消息中包含信息，是信息的载体消息中包含信息，是信息的载体消息中包含信息，是信息的载体。信号携带着消息，它是消息的运载工具信号携带着消息，它是消息的运载工具信号携带着消息，它是消息的运载工具信号携带着消息，它是消息的
11、运载工具。信息信息信息信息可认为可认为可认为可认为是是是是由具体的物理信号、数学描述的消息的由具体的物理信号、数学描述的消息的由具体的物理信号、数学描述的消息的由具体的物理信号、数学描述的消息的内涵内涵内涵内涵，即信号具体载荷的内容、消息描述的即信号具体载荷的内容、消息描述的即信号具体载荷的内容、消息描述的即信号具体载荷的内容、消息描述的含义含义含义含义。而而而而信号信号信号信号则是抽象信息在则是抽象信息在则是抽象信息在则是抽象信息在物理层物理层物理层物理层表达的表达的表达的表达的外延外延外延外延；消息消息消息消息则是抽象信息在则是抽象信息在则是抽象信息在则是抽象信息在数学层数学层数学层数学层
12、表达的表达的表达的表达的外延外延外延外延。同一信息，可以采用不同的信号形式同一信息，可以采用不同的信号形式同一信息，可以采用不同的信号形式同一信息，可以采用不同的信号形式(比如文字、语言、图比如文字、语言、图比如文字、语言、图比如文字、语言、图象等象等象等象等)来载荷；同一信息，也可以采用不同的数学表达形式来载荷；同一信息，也可以采用不同的数学表达形式来载荷；同一信息，也可以采用不同的数学表达形式来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续比如离散或连续比如离散或连续比如离散或连续)来定量描述。来定量描述。来定量描述。来定量描述。同一信号形式，比如同一信号形式，比如同一信号形
13、式，比如同一信号形式，比如“0”0”与与与与“1”1”可以表达不同形式的信息，可以表达不同形式的信息，可以表达不同形式的信息，可以表达不同形式的信息，比如无与有、断与通、低与高比如无与有、断与通、低与高比如无与有、断与通、低与高比如无与有、断与通、低与高(电平电平电平电平)等等。等等。等等。等等。什么是信息什么是信息 关关关关于于于于信信信信息息息息的的的的科科科科学学学学定定定定义义义义，到到到到目目目目前前前前为为为为止止止止，国国国国内内内内外外外外已已已已有有有有不不不不下下下下百百百百余余余余种种种种流流流流行行行行的的的的说说说说法法法法，它它它它们们们们都都都都是是是是从从从从不
14、不不不同同同同的的的的侧侧侧侧面面面面和和和和不不不不同的层次同的层次同的层次同的层次来揭示信息的本质的。来揭示信息的本质的。来揭示信息的本质的。来揭示信息的本质的。1928年，哈特莱年，哈特莱(RVL Hartley)在在在在信信信信息息息息传传传传输输输输一一一一文文文文中中中中提提提提出出出出：发发发发信信信信者者者者所所所所发发发发出出出出的的的的信信信信息，就是他在通信符号表中选择符号的具体方式息，就是他在通信符号表中选择符号的具体方式息，就是他在通信符号表中选择符号的具体方式息，就是他在通信符号表中选择符号的具体方式局限性局限性：定定定定义义义义不不不不涉涉涉涉及及及及到到到到信信
15、信信息息息息的的的的价价价价值值值值和和和和具具具具体体体体内内内内容容容容，只只只只考考考考虑虑虑虑选选选选择择择择的方式。的方式。的方式。的方式。即即即即使使使使考考考考虑虑虑虑选选选选择择择择的的的的方方方方法法法法，但但但但没没没没有有有有考考考考虑虑虑虑各各各各种种种种可可可可能能能能选选选选择择择择方方方方法的统计特性。法的统计特性。法的统计特性。法的统计特性。1948年，维纳年，维纳(NWiener)在控制论在控制论在控制论在控制论-动物和机器中通信与控制问题一动物和机器中通信与控制问题一动物和机器中通信与控制问题一动物和机器中通信与控制问题一书中，指出：书中，指出：书中，指出：
16、书中，指出：“信息是信息，不是物质，也不是能量信息是信息，不是物质，也不是能量信息是信息，不是物质，也不是能量信息是信息，不是物质，也不是能量”。将。将。将。将“信息信息信息信息”上升到上升到上升到上升到“最基本概念最基本概念最基本概念最基本概念”的位置。的位置。的位置。的位置。后来，维纳在人有人的用处一书中提出：后来，维纳在人有人的用处一书中提出：后来，维纳在人有人的用处一书中提出：后来，维纳在人有人的用处一书中提出：“信信信信息是人们适应外部世界并且使这种适应反作用于外息是人们适应外部世界并且使这种适应反作用于外息是人们适应外部世界并且使这种适应反作用于外息是人们适应外部世界并且使这种适应
17、反作用于外部世界的过程中，同外部世界进行互相交换的内容部世界的过程中，同外部世界进行互相交换的内容部世界的过程中，同外部世界进行互相交换的内容部世界的过程中，同外部世界进行互相交换的内容的名称。的名称。的名称。的名称。”局限性局限性：把信息与物质、能量混同起来。所以，维纳关于信把信息与物质、能量混同起来。所以，维纳关于信把信息与物质、能量混同起来。所以，维纳关于信把信息与物质、能量混同起来。所以，维纳关于信息的定义是不确切的。息的定义是不确切的。息的定义是不确切的。息的定义是不确切的。1948年，香农（年，香农（C.E.Shannon）发表了一篇著名的论文，发表了一篇著名的论文，发表了一篇著名
18、的论文，发表了一篇著名的论文，“通信的数学理论通信的数学理论通信的数学理论通信的数学理论”。他从研究通信系统传输的实质出发，对信息作了他从研究通信系统传输的实质出发，对信息作了他从研究通信系统传输的实质出发，对信息作了他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。科学的定义，并进行了定性和定量的描述。科学的定义，并进行了定性和定量的描述。科学的定义，并进行了定性和定量的描述。u信息是事物运动状态或存在方式的不信息是事物运动状态或存在方式的不确定性的描述。确定性的描述。通信系统模型通信系统模型信源信源信源编码器信源编码器信道编码器信道编码器调调制制器器信道信道解
19、解调调器器信宿信宿信源译码器信源译码器信道译码器信道译码器干扰干扰源源编码信道编码信道vv信源信源信源信源：产生消息和消息序列的来源。：产生消息和消息序列的来源。：产生消息和消息序列的来源。：产生消息和消息序列的来源。消息可以是离散的，也可以是连续的（数据、文消息可以是离散的，也可以是连续的（数据、文消息可以是离散的，也可以是连续的（数据、文消息可以是离散的，也可以是连续的（数据、文字、语言、图像），通常信源的消息序列是随机发字、语言、图像），通常信源的消息序列是随机发字、语言、图像），通常信源的消息序列是随机发字、语言、图像），通常信源的消息序列是随机发生的，因此要用随机变量来描述。生的，因
20、此要用随机变量来描述。生的，因此要用随机变量来描述。生的，因此要用随机变量来描述。vv 编码器编码器编码器编码器：把消息变换成适合于信道传输的信号。：把消息变换成适合于信道传输的信号。：把消息变换成适合于信道传输的信号。：把消息变换成适合于信道传输的信号。信源编码器信源编码器信源编码器信源编码器：将信源的输出进行适当的变换，以提高信息传：将信源的输出进行适当的变换，以提高信息传：将信源的输出进行适当的变换，以提高信息传：将信源的输出进行适当的变换，以提高信息传输的有效性。输的有效性。输的有效性。输的有效性。信道编码器信道编码器信道编码器信道编码器：对信源编码器的输出进行变换，用增加多余度：对信
21、源编码器的输出进行变换，用增加多余度：对信源编码器的输出进行变换，用增加多余度：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。的方法提高信道的抗干扰能力，以提高信息传输的可靠性。的方法提高信道的抗干扰能力，以提高信息传输的可靠性。的方法提高信道的抗干扰能力，以提高信息传输的可靠性。vv 调制器调制器调制器调制器：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行频率或相位受到调制控制的形式，以适
22、合在信道中进行频率或相位受到调制控制的形式，以适合在信道中进行频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。较长距离的传输。较长距离的传输。较长距离的传输。vv 信道信道信道信道：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、
23、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、磁盘、磁带等。磁盘、磁带等。磁盘、磁带等。磁盘、磁带等。vv干扰源干扰源干扰源干扰源：对传输信道或存储媒介构成干扰的来源的总称。干：对传输信道或存储媒介构成干扰的来源的总称。干：对传输信道或存储媒介构成干扰的来源的总称。干：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空扰和噪声往往具有随机性，所以信道的特征也可以用概率空扰和噪声往往具有随机性，所以信道的特征也可以用概率空扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；而噪声源的统计
24、特性又是划分信道的依据。间来描述；而噪声源的统计特性又是划分信道的依据。间来描述；而噪声源的统计特性又是划分信道的依据。间来描述；而噪声源的统计特性又是划分信道的依据。干扰可以分为两类：干扰可以分为两类：干扰可以分为两类：干扰可以分为两类：1 1）加性干扰，它是由外界原因产生）加性干扰，它是由外界原因产生）加性干扰，它是由外界原因产生）加性干扰，它是由外界原因产生的随机干扰，它与信道中传送的信号的统计特性无关，因而的随机干扰，它与信道中传送的信号的统计特性无关，因而的随机干扰，它与信道中传送的信号的统计特性无关，因而的随机干扰，它与信道中传送的信号的统计特性无关，因而信道的输出是输入和干扰的叠
25、加；信道的输出是输入和干扰的叠加；信道的输出是输入和干扰的叠加；信道的输出是输入和干扰的叠加；2 2）乘性干扰：信道的输出）乘性干扰：信道的输出）乘性干扰：信道的输出）乘性干扰：信道的输出信号可看成输入信号和一个时变参量相乘的结果。信号可看成输入信号和一个时变参量相乘的结果。信号可看成输入信号和一个时变参量相乘的结果。信号可看成输入信号和一个时变参量相乘的结果。vv解调器解调器解调器解调器：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程vv信道译码器信道译码器信道译码器信道译码器：利用信道编码时所提供的多余
26、度，检查或纠正：利用信道编码时所提供的多余度，检查或纠正：利用信道编码时所提供的多余度，检查或纠正：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。数字序列中的错误。数字序列中的错误。数字序列中的错误。vv信源译码器信源译码器信源译码器信源译码器：把经过信道译码器核对过的信息序列转换成适：把经过信道译码器核对过的信息序列转换成适：把经过信道译码器核对过的信息序列转换成适：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。合接收者接收的信息形式。合接收者接收的信息形式。合接收者接收的信息形式。vv信宿信宿信宿信宿：消息传送的对象：消息传送的对象：消息传送的对象：消息传送的
27、对象 （人或机器（人或机器（人或机器（人或机器 ）。qq在在在在通通通通信信信信系系系系统统统统中中中中形形形形式式式式上上上上传传传传输输输输的的的的是是是是消消消消息息息息，但但但但实实实实质质质质上上上上传传传传输输输输的的的的是是是是信信信信息息息息。消消消消息息息息只只只只是是是是表表表表达达达达信信信信息息息息的的的的工工工工具具具具、载载载载荷荷荷荷信信信信息息息息的的的的客客客客体体体体。显显显显然然然然，在在在在通通通通信信信信中中中中被被被被利利利利用用用用的的的的(亦亦亦亦即即即即携携携携带带带带信信信信息息息息的的的的)实实实实际际际际客客客客体体体体是是是是不重要的，
28、而重要的是信息。不重要的，而重要的是信息。不重要的，而重要的是信息。不重要的，而重要的是信息。qq通信的结果通信的结果通信的结果通信的结果是消除或部分消除不确定性从而获得信息。是消除或部分消除不确定性从而获得信息。是消除或部分消除不确定性从而获得信息。是消除或部分消除不确定性从而获得信息。qq香农定义信息的局限性：香农定义信息的局限性：香农定义信息的局限性：香农定义信息的局限性：（1 1）定义的出发点是假定事物状态可以用一个以经典集）定义的出发点是假定事物状态可以用一个以经典集）定义的出发点是假定事物状态可以用一个以经典集）定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述
29、，在实际中要寻找一个合适的合论为基础的概率模型来描述，在实际中要寻找一个合适的合论为基础的概率模型来描述，在实际中要寻找一个合适的合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往是非常困难的。有时是否存在这样一种模型还概率模型往往是非常困难的。有时是否存在这样一种模型还概率模型往往是非常困难的。有时是否存在这样一种模型还概率模型往往是非常困难的。有时是否存在这样一种模型还值得探讨。值得探讨。值得探讨。值得探讨。（2 2）定义没有考虑收信者的主观特性和主观意义，不顾）定义没有考虑收信者的主观特性和主观意义，不顾）定义没有考虑收信者的主观特性和主观意义，不顾）定义没有考虑收信者的主
30、观特性和主观意义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素。信息的具体含意、具体用途、重要程度和引起后果等因素。信息的具体含意、具体用途、重要程度和引起后果等因素。信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实，信息有很强的主观性和这就与实际情况不完全一致。其实，信息有很强的主观性和这就与实际情况不完全一致。其实，信息有很强的主观性和这就与实际情况不完全一致。其实，信息有很强的主观性和实用性。实用性。实用性。实用性。vv信信信信息息息息的的的的测测测测度度度度：信信信信息息息息量量量量与与与与不不不不确确确确定定定定性性性性消消消消除除除除的的
31、的的程程程程度度度度有有有有关关关关。用用用用数数数数学学学学的的的的语语语语言言言言来来来来讲讲讲讲，不不不不确确确确定定定定就就就就是是是是随随随随机机机机性性性性，可可可可运运运运用用用用研研研研究究究究随随随随机机机机事事事事件件件件的的的的数数数数学学学学工工工工具具具具-概概概概率率率率论论论论和和和和随随随随机机机机过过过过程程程程来来来来测测测测度度度度不不不不确确确确定定定定性性性性的的的的大大大大小。小。小。小。vv某某某某一一一一事事事事物物物物状状状状态态态态的的的的不不不不确确确确定定定定性性性性的的的的大大大大小小小小，与与与与该该该该事事事事物物物物可可可可能能能
32、能出出出出现现现现的的的的不不不不同同同同状状状状态态态态数数数数目目目目以以以以及及及及各各各各状状状状态态态态出出出出现现现现的的的的概概概概率率率率大大大大小小小小有有有有关关关关。既既既既然然然然不不不不确定性的大小能够度量，所以信息是可以测度的。确定性的大小能够度量，所以信息是可以测度的。确定性的大小能够度量，所以信息是可以测度的。确定性的大小能够度量，所以信息是可以测度的。vv与信息测度相关的几个概念：与信息测度相关的几个概念：与信息测度相关的几个概念：与信息测度相关的几个概念：样本空间、概率空间样本空间、概率空间样本空间、概率空间样本空间、概率空间 、先验概率、先验概率、先验概率
33、、先验概率 、自信息、自信息、自信息、自信息 、后验概率、后验概率、后验概率、后验概率 、互信息互信息互信息互信息 样样样样本本本本空空空空间间间间：所所所所有有有有可可可可能能能能选选选选择择择择的的的的消消消消息息息息的的的的集集集集合合合合（某某某某事事事事物物物物所有可能出现的状态所有可能出现的状态所有可能出现的状态所有可能出现的状态 ）概率空间概率空间概率空间概率空间：一个样本空间和它的概率测度：一个样本空间和它的概率测度：一个样本空间和它的概率测度：一个样本空间和它的概率测度 可用可用XX，PP来表示来表示 先验概率先验概率先验概率先验概率：选择符号：选择符号：选择符号：选择符号
34、a ai i 作为消息的概率作为消息的概率作为消息的概率作为消息的概率-P(aP(ai i)自信息自信息自信息自信息：a ai i 本身携带的信息量本身携带的信息量本身携带的信息量本身携带的信息量 后后后后验验验验概概概概率率率率：接接接接收收收收端端端端收收收收到到到到消消消消息息息息(符符符符号号号号)b bj j 后后后后而而而而发发发发送送送送端端端端发的是发的是发的是发的是 a ai i 的概率的概率的概率的概率 P(a P(ai i/b/bj j)互互互互信信信信息息息息：收收收收信信信信者者者者获获获获得得得得的的的的信信信信息息息息量量量量-先先先先验验验验的的的的不不不不确确
35、确确定定定定性减去尚存在的不确定性性减去尚存在的不确定性性减去尚存在的不确定性性减去尚存在的不确定性 如如如如果果果果信信信信道道道道没没没没有有有有干干干干扰扰扰扰，信信信信道道道道的的的的统统统统计计计计特特特特性性性性使使使使 a ai i 以以以以概概概概率率率率“1”“1”传送到接收端。传送到接收端。传送到接收端。传送到接收端。这这这这时时时时，收收收收信信信信者者者者接接接接到到到到消消消消息息息息尚尚尚尚存存存存在在在在的的的的不不不不确确确确定定定定性性性性就就就就等等等等于于于于零零零零，即即即即P(aP(ai i/b/bj j)1 1，loglog（1/1/P(aP(ai
36、i/b/bj j)0 0，不不不不确确确确定定定定性性性性全部消除。由此得互信息：全部消除。由此得互信息：全部消除。由此得互信息：全部消除。由此得互信息：有关自信息和互信息的概念即为香农关于信息的定有关自信息和互信息的概念即为香农关于信息的定有关自信息和互信息的概念即为香农关于信息的定有关自信息和互信息的概念即为香农关于信息的定义和度量，通常也称为义和度量，通常也称为义和度量，通常也称为义和度量，通常也称为概率信息概率信息概率信息概率信息 信息具有以下信息具有以下信息具有以下信息具有以下特征特征特征特征：（1 1）信息是可以）信息是可以）信息是可以）信息是可以识别识别识别识别的的的的（2 2）
37、信息的载体是可以）信息的载体是可以）信息的载体是可以）信息的载体是可以转换转换转换转换的的的的（3 3）信息是可以）信息是可以）信息是可以）信息是可以存贮存贮存贮存贮的的的的（4 4）信息是可以）信息是可以）信息是可以）信息是可以传递传递传递传递的的的的（5 5）信息是可以）信息是可以）信息是可以）信息是可以加工加工加工加工的的的的（6 6）信息是可以）信息是可以）信息是可以）信息是可以共享共享共享共享的的的的1.2 信息论研究的对象信息论研究的对象,目的目的,内容内容一、一、一、一、研究对象研究对象研究对象研究对象 前面介绍的统一的通信系统模型。人们通过系统前面介绍的统一的通信系统模型。人们
38、通过系统前面介绍的统一的通信系统模型。人们通过系统前面介绍的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共中消息的传输和处理来研究信息传输和处理的共中消息的传输和处理来研究信息传输和处理的共中消息的传输和处理来研究信息传输和处理的共同规律。同规律。同规律。同规律。二、研究目的二、研究目的二、研究目的二、研究目的 找到信息传输过程的共同规律，提高信息传输的找到信息传输过程的共同规律，提高信息传输的找到信息传输过程的共同规律，提高信息传输的找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息可靠性、有效性、保密性和认证性，以达到信息可靠性
39、、有效性、保密性和认证性，以达到信息可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。传输系统的最优化。传输系统的最优化。传输系统的最优化。可靠性可靠性可靠性可靠性 使信源发出的消息经过信道传输以后，尽可能使信源发出的消息经过信道传输以后，尽可能使信源发出的消息经过信道传输以后，尽可能使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。准确地、不失真地再现于接收端。准确地、不失真地再现于接收端。准确地、不失真地再现于接收端。有效性有效性有效性有效性 经济性好，即用尽可能短的时间和尽可能少的经济性好，即用尽可能短的时间和尽可能少的经济性好，即用尽可能短的时间和尽可能少
40、的经济性好，即用尽可能短的时间和尽可能少的设备来传送设备来传送设备来传送设备来传送定数量的信息。定数量的信息。定数量的信息。定数量的信息。保密性保密性保密性保密性 隐蔽和保护通信系统中传送的消息，使它只能隐蔽和保护通信系统中传送的消息，使它只能隐蔽和保护通信系统中传送的消息，使它只能隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。被授权接收者获取，而不能被未授权者接收和理解。被授权接收者获取，而不能被未授权者接收和理解。被授权接收者获取，而不能被未授权者接收和理解。认证性认证性认证性认证性 接收者能正确判断所接收的消息的正确性，验接收者能正确判断所接收的消
41、息的正确性，验接收者能正确判断所接收的消息的正确性，验接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。证消息的完整性，而不是伪造的和被窜改的。证消息的完整性，而不是伪造的和被窜改的。证消息的完整性，而不是伪造的和被窜改的。有效性、可靠性、保密性和认证性四者构成现代通信有效性、可靠性、保密性和认证性四者构成现代通信有效性、可靠性、保密性和认证性四者构成现代通信有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的系统对信息传输的系统对信息传输的系统对信息传输的全面要求全面要求全面要求全面要求。三、三、研究内容研究内容对信息论的研究内容一般有以下三种理解。对
42、信息论的研究内容一般有以下三种理解。对信息论的研究内容一般有以下三种理解。对信息论的研究内容一般有以下三种理解。狭义信息论狭义信息论狭义信息论狭义信息论（经典信息论）：（经典信息论）：（经典信息论）：（经典信息论）：主要研究信息的测度、信道主要研究信息的测度、信道主要研究信息的测度、信道主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息容量以及信源和信道编码理论等问题。这部分内容是信息容量以及信源和信道编码理论等问题。这部分内容是信息容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称为论的基础理论，又称为论的基础理论，又称为论的基础理论，又称为香农信息
43、论香农信息论香农信息论香农信息论。一般信息论一般信息论一般信息论一般信息论（通信理论）：主要是研究信息传输和处理问（通信理论）：主要是研究信息传输和处理问（通信理论）：主要是研究信息传输和处理问（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、题，除了香农理论外，还包括噪声理论、信号滤波和预测、题，除了香农理论外，还包括噪声理论、信号滤波和预测、题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。统计检测和估计理论、调制理论以及信息处理理论等。统计检测和估计理论、调制理论以及信息处理理论等。统计检测和估计
44、理论、调制理论以及信息处理理论等。广义信息论广义信息论广义信息论广义信息论：广义信息论不仅包括上述两方面的内容，而：广义信息论不仅包括上述两方面的内容，而：广义信息论不仅包括上述两方面的内容，而：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、且包括所有与信息有关的领域，如模式识别、计算机翻译、且包括所有与信息有关的领域，如模式识别、计算机翻译、且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。心理学、遗传学、语言学等等。心理学、遗传学、语言学等等。心理学、遗传学、语言学等等。信信信信息息息息论论论论是是是是一一一一门门门
45、门应应应应用用用用概概概概率率率率论论论论、随随随随机机机机过过过过程程程程、数数数数理理理理统统统统计计计计和和和和近近近近代代代代代代代代数数数数的的的的方方方方法法法法，来来来来研研研研究究究究广广广广义义义义的的的的信信信信息息息息传传传传输输输输、提提提提取取取取和和和和处理系统中一般规律的学科。处理系统中一般规律的学科。处理系统中一般规律的学科。处理系统中一般规律的学科。它它它它的的的的主主主主要要要要目目目目的的的的是是是是提提提提高高高高信信信信息息息息系系系系统统统统的的的的可可可可靠靠靠靠性性性性、有有有有效效效效性性性性、保密性和认证性，以便达到系统最优化；保密性和认证性
46、，以便达到系统最优化；保密性和认证性，以便达到系统最优化；保密性和认证性，以便达到系统最优化；它它它它的的的的主主主主要要要要内内内内容容容容(或或或或分分分分支支支支)包包包包括括括括香香香香农农农农理理理理论论论论、编编编编码码码码理理理理论论论论、维维维维纳纳纳纳理理理理论论论论、检检检检测测测测和和和和估估估估计计计计理理理理论论论论、信信信信号号号号设设设设计计计计和和和和处处处处理理理理理理理理论论论论、调制理论、随机噪声理论和密码学理论等。调制理论、随机噪声理论和密码学理论等。调制理论、随机噪声理论和密码学理论等。调制理论、随机噪声理论和密码学理论等。v 本课程讨论香农信息理论本
47、课程讨论香农信息理论本课程讨论香农信息理论本课程讨论香农信息理论 1.3 信息论发展简史与现状信息论发展简史与现状 uu信信信信息息息息论论论论是是是是在在在在长长长长期期期期的的的的通通通通信信信信工工工工程程程程实实实实践践践践和和和和理理理理论论论论研研研研究究究究的的的的基基基基础础础础上上上上发发发发展展展展起起起起来的。来的。来的。来的。一、简史一、简史一、简史一、简史 现代信息论实际上是从现代信息论实际上是从现代信息论实际上是从现代信息论实际上是从2020世纪世纪世纪世纪2020年代奈奎斯特和哈特莱的年代奈奎斯特和哈特莱的年代奈奎斯特和哈特莱的年代奈奎斯特和哈特莱的工作开始的。工
48、作开始的。工作开始的。工作开始的。19241924年奈奎斯特年奈奎斯特年奈奎斯特年奈奎斯特(H(HNyquistNyquist)的的的的“影响电报速率因素的确影响电报速率因素的确影响电报速率因素的确影响电报速率因素的确定定定定”一文，一文，一文，一文，19281928年哈特莱年哈特莱年哈特莱年哈特莱(R(RV VHartley)Hartley)的的的的“信息传输信息传输信息传输信息传输”一文研究了通信系统传输信息的能力，并给出了信息度量的一文研究了通信系统传输信息的能力，并给出了信息度量的一文研究了通信系统传输信息的能力，并给出了信息度量的一文研究了通信系统传输信息的能力，并给出了信息度量的方
49、法方法方法方法 19461946年柯切尔尼柯夫年柯切尔尼柯夫年柯切尔尼柯夫年柯切尔尼柯夫 的学位论文的学位论文的学位论文的学位论文“起伏噪声下的潜在起伏噪声下的潜在起伏噪声下的潜在起伏噪声下的潜在抗干扰理论抗干扰理论抗干扰理论抗干扰理论”，根据最小错误概率准则和最小均方误差，根据最小错误概率准则和最小均方误差，根据最小错误概率准则和最小均方误差，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题准则研究了离散和连续信道的最佳接收问题准则研究了离散和连续信道的最佳接收问题准则研究了离散和连续信道的最佳接收问题 19481948年香农年香农年香农年香农的权威性长文的权威性长文
50、的权威性长文的权威性长文“通信的数学理论通信的数学理论通信的数学理论通信的数学理论”，讨论了，讨论了，讨论了，讨论了信源和信道特性，信源和信道特性，信源和信道特性，信源和信道特性，19491949年年年年香农香农香农香农“噪声中的通信噪声中的通信噪声中的通信噪声中的通信”，上述，上述，上述，上述两篇文章奠定了现代信息论的理论基础两篇文章奠定了现代信息论的理论基础两篇文章奠定了现代信息论的理论基础两篇文章奠定了现代信息论的理论基础 此后，在基本理论和实际应用方面，信息论都得到了巨此后，在基本理论和实际应用方面，信息论都得到了巨此后，在基本理论和实际应用方面，信息论都得到了巨此后，在基本理论和实际