《信息论与编码理论.ppt》由会员分享，可在线阅读，更多相关《信息论与编码理论.ppt（23页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码理论信息论与编码理论The Theory of Information and CodingRobert J.McEliece USChongqing Jiaotong UniversityComputer and Information CollegeDept.Telecommunication EngineeringLI-YicaiEmail:Aug.2007教材及参考书目教材及参考书目李斗李斗 信息论与编码理论信息论与编码理论 电子工业出版社电子工业出版社冯桂冯桂 信息论与编码技术信息论与编码技术 清华大学出版社清华大学出版社王新梅王新梅 纠错码纠错码原理与方法原理与方法 西
2、安电子科大出版社西安电子科大出版社相结合逐步发展而形相结合逐步发展而形相结合逐步发展而形相结合逐步发展而形成的一门新兴科学成的一门新兴科学成的一门新兴科学成的一门新兴科学 本章内容：本章内容：信息的概念信息的概念 数字通信系统模型数字通信系统模型 信息论与编码理论研究的主要内容及意义信息论与编码理论研究的主要内容及意义奠基人：美国数学家香农（）奠基人：美国数学家香农（）1948年年“通信的数学理论通信的数学理论”信息论信息论通信技术通信技术概率论概率论随机过程随机过程数理统计数理统计0.1 信息的概念信息的概念l l信息是信息论中最基本、最重要的概念，既抽象又复杂信息是信息论中最基本、最重要的
3、概念，既抽象又复杂信息是信息论中最基本、最重要的概念，既抽象又复杂信息是信息论中最基本、最重要的概念，既抽象又复杂l l信息在日常生活中被认为是信息在日常生活中被认为是信息在日常生活中被认为是信息在日常生活中被认为是“消息消息消息消息”、“知识知识知识知识”、“情情情情报报报报”等等等等 “信息信息信息信息”不同于消息不同于消息不同于消息不同于消息（在现代信息论形成之前，信息一（在现代信息论形成之前，信息一（在现代信息论形成之前，信息一（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），直被看作是通信中消息的同义词，没有严格的数学含义），直被看作是通信中消息的同义
4、词，没有严格的数学含义），直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；“信息信息信息信息”不同于情报不同于情报不同于情报不同于情报，情报的含义比情报的含义比情报的含义比情报的含义比“信息信息信息信息”窄的多，窄的多，窄的多，窄的多，一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；信息不同于信号信息不同于信号信息不同于信号信息不同于信号，信号是承载消息的物理量；，信号
5、是承载消息的物理量；，信号是承载消息的物理量；，信号是承载消息的物理量；信息不同于知识信息不同于知识信息不同于知识信息不同于知识，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的,从自然界收从自然界收从自然界收从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。是一种高层次的信息。是一种高层次的信息。是一种高层次的信息。就狭义而言，就狭义而言，就狭义而言，就狭义而言，在通信
6、中在通信中在通信中在通信中对信息的表达分为三个层次：信号、对信息的表达分为三个层次：信号、对信息的表达分为三个层次：信号、对信息的表达分为三个层次：信号、消息、信息。消息、信息。消息、信息。消息、信息。信号：信号：信号：信号：是信息的物理表达层，是三个层次中最具体的层次。是信息的物理表达层，是三个层次中最具体的层次。是信息的物理表达层，是三个层次中最具体的层次。是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、它是一个物理量，是一个载荷信息的实体，可测量、可描述、它是一个物理量，是一个载荷信息的实体，可测量、可描述、它是一个物理量，是一个载荷信
7、息的实体，可测量、可描述、可显示。可显示。可显示。可显示。消息：消息：消息：消息：(或称为符号或称为符号或称为符号或称为符号)是信息的数学表达层，它虽不是一个是信息的数学表达层，它虽不是一个是信息的数学表达层，它虽不是一个是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进物理量，但是可以定量地加以描述，它是具体物理信号的进物理量，但是可以定量地加以描述，它是具体物理信号的进物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：一步数学抽象，可将具体物理信号抽象为两大类型：一步数学抽象，可将具体物理信号抽象为两大类型：
8、一步数学抽象，可将具体物理信号抽象为两大类型：离散离散离散离散(数字数字数字数字)消息消息消息消息，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述：X=X=(X(X1 1XXi iXXn n)连续连续连续连续(模拟模拟模拟模拟)消息消息消息消息，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述：X X(t(t,)信息：信息：信息：信息：它是更高层次哲学上的抽象，是信号与消息的更高它是更高层次哲学上的抽象，是信号与消息的更高它是更高层次
9、哲学上的抽象，是信号与消息的更高它是更高层次哲学上的抽象，是信号与消息的更高表达层次。表达层次。表达层次。表达层次。什么是信息什么是信息 关关关关于于于于信信信信息息息息的的的的科科科科学学学学定定定定义义义义，到到到到目目目目前前前前为为为为止止止止，国国国国内内内内外外外外已已已已有有有有不不不不下下下下百百百百余余余余种种种种流流流流行行行行的的的的说说说说法法法法，它它它它们们们们都都都都是是是是从从从从不不不不同同同同的的的的侧侧侧侧面面面面和和和和不不不不同的层次同的层次同的层次同的层次来揭示信息的本质的。来揭示信息的本质的。来揭示信息的本质的。来揭示信息的本质的。1928年，哈特
10、莱年，哈特莱(RVL Hartley)在在在在信信信信息息息息传传传传输输输输一一一一文文文文中中中中提提提提出出出出：发发发发信信信信者者者者所所所所发发发发出出出出的的的的信信信信息，就是他在通信符号表中选择符号的具体方式息，就是他在通信符号表中选择符号的具体方式息，就是他在通信符号表中选择符号的具体方式息，就是他在通信符号表中选择符号的具体方式局限性局限性：定定定定义义义义不不不不涉涉涉涉及及及及到到到到信信信信息息息息的的的的价价价价值值值值和和和和具具具具体体体体内内内内容容容容，只只只只考考考考虑虑虑虑选选选选择择择择的方式。的方式。的方式。的方式。即即即即使使使使考考考考虑虑虑虑
11、选选选选择择择择的的的的方方方方法法法法，但但但但没没没没有有有有考考考考虑虑虑虑各各各各种种种种可可可可能能能能选选选选择择择择方方方方法的统计特性。法的统计特性。法的统计特性。法的统计特性。1948年，维纳年，维纳(NWiener)在控制论在控制论在控制论在控制论-动物和机器中通信与控制问题一动物和机器中通信与控制问题一动物和机器中通信与控制问题一动物和机器中通信与控制问题一书中，指出：书中，指出：书中，指出：书中，指出：“信息是信息，不是物质，也不是能信息是信息，不是物质，也不是能信息是信息，不是物质，也不是能信息是信息，不是物质，也不是能量量量量”。将。将。将。将“信息信息信息信息”上
12、升到上升到上升到上升到“最基本概念最基本概念最基本概念最基本概念”的位置。的位置。的位置。的位置。后来，维纳在人有人的用处一书中提出：后来，维纳在人有人的用处一书中提出：后来，维纳在人有人的用处一书中提出：后来，维纳在人有人的用处一书中提出：“信息是人们适应外部世界并且使这种适应反作用于信息是人们适应外部世界并且使这种适应反作用于信息是人们适应外部世界并且使这种适应反作用于信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内外部世界的过程中，同外部世界进行互相交换的内外部世界的过程中，同外部世界进行互相交换的内外部世界的过程中，同外部世界进行互相交换的内容的
13、名称。容的名称。容的名称。容的名称。”局限性局限性：把信息与物质、能量混同起来。所以，维纳关于信把信息与物质、能量混同起来。所以，维纳关于信把信息与物质、能量混同起来。所以，维纳关于信把信息与物质、能量混同起来。所以，维纳关于信息的定义是不确切的。息的定义是不确切的。息的定义是不确切的。息的定义是不确切的。1948年，香农（）年，香农（）发表了一篇著名的论文，发表了一篇著名的论文，发表了一篇著名的论文，发表了一篇著名的论文，“通信的数学理论通信的数学理论通信的数学理论通信的数学理论”。他从研究通信系统传输的实质出发，对信息作了他从研究通信系统传输的实质出发，对信息作了他从研究通信系统传输的实质
14、出发，对信息作了他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。科学的定义，并进行了定性和定量的描述。科学的定义，并进行了定性和定量的描述。科学的定义，并进行了定性和定量的描述。u信息是事物运动状态或存在方式的不信息是事物运动状态或存在方式的不确定性的描述。确定性的描述。0.2 通信系统模型通信系统模型信源信源信源编码器信源编码器信道编码器信道编码器调调制制器器信道信道解解调调器器信宿信宿信源译码器信源译码器信道译码器信道译码器干扰干扰源源编码信道编码信道vv信源信源信源信源：产生消息和消息序列的来源。：产生消息和消息序列的来源。：产生消息和消息序列的来源。：产
15、生消息和消息序列的来源。消息可以是离散的，也可以是连续的（数据、文消息可以是离散的，也可以是连续的（数据、文消息可以是离散的，也可以是连续的（数据、文消息可以是离散的，也可以是连续的（数据、文字、语言、图像），通常信源的消息序列是随机发字、语言、图像），通常信源的消息序列是随机发字、语言、图像），通常信源的消息序列是随机发字、语言、图像），通常信源的消息序列是随机发生的，因此要用随机变量来描述。生的，因此要用随机变量来描述。生的，因此要用随机变量来描述。生的，因此要用随机变量来描述。vv 编码器编码器编码器编码器：把消息变换成适合于信道传输的信号。：把消息变换成适合于信道传输的信号。：把消息变
16、换成适合于信道传输的信号。：把消息变换成适合于信道传输的信号。信源编码器信源编码器信源编码器信源编码器：将信源的输出进行适当的变换，以提高信息传：将信源的输出进行适当的变换，以提高信息传：将信源的输出进行适当的变换，以提高信息传：将信源的输出进行适当的变换，以提高信息传输的有效性。输的有效性。输的有效性。输的有效性。信道编码器信道编码器信道编码器信道编码器：对信源编码器的输出进行变换，用增加多余度：对信源编码器的输出进行变换，用增加多余度：对信源编码器的输出进行变换，用增加多余度：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。的方法提高信道的抗干扰
17、能力，以提高信息传输的可靠性。的方法提高信道的抗干扰能力，以提高信息传输的可靠性。的方法提高信道的抗干扰能力，以提高信息传输的可靠性。vv 调制器调制器调制器调制器：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行频率或相位受到调制控制的形式，以适合在信道中进行频率或相位受到调制控制的形式，以适合在信道中进行频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。较长距离的传输。较长距离的传输。较长距离的传输。vv 信道信道信道信
18、道：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、磁盘、磁带等。磁盘、磁带等。磁盘、磁带等。磁盘、磁带等。vv干扰源干扰源干扰源干扰源：对传输信
19、道或存储媒介构成干扰的来源的总称。干：对传输信道或存储媒介构成干扰的来源的总称。干：对传输信道或存储媒介构成干扰的来源的总称。干：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空扰和噪声往往具有随机性，所以信道的特征也可以用概率空扰和噪声往往具有随机性，所以信道的特征也可以用概率空扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；而噪声源的统计特性又是划分信道的依据。间来描述；而噪声源的统计特性又是划分信道的依据。间来描述；而噪声源的统计特性又是划分信道的依据。间来描述；而噪声源的统计特性又是划分信道的依据。干扰可以分为两类：干扰可以
20、分为两类：干扰可以分为两类：干扰可以分为两类：1 1）加性干扰，它是由外界原因产生）加性干扰，它是由外界原因产生）加性干扰，它是由外界原因产生）加性干扰，它是由外界原因产生的随机干扰，它与信道中传送的信号的统计特性无关，因而的随机干扰，它与信道中传送的信号的统计特性无关，因而的随机干扰，它与信道中传送的信号的统计特性无关，因而的随机干扰，它与信道中传送的信号的统计特性无关，因而信道的输出是输入和干扰的叠加；信道的输出是输入和干扰的叠加；信道的输出是输入和干扰的叠加；信道的输出是输入和干扰的叠加；2 2）乘性干扰：信道的输出）乘性干扰：信道的输出）乘性干扰：信道的输出）乘性干扰：信道的输出信号可
21、看成输入信号和一个时变参量相乘的结果。信号可看成输入信号和一个时变参量相乘的结果。信号可看成输入信号和一个时变参量相乘的结果。信号可看成输入信号和一个时变参量相乘的结果。vv解调器解调器解调器解调器：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程vv信道译码器信道译码器信道译码器信道译码器：利用信道编码时所提供的多余度，检查或纠正：利用信道编码时所提供的多余度，检查或纠正：利用信道编码时所提供的多余度，检查或纠正：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。数字序列中的错误。数字序列中的错误。
22、数字序列中的错误。vv信源译码器信源译码器信源译码器信源译码器：把经过信道译码器核对过的信息序列转换成适：把经过信道译码器核对过的信息序列转换成适：把经过信道译码器核对过的信息序列转换成适：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。合接收者接收的信息形式。合接收者接收的信息形式。合接收者接收的信息形式。vv信宿信宿信宿信宿：消息传送的对象：消息传送的对象：消息传送的对象：消息传送的对象 （人或机器（人或机器（人或机器（人或机器 ）。qq在在在在通通通通信信信信系系系系统统统统中中中中形形形形式式式式上上上上传传传传输输输输的的的的是是是是消消消消息息息息，但但但但实实实实
23、质质质质上上上上传传传传输输输输的的的的是是是是信信信信息息息息。消消消消息息息息只只只只是是是是表表表表达达达达信信信信息息息息的的的的工工工工具具具具、载载载载荷荷荷荷信信信信息息息息的的的的客客客客体体体体。显显显显然然然然，在在在在通通通通信信信信中中中中被被被被利利利利用用用用的的的的(亦亦亦亦即即即即携携携携带带带带信信信信息息息息的的的的)实实实实际际际际客客客客体体体体是是是是不重要的，而重要的是信息。不重要的，而重要的是信息。不重要的，而重要的是信息。不重要的，而重要的是信息。qq通信的结果通信的结果通信的结果通信的结果是消除或部分消除不确定性从而获得信息。是消除或部分消除不
24、确定性从而获得信息。是消除或部分消除不确定性从而获得信息。是消除或部分消除不确定性从而获得信息。qq香农定义信息的局限性：香农定义信息的局限性：香农定义信息的局限性：香农定义信息的局限性：（1 1）定义的出发点是假定事物状态可以用一个以经典集）定义的出发点是假定事物状态可以用一个以经典集）定义的出发点是假定事物状态可以用一个以经典集）定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的合论为基础的概率模型来描述，在实际中要寻找一个合适的合论为基础的概率模型来描述，在实际中要寻找一个合适的合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往
25、是非常困难的。有时是否存在这样一种模型还概率模型往往是非常困难的。有时是否存在这样一种模型还概率模型往往是非常困难的。有时是否存在这样一种模型还概率模型往往是非常困难的。有时是否存在这样一种模型还值得探讨。值得探讨。值得探讨。值得探讨。（2 2）定义没有考虑收信者的主观特性和主观意义，不顾）定义没有考虑收信者的主观特性和主观意义，不顾）定义没有考虑收信者的主观特性和主观意义，不顾）定义没有考虑收信者的主观特性和主观意义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素。信息的具体含意、具体用途、重要程度和引起后果等因素。信息的具体含意、具体用途、重要程度和引起后果等因素。信息的具体含意、
26、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实，信息有很强的主观性和这就与实际情况不完全一致。其实，信息有很强的主观性和这就与实际情况不完全一致。其实，信息有很强的主观性和这就与实际情况不完全一致。其实，信息有很强的主观性和实用性。实用性。实用性。实用性。vv信信信信息息息息的的的的测测测测度度度度：信信信信息息息息量量量量与与与与不不不不确确确确定定定定性性性性消消消消除除除除的的的的程程程程度度度度有有有有关关关关。用用用用数数数数学学学学的的的的语语语语言言言言来来来来讲讲讲讲，不不不不确确确确定定定定就就就就是是是是随随随随机机机机性性性性，可可可可运运运运用用用用
27、研研研研究究究究随随随随机机机机事事事事件件件件的的的的数数数数学学学学工工工工具具具具-概概概概率率率率论论论论和和和和随随随随机机机机过过过过程程程程来来来来测测测测度度度度不不不不确确确确定定定定性性性性的的的的大大大大小。小。小。小。vv某某某某一一一一事事事事物物物物状状状状态态态态的的的的不不不不确确确确定定定定性性性性的的的的大大大大小小小小，与与与与该该该该事事事事物物物物可可可可能能能能出出出出现现现现的的的的不不不不同同同同状状状状态态态态数数数数目目目目以以以以及及及及各各各各状状状状态态态态出出出出现现现现的的的的概概概概率率率率大大大大小小小小有有有有关关关关。既既既
28、既然然然然不不不不确定性的大小能够度量，所以信息是可以测度的。确定性的大小能够度量，所以信息是可以测度的。确定性的大小能够度量，所以信息是可以测度的。确定性的大小能够度量，所以信息是可以测度的。vv与信息测度相关的几个概念：与信息测度相关的几个概念：与信息测度相关的几个概念：与信息测度相关的几个概念：样本空间、概率空间样本空间、概率空间样本空间、概率空间样本空间、概率空间 、先验概率、先验概率、先验概率、先验概率 、自信息、自信息、自信息、自信息 、后验概率、后验概率、后验概率、后验概率 、互信息互信息互信息互信息 信息具有以下信息具有以下信息具有以下信息具有以下特征特征特征特征：（1 1）信
29、息是可以）信息是可以）信息是可以）信息是可以识别识别识别识别的的的的（2 2）信息的载体是可以）信息的载体是可以）信息的载体是可以）信息的载体是可以转换转换转换转换的的的的（3 3）信息是可以）信息是可以）信息是可以）信息是可以存贮存贮存贮存贮的的的的（4 4）信息是可以）信息是可以）信息是可以）信息是可以传递传递传递传递的的的的（5 5）信息是可以）信息是可以）信息是可以）信息是可以加工加工加工加工的的的的（6 6）信息是可以）信息是可以）信息是可以）信息是可以共享共享共享共享的的的的0.3 信息论研究的内容信息论研究的内容1.1.研究对象研究对象研究对象研究对象 前面介绍的统一的通信系统模
30、型。人们通过系统前面介绍的统一的通信系统模型。人们通过系统前面介绍的统一的通信系统模型。人们通过系统前面介绍的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共中消息的传输和处理来研究信息传输和处理的共中消息的传输和处理来研究信息传输和处理的共中消息的传输和处理来研究信息传输和处理的共同规律。同规律。同规律。同规律。2.2.研究目的研究目的研究目的研究目的 找到信息传输过程的共同规律，提高信息传输的找到信息传输过程的共同规律，提高信息传输的找到信息传输过程的共同规律，提高信息传输的找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息可靠性
31、、有效性、保密性和认证性，以达到信息可靠性、有效性、保密性和认证性，以达到信息可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。传输系统的最优化。传输系统的最优化。传输系统的最优化。可靠性可靠性可靠性可靠性 使信源发出的消息经过信道传输以后，尽可能使信源发出的消息经过信道传输以后，尽可能使信源发出的消息经过信道传输以后，尽可能使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。准确地、不失真地再现于接收端。准确地、不失真地再现于接收端。准确地、不失真地再现于接收端。有效性有效性有效性有效性 经济性好，即用尽可能短的时间和尽可能少的经济性好，即用尽可能短的时间和尽可能
32、少的经济性好，即用尽可能短的时间和尽可能少的经济性好，即用尽可能短的时间和尽可能少的设备来传送设备来传送设备来传送设备来传送定数量的信息。定数量的信息。定数量的信息。定数量的信息。保密性保密性保密性保密性 隐蔽和保护通信系统中传送的消息，使它只能隐蔽和保护通信系统中传送的消息，使它只能隐蔽和保护通信系统中传送的消息，使它只能隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。被授权接收者获取，而不能被未授权者接收和理解。被授权接收者获取，而不能被未授权者接收和理解。被授权接收者获取，而不能被未授权者接收和理解。认证性认证性认证性认证性 接收者能正确判断所接收的
33、消息的正确性，验接收者能正确判断所接收的消息的正确性，验接收者能正确判断所接收的消息的正确性，验接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。证消息的完整性，而不是伪造的和被窜改的。证消息的完整性，而不是伪造的和被窜改的。证消息的完整性，而不是伪造的和被窜改的。有效性、可靠性、保密性和认证性四者构成现代通信有效性、可靠性、保密性和认证性四者构成现代通信有效性、可靠性、保密性和认证性四者构成现代通信有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的系统对信息传输的系统对信息传输的系统对信息传输的全面要求全面要求全面要求全面要求。3.研究内容研究内容对
34、信息论的研究内容一般有以下三种理解。对信息论的研究内容一般有以下三种理解。对信息论的研究内容一般有以下三种理解。对信息论的研究内容一般有以下三种理解。狭义信息论狭义信息论狭义信息论狭义信息论（经典信息论）：（经典信息论）：（经典信息论）：（经典信息论）：主要研究信息的测度、信道主要研究信息的测度、信道主要研究信息的测度、信道主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息容量以及信源和信道编码理论等问题。这部分内容是信息容量以及信源和信道编码理论等问题。这部分内容是信息容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称为论的基础理论，又称为论的基础理
35、论，又称为论的基础理论，又称为香农信息论香农信息论香农信息论香农信息论。一般信息论一般信息论一般信息论一般信息论（通信理论）：主要是研究信息传输和处理问（通信理论）：主要是研究信息传输和处理问（通信理论）：主要是研究信息传输和处理问（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、题，除了香农理论外，还包括噪声理论、信号滤波和预测、题，除了香农理论外，还包括噪声理论、信号滤波和预测、题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。统计检测和估计理论、调制理论以及信息处理理论等。统计检测和估计理论、调制
36、理论以及信息处理理论等。统计检测和估计理论、调制理论以及信息处理理论等。广义信息论广义信息论广义信息论广义信息论：广义信息论不仅包括上述两方面的内容，而：广义信息论不仅包括上述两方面的内容，而：广义信息论不仅包括上述两方面的内容，而：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、且包括所有与信息有关的领域，如模式识别、计算机翻译、且包括所有与信息有关的领域，如模式识别、计算机翻译、且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。心理学、遗传学、语言学等等。心理学、遗传学、语言学等等。心理学、遗传学、语言学等等。信信信信
37、息息息息论论论论是是是是一一一一门门门门应应应应用用用用概概概概率率率率论论论论、随随随随机机机机过过过过程程程程、数数数数理理理理统统统统计计计计和和和和近近近近代代代代代代代代数数数数的的的的方方方方法法法法，来来来来研研研研究究究究广广广广义义义义的的的的信信信信息息息息传传传传输输输输、提提提提取取取取和和和和处理系统中一般规律的学科。处理系统中一般规律的学科。处理系统中一般规律的学科。处理系统中一般规律的学科。它它它它的的的的主主主主要要要要目目目目的的的的是是是是提提提提高高高高信信信信息息息息系系系系统统统统的的的的可可可可靠靠靠靠性性性性、有有有有效效效效性性性性、保密性和认证
38、性，以便达到系统最优化；保密性和认证性，以便达到系统最优化；保密性和认证性，以便达到系统最优化；保密性和认证性，以便达到系统最优化；它它它它的的的的主主主主要要要要内内内内容容容容(或或或或分分分分支支支支)包包包包括括括括香香香香农农农农理理理理论论论论、编编编编码码码码理理理理论论论论、维维维维纳纳纳纳理理理理论论论论、检检检检测测测测和和和和估估估估计计计计理理理理论论论论、信信信信号号号号设设设设计计计计和和和和处处处处理理理理理理理理论论论论、调制理论、随机噪声理论和密码学理论等。调制理论、随机噪声理论和密码学理论等。调制理论、随机噪声理论和密码学理论等。调制理论、随机噪声理论和密码
39、学理论等。v 本课程讨论香农信息理论本课程讨论香农信息理论本课程讨论香农信息理论本课程讨论香农信息理论 信息论与编码在通信系统中的作用信息论与编码在通信系统中的作用信源编码器信道译码器噪声源信宿干扰消息信号信号干扰消息1.3 信息论发展简史与现状信息论发展简史与现状 uu信信信信息息息息论论论论是是是是在在在在长长长长期期期期的的的的通通通通信信信信工工工工程程程程实实实实践践践践和和和和理理理理论论论论研研研研究究究究的的的的基基基基础础础础上上上上发发发发展展展展起起起起来的。来的。来的。来的。一、简史一、简史一、简史一、简史 现代信息论实际上是从现代信息论实际上是从现代信息论实际上是从现
40、代信息论实际上是从2020世纪世纪世纪世纪2020年代奈奎斯特和哈特莱的年代奈奎斯特和哈特莱的年代奈奎斯特和哈特莱的年代奈奎斯特和哈特莱的工作开始的。工作开始的。工作开始的。工作开始的。19241924年奈奎斯特年奈奎斯特年奈奎斯特年奈奎斯特(H(HNyquistNyquist)的的的的“影响电报速率因素的影响电报速率因素的影响电报速率因素的影响电报速率因素的确定确定确定确定”一文，一文，一文，一文，19281928年哈特莱年哈特莱年哈特莱年哈特莱(R(RV VHartley)Hartley)的的的的“信息传信息传信息传信息传输输输输”一文研究了通信系统传输信息的能力，并给出了信息一文研究了通
41、信系统传输信息的能力，并给出了信息一文研究了通信系统传输信息的能力，并给出了信息一文研究了通信系统传输信息的能力，并给出了信息度量的方法度量的方法度量的方法度量的方法 19461946年柯切尔尼柯夫年柯切尔尼柯夫年柯切尔尼柯夫年柯切尔尼柯夫 的学位论文的学位论文的学位论文的学位论文“起伏噪声下的潜在起伏噪声下的潜在起伏噪声下的潜在起伏噪声下的潜在抗干扰理论抗干扰理论抗干扰理论抗干扰理论”，根据最小错误概率准则和最小均方误差，根据最小错误概率准则和最小均方误差，根据最小错误概率准则和最小均方误差，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题准则研究了离散和连续信道的最
42、佳接收问题准则研究了离散和连续信道的最佳接收问题准则研究了离散和连续信道的最佳接收问题 19481948年香农年香农年香农年香农的权威性长文的权威性长文的权威性长文的权威性长文“通信的数学理论通信的数学理论通信的数学理论通信的数学理论”，讨论，讨论，讨论，讨论了信源和信道特性，了信源和信道特性，了信源和信道特性，了信源和信道特性，19491949年年年年香农香农香农香农“噪声中的通信噪声中的通信噪声中的通信噪声中的通信”，上述两篇文章奠定了现代信息论的理论基础上述两篇文章奠定了现代信息论的理论基础上述两篇文章奠定了现代信息论的理论基础上述两篇文章奠定了现代信息论的理论基础 此后，在基本理论和实
43、际应用方面，信息论都得到了巨此后，在基本理论和实际应用方面，信息论都得到了巨此后，在基本理论和实际应用方面，信息论都得到了巨此后，在基本理论和实际应用方面，信息论都得到了巨大的发展大的发展大的发展大的发展二、现状二、现状在香农理论基础上给出的在香农理论基础上给出的在香农理论基础上给出的在香农理论基础上给出的最佳噪声通信系统模型最佳噪声通信系统模型最佳噪声通信系统模型最佳噪声通信系统模型近年来近年来近年来近年来正在成为现实；正在成为现实；正在成为现实；正在成为现实；在噪声中信号过滤与检测基础上发展起来的在噪声中信号过滤与检测基础上发展起来的在噪声中信号过滤与检测基础上发展起来的在噪声中信号过滤与
44、检测基础上发展起来的信号检测理信号检测理信号检测理信号检测理论论论论和抗干扰编码基础上发展起来的和抗干扰编码基础上发展起来的和抗干扰编码基础上发展起来的和抗干扰编码基础上发展起来的编码理论编码理论编码理论编码理论已成为现代已成为现代已成为现代已成为现代信息论的两个重要分支；信息论的两个重要分支；信息论的两个重要分支；信息论的两个重要分支；此外，模糊信息处理、相对信息处理、主观信息处理、此外，模糊信息处理、相对信息处理、主观信息处理、此外，模糊信息处理、相对信息处理、主观信息处理、此外，模糊信息处理、相对信息处理、主观信息处理、智能信息处理、自动化信息控制等大量智能信息处理、自动化信息控制等大量智能信息处理、自动化信息控制等大量智能信息处理、自动化信息控制等大量崭新课题崭新课题崭新课题崭新课题的研究的研究的研究的研究也相继展开，使信息理论的面貌一新，并将大大促进信也相继展开，使信息理论的面貌一新，并将大大促进信也相继展开，使信息理论的面貌一新，并将大大促进信也相继展开，使信息理论的面貌一新，并将大大促进信息科学的发展。息科学的发展。息科学的发展。息科学的发展。