《信息论与编码第一章绪论分析.ppt》由会员分享，可在线阅读，更多相关《信息论与编码第一章绪论分析.ppt（84页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码信息论与编码第一章第一章 绪论绪论信信息息论论即即仙仙农农(Claude(Claude Edwood Edwood Shannon,Shannon,191619162001 2001)信信息息论论，也也称称经经典典信信息息论论，是是研究通信系统极限性能的理论。研究通信系统极限性能的理论。从从信信息息论论产产生生到到现现在在几几十十年年来来，信信息息论论的的基基本本思思想想和和方方法法已已经经渗渗透透到到许许多多学学科科，在在进进入入信信息息时时代代的的今今天天，信信息息理理论论在在自自然然科科学学和和社会科学研究领域还会发挥更大的作用。社会科学研究领域还会发挥更大的作用。信息的基本
2、概念信息的基本概念 仙农信息论所研究的内容仙农信息论所研究的内容 仙农信息论产生的背景、主仙农信息论产生的背景、主要的研究进展及其应用要的研究进展及其应用 1.1 信息的基本概念 信息论的产生信息论的产生 信息的基本概念信息的基本概念 信息论的基本内容信息论的基本内容本节内容：本节内容：物质物质 客观世界三大基本要素客观世界三大基本要素客观世界三大基本要素客观世界三大基本要素 能量能量能量能量 信息信息信息信息 信信信信息息息息时时时时代代代代社社社社会会会会的的的的发发发发展展展展离离离离不不不不开开开开物物物物质质质质(材材材材料料料料)、能能能能量量量量（能能能能源源源源）和和和和信信信
3、信息息息息资资资资源源源源。美美美美国国国国学学学学者者者者欧欧欧欧廷廷廷廷格格格格说说说说：“没没没没有有有有物物物物质质质质什什什什麽麽麽麽都都都都不不不不存存存存在在在在，没没没没有有有有能能能能量量量量什什什什麽都不发生，没有信息什麽都没意义。麽都不发生，没有信息什麽都没意义。麽都不发生，没有信息什麽都没意义。麽都不发生，没有信息什麽都没意义。”1.1.1 1.1.1 信息论的产生信息论的产生 19481948年年，美美 国国 工工 程程 师师 和和 数数 学学 家家 仙仙 农农 (Claude(Claude Edwood Edwood Shannon,Shannon,1916-200
4、1 1916-2001)发发表表了了通通信信的的数数学学理理论论（A A Matematical Matematical Theory Theory of of CommunicationCommunication，BSTJBSTJ，19481948）标标志着信息论的产生。志着信息论的产生。通通信信的的基基本本问问题题：在在一一点点精精确确地地或或近近似似地恢复另一点所选择的消息。地恢复另一点所选择的消息。通信系统三项性能指标：通信系统三项性能指标：传输的有效性传输的有效性传输的可靠性传输的可靠性传输的安全性传输的安全性有效性有效性对离散信源，信源符号平均码长度应对离散信源，信源符号平均码长度
5、应尽量短；尽量短；信息传输应尽量快，即高的传信率；信息传输应尽量快，即高的传信率；信息传送应该有高的频谱利用率。信息传送应该有高的频谱利用率。可靠性可靠性 传输差错要尽量少，对数字传输就是传输差错要尽量少，对数字传输就是要求低的误码率。要求低的误码率。安全性安全性 传输的信息不能泄露给未授权人。传输的信息不能泄露给未授权人。三项指标对应三项基本技术：三项指标对应三项基本技术：信息信息压缩压缩 信息信息纠错纠错 信息信息加密加密仙仙农农信信息息论论解解决决了了前前两两项项技技术术的的理理论论问问题题：提提高高有有效效性性可可通通过过信信源源编编码码来来实实现现，即即信信源源压压缩缩编编码码，并并
6、给给出出了了压压缩缩编编码码的的极极限限；提提高高可可靠靠性性通通过过信信道道编编码码来来实实现现，并并给给出出实实现现可可靠靠传传输输的的信信息息传传输输速速率率的的极极限限。所所以以，仙农揭示了仙农揭示了信息信息压缩和传输的基本定律压缩和传输的基本定律。实实际际上上传传输输安安全全性性问问题题也也是是仙仙农农解解决决的的。19451945年年，他他写写了了密密码码学学的的数数学学理理论论（A A Mathematical Mathematical Theory Theory of of CryptographyCryptography），19491949年年 改改 名名 为为 保保 密密
7、系系 统统 的的 通通 信信 理理 论论（Communication Communication Theory Theory of of Secrecy Secrecy SystemSystem）公公开开发发表表。这这篇篇文文章章建建立立了了保保密密系系统统的数学理论，对密码学产生了很大的影响的数学理论，对密码学产生了很大的影响 。所所以以，仙仙农农建建立立了了通通信信中中的的三三项项基基本本技技术术的理论基础的理论基础,信息论是前两项技术的理论基础信息论是前两项技术的理论基础。1.1.2 1.1.2 信息基本信息基本概念概念信信息息已已成成为为许许多多专专家家学学者者争争相相研研究究的的对对
8、象象，而而且且他他们们从从不不同同的的角角度度和和侧侧面面研研究究和和定定义义信信息息。据据说说到到目目前前为为止止已已有有上上百百种种信信息息的的定定义义或或说说法法。例例如如，“信信息息是是事事物物之之间间的的差差异异”，“信信息息是是物物质质与与能能量量在在时时间间与与空空间间分分布布的的不不均均匀匀性性”，“信信息息是是收收信信着着事事先先不知道的东西不知道的东西”等等。等等。19491949年，年，WeaverWeaver在在通信的数学通信的数学中解释仙农的中解释仙农的工作时，把通信问题分成三个层次：工作时，把通信问题分成三个层次：第一层：通信符号如何精确传输？（技术问题）第一层：通
9、信符号如何精确传输？（技术问题）第二层：传输的符号如何精确携带所需要的含义第二层：传输的符号如何精确携带所需要的含义？（语义问题）？（语义问题）第三层：所接收的含义如何以所需要的方式有效地第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题）影响行为？（效用问题）WeaverWeaver认为仙农的工作属于第一层，但他又证明认为仙农的工作属于第一层，但他又证明仙农的工作是交叉的，对第二、三层也有意义。仙农的工作是交叉的，对第二、三层也有意义。信息是认识主体（人、生物、机器）信息是认识主体（人、生物、机器）所感所感受的和所表达的事物运动的状态和运动状受的和所表达的事物运动的状态和运动状
10、态变化的方式态变化的方式。以以此此定义为基础，信息分成三个基本层次，定义为基础，信息分成三个基本层次，即语法信息，语义信息，语用信息，分别即语法信息，语义信息，语用信息，分别反映事物运动状态及其变化方式的外在形反映事物运动状态及其变化方式的外在形式、内在含义和效用价值。式、内在含义和效用价值。与与WeaverWeaver对信息的解释基本一致。对信息的解释基本一致。信息的三个基本层次：信息的三个基本层次：语法语法(Syntactic)(Syntactic)信息信息 语义语义(Semantic)(Semantic)信息信息 语用语用(Pragmatic)(Pragmatic)信息信息语法语法(Sy
11、ntactic)(Syntactic)信息信息 它它是是事事物物运运动动的的状状态态和和变变化化方方式式的的外外在在形形式式，不不涉涉及及状状态态的的含含义义和和效效用用。象象语语言言学学领领域域的的“词词与与词词的的结结合合方方式式”，而而不不考考虑虑词词的的含含义义与与效效用用。在在语语言言学学中中称称为为语语法法学学。语语法法信信息息还还可可细细分分为为，概概率率信信息息、偶发信息、确定信息、模糊信息等。偶发信息、确定信息、模糊信息等。语义语义(Semantic)(Semantic)信息信息 是是事事物物运运动动的的状状态态和和变变化化方方式式的的含含义义。在在语语言言学学里里，研研究究
12、“词词与与词词的的结结合合方方式式含含义义”的学科称为语义学。的学科称为语义学。语用语用(Pragmatic)(Pragmatic)信息信息 是事物运动状态及其状态改变方式效用事物运动状态及其状态改变方式效用。信息三个层次含义信息三个层次含义有一个情报部门，其主要任务是对经济情报有一个情报部门，其主要任务是对经济情报有一个情报部门，其主要任务是对经济情报有一个情报部门，其主要任务是对经济情报进行收集、整理与分析以提供给决策机构。该进行收集、整理与分析以提供给决策机构。该进行收集、整理与分析以提供给决策机构。该进行收集、整理与分析以提供给决策机构。该部门设三个组：信息收集组、信息处理组和信部门设
13、三个组：信息收集组、信息处理组和信部门设三个组：信息收集组、信息处理组和信部门设三个组：信息收集组、信息处理组和信息分析组。信息收集组的任务是将收集到的资息分析组。信息收集组的任务是将收集到的资息分析组。信息收集组的任务是将收集到的资息分析组。信息收集组的任务是将收集到的资料按中文、英文或其他文字、明文、密文进行料按中文、英文或其他文字、明文、密文进行料按中文、英文或其他文字、明文、密文进行料按中文、英文或其他文字、明文、密文进行分类，不管这些资料的含义如何都交到信息处分类，不管这些资料的含义如何都交到信息处分类，不管这些资料的含义如何都交到信息处分类，不管这些资料的含义如何都交到信息处理组。
14、信息处理组根据资料的性质进行翻译或理组。信息处理组根据资料的性质进行翻译或理组。信息处理组根据资料的性质进行翻译或理组。信息处理组根据资料的性质进行翻译或破译得到这些资料的含义，然后交到信息分析破译得到这些资料的含义，然后交到信息分析破译得到这些资料的含义，然后交到信息分析破译得到这些资料的含义，然后交到信息分析组。信息分析组从这些资料中挑选出有价值的组。信息分析组从这些资料中挑选出有价值的组。信息分析组从这些资料中挑选出有价值的组。信息分析组从这些资料中挑选出有价值的情报提交给决策机构。情报提交给决策机构。情报提交给决策机构。情报提交给决策机构。可见，信息收集组是根据所得到的消息可见，信息收
15、集组是根据所得到的消息提取出语法信息，信息处理组是根据所得提取出语法信息，信息处理组是根据所得到的语法信息提取出语义信息，而信息分到的语法信息提取出语义信息，而信息分析组是根据所得到的语义信息提取出语用析组是根据所得到的语义信息提取出语用信息。信息。即即，研究语义信息，研究语义信息要以语法信息为基础，要以语法信息为基础，研究语用信息要以语义信息和语法信息为研究语用信息要以语义信息和语法信息为基础。三者之间，语法信息是最简单、最基础。三者之间，语法信息是最简单、最基本的层次，语用信息则是最复杂、最实基本的层次，语用信息则是最复杂、最实用的层次。用的层次。仙农在仙农在19481948年指出年指出
16、：“通通通通信信信信基基基基本本本本问问问问题题题题是是是是在在在在一一一一点点点点精精精精确确确确地地地地或或或或近近近近似似似似地地地地恢恢恢恢复复复复另另另另一一一一点点点点所所所所选选选选择择择择的的的的消消消消息息息息。通通通通常常常常，这这这这些些些些消消消消息息息息是是是是有有有有含含含含义义义义的的的的，即即即即它它它它对对对对于于于于某某某某系系系系统统统统指指指指的的的的是是是是某某某某些些些些物物物物理理理理的的的的或或或或概概概概念念念念的的的的实实实实体体体体。这这这这些些些些通通通通信信信信的的的的语语语语义义义义方方方方面面面面与与与与通通通通信信信信问问问问题题
17、题题无无无无关关关关，而而而而重重重重要要要要的的的的方方方方面面面面是是是是实实实实际际际际消消消消息息息息是是是是从从从从一一一一个个个个可可可可能能能能消消消消息息息息集集集集合中选择出的一条消息。合中选择出的一条消息。合中选择出的一条消息。合中选择出的一条消息。”信号信号 通信信息三个层次通信信息三个层次 消息消息 信息信息 消消息息是是信信息息的的携携带带者者，信信息息包包含含于消息之中。于消息之中。信信号号是是消消息息的的载载体体，消消息息是是信信号号的具体内容。的具体内容。信息各层次之间的关系信息各层次之间的关系1.2 1.2 信息论信息论研究内容研究内容 通信系统模型通信系统模
18、型 仙农信息论的主要内容仙农信息论的主要内容 本节内容：本节内容：1.2.1 1.2.1 通信系统模型通信系统模型 首首首首先先先先建建建建立立立立了了了了通通通通信信信信系系系系统统统统模模模模型型型型。由由由由于于于于技技技技术术术术发发发发展展展展水水水水平平平平的的的的限限限限制制制制，当当当当时时时时的的的的通通通通信信信信基基基基本本本本限限限限制制制制在在在在点点点点对对对对点点点点的的的的通通通通信信信信，所所所所以以以以这这这这种种种种通通通通信信信信系系系系统统统统模模模模型型型型是是是是指指指指“从从从从一一一一个个个个地地地地方方方方向向向向另另另另一一一一个个个个地地
19、地地方方方方传传传传送送送送信信信信息息息息的的的的系系系系统统统统”。例例例例如如如如，电电电电话话话话、电电电电报报报报、电电电电视视视视、无无无无线线线线通通通通信信信信、光光光光通通通通信信信信等等等等。而而而而存存存存储储储储系系系系统统统统在在在在某某某某种种种种意意意意义义义义上上上上也也也也可可可可看看看看成成成成从从从从现现现现在在在在向向向向将将将将来来来来发发发发送送送送信信信信息息息息的的的的通通通通信信信信系系系系统统统统。例例例例如如如如，磁磁磁磁盘或光盘驱动器、磁带记录器、视频播放器等盘或光盘驱动器、磁带记录器、视频播放器等盘或光盘驱动器、磁带记录器、视频播放器等
20、盘或光盘驱动器、磁带记录器、视频播放器等 通信系统通信系统是从空间的一点到另一点是从空间的一点到另一点传送信息的，而存储系统是从时间传送信息的，而存储系统是从时间的一点到另一点传送信息的。的一点到另一点传送信息的。信道信道信道信道信源信源信源信源译码器译码器译码器译码器编码器编码器编码器编码器信宿信宿信宿信宿噪声噪声噪声噪声图图1.2.1 1.2.1 通信系统模型通信系统模型 信号信号信号加信号加噪声噪声消息消息消息消息1.1.信源信源(information source)(information source)信信源源是是信信息息的的来来源源，其其功功能能是是直直接接产产生生可能包含信息的
21、消息可能包含信息的消息 按输出符号的取值分类：按输出符号的取值分类：离散信源和连续信源：离散信源和连续信源：离散信源和连续信源：离散信源和连续信源：连续信源又分为：连续信源又分为：连续信源又分为：连续信源又分为：离散时间连续信源；离散时间连续信源；离散时间连续信源；离散时间连续信源；波形信源或模拟信源波形信源或模拟信源波形信源或模拟信源波形信源或模拟信源。2.2.2.2.编码器编码器编码器编码器(Encoder)(Encoder)(Encoder)(Encoder)编码器的功能：编码器的功能：编码器的功能：编码器的功能：将消息变成适合于信道传输的信号将消息变成适合于信道传输的信号将消息变成适合
22、于信道传输的信号将消息变成适合于信道传输的信号 信源编码器信源编码器信源编码器信源编码器(source encoder)(source encoder)(source encoder)(source encoder)信道编码器信道编码器信道编码器信道编码器(channel encoder)(channel encoder)(channel encoder)(channel encoder)调制器调制器调制器调制器(modulator)(modulator)(modulator)(modulator)信道编码器信道编码器信道编码器信道编码器信源编码器信源编码器信源编码器信源编码器调制器调制器调制
23、器调制器符号符号符号符号符号符号符号符号信号信号信号信号消息消息消息消息图图图图1.2.2 1.2.2 1.2.2 1.2.2 编码器的组成编码器的组成编码器的组成编码器的组成 各部分主要功能各部分主要功能：信信源源编编码码器器功功能能是是将将信信源源消消息息变变成成符符号号，目目的的是是提提高高传传输输有有效效性性，也也就就是是压压缩缩每每个个信信源源符符号号传传输输所所需需代代码码（通通常常为为二二进进制制代代码码）的的数数目目（对对二二进进制制代代码码称称比比特特数数）。例例如如，一一个个信信源源含含4 4个个符符号号a,b,c,da,b,c,d，概概率率分分别别为为1/21/2，1/4
24、1/4，1/81/8，1/81/8。如如果果不不采采用用信信源源编编码码，每每个个信信源源符符号号至至少少需需要要用用2 2个个二二进进制制代代码码传传输输。如如果果采采用用信信源源编编码码，分分别别将将a,b,c,da,b,c,d编编码码成成为为：0 0，1010，110110，111111，那那么么平平均均每每信信源源符符号号只只需需1.751.75个个二二进进制制代代码码传传输输。可可见见，采采用用合合适适的的信信源源编编码码确确实实能能通通过过压压缩缩码码率率提提高高传传输输有有效效性性。所所以以，信信源编码也称信源压缩编码源编码也称信源压缩编码。信道编码器信道编码器给信源编码符号增加
25、冗余符号，目的是提给信源编码符号增加冗余符号，目的是提高传输可靠性。信源编码输出直接传送，不能保证传输高传输可靠性。信源编码输出直接传送，不能保证传输可靠性。利用信道编码对信源编码器的输出符号增加一可靠性。利用信道编码对信源编码器的输出符号增加一些冗余符号，并让这些符号满足一定的数学规律，使传些冗余符号，并让这些符号满足一定的数学规律，使传输具有纠错或检错能力。因为出现传输错误就会破坏这输具有纠错或检错能力。因为出现传输错误就会破坏这种数学规律。在接收端就会发现错误。种数学规律。在接收端就会发现错误。例如，最简单的奇偶纠错，将信源编码输出的每个例如，最简单的奇偶纠错，将信源编码输出的每个码组的
26、尾补一个码组的尾补一个1 1或或0 0，使得整个码组，使得整个码组“1 1”的个数为奇的个数为奇或偶（或模二加为或偶（或模二加为1 1或或0 0）。当传输发生奇数差错，打乱）。当传输发生奇数差错，打乱了了“1 1”数目的奇偶性，就可以检测出错误。这是最简数目的奇偶性，就可以检测出错误。这是最简单的检错方式，而实际的信道编码技术要复杂得多单的检错方式，而实际的信道编码技术要复杂得多.图1.2.3 增加冗余符号提高传输可靠性（图中，有阴影的点表示码字）图图中中，（a a）4 4个个消消息息用用4 4个个2 2维维矢矢量量传传送送，没没有有冗冗余余符符号号。如如果果出出现现任任何何差差错错都都会会使
27、使传传送送的的码码字字变变成成另另一一个个码码字字，所所以以无无检检错错能能力力；（b b）在在（a a）的的基基础础上上每每个个码码字字增增加加一一个个校校验验符符号号，构构成成奇奇校校验验，4 4个个消消息息用用4 4个个3 3维维矢矢量量传传送送。如如果果出出现现任任何何奇奇数数差差错错都都会会使使传传送送的的码码字字变变成成不不是是码码字字的的3 3维维矢矢量量，这这样样就就能能检检测测出出错错误误，但但不不能能纠纠正正错错误误；（c c）用用2 2个个汉汉明明距距离离为为3 3的的3 3维维矢矢量量传传送送2 2个个消消息息。如如果果出出现现一一个个错错误误，可可以以根根据据接接收收
28、矢矢量量和和码码字字汉汉明明距距离离的的大小判决是哪个消息被传输，因此可以纠大小判决是哪个消息被传输，因此可以纠1 1个错误。个错误。调制器调制器功能将编码器的输出符号变成适合信道传输功能将编码器的输出符号变成适合信道传输的信号，目的是，提高传输效率（使远距离传输的信号，目的是，提高传输效率（使远距离传输成为可能）成为可能）。信道编码符号不能直接通过信道输。信道编码符号不能直接通过信道输出，要将编码器的输出符号变成适合信道传输的出，要将编码器的输出符号变成适合信道传输的信号，例如，信号，例如，0 0、1 1符号变成两个电平，为远距离符号变成两个电平，为远距离传输，还需载波调制，例如，传输，还需
29、载波调制，例如，ASKASK，FSKFSK，PSKPSK等。等。3.3.信道信道 信道是信号从编码器传输到译码器的中间媒信道是信号从编码器传输到译码器的中间媒介。介。信道可以分为狭义信道和广义信道。狭义信道可以分为狭义信道和广义信道。狭义信道是某些物理通信信道，也可以是物理的存储信道是某些物理通信信道，也可以是物理的存储介质。例如有线、无线、光纤、磁盘、光盘等。介质。例如有线、无线、光纤、磁盘、光盘等。广义信道是一种逻辑信道，它和信息所通过的介广义信道是一种逻辑信道，它和信息所通过的介质无关，只反映信源与信宿的连接关系。信息论质无关，只反映信源与信宿的连接关系。信息论中只研究广义信道。中只研究
30、广义信道。信道还分为无噪声信道和有噪声信道。通信道还分为无噪声信道和有噪声信道。通常，系统中其它部分的噪声和干扰都等效常，系统中其它部分的噪声和干扰都等效成信道噪声。通信系统中主要有两种噪声：成信道噪声。通信系统中主要有两种噪声：加性噪声和乘性噪声。一般，背景噪声为加性噪声和乘性噪声。一般，背景噪声为加性，而衰落为乘性。这里主要研究加性加性，而衰落为乘性。这里主要研究加性噪声。在信息论中研究最多的是理想加性噪声。在信息论中研究最多的是理想加性高斯白噪声（高斯白噪声（AWGNAWGN）信道。研究高斯噪声）信道。研究高斯噪声的主要原因是它的普遍性和易于处理的特的主要原因是它的普遍性和易于处理的特性
31、。性。信源的分类类似，信道还分为离散信道、离散时间信源的分类类似，信道还分为离散信道、离散时间连续信道和波形信道（或模拟信道），其中，离散连续信道和波形信道（或模拟信道），其中，离散信道和离散时间连续信道输入与输出都是符号序列，信道和离散时间连续信道输入与输出都是符号序列，只不过符号取值不同，前者取离散值，而后者取连只不过符号取值不同，前者取离散值，而后者取连续值；而波形信道的输入与输出均为时间的连续波续值；而波形信道的输入与输出均为时间的连续波形。形。信道也可有无记忆信道和有记忆的区分，离散信道信道也可有无记忆信道和有记忆的区分，离散信道和离散时间连续信道可以是无记忆的，也可以是有和离散时间
32、连续信道可以是无记忆的，也可以是有记忆的；而波形信道是通常有记忆的。记忆的；而波形信道是通常有记忆的。4.4.译码器译码器(decoder)(decoder)译码器实现的功能即从信号中恢复消息。译码器实现的功能即从信号中恢复消息。包括包括:解调器解调器 信道译码器信道译码器 信源译码器信源译码器符号符号符号符号消息消息信号信号图图1.2.3译码器的组成译码器的组成 5.5.信信 宿宿(Destination)(Destination)信信宿宿的的功功能能是是接接收收信信息息，包包括括人人或或设设备备。当当前前人人们们对对信信宿宿的的研研究究也也取取得得某某些些成成果果。例例如如，利利用用人人的
33、的视视觉觉残残留留效效应应可可以以对对图图像像采采用用不不连连续续传传输输的的方方式式达达到到连连续续的的视视觉觉效效果果，从从而而进进一一步步压压缩缩码码率率。利利用用人人听听觉觉的的掩掩蔽蔽效效应应可可以以压压缩缩在在大大幅幅度度频频率率分分量量附附近近的的信信号号而而不不影影响响听听觉觉效效果果。总总之之，对对信信宿宿的的研研究究和和压压缩缩编编码码结结合合可可以在不影响视听效果的条件下，显著压缩码率。以在不影响视听效果的条件下，显著压缩码率。6.6.通信系统性能指标的评价通信系统性能指标的评价 有有效效性性用用频频谱谱利利用用率率来来衡衡量量。提提高高有有效效性性的的措措施施是是，采采
34、用用信信源源编编码码以以压压缩缩码码率率，采采用频谱利用率高的调制减小传输带宽；用频谱利用率高的调制减小传输带宽；可可靠靠性性用用传传输输错错误误率率来来衡衡量量。提提高高可可靠靠性性的措施是，采用信道编码以降低错误率；的措施是，采用信道编码以降低错误率；安安全全性性可可通通过过信信息息的的加加密密强强度度来来衡衡量量。提提高高安安全全性性的的措措施施是是，采采用用强强度度高高的的加加密密和和伪伪装技术。装技术。1.2.2 1.2.2 仙农信息论仙农信息论信息论是在概率论、随机过程和通信技术相结信息论是在概率论、随机过程和通信技术相结信息论是在概率论、随机过程和通信技术相结信息论是在概率论、随
35、机过程和通信技术相结合的基础上发展起来的学科合的基础上发展起来的学科合的基础上发展起来的学科合的基础上发展起来的学科，可分为狭义信息，可分为狭义信息论和广义信息论。论和广义信息论。狭义信息论即仙农信息论或狭义信息论即仙农信息论或经典信息论，所研究的基本问题是：信源、信经典信息论，所研究的基本问题是：信源、信道及编码问题，核心是三个编码定理道及编码问题，核心是三个编码定理。广义信。广义信息论包括，仙农或经典信息论、信源编码、信息论包括，仙农或经典信息论、信源编码、信道编码、近代信息论、统计通信理论、通信网道编码、近代信息论、统计通信理论、通信网理论、信号与信息处理、保密通信等。理论、信号与信息处
36、理、保密通信等。仙仙农农信信息息论论的的内内容容可可用用一一句句话话概概括括为为：“一一个个概概念念，三三个个定定理理”，就就是是信信息息熵熵的的概念和三个编码定理概念和三个编码定理。1 1关于关于信源信息的度量信源信息的度量 如前所述，仙农将信源限制为具有某一先验概如前所述，仙农将信源限制为具有某一先验概率的随机过程，对信息进行量度是信息论的首要问率的随机过程，对信息进行量度是信息论的首要问题。仙农定义了信息熵作为信源所含信息的量度，题。仙农定义了信息熵作为信源所含信息的量度，是信息论中最重要的概念。信息熵的含义与应用以是信息论中最重要的概念。信息熵的含义与应用以及不同于仙农定义的信息量度方
37、法是研究的主要内及不同于仙农定义的信息量度方法是研究的主要内容。容。2.2.无失真信源编码定理（仙农第一定理）无失真信源编码定理（仙农第一定理）无失真信源编码定理，也称仙农第一定理，是信无失真信源编码定理，也称仙农第一定理，是信无失真信源编码定理，也称仙农第一定理，是信无失真信源编码定理，也称仙农第一定理，是信源压缩编码的理论基础，其内容源压缩编码的理论基础，其内容源压缩编码的理论基础，其内容源压缩编码的理论基础，其内容:如果信源编码码如果信源编码码如果信源编码码如果信源编码码率（编码后传送信源符号所需比特数）不小于信源率（编码后传送信源符号所需比特数）不小于信源率（编码后传送信源符号所需比特
38、数）不小于信源率（编码后传送信源符号所需比特数）不小于信源的熵，就存在无失真编码，反之，不存在无失真编的熵，就存在无失真编码，反之，不存在无失真编的熵，就存在无失真编码，反之，不存在无失真编的熵，就存在无失真编码，反之，不存在无失真编码。码。码。码。简述：简述：其中，其中，R R为信源编码码率，为信源编码码率，H H为信源的熵。为信源的熵。例如，英文字母加空共例如，英文字母加空共2727符号，用代码传送，每符号，用代码传送，每个符号需个符号需5 5比特。但通过试验发现，实际的英文字母比特。但通过试验发现，实际的英文字母信源熵大约为信源熵大约为1.41.4比特比特/符号，所以根据仙农第一定符号，
39、所以根据仙农第一定理，存在某种信源编码方式，使得每字母仅用理，存在某种信源编码方式，使得每字母仅用1.41.4个个二进制符号就能无失真传送，这样可以显著提高传二进制符号就能无失真传送，这样可以显著提高传输效率。输效率。由于定理解决的是信源无损压缩极限的理论问由于定理解决的是信源无损压缩极限的理论问题，并未给出普遍的信源编码的方法，所以寻找接题，并未给出普遍的信源编码的方法，所以寻找接近或达到信源熵的压缩编码技术、分析其性能并有近或达到信源熵的压缩编码技术、分析其性能并有效实现是研究的主要问题。效实现是研究的主要问题。3.3.关于关于信道容量与信息的可靠传输信道容量与信息的可靠传输有噪信道编码定
40、理（仙农第二定理）是信道编码的理论基有噪信道编码定理（仙农第二定理）是信道编码的理论基有噪信道编码定理（仙农第二定理）是信道编码的理论基有噪信道编码定理（仙农第二定理）是信道编码的理论基础，其内容是：如果信息传输速率小于信道容量，则总可找础，其内容是：如果信息传输速率小于信道容量，则总可找础，其内容是：如果信息传输速率小于信道容量，则总可找础，其内容是：如果信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，到一种编码方式使得当编码序列足够长时传输差错任意小，到一种编码方式使得当编码序列足够长时传输差错任意小，到一种编码方式使得当编码序列足够长时传输差错任意小
41、，反之不存在使差错任意小的编码。反之不存在使差错任意小的编码。反之不存在使差错任意小的编码。反之不存在使差错任意小的编码。简述：简述：其中，其中，R R为信息传输速率，也称信道编码码率，为信息传输速率，也称信道编码码率，C C为信道容量。为信道容量。例如，一个带宽为例如，一个带宽为3kHz3kHz的系统，用二进符的系统，用二进符号传输，如果不进行信道编码，无码间干号传输，如果不进行信道编码，无码间干扰的最大传输速率为扰的最大传输速率为6kbps6kbps，按照仙农，按照仙农AWGNAWGN信道容量公式可知，通过合适的信道编码，信道容量公式可知，通过合适的信道编码，在信噪比为在信噪比为26dB2
42、6dB的条件下，实现可靠传输的条件下，实现可靠传输的最大速率可达到的最大速率可达到25.6kbps25.6kbps。由于信道类型的复杂性，所以根据实际研由于信道类型的复杂性，所以根据实际研究的问题建立信道模型，分析特性，计算容究的问题建立信道模型，分析特性，计算容量以及在这些信道条件下各类通信系统的性量以及在这些信道条件下各类通信系统的性能是研究的主要问题。此外，定理解决的是能是研究的主要问题。此外，定理解决的是信息传输极限的理论问题，并未给出普遍的信息传输极限的理论问题，并未给出普遍的信道编码的方法，所以寻找接近或达到信源信道编码的方法，所以寻找接近或达到信源信道容量的信道编码技术、分析其性
43、能并有信道容量的信道编码技术、分析其性能并有效实现也是研究的主要问题。不过这些内容效实现也是研究的主要问题。不过这些内容主要归入信道编码理论与技术的范畴。主要归入信道编码理论与技术的范畴。4 4信息率失真理论信息率失真理论（数据压缩的理论基础）（数据压缩的理论基础）在在很很多多情情况况下下，并并不不需需要要信信息息精精确确的的传传输输，而而是是容容许许有有一一定定限限度度差差错错的的传传输输。这这样样在在保保证证获获取取足足够够信信息息的的前前提提下下，可可以以提提高高传传输输效效率率，降降低低通通信信成成本本。仙仙农农指指出出：“实实际际上上，当当我我们们有有一一个个连连续续信信源源时时，我
44、我们们感感兴兴趣趣的的不不是是精精确确的的传传输输，而而只只是是在在一一个个给给定定容容限限内内的的传传输输。问问题题就就是是，当当仅仅需需要要一一定定的的以以合合适适方方式式度度量量的的恢恢复复保保真真度度时时，能能不不能能给给连连续续信信源源分分配配一一个个确确定定的的速速率率。”为为实实现现限限失失真真传传输输的的有有效效性性，总总是是希希望望在在满满足足一一定定的的失失真真要要求求条条件件下下，使使编编码码器器的的码码率率最最小小，这这是是一一个个最最优优有有损损数数据据压压缩缩编编码码的的理理论论问问题题，其其理理论论基基础础就就是是信信息息率率失失真真理理论论，核心是限失真信源编码
45、定理。核心是限失真信源编码定理。限失真信源编码定理（仙农第三定理）的是限失真信源编码定理（仙农第三定理）的是有损压缩编码的理论基础，其内容是：对任何失有损压缩编码的理论基础，其内容是：对任何失真测度真测度D 0D 0，只要码字足够长，总可找到一种编，只要码字足够长，总可找到一种编码，使得当信源编码的码率码，使得当信源编码的码率 R R（D D）时，码的平）时，码的平均失真均失真 D D；反之，如果信源编码的码率；反之，如果信源编码的码率 R R（D D），就不存在平均失真），就不存在平均失真 D D的编码。可以简的编码。可以简述：述：其中，其中，R R为信源编码码率，为信源编码码率，R R（D
46、 D）称为信息率称为信息率失真函数，是满足失真准则（平均失真失真函数，是满足失真准则（平均失真 D D）下，）下，每信源符号所需最小编码比特数每信源符号所需最小编码比特数。例如，一个等概率例如，一个等概率1616个符号的离散信源，如果要个符号的离散信源，如果要求不失真信源编码，那么每个信源符号需要求不失真信源编码，那么每个信源符号需要4 4个二进个二进制符号，即平均码长为制符号，即平均码长为4 4比特。但如果允许失真，就比特。但如果允许失真，就可以减小平均码长。如果要求平均失真不超过可以减小平均码长。如果要求平均失真不超过1/21/2，即对编码序列进行译码时，最多允许即对编码序列进行译码时，最
47、多允许1/21/2的错误。很的错误。很明显，我们可以将信源的前明显，我们可以将信源的前7 7个符号分别编码，而信个符号分别编码，而信源的后源的后9 9个符号都编成一个相同的（第个符号都编成一个相同的（第8 8个）码字传个）码字传输，在接收端译码时，接收到前输，在接收端译码时，接收到前7 7个码字与接收端符个码字与接收端符号表的前号表的前7 7符号一一对应，无译码差错。当接收到第符号一一对应，无译码差错。当接收到第8 8个码字时，随机的译成接收端符号表中第个码字时，随机的译成接收端符号表中第8个码字 随机的译成接收端符号表中第随机的译成接收端符号表中第8 8到第到第1616个符号个符号中的任意一
48、个。总译码正确率为中的任意一个。总译码正确率为7/16+1/16=1/27/16+1/16=1/2，所以错误率也为所以错误率也为1/21/2，即编码失真为，即编码失真为1/21/2。如果用。如果用最优二元编码（例如，最优二元编码（例如，HuffmanHuffman编码）可以计算，编码）可以计算，编码的平均码长可达编码的平均码长可达2.252.25比特，小于比特，小于4 4比特。但是，比特。但是，在理论上，同样的信源，为实现在理论上，同样的信源，为实现1/21/2差错率的信源差错率的信源编码最小的码长由编码最小的码长由R(D)R(D)函数来决定，为函数来决定，为1.051.05比特。比特。与无失
49、真信源编码类似，限失真信源编码定理与无失真信源编码类似，限失真信源编码定理解决了有损压缩极限的理论问题，也未给出实际解决了有损压缩极限的理论问题，也未给出实际的有损信源编码的方法。在各种失真度准则下对的有损信源编码的方法。在各种失真度准则下对信源信源R R（D D）函数的研究，利用率失真理论对实际）函数的研究，利用率失真理论对实际有损压缩编码性能的分析，寻找接近或达到理想有损压缩编码性能的分析，寻找接近或达到理想有损压缩的信源编码方法是该领域研究的主要问有损压缩的信源编码方法是该领域研究的主要问题。题。5.5.信息论特点信息论特点以概率论、随机过程为基本研究工具；以概率论、随机过程为基本研究工
50、具；以概率论、随机过程为基本研究工具；以概率论、随机过程为基本研究工具；研研究究通通信信系系统统的的整整个个过过程程，而而不不是是单单个个环环节节，并以编、译码器为重点；并以编、译码器为重点；关关心心的的是是最最优优系系统统的的性性能能和和怎怎样样到到达达这这个个性性能（并不具体设计系统）；能（并不具体设计系统）；语语法法信信息息中中的的概概率率信信息息，要要求求信信源源为为随随机机过过程程。1.3 1.3 仙农信息论研究的进展与应用仙农信息论研究的进展与应用本节主要内容：本节主要内容：仙农信息论创立的背景仙农信息论创立的背景 仙农的主要贡献仙农的主要贡献 仙农信息论的研究进展仙农信息论的研究