《信息论 基础理论与应用第三版(傅祖芸)第1章 绪论.ppt》由会员分享，可在线阅读，更多相关《信息论 基础理论与应用第三版(傅祖芸)第1章 绪论.ppt（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码信息论与编码简简 介介 是一门应用概率论、随机过程、数理统计和是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。理中一般规律的学科。奠基人：美国数学家香农（奠基人：美国数学家香农（C.E.ShannonC.E.Shannon）19481948年年“通信的数学理论通信的数学理论”2简简 介介l信息论的基本问题信息论的基本问题信息的度量信息的度量l无失真信源编码定理无失真信源编码定理香农第一定理香农第一定理l信道编码定理信道编码定理香农第二定理香农第二定理l信源编码、信道编码信源编码、信道编码3绪绪
2、 论论第第1 1章章1.1 1.1 信息的概念信息的概念 5情报：情报：是人们对于某个特定对象所见、所闻、所是人们对于某个特定对象所见、所闻、所理解而产生的知识。理解而产生的知识。知识：知识：一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客观事物规，以实践为基础，通过抽象思维，对客观事物规律性的概括。律性的概括。消息：消息：用文字、符号、语音、图像等能够被人们用文字、符号、语音、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。思维活动的状态表达出来。几个常见概
3、念几个常见概念6信息论中最基本、最重要的概念，既信息论中最基本、最重要的概念，既抽象又复杂抽象又复杂。信息信息信息信息消息：消息：消息：消息：消息是消息是表现形式表现形式，信息是，信息是实质实质；信息信息信息信息情报：情报：情报：情报：情报一般只限于特殊领域，是一类情报一般只限于特殊领域，是一类特特殊的信息殊的信息；信息信息信息信息知识：知识：知识：知识：知识是人们根据某种目的知识是人们根据某种目的,从自然界从自然界收集得来的数据中整理、概括、提取得到的有价值的收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。信息，是一种高层次的信息。信息信息信息信息信号：信号：信号：信
4、号：信号是承载消息的物理量。信号是承载消息的物理量。信信 息息7 狭义而言，通信中对信息的表达分三个层次：狭义而言，通信中对信息的表达分三个层次：信信号、消息、信息。号、消息、信息。l 信号：信号：信号：信号：信息的信息的物理表达物理表达，是一个物理量，是一个载，是一个物理量，是一个载荷信息的实体，可测量、可描述、可传输、可存储、荷信息的实体，可测量、可描述、可传输、可存储、可显示。可显示。l 消息消息消息消息 (或或符号符号符号符号)：信息的信息的数学表达数学表达，承载了信息，承载了信息，它是具体物理信号的它是具体物理信号的数学抽象数学抽象。如语言、文字、语音、。如语言、文字、语音、图像等。
5、图像等。l 信息：信息：信息：信息：更高层次更高层次的哲学抽象的哲学抽象，是信号与消息的承载，是信号与消息的承载的对象，描述的对象，描述事物运动状态或存在方式的不确定性。事物运动状态或存在方式的不确定性。信息的表达层次信息的表达层次8什么是信息什么是信息?l到到目目前前为为止止，国国内内外外已已有有不不下下百百余余种种流流行行的的说说法法，它它们们都都是是从从不不同同的的侧侧面面和和不不同同的的层层次次来来揭揭示示信信息息的的本质的。本质的。l19281928年，哈特莱年，哈特莱(R(RV VL Hartley)L Hartley)在在信信息息传传输输一一文文中中提提出出：发发信信者者所所发发
6、出出的的信信息息，就就是是他他在在通通信信符符号号表表中中选选择择符符号号的的具具体体方方式式，主张用所主张用所选择的自由度选择的自由度来度量信息。来度量信息。l局限性：局限性：只只考考虑虑选选择择符符号号的的方方式式，不不涉涉及及到到信信息息的的价价值值和和具具体内容。体内容。没有考虑各种可能选择方法的没有考虑各种可能选择方法的统计特性。统计特性。9l19481948年，维纳年，维纳(N(NWiener)Wiener)控制论创始人维纳在控制论创始人维纳在人有人的用处人有人的用处一书中一书中提出：提出：“信息是人们适应外部世界并且使这种适应信息是人们适应外部世界并且使这种适应反作用于外部世界的
7、过程中，同外部世界进行互相反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。交换的内容的名称。”l局限性：局限性：信息的定义是信息的定义是不确切不确切的。的。l19481948年，香农（年，香农（C.E.ShannonC.E.Shannon）发表了一篇著名的论文发表了一篇著名的论文“通信的数学理论通信的数学理论”。他从研究他从研究通信系统传输的实质通信系统传输的实质出发，对信息作了科出发，对信息作了科学的定义，并进行了定性和定量的描述：学的定义，并进行了定性和定量的描述：信息是事物运动状态或存在方式的不确定性的信息是事物运动状态或存在方式的不确定性的描述。描述。10香农信息的度量香
8、农信息的度量（1 1）样本空间）样本空间 某事物各种可能出现的不同状态。某事物各种可能出现的不同状态。（2 2）概率测度）概率测度 对每一个可能选择的消息指定一个概率。对每一个可能选择的消息指定一个概率。（3 3）概率空间）概率空间 l先验概率先验概率p p(x xi i)：选择符号选择符号x xi i作为消息的概率。作为消息的概率。样本空间概率测度11l例：例：气象预报气象预报 甲甲乙乙l“甲地晴甲地晴”比比“乙地晴乙地晴”的不确定性小。的不确定性小。l某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于某一事物状态出现的概率接
9、近于1,1,即预料中肯定会即预料中肯定会出现的事件，那它的不确定性就接近于零。出现的事件，那它的不确定性就接近于零。12 对对x xi i的不确定性可表示为先验概率的不确定性可表示为先验概率p(xp(xi i)的倒数的某一函数。的倒数的某一函数。（4 4）自信息）自信息（5 5）互信息）互信息 先验的不确定性减去尚存的不确定性。先验的不确定性减去尚存的不确定性。后验概率后验概率p p(a ai i|b bj j)：接收端收到消息接收端收到消息b bj j后而后而发送端发的是发送端发的是a ai i的概率。的概率。13香农定义的优缺点香农定义的优缺点l在现有的各种理解中比较深刻，其在现有的各种理
10、解中比较深刻，其优点：优点：l它是一个科学的定义，有它是一个科学的定义，有明确的数学模型和定量明确的数学模型和定量计算。计算。l它与它与日常用语中的信息的含意是一致日常用语中的信息的含意是一致的。的。l定文定文排除了对信息一词某些主观上的含意。排除了对信息一词某些主观上的含意。l也有其也有其局限性：局限性：l定义的出发点是定义的出发点是假定事物状态可以用一个以经典假定事物状态可以用一个以经典集合论为基础集合论为基础的概率模型来描述。的概率模型来描述。l没有考虑收信者的没有考虑收信者的主观特性和主观意义主观特性和主观意义，也撇开，也撇开了信息的具体含意、具体用途、重要程度和引起了信息的具体含意、
11、具体用途、重要程度和引起后果等因素。后果等因素。14信息的特征信息的特征信息是信息是物质存在的普遍属性物质存在的普遍属性，信息和能量、物质规定了，信息和能量、物质规定了事物的事物的功能和性能功能和性能；接收者在收到信息之前，对它的内容是不知道的，所以，接收者在收到信息之前，对它的内容是不知道的，所以，信息是信息是新知识、新内容新知识、新内容；它使认识主体对某一事物的未；它使认识主体对某一事物的未知性或不确定性减少的有用知识；知性或不确定性减少的有用知识；信息的存在具有信息的存在具有普遍性、无限性、动态性、时效性普遍性、无限性、动态性、时效性和和相相对独立性对独立性；信息可以产生，也可以消失，同
12、时信息可以被信息可以产生，也可以消失，同时信息可以被传递、转传递、转换、扩散、复制、贮存、分割换、扩散、复制、贮存、分割，具有，具有可共享性可共享性；信息是信息是可以量度可以量度的，信息量有多少的差别。的，信息量有多少的差别。151.2 1.2 信息论研究的信息论研究的对象、目的和内容对象、目的和内容16研究对象：通信系统模型研究对象：通信系统模型信信道道信信源源信源编码信源编码加密加密信信道道编编码码干干 扰扰 源源信信宿宿信源解码信源解码解密解密信信道道解解码码加密密钥解密密钥17l信源：信源：发送消息的源发送消息的源l离散信源离散信源l模拟信源模拟信源信源是信息论的主要研究对象之一信源是
13、信息论的主要研究对象之一.我们我们不探讨信不探讨信源的内部结构和机理源的内部结构和机理，而关注，而关注信源的输出。信源的输出。重点重点讨论其讨论其描述方法及性质描述方法及性质。l信宿：信宿：信息归宿之意，亦即收信者或用户，信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。是信息传送的终点或目的地。l信道：信道：传输信息的传输信息的物理媒介物理媒介。信源、信道、信宿信源、信道、信宿18l信源编码器信源编码器l通过信源编码可以压缩信源的冗余度通过信源编码可以压缩信源的冗余度,以提高通以提高通信系统传输消息的效率。信系统传输消息的效率。l信源编码器分为两类信源编码器分为两类l无失真信源编码无
14、失真信源编码：适用于离散信源或数字信号；：适用于离散信源或数字信号；l限失真信源编码限失真信源编码：用于连续信源或模拟信号：用于连续信源或模拟信号,如如语音、图像等信号的数字处理。语音、图像等信号的数字处理。信源编码器与译码器信源编码器与译码器l信源编码器的主要指标信源编码器的主要指标l是它的是它的编码效率编码效率。一般来说，效率越高，编译码。一般来说，效率越高，编译码器的代价也将越大。器的代价也将越大。l信源译码器信源译码器l把信道译码器的输出变换成信宿所需的消息形式，把信道译码器的输出变换成信宿所需的消息形式，相当于相当于信源编码器的逆过程信源编码器的逆过程。19信道编码器与译码器信道编码
15、器与译码器l信道编码信道编码l主要作用是提高信息传送的主要作用是提高信息传送的可靠性可靠性。l信道编码器的作用信道编码器的作用l在信源编码器输出的代码组上有目的地增加一些监督在信源编码器输出的代码组上有目的地增加一些监督码元码元,使之具有检错或纠错的能力。使之具有检错或纠错的能力。l信道编码的主要方法信道编码的主要方法l增大码率或频带增大码率或频带,即增大所需的信道容量。这恰与信源即增大所需的信道容量。这恰与信源编码相反。编码相反。l信道译码器的作用信道译码器的作用l具有检错或纠错的功能具有检错或纠错的功能,它能将落在其检错或纠错范围它能将落在其检错或纠错范围内的错传码元检出或纠正内的错传码元
16、检出或纠正,以提高传输消息的可靠性。以提高传输消息的可靠性。20密码学密码学l如何隐蔽消息中的信息内容如何隐蔽消息中的信息内容,使它在传输过程中不被窃听使它在传输过程中不被窃听.提高通信系统的安全性；提高通信系统的安全性；l将明文变换成密文将明文变换成密文,通常不需要增大信道容量通常不需要增大信道容量,例如在二例如在二进码信息流上叠加一密钥流；进码信息流上叠加一密钥流；l但也有些密码要求占用较大的信道容量。但也有些密码要求占用较大的信道容量。l从理论方面来说，若能把三种码合并成一种码来编译，即从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在同
17、时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。经济上可能也更优越。l这种三码合一的设想是当前众所关心的课题，但因理论上这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。和技术上的复杂性，要取得有用的结果，还是相当困难。21香农信息论压缩理论有失真信源编码无失真信源编码率失真理论压缩编码等长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码香农信息论的科学体系香农信息论的科学体系22信息论研究的目的信息论研
18、究的目的 找到信息传输过程中的共同规律，提高信息传输的找到信息传输过程中的共同规律，提高信息传输的可靠性、有效性、保密性、认证性可靠性、有效性、保密性、认证性，使信息传输系统，使信息传输系统达到最优化。达到最优化。认证性：认证性：接受者能正确判断所接收的消息的正确接受者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造和窜改的。性，验证消息的完整性，而不是伪造和窜改的。23信息论研究的内容信息论研究的内容l狭义信息论：狭义信息论：l主要研究主要研究信息的测度、信道容量信息的测度、信道容量以及以及信源和信道编码理论信源和信道编码理论等问题。等问题。l一般信息论：一般信息论：l主要也是研
19、究信息传输和处理问题，除香农信息论，还包主要也是研究信息传输和处理问题，除香农信息论，还包括括噪声理论、信号滤波和预测、统计检测和估计、调制理噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论论、信息处理理论以及以及保密理论保密理论等。等。l广义信息论：广义信息论：l不仅包括上述两方面内容，而且包括所有与信息有关的自不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。信息的
20、问题。241.3 1.3 信息论的形成和发展信息论的形成和发展25 信信息息论论是是在在长长期期的的通通信信工工程程实实践践和和理理论论研研究究的基础上发展起来的。的基础上发展起来的。简简 史史l现代信息论现代信息论是从是从2020世纪世纪2020年代年代奈奎斯特奈奎斯特和和哈特莱哈特莱的工作开始的：的工作开始的：l19241924年奈奎斯特年奈奎斯特(Nyquist)(Nyquist)的的“影响电报速率因影响电报速率因素的确定素的确定”。l19281928年哈特莱年哈特莱(Hartley)(Hartley)的的“信息传输信息传输”一文研一文研究了通信系统传输信息的能力，并给出了信息度究了通信
21、系统传输信息的能力，并给出了信息度量方法。量方法。信息论的形成信息论的形成26l19461946年年柯切尔尼柯夫柯切尔尼柯夫的学位论文的学位论文“起伏噪声下的潜在抗干起伏噪声下的潜在抗干扰理论扰理论”，根据最小错误概率准则和最小均方误差准则研根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题。究了离散和连续信道的最佳接收问题。l19481948年年香农香农的权威性长文的权威性长文“通信的数学理论通信的数学理论”，讨论了信讨论了信源和信道特性，源和信道特性，19491949年香农年香农“噪声中的通信噪声中的通信”，两论文奠两论文奠定了现代信息论的理论基础。定了现代信息论的理
22、论基础。l此后，在基本理论和实际应用方面，信息论都得到了巨大此后，在基本理论和实际应用方面，信息论都得到了巨大的发展。的发展。27香农信息理论的数学严格化香农信息理论的数学严格化无失真信源编码定理和技术的发展无失真信源编码定理和技术的发展信道纠错编码的发展信道纠错编码的发展限失真编码的提出和发展限失真编码的提出和发展多用户、网络信息化的发展多用户、网络信息化的发展信息保密与安全理论的提出和发展信息保密与安全理论的提出和发展信息论的发展信息论的发展28信息论的研究成果举例信息论的研究成果举例l语音语音编码编码 CCITT G.7CCITT G.72222，G.723.1G.723.1，G.72G
23、.728 8l图像编码图像编码 JPEG,MPEG-4JPEG,MPEG-4l视频编码视频编码 H.261,H.263H.261,H.26329信息科学的形成：信息科学的形成：信息论与数学、物理、自动控制、系统工程、人工智信息论与数学、物理、自动控制、系统工程、人工智能、生物学、计算机等学科相互渗透，相互结合，形成能、生物学、计算机等学科相互渗透，相互结合，形成一门综合性的学科。一门综合性的学科。新的重要分支：新的重要分支：光学信息论光学信息论量子信息论量子信息论生物信息学生物信息学信息论的发展信息论的发展30新研究动向：新研究动向：信息概念的深化信息概念的深化网络信息理论和多重相关信源编码理
24、论的发展网络信息理论和多重相关信源编码理论的发展通信网的一般信息论研究通信网的一般信息论研究磁记录信道的信息理论研究磁记录信道的信息理论研究信息率失真理论及其在数据压缩和图像处理中的信息率失真理论及其在数据压缩和图像处理中的应用应用信息论在大规模集成电路中的应用信息论在大规模集成电路中的应用31信息论和信息技术研究的问题信息论和信息技术研究的问题l信息科学：信息科学：信息不是静止的，它会产生也会消亡。信息不是静止的，它会产生也会消亡。人们需要完成信息的人们需要完成信息的获取、传输、交换、处理、检获取、传输、交换、处理、检测、识别、存储、显示测、识别、存储、显示等功能。等功能。l信息论：信息论：是信息科学的主要理论基础之一。它研究是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究信息的基本理论，主要研究可能性可能性和和存在性存在性问题，问题，为具体实现提供理论基础。为具体实现提供理论基础。l信息技术：信息技术：主要研究与信息各类处理模型主要研究与信息各类处理模型如何实现如何实现的问题。的问题。32