《信息论与编码基础教程第一章课件.ppt》由会员分享，可在线阅读，更多相关《信息论与编码基础教程第一章课件.ppt（33页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Page 1第一章第一章 绪绪 论论信息论与编码基础教程信息论与编码基础教程 第一章第一章张丽英制作张丽英制作Page 2第一章第一章 绪绪 论论目目 录录第第1章章 绪论绪论第第2章章 信源及信源熵信源及信源熵第第3章章 信息率失真函数信息率失真函数第第4章章 信源编码信源编码第第5章章 信道及信道容量信道及信道容量第第6章章 信道编码信道编码第第7章章*密码技术密码技术目目 录录Page 3第一章第一章 绪绪 论论第第1章章 绪论绪论1.1 信息论发展简史信息论发展简史1.2 信息论研究的目的和本门课主要学习的内容信息论研究的目的和本门课主要学习的内容1.3 信息论的概念及常用术语信息论的
2、概念及常用术语1.4 通信系统的模型通信系统的模型Page 4第一章第一章 绪绪 论论第第1章章 绪论绪论 1.1 信息论发展简史信息论发展简史 我国古代我国古代“烽火告警烽火告警”是一种最早的快速、远距是一种最早的快速、远距离传递信息的方式；离传递信息的方式；造纸术和印刷术的发明，使信息的表示和存储方造纸术和印刷术的发明，使信息的表示和存储方式产生了一次重大的变化；式产生了一次重大的变化；电报、电话、电视的发明，再次引导了信息加工电报、电话、电视的发明，再次引导了信息加工和传输的革命；和传输的革命；1.1 信信息息论论发发展展简简史史贝尔贝尔麦克斯韦麦克斯韦Page 5第一章第一章 绪绪 论
3、论 20世世纪纪后后半半叶叶，计计算算机机技技术术、微微电电子子技技术术、传传感感技技术术、激激光光技技术术、卫卫星星通通信信技技术术、移移动动通通信信技技术术、航航空空航航天天技技术术、广广播播电电视视技技术术、多多媒媒体体技技术术、网网络络技技术术、新新能能源源和和新新材材料料等等新新技技术术的的应应用用，将人类社会推入到高度信息化的时代。将人类社会推入到高度信息化的时代。1.1 信信息息论论发发展展简简史史Page 6第一章第一章 绪绪 论论 一位美国科学家在诗中这样描述：一位美国科学家在诗中这样描述：没有物质的世界是虚无的世界，没有能没有物质的世界是虚无的世界，没有能源的世界是死寂的世
4、界，没有信息的世界源的世界是死寂的世界，没有信息的世界是混乱的世界。是混乱的世界。可见信息的重要性。可见信息的重要性。1.1 信信息息论论发发展展简简史史Page 7第一章第一章 绪绪 论论Page 8第一章第一章 绪绪 论论Page 9第一章第一章 绪绪 论论 这一成果于这一成果于1948年以年以“通信的数学理论通信的数学理论”（A Mathematical Theory of Communication）为论文题目公开发表。为论文题目公开发表。这是一篇信息论开创性的权威论文，为信这是一篇信息论开创性的权威论文，为信息论理论建立了基础。息论理论建立了基础。1.1 信信息息论论发发展展简简史史
5、Page 10第一章第一章 绪绪 论论1951年年，美美国国无无线线电电工工程程师师协协会会（Institute of Radio Engineers，IRE）成成立立了了信信息息论论组组，1955年年正正式式出出版版了了信信息息论论汇汇刊刊。香香农农等等科科学学家家在在其其发表了许多重要文章。发表了许多重要文章。1948年年香香农农在在论论文文中中提提出出了了无无失失真真信信源源编编码码定理，给出了简单的编码方法定理，给出了简单的编码方法香农码。香农码。1952年年 费费 诺诺（Fano，R.M.）和和 哈哈 夫夫 曼曼（Huffman，D.A.）分分别别提提出出了了各各自自的的编编码码方方
6、法法，并证明其方法都是最佳编码法。并证明其方法都是最佳编码法。信息论的发展：信息论的发展：1.1 信信息息论论发发展展简简史史Page 11第一章第一章 绪绪 论论 1959年，香农在发表的年，香农在发表的“保真度准则下离保真度准则下离散信源编码定理散信源编码定理”（Coding Theorems for a Discrete Source with a Fidelity Criterion）一文中，系统地提出了一文中，系统地提出了信息率失真理论信息率失真理论和和限失限失真信源编码定理真信源编码定理。这两个理论是数据压缩的数。这两个理论是数据压缩的数学基础，为各种信源编码的研究奠定了基础。学基
7、础，为各种信源编码的研究奠定了基础。1.1 信信息息论论发发展展简简史史Page 12第一章第一章 绪绪 论论 20世纪世纪60年代，信道编码技术有了年代，信道编码技术有了较大发展，成为信息论的又一重要分支，较大发展，成为信息论的又一重要分支，它把代数方法引入到纠错码的研究中，使它把代数方法引入到纠错码的研究中，使分组码技术达到了高峰，找到了可纠正多分组码技术达到了高峰，找到了可纠正多个错误的码，提出了可实现的译码方法；个错误的码，提出了可实现的译码方法；同时卷积码和概率译码也有了重大突破。同时卷积码和概率译码也有了重大突破。1.1 信信息息论论发发展展简简史史Page 13第一章第一章 绪绪
8、 论论 1961年，香农的年，香农的“双路通信信道双路通信信道”（Two-way Communication Channels）论文开拓了多）论文开拓了多用户信息理论的研究。到用户信息理论的研究。到20世纪世纪70年代，有关信年代，有关信息论的研究，从点与点间的单用户通信推广发展息论的研究，从点与点间的单用户通信推广发展到多用户系统的研究。到多用户系统的研究。19721972年，年，年，年，T CoverT Cover发表了有关广播信道的研发表了有关广播信道的研发表了有关广播信道的研发表了有关广播信道的研究，以后陆续进行了有关多接入信道和广播信道究，以后陆续进行了有关多接入信道和广播信道究，以
9、后陆续进行了有关多接入信道和广播信道究，以后陆续进行了有关多接入信道和广播信道模型和信道容量的研究。模型和信道容量的研究。模型和信道容量的研究。模型和信道容量的研究。1.1 信信息息论论发发展展简简史史Page 14第一章第一章 绪绪 论论 近近30多多年年来来，这这一一领领域域的的研研究究十十分分活活跃跃，大大量量的的论论文文被被发发表表，使使多多用用户户信信息息论论的的理理论论日日趋趋完完整整。近近几几年年，随随着着计计算算机机技技术术和和超超大大规规模模集集成成电电路路技技术术的的发发展展，信信道道编编码码，如如Turbo码码、LDPC等等编编解解码码取取得得了了重重大大突突破破。Tur
10、bo码码、LDPC采采用用长长码码、交交织织技技术术、迭迭代代解解码码技技术术进进行行编编解解码码，从从而而提高了编码效率和纠错能力。提高了编码效率和纠错能力。1.1 信信息息论论发发展展简简史史Page 15第一章第一章 绪绪 论论 目前，信息论不仅在通信、广播、电视、目前，信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗等电子学领域得到了直接应用，还广泛地渗透到医学、生物学、心理学、神经生理学等透到医学、生物学、心理学、神经生理学等自然科学，甚至语言学、美学等领域。自然科学，甚至语言学、美学等领
11、域。信息论已成为涉及范围极广的信息科学。信息论已成为涉及范围极广的信息科学。1.1 信信息息论论发发展展简简史史Page 16第一章第一章 绪绪 论论1、信息论研究的目的：、信息论研究的目的：高效、可靠、安全并且随心所欲地交高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。换和利用各种各样的信息。1.2 信息论研究的目的和内容信息论研究的目的和内容1.2 信信息息论论研研究究的的目目的的和和内内容容Page 17第一章第一章 绪绪 论论 2.本门课主要研究的内容本门课主要研究的内容（1 1）离散信息的度量与离散信源；）离散信息的度量与离散信源；（2 2）连续信息的度量与连续信源；）连续信
12、息的度量与连续信源；（3 3）信息率失真函数；）信息率失真函数；（4 4）无失真信源编码、限失真信源编码；）无失真信源编码、限失真信源编码；（5 5）离散无记忆信道容量；）离散无记忆信道容量；（6 6）加性白噪声（）加性白噪声（AWGNAWGN）信道容量；）信道容量；（7 7）有噪信道编码定理；）有噪信道编码定理；（8 8）差错控制编码；）差错控制编码；（9 9）密码技术。）密码技术。1.2 信信息息论论研研究究的的目目的的和和内内容容Page 18第一章第一章 绪绪 论论1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语1、信息论的定义、信息论的定义1）狭义信息论（又称为香农信息论
13、）狭义信息论（又称为香农信息论）信息论是在信息可以度量的基础上有效信息论是在信息可以度量的基础上有效地和可靠地传递信息的科学，它涉及信息的地和可靠地传递信息的科学，它涉及信息的度量、信息的特性、信息传输速率、信道容度量、信息的特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。量、干扰对信息传输的影响等方面的知识。1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 19第一章第一章 绪绪 论论2）广义信息论）广义信息论 信息论包括通信的全部统计问题的研究、信息论包括通信的全部统计问题的研究、香农信息论、信号设计、噪声理论、信号检香农信息论、信号设计、噪声理论、信号
14、检测与估值等，还包括如医学、生物学、心理测与估值等，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学甚至社会学、遗传学、神经生理学、语言学甚至社会学和科学管理学中有关信息的问题。学和科学管理学中有关信息的问题。1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 20第一章第一章 绪绪 论论2信息、消息、信号及其区别信息、消息、信号及其区别1）信息）信息香农定义香农定义:信息是事物运动状态或存在方式的不确定信息是事物运动状态或存在方式的不确定性的描述。性的描述。信息的基本概念在于它的不确定性，任何信息的基本概念在于它的不确定性，任何确定的事物都不会有信息。确定的事物都不
15、会有信息。1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 21第一章第一章 绪绪 论论 2 2）消息）消息 定义定义:用文字、符号、数据、语言、音符、图片、用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来客观物质运动和主观思维活动的状态表达出来就成为消息。就成为消息。消息包含信息，是信息的载体，但不是物理性的。消息包含信息，是信息的载体，但不是物理性的。1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 22第一章第一章 绪绪 论论 3 3）信号
16、）信号 定义定义:把消息换成适合信道传输的物理量（如电把消息换成适合信道传输的物理量（如电信号、光信号、声信号、生物信号等），这种信号、光信号、声信号、生物信号等），这种物理量称为信号。物理量称为信号。信号是信息的载体，是物理性的。信号是信息的载体，是物理性的。1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 23第一章第一章 绪绪 论论3 3信息的可靠性、有效性、保密性、认证性信息的可靠性、有效性、保密性、认证性（1）可靠性：）可靠性：使使信信源源发发出出的的消消息息经经过过信信道道传传输输以以后后，尽尽可可能准确、不失真的再现在接收端；能准确、不失真的再现在接收端；（2
17、）有效性：）有效性：用用尽尽可可能能短短的的时时间间和和尽尽可可能能少少的的设设备备来来传传送送一定数量的信息；一定数量的信息；1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 24第一章第一章 绪绪 论论 （3）保密性：）保密性：隐蔽和保护通信系统中传送的消息，使它只隐蔽和保护通信系统中传送的消息，使它只能被授权接收者接收，而不能被未授权接收者接能被授权接收者接收，而不能被未授权接收者接收和理解；收和理解；（4）认证性：）认证性：接收者能正确判断所接收的消息的正确性，接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造和篡改的。验证消息的完整性，而不是伪造和
18、篡改的。1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 25第一章第一章 绪绪 论论（1）信息是新知识、新内容；）信息是新知识、新内容；（2）信信息息是是能能使使认认识识主主体体对对某某一一事事物物的的未未知知性或不确定性减少的有用知识；性或不确定性减少的有用知识；（3）信信息息可可以以产产生生，也也可可以以消消失失，同同时时信信息息也可以被携带、储存及处理；也可以被携带、储存及处理；（4）信息可以度量。）信息可以度量。4信息的特征信息的特征1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 26第一章第一章 绪绪 论论（1）按信息的性质分类：语法信息，
19、语义信息和语）按信息的性质分类：语法信息，语义信息和语用信息；用信息；（2）按观察过程分类：实在信息，先验信息和实得）按观察过程分类：实在信息，先验信息和实得信息；信息；（3）按按信信息息的的地地位位分分类类：客客观观信信息息（效效果果信信息息、环环境境信信息息）和和主主观观信信息息（决决策策信信息息，指指令令、控控制制和和目标信息）；目标信息）；（4）按信息的作用分类：有用信息、无用信息和）按信息的作用分类：有用信息、无用信息和 干扰信息；干扰信息；5信息的分类信息的分类1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 27第一章第一章 绪绪 论论（5）按信息的逻辑意义分
20、类：真实信息、虚假信）按信息的逻辑意义分类：真实信息、虚假信息和不定信息；息和不定信息；（6）按信息的传递方向分类：前馈信息和反馈信）按信息的传递方向分类：前馈信息和反馈信息；息；（7）按按信信息息的的生生成成领领域域分分类类：宇宇宙宙信信息息、自自然然信信息、思维信息和社会信息；息、思维信息和社会信息；（8）按信息的信息源性质分类：语言信息、图像）按信息的信息源性质分类：语言信息、图像信息、数据信息、计算信息和文字信息；信息、数据信息、计算信息和文字信息；（9）按信息的信号形成分类：连续信息、离散信）按信息的信号形成分类：连续信息、离散信息和半连续信息。息和半连续信息。1 1.3 3 信信息
21、息论论的的概概念念及及常常用用术术语语Page 28第一章第一章 绪绪 论论 其它分类其它分类:按信息的应用部门、载体性质等分类。按信息的应用部门、载体性质等分类。在众多的分类原则和方法中，最重要的就在众多的分类原则和方法中，最重要的就是按照信息性质分类。香农信息论主要讨论的是按照信息性质分类。香农信息论主要讨论的是语法信息中的概率信息。是语法信息中的概率信息。1 1.3 3 信信息息论论的的概概念念及及常常用用术术语语Page 29第一章第一章 绪绪 论论1.4 通信系统的模型通信系统的模型1 1.4 4 通通信信系系统统的的模模型型加加密密编编码码解解密密编编码码通信系统物理模型通信系统物
22、理模型噪噪声声源源信信源源信信源源编编码码信信道道编编码码信信道道信信道道译译码码信信源源译译码码信信宿宿Page 30第一章第一章 绪绪 论论【注意注意】（1）图）图1-1给出的模型只适用于收发两端单向通信给出的模型只适用于收发两端单向通信的情况，只有一个信源和一个信宿，信息传输也的情况，只有一个信源和一个信宿，信息传输也是单向的。更一般的情况是信宿和信源各有若干是单向的。更一般的情况是信宿和信源各有若干个，即信道有多个输入和多个输出，信息传输也个，即信道有多个输入和多个输出，信息传输也可以是双向的，例如，广播通信是单输入多输出，可以是双向的，例如，广播通信是单输入多输出，卫星通信网是多输入
23、多输出和多向传输的通信。卫星通信网是多输入多输出和多向传输的通信。（2）研究这样一个概括性很强的通信系统的目的，）研究这样一个概括性很强的通信系统的目的，就是要找到信息传输过程中的共同规律，以提高就是要找到信息传输过程中的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，信息传输的可靠性、有效性、保密性和认证性，从而达到信息传输系统最优化。从而达到信息传输系统最优化。Page 31第一章第一章 绪绪 论论（3）不是所有的通信系统都采用图）不是所有的通信系统都采用图1-1所示的那样所示的那样全面的技术，例如，点对点的有线电话只需一对全面的技术，例如，点对点的有线电话只需一对电话机和一条电
24、话线路（铜线）即可，话音基带电话机和一条电话线路（铜线）即可，话音基带信号通过电话机变为相应的电信号（模拟信号），信号通过电话机变为相应的电信号（模拟信号），即在电话线上传送，接收端的电话机再把电信号即在电话线上传送，接收端的电话机再把电信号恢复成人耳能听到的话音；恢复成人耳能听到的话音；Page 32第一章第一章 绪绪 论论 如果是点对点的无线电话，需要在发送端加如果是点对点的无线电话，需要在发送端加一台发射机，将模拟信号调制到射频上，再用大一台发射机，将模拟信号调制到射频上，再用大功率发射机经天线发射出去，经无线信道传输功率发射机经天线发射出去，经无线信道传输,接接收端的收信机把收到的调制
25、射频信号解调恢复为收端的收信机把收到的调制射频信号解调恢复为发送端的原始话音；如系统需保密则可在系统中发送端的原始话音；如系统需保密则可在系统中增加加密和解密装置，就构成无线保密通信系统；增加加密和解密装置，就构成无线保密通信系统；如传输中干扰大、信道容量有限，则需加入信源如传输中干扰大、信道容量有限，则需加入信源编码和信道编码技术，以提高传输消息的有效性编码和信道编码技术，以提高传输消息的有效性和可靠性。和可靠性。Page 33第一章第一章 绪绪 论论1-1 信息、消息、信号的定义是什么信息、消息、信号的定义是什么?三者的关三者的关系是什么系是什么?1-2 简述一个通信系统包括的各主要功能模块及简述一个通信系统包括的各主要功能模块及其作用。其作用。1-3 写出信息论的定义（狭义信息论、广义信息写出信息论的定义（狭义信息论、广义信息论）。论）。1-4 信息有哪些特征信息有哪些特征?1-5 信息有哪些分类信息有哪些分类?1-6 信息有哪些性质？信息有哪些性质？