《第3章信息与信道精选PPT.ppt》由会员分享，可在线阅读，更多相关《第3章信息与信道精选PPT.ppt（71页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第3章信息与信道2023/4/161第1页，本讲稿共71页31信息论1信息论基础信息论基础2一般信息论一般信息论3广义信息论广义信息论2023/4/162第2页，本讲稿共71页1信息论基础n1948年，美国工程师香农发表了长篇论文通信的数学理论，论文以概率论为工具，系统地讨论了通信工程中的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而奠定了信息论的基础。香农也被后人尊称为“信息论之父”。2023/4/163第3页，本讲稿共71页n香农信息论也称狭义信息论，主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的有香农
2、三定理以及信源和信道编码。2023/4/164第4页，本讲稿共71页2一般信息论n一般信息论主要研究信息的传输和处理问题。除了香农的基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估值理论、调制理论。美国科学家维纳（N.Wiener）是这个领域的另一个代表人物。2023/4/165第5页，本讲稿共71页n虽然维纳和香农等人都是运用概率和统计数学的方法，研究准确或者近似再现消息的，但香农的研究对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码；而维纳的研究重点在接收端，研究如何在消息受到干扰的情况下（事实上这无可避免），在接收端将它从干扰中提取出来。2023/4/166第6
3、页，本讲稿共71页3广义信息论n广义信息论是一门综合性的新兴学科，至今没有严格定义，它将研究从自然科学领域扩展到经济学和社会科学领域。任何系统，如神经传导系统、市场销售系统，只要能够抽象成通信系统模型，都可以用信息论进行研究。2023/4/167第7页，本讲稿共71页n总的来说，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用及信息量的大小等一般规律，以及实现手段的工程学科，都属于广义信息论的范畴。2023/4/168第8页，本讲稿共71页3.2 信息的度量n信息论是在信息可以度量的前提下，研究有效、可靠、安全地传递信息的科学。可见信息的可度量性是建立信息论的基础。衡量
4、信息多少的物理量叫做信息量。3.2.1 信息量信息量3.2.2 平均信息量和信源熵平均信息量和信源熵2023/4/169第9页，本讲稿共71页3.2.1 信息量n在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息含有更多的信息。例如一方告诉另一方两件事：“夏天很闷热，她穿着丝质短袖”和“夏天很闷热，她倒穿上了大棉袄”，后一消息所包含的信息量感觉起来比前者要多些。因为在接收者看来，前一件事很可能发生，不足为奇，后一件事倒有些稀奇，听后让人感到意外。2023/4/1610第10页，本讲稿共71页n信息度量的方法有若干种，其中最常用的是统计度量。n概率论告
5、诉我们：事件出现的可能性越小，概率就越小，可能性越大，概率也越大。消息所携带的信息量，与它所描述的事件出现的概率密切相关。事件发生的概率越小，消息中包含的信息量就越大，反之信息量就越小。如果事件是必然的（概率为1），则消息传递的信息量应为零。因此，信息量应该是事件发生概率的单调递减函数。2023/4/1611第11页，本讲稿共71页n对由有限个符号组成的离散信源来说，随着消息长度的增加，可能出现的消息数目是呈指数增加的。n如果收到的不是一个消息，而是若干个相互独立的消息，那么总的信息量应该是每个消息的信息量之和，这意味着信息量还应满足相加性的条件。2023/4/1612第12页，本讲稿共71页
6、n对信息量作如下定义可满足以上三方面的考虑：若一个消息 （或其描述的事件）出现的概率为 ，则这一消息所含的信息量为（3.1）2023/4/1613第13页，本讲稿共71页n式（3.1）中对数的底 取2时，信息量的单位为比特（bit，b），这是目前应用最广泛的单位；n 取 e即为自然对数时，信息量的单位为奈特（nat）；n 取10时，信息量的单位为迪特（Det）或哈特（Hart，Hartley）。2023/4/1614第14页，本讲稿共71页n设离散信息源是一个由个 符号组成的集合，称符号集。符号集中的每一个符号 在消息中按一定概率 独立出现，表示为：，且 2023/4/1615第15页，本讲稿
7、共71页n若把一个字符看作一个最短的消息，则根据，可知符号 所包含的信息量分是比特。2023/4/1616第16页，本讲稿共71页n特别地，若 个符号出现的概率相等，即每个符号出现的概率都为 ，则每个符号携带的信息量为：（3.2）2023/4/1617第17页，本讲稿共71页n当 ，即二进制信源时，每个二进制符号（通常表示为0、1）携带的信息量是1 。注：注：Bit（位）也常被用作计量二进制数据位数的单位，请注意其与用作信息量单位时的差异。若一条消息包括若干个符号，那么这条消息包含的信息量应是所有符号携带信息量的总和。2023/4/1618第18页，本讲稿共71页【例3-1】n一信息源由4个符
8、号A、B、C、D组成，它们出现的概率分别是1/4、3/8、1/8、1/4，且每个符号的出现都是独立的。试求某个消息“ABACDDACCCDBBBDCDABCDAADCBC”的信息量。2023/4/1619第19页，本讲稿共71页解解 符号A、B、C、D携带的信息量分别为：2023/4/1620第20页，本讲稿共71页n消息总共有28个符号，其中A出现7次，B出现6次，C出现8次，D出现7次。因此上述消息携带的总信息量为：2023/4/1621第21页，本讲稿共71页3.2.2 平均信息量和信源熵n由例3-1可知，当消息很长时，用符号出现的概率和次数来计算消息的信息量是比较麻烦的。引入单个符号的
9、平均信息量会方便许多。n平均信息量是指每个符号所含信息量的统计平均值。2023/4/1622第22页，本讲稿共71页n 种符号的平均信息量定义为：（3.3）2023/4/1623第23页，本讲稿共71页n由于 的定义形式与统计热力学中的熵相似，所以通常称之为信源的信息熵，也叫信源熵或香农熵。注：注：但除了表示平均信息量外，信源熵还有更宽泛的含义。例如还可用于表征信源的平均不确定度等。2023/4/1624第24页，本讲稿共71页n有了平均信息量 和消息中包含的符号个数 ，可求出总信息量为：（3.4）这虽是估算方法，但使用比较方便。2023/4/1625第25页，本讲稿共71页【例3-2】n要求
10、利用平均信息量的方法对例3-1进行计算。解解 由式（3.3）可得平均信息量为：2023/4/1626第26页，本讲稿共71页由式（3.4）可得消息所含信息量为：2023/4/1627第27页，本讲稿共71页n不同的离散信源可能有不同的信源熵，通常我们会期望熵值越大越好。n可以证明，信源熵的最大熵值发生在每一符号出现概率相等的情况下，对具有个符号的信源，最大熵值等于比特/符号；若为二进制信源，最大熵值为1比特/符号。2023/4/1628第28页，本讲稿共71页3.3 信道与噪声3.3.1 信道的定义和模型信道的定义和模型3.3.2 信道中的噪声信道中的噪声3.3.3 信道容量信道容量2023/
11、4/1629第29页，本讲稿共71页3.3.1 信道的定义和模型1狭义信道和广义信道狭义信道和广义信道2调制信道的模型调制信道的模型2023/4/1630第30页，本讲稿共71页1狭义信道和广义信道n在第一章中，信道被定义为发送设备和接收设备之间用以传输信号的传输媒质。例如光缆、双绞线电缆、同轴电缆、自由空间、电离层等都是信道。这种信道只涉及传输媒质，通常称之为狭义信道。2023/4/1631第31页，本讲稿共71页n在通信系统的研究中，为了简化系统模型并突出重点，常常要根据所研究的问题，把信道范围适当扩大，也就是说除了传输媒质以外，还可以将有关的电路或部件包括进来，例如图3.1示意了调制信道
12、和编码信道的构成。这类被扩大了范围的信道统称为广义信道。2023/4/1632第32页，本讲稿共71页图3.1 调制信道和编码信道2023/4/1633第33页，本讲稿共71页n狭义信道是广义信道的核心，广义信道的性能在很大程度上取决于狭义信道，因此在研究信道一般特性时，传输媒质仍然是讨论的重点。n在讨论通信系统的一般原理时，通常都采用广义信道。n为了叙述上的简便，我们常把广义信道简称为信道。2023/4/1634第34页，本讲稿共71页n调制信道（从调制器的输出端到解调器的输入端）是一种常用的广义信道。调制器的作用是产生已调信号，解调器的作用是由已调信号恢复原来的调制信号，至于它们之间的所有
13、部件和媒质，从调制器和解调器的角度看来，都同样起着对已调信号的传输作用，因此可以将它们视作一个整体调制信道。2023/4/1635第35页，本讲稿共71页2调制信道的模型n调制信道传输已调信号，其输入端接调制器的输出端，输出端接解调器的输入端，可将其视为一个二对端的时变线性网络，如图3.2所示。2023/4/1636第36页，本讲稿共71页图3.2 调制信道模型2023/4/1637第37页，本讲稿共71页n设信道的输入（已调）信号 和输出信号 之间满足关系：（3.5）2023/4/1638第38页，本讲稿共71页n式中 依赖于网络的特性，不依赖于网络特性，它们的存在对输入信号 来说都是干扰。
14、n由于 与 是相乘关系，而 与 是相互独立的，所以习惯上称 为乘性干扰、为加性干扰。2023/4/1639第39页，本讲稿共71页n乘性干扰 一般是一个复杂的函数，它可能包括各种线性、非线性畸变因素，这是因为网络的延迟特性和损耗特性在随时间作随机变化。2023/4/1640第40页，本讲稿共71页n但大量观察表明，有些信道的 基本不随时间变化，即信道对信号的影响是固定的或变化极为缓慢的；而另一些信道的 是随机快速变化的。2023/4/1641第41页，本讲稿共71页n这样，在分析乘性干扰时，可把信道分为两大类：一类称为恒参信道，即其 可看成不或基本不随时间变化；另一类则称为随参信道，即其 是随
15、机快变化的。2023/4/1642第42页，本讲稿共71页n恒参信道非常普遍，如有线信道、无线信道中的超短波信道、卫星信道等都可视作恒参信道。对恒参信道而言，信道模型可简化为非时变的线性网络，那么信道对信号的干扰就只有加性干扰了。n加性干扰也称加性噪声，简称噪声。2023/4/1643第43页，本讲稿共71页3.3.2 信道中的噪声1噪声的分类噪声的分类2高斯噪声高斯噪声3白噪声白噪声2023/4/1644第44页，本讲稿共71页1噪声的分类n按来源进行如下分类：n人为噪声来源于无关的其他信号源，如外台信号、电火花、荧光灯干扰等。n自然噪声是指自然界存在的各种电磁波源，如闪电、雷暴等。n内部噪
16、声是系统设备本身产生的各种噪声，如热噪声、散弹噪声、电源哼声等。2023/4/1645第45页，本讲稿共71页n某些类型的噪声是确知的，例如电源哼声、自激振荡、各种内部的谐波干扰等，虽然消除这些噪声不一定很容易，但至少在原理上可以消除或基本消除。而另一些噪声则不能准确地预测波形，这种不能预测的噪声统称为随机噪声。随机噪声是我们关注的重点。2023/4/1646第46页，本讲稿共71页n常见的随机噪声可分为单频噪声、脉冲噪声和起伏噪声三类。2023/4/1647第47页，本讲稿共71页单频噪声 n单频噪声是一种连续波的干扰（如外台信号），它可视为一个已调正弦波（幅度、频率或相位事先无法预测），占
17、有极窄的频带。它的频率可以通过实际测量进行确定，因此只要采取恰当措施，通常可加以防止。2023/4/1648第48页，本讲稿共71页脉冲噪声 n脉冲噪声是在时间上无规则的时而安静时而突发的噪声，突发时脉冲幅度大，但每个突发脉冲持续时间短，且相邻突发脉冲之间往往有较长的“平静”期。从频谱上看，脉冲噪声通常有较宽的频谱，但频率越高，频谱强度也就越小。这种噪声对模拟语音信号的影响不大，而在数字通信中，一旦出现突发脉冲，由于其幅度较大，常会导致一连串的误码，造成严重危害。不过，这种危害通常可以通过信道（纠错）编码技术得以减轻。2023/4/1649第49页，本讲稿共71页起伏噪声 n起伏噪声以热噪声、
18、散弹噪声、宇宙噪声等为代表，它无论在时域还是在频域中总是普遍存在、不可避免的。n研究中常以起伏噪声为重点。2023/4/1650第50页，本讲稿共71页2高斯噪声n根据概率论的极限中心定理：大量相互独立的、均匀的微小随机变量的总和趋于服从高斯分布。n对于随机过程也是如此。2023/4/1651第51页，本讲稿共71页n作为通信系统内主要噪声来源的热噪声和散弹噪声，可以看成是无数独立的微小电流脉冲的叠加，因此它们是服从高斯分布的，即高斯过程，通常把它们叫做高斯噪声。n大量观察表明，高斯噪声始终存在于任何一种信道中。2023/4/1652第52页，本讲稿共71页3白噪声n一个均值为零、功率谱密度在
19、整个频率轴上有非零常数，即（3.6）的平稳过程，被称为白噪声过程，简称白噪声或白过程。2023/4/1653第53页，本讲稿共71页图3.3 白噪声的功率谱密度和自相关函数2023/4/1654第54页，本讲稿共71页n白噪声中的“白”字借用了光学中的“白光”概念白光的频谱包含了所有可见光的频率成分，而白噪声的功率谱中也包含了所有的频率成分。n白噪声在数学处理上比较简单，给通信系统的分析带来方便。2023/4/1655第55页，本讲稿共71页n白噪声的定义只是一种理想化模型，实际不可能存在。因为在自然界和工程应用中，随机信号就其平均功率而言总是有限的，而且实际过程在非常邻近的两个时刻总会存在一
20、定的相关性，相关函数不可能是严格的冲激函数。2023/4/1656第56页，本讲稿共71页n实际工作中，当研究的噪声过程在很宽（比有用频带宽得多）范围内具有均匀的功率谱密度，就可以把它作为白噪声来处理。n电子设备中的起伏过程，如电阻热噪声、半导体散弹噪声等，一般都可以视作白噪声。2023/4/1657第57页，本讲稿共71页n通常把统计特性服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。n如果白噪声的被限制在频率范围 之内，这样的噪声则被称为带限噪声或有色噪声。2023/4/1658第58页，本讲稿共71页3.3.3 信道容量n信道容量表示一个信道的最大数据传输速率，对应于信道传输数
21、据能力的极限，单位是比特/秒 。n信道容量和数据传输速率的关系可类比于公路的最大限速与汽车的实际速度。2023/4/1659第59页，本讲稿共71页1数字信道的信道容量数字信道的信道容量2模拟信道的信道容量模拟信道的信道容量2023/4/1660第60页，本讲稿共71页1数字信道的信道容量n数字信道的输入、输出信号都是数字信号。n广义信道中的编码信道就是数字信道。n数字信道模型可用转移概率来表示，有噪声情况下的信道容量这里略去。2023/4/1661第61页，本讲稿共71页n奈奎斯特公式指出：在对称无记忆信道中，无噪声时信道容量的理论极限为（3.7）是进制（码元）数。是信道带宽，单位为 ；20
22、23/4/1662第62页，本讲稿共71页n所谓无记忆信道是指每个输出符号只取决于当前的输入符号，而与其他时刻的输入无关。实际信道往往是有记忆的。n在对称信道中，任一码元的正确传输概率相同，错误传输概率也相同。2023/4/1663第63页，本讲稿共71页【例3-3】n若普通电话线路带宽约，试分别在二进制和八进制情况下，求数据传输速率的理论极限。解解 由式（3.7）可得，二进制时的信道容量为2023/4/1664第64页，本讲稿共71页八进制时的信道容量为 2023/4/1665第65页，本讲稿共71页2模拟信道的信道容量n设信道带宽为 ，信道输出的信号功率为 ，输出的加性高斯白噪声功率为 ，
23、则可证明该信道的信道容量为：（3.8）2023/4/1666第66页，本讲稿共71页n式（3.8）就是信息论中具有重要意义的香农公式。n它表明了当信道带宽和输出信噪比给定时，信道容量的理论极限。n香农公式还是扩展频谱（扩频）技术的理论基础，公式反映出可以通过增大带宽的方法来提高信道容量。2023/4/1667第67页，本讲稿共71页【例3-4】n已知信道的输出信噪比为 ，带宽为 ，求信道容量。解解 由 ，可得 2023/4/1668第68页，本讲稿共71页所以，由式（3.8）可得 2023/4/1669第69页，本讲稿共71页n奈奎斯特公式和香农公式都是在理想条件下推算出来的理论极限，实际系统是达不到这些极限的。2023/4/1670第70页，本讲稿共71页第三章结束2023/4/1671第71页，本讲稿共71页