《信息论与编码.pptx》由会员分享，可在线阅读，更多相关《信息论与编码.pptx（294页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、课程目标与安排 它是信息处理方向的一门重要的专业基础课，是后续课程的基础，如通讯原理、数字图像处理、语音信号处理等。介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程分为基础理论和编码理论两部分组成。本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习。n 课程特点课程特点第1页/共294页学 时：32 考试方式：开卷考试成绩：平时成绩*20%+考试成绩*80%课程目标与安排第2页/共29
2、4页第一章 绪论第二章 信源熵第三章 信道容量第四章 信息率失真函数第五章 信源编码第六章 信道编码第七章 密码体制的安全性测度n 课程内容安排课程内容安排课程目标与安排第3页/共294页课程目标与安排n 参考书参考书曲炜，朱诗兵，信息论基础及应用，清华大学出版社，2005信息论与编码，陈运、周亮、陈新，电子工业出版社，2007傅祖芸，信息论与编码，电子工业出版社，2004周荫清，信息论基础(第3版)，北京航空航天大学出版社，2006n 有关的课程有关的课程 高等数学，概率论，线性代数第4页/共294页第一章第一章 绪论绪论信息论基础主讲：苗立刚基础楼318 计算机与通信工程学院2014年3月
3、第5页/共294页第一章 绪论 信息的有关概念 通讯系统模型 信息论的形成和发展历史 n 本章主要讨论的问题：本章主要讨论的问题：第6页/共294页信息的有关概念“信息”是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念，目前还没有一个统一的定义(百余种)；“信息”不同于消息在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义；所谓消息，是用文字、符号、数据、语言、图片、图像等形式，把客观事物运动和主观思维活动的状态表达出来；消息是信息的载体；消息是表现形式，信息是实质。“信息”不同于情报情报往往是军事学、文献学方面的习惯用词，它的含义比“信息”窄的多，一般只限
4、于特殊的领域，是一类特殊的信息；“情报”是人们对于某个特定对象所见、所闻、所理解产生的知识；第7页/共294页“信息”不同于知识知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息；知识是信息，但不等于信息的全体；“信息”不同于信号把消息变换成适合信道传输的物理量，就是信号；信号是承载消息的物理量；信息的有关概念第8页/共294页信息的有关概念信息的几种定义 以信源为主的信息定义、以信道为主的信息定义和以信宿为主的信息定义。以信源为主的信息定义有：1)信息是事物之间的差异(Longo,1975)2)信息是有序性的度量(Wiener,1948)以
5、信道为主的信息定义有：1)信息是通信传输的内容(Wiener,1950)2)信息是人与外界相互作用的过程中所交换的内容的名称(Wiener,1948)以信宿为主的信息定义有：1)信息是用来消除随机不定性的东西(Shannon,1948）2)信息是使概率分布发生变动的东西（Tribes etal,1971）第9页/共294页 仙农从研究通信系统传输的实质出发，对信息做出了科学的定义；仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。因此,对于收信者来说,通信过程
6、是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多；“信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。信息的有关概念第10页/共294页信息的度量信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量；不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小；由以上两点可知：概率小 信息量大，即信息量是概率的单调递减函数；此外，信息量应该具有可加性；第11页/共294页信息的度量由于信息量与概率成反比，并且具有可加性，可以证明，信
7、息量的计算式为 其中pk是事件xk发生的概率，这也是仙农关于(自)信息量的度量(概率信息)，单位为bit 哈特莱早在20世纪20年代就提出用对数作为信息量的测度。哈特莱认为：消息和信息不同，多种多样、千姿百态的消息是信息的载体，消息究竟包含了多少信息，应该用消息出现的概率的对数来计算，从而他为信息度量找到了对数这一数学理论。第12页/共294页通讯系统模型信源信源编码器编码器信道信道译码器译码器干扰源干扰源通信系统基本模型通信系统基本模型消息消息信号消息信宿噪声信源：消息的来源，如文字、语音、图像等编码器：把消息变换成信号，如信源编码、纠错编码、调制器信道：传递信号的媒介，如电缆、光纤、无线电
8、波等噪声：信道中的干扰，如加性干扰、乘性干扰译码器：把信道输出的信号反变换，解调器、纠错译码器、信源译码器信宿：信息的接受端，接收消息的人或物第13页/共294页通讯系统模型信源：消息的来源编码器：把消息变换成信号信道：传递信号的媒介译码器：把信道输出的信号反变换信宿：信息的接受端噪声：信道中的干扰信源编码器：把信源发出的消息变换成由二进制码元（或多进制码元）组成的代码组以提高通信系统传输消息的效率。信源编码可分为无失真信源编码和限失真信源编码。目的：提高信息传输的有效性信道编码器：在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力。目的：提高信息传输的可靠性密码学：
9、研究如何隐蔽消息中的信息内容，使它在传输过程中不被窃听，提高通信系统的安全性。目的：提高信息的安全性编码问题编码问题可分解可分解为为三三类类：信源：信源编码编码、信道、信道编码编码和密和密码码 在实际问题中，上述三类编码应统一考虑来提高通信在实际问题中，上述三类编码应统一考虑来提高通信系统的性能。这些编码的目标往往是相互矛盾的。系统的性能。这些编码的目标往往是相互矛盾的。第14页/共294页电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的；在一些商品上面有一张由粗细条纹组成的标签，从这张标签可以得知该商品的生产厂家、生产日期和价格等信息，这些标签是利用条形码设计出来的，非常方便，非常有用
10、，应用越来越普遍；计算机的运算速度很高，要保证它几乎不出差错，相当于要求有100年的时间内不得有一秒钟的误差，这就需要利用纠错码来自动地及时地纠正所发生的错误；每出版一本书，都给定一个国际标准书号（ISBN），大大方便图书的销售、编目和收藏工作。编码编码的的应应用的几个例子：用的几个例子：通讯系统模型第15页/共294页 信息论的形成和发展信息论是在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学。奈魁斯特：在1924年研究影响电报传递速度的因素时,就察觉到信息传输速度和频带宽度有关系;哈特莱(Hartley)：在1928年用概率的观点来分析信息传输问
11、题;仙农（Claude E.Shannon)：1948年发表通信的数学理论(A Mathematical Theory of Communication),为创立信息论作出了决定性的贡献;香农因此成为信息论的奠基人。维纳(N.Wiener)等：为信息论的进一步发展和拓展作了大量工作;主要在通信的统计理论与滤波器理论方面。第16页/共294页第二章第二章 信源熵信源熵信息论基础信息论基础主讲：苗立刚基础楼318 计算机与通信工程学院2014年3月第17页/共294页第二章第二章 信源熵信源熵2.1 单符号离散信源2.2 多符号离散平稳信源2.3 连续信源2.4 离散无失真信源编码定理 n 本章主
12、要讨论的问题：本章主要讨论的问题：第18页/共294页2.12.1单符号离散信源单符号离散信源n 单符号离散信源的数学模型 单符号信源信源每次输出一个符号,用离散随机变量描述 多符号信源信源每次输出多个符号(符号序列)，用离散随 机矢量描述 离散信源信源符号取值离散，包括单符号和多符号信源 连续信源信源符号取值连续，用随机过程描述 结论 从概率、随机变量(过程)来研究信息 信息对事物状态(存在方式)不确定性的描述第19页/共294页2.12.1单符号离散信源单符号离散信源n 单符号离散信源的数学模型注意：大写字母X,Y,Z代表随机变量，小写字母代 表随机事件。第20页/共294页概率复习第21
13、页/共294页2.12.1单符号离散信源单符号离散信源 由于信息量与概率成反比，并且具有可加性，自信息量的定义为：其中p(xi)是事件xi发生的概率，这也是仙农关于(自)信息量的度量(概率信息)计算信息量主要要注意有关事件发生概率的计算;性质：非负;单调递减；当p(xi)=0时,I(xi),不可能事件；当p(xi)=1时，I(xi)0，确定事件自信息量 I(xi)的含义当事件xi发生以前，表示事件xi发生的不确定性；当事件xi发生以后，表示事件xi所提供的信息量；n自信息量（单个随机事件）第22页/共294页 例1：从26个英文字母中，随即选取一个字母，则该事件的自信息量为 I=-log2(1
14、/26)=4.7 比特 例2：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为:I=-log2(1/2m)=m 比特/符号自信息量的单位自信息量的单位取决于对数的底；底为2，单位为“比特（bit）”；底为e，单位为“奈特（nat）”；底为10，单位为“哈特（hat）”；1 nat=1.44bit,1 hat=3.32 bit；2.12.1单符号离散信源单符号离散信源第23页/共294页例例3 3：设天气预报有两种消息，晴天和雨天，出现的概率分：设天气预报有两种消息，晴天和雨天，出现的概率分别为别为1/41/4和和3/43/4，我们分别用，我们分别用
15、来表示晴天，以来表示晴天，以 来表示来表示雨天，则我们的信源模型如下：雨天，则我们的信源模型如下：2.12.1单符号离散信源单符号离散信源第24页/共294页n 联合自信息量(两个随机事件)二维联合集XY上的元素(xiyj)的联合自信息量定义为：含义 X=xi，Y=yj 同时发生时，带来的信息量 特例 若X、Y 独立，则I(xiyj)=I(xi)+I(yj)2.12.1单符号离散信源单符号离散信源第25页/共294页n 条件自信息量（两个随机事件）二维联合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件信息量定义为：联合自信息量和条件自信息量也满足非负和单调递减性。关系当X和Y
16、独立时，2.12.1单符号离散信源单符号离散信源第26页/共294页n 互信息量(两个随机事件)信道信道信源信源X X信宿信宿Y Y2.12.1单符号离散信源单符号离散信源第27页/共294页信源发出消息 的概率 称为先验概率，信宿收到 后推测信源发出 的概率称为后验概 率 。定义 的后验概率与先验概率比值的对数为 对 的互信息量，用 表示，即互信息量等于自信息量减去条件自信息量。第三种表达方式：2.12.1单符号离散信源单符号离散信源第28页/共294页含义互信息I(xi;yj)=自信息I(xi)-条件自信息I(xi/yj)(1)I(xi)信宿收到yj之前，对信源发xi的不确定度(2)I(x
17、i|yj)信宿收到yj之后，对信源发xi的不确定度(3)I(xi;yj)收到yj而得到(关于xi)的互信息 =不确定度的减少量性质 (1)对称性I(xi;yj)=I(yj;xi)(2)X与Y独立时I(xi;yj)=0 (3)I(xi;yj)可为正、负、0 (4)I(xi;yj)=I(xi);I(xi;yj)=I(yj)2.12.1单符号离散信源单符号离散信源第29页/共294页I(xi;yj)可为正、负、0的举例设yj代表“闪电”，则当xi代表“打雷”时，I(xi|yj)=0，I(xi;yj)=I(xi)0 当xi代表“下雨”时，I(xi|yj)I(xi)，I(xi;yj)0当xi代表“雾天”
18、时，I(xi|yj)=I(xi)，I(xi;yj)=0当xi代表“飞机正点起飞”时，I(xi|yj)I(xi)，I(xi;yj)0 2.12.1单符号离散信源单符号离散信源第30页/共294页n 条件互信息量(三个随机事件)联合集XYZ中,给定条件 下，与 之间的互信息量，其定义式互信息量2.12.1单符号离散信源单符号离散信源第31页/共294页n 平均自信息量(信源熵)-随机变量 单位 bit/(信源)符号 这个平均自信息量的表达式和统计物理学中热熵的表达式很相似。在统计物理学中，热熵是一个物理系统杂乱性（无序性）的度量。这在概念上也有相似之处。因而就借用“熵”这个词把平均自信息量H(X)
19、称为“信源熵”。通常研究单独一个事件或单独一个符号的信息量是不够的，往往需要研究整个事件集合或符号序列(如信源)的平均的信息量(总体特征)，这就需要引入新的概念；定义自信息的数学期望为信源的平均信息量2.12.1单符号离散信源单符号离散信源第32页/共294页例：天气预报，有两个信源 则：则：说明第二个信源的平均不确定性更大一些说明第二个信源的平均不确定性更大一些信息熵具有以下三种物理含义：信息熵具有以下三种物理含义：1 1、表示信源输出前，信源的平均不确定性、表示信源输出前，信源的平均不确定性2 2、表示信源输出后，每个符号所携带的平均信息量、表示信源输出后，每个符号所携带的平均信息量3 3
20、、反映了变量、反映了变量X X的随机性的随机性。2.12.1单符号离散信源单符号离散信源第33页/共294页例：设某信源输出四个符号，其符号集合的概率分布为：则其熵为：2.12.1单符号离散信源单符号离散信源第34页/共294页例：电视屏上约有 500 600=3105个格点，按每点有10个不同的灰度等级考虑，则共能组成n=103x105个不同的画面。按等概率1/103x105计算，平均每个画面可提供的信息量为 =31053.32 比特/画面 例：有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000篇。仍按等概率1/100001000计算，平均每篇千
21、字文可提供的信息量为 H（X）log2N4103332=1.3104 比特千字文“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。2.12.1单符号离散信源单符号离散信源第35页/共294页n熵函数的数学特性熵函数可以表示为：熵函数可以表示为：二元熵：二元熵：性质性质1 1：非负性：非负性H(X)0H(X)0由于由于0p0pi i1,1,所以所以logplogpi i00，logplogpi i00，则总有，则总有H(X)0H(X)0。2.12.1单符号离散信源单符号离散信源第36页/共294页性质性质2 2：对称性：对称性 根据加法交换律可以证明，当变量交换顺序时熵函数根据
22、加法交换律可以证明，当变量交换顺序时熵函数的值不变。信源的熵只与概率空间的总体结构有关，而与的值不变。信源的熵只与概率空间的总体结构有关，而与个概率分量对应的状态顺序无关；个概率分量对应的状态顺序无关；性质性质3 3：扩展性：扩展性 这说明信源空间中增加某些概率很小的符号，虽然当发这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于出这些符号时，提供很大的信息量，但由于其概率接近于0 0，在信源熵中占极小的比重，使信源熵保持不变。，在信源熵中占极小的比重，使信源熵保持不变。2.12.1单符号离散信源单符号离散信源第37页/共294页性质性质4 4：
23、可加性：可加性 性质性质5 5：极值性：极值性 上式表明，对于具有上式表明，对于具有n n个符号的离散信源，只有在个符号的离散信源，只有在n n个个信源符号等可能出现的情况下，信源熵才能达到最大值，这信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重也表明等概分布的信源的平均不确定性最大，这是一个很重要得结论，称为要得结论，称为最大离散熵定理最大离散熵定理例：对于一个二元信源例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bitH(X)=H(1/2,1/2)=log2=1bitH(X)=-plog2p (1-p)log2(
24、1-p)=H(p)2.12.1单符号离散信源单符号离散信源第38页/共294页性质性质6 6：确定性：确定性 当信源当信源X X的信源空间的信源空间XX，PP中。任一个概率分量等于中。任一个概率分量等于1 1，根据完备空间特性，其它概率分量必为根据完备空间特性，其它概率分量必为0 0，这时信源为一个，这时信源为一个确知信源，其熵为确知信源，其熵为0 0。如果一个信源的输出符号几乎必然为。如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。提供任何信息量。性质性质7 7：上凸性：上凸性 是概率分布
25、是概率分布(p(p1 1,p,p2 2,p,pq q)的严格上凸函数。的严格上凸函数。2.12.1单符号离散信源单符号离散信源第39页/共294页 设设f(X)=f(xf(X)=f(x1 1,x,x2 2,x,xn n)为一多元函数。若对于任意一个小为一多元函数。若对于任意一个小于于1 1的正数的正数 （0 10 =f(X=f(X1 1)+(1-)f(X)+(1-)f(X2 2)则称则称f(X)f(X)为定义域上的上凸函数。为定义域上的上凸函数。若若“=”不成立，则为严格上凸函数不成立，则为严格上凸函数若若“=”,则为下凸函数则为下凸函数若若“”,则为严格下凸函数则为严格下凸函数2.12.1单
26、符号离散信源单符号离散信源第40页/共294页0 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)H（p）函数曲线如图所示。如果二元信源的输出符号是确定的，即p=1或q=1，则该信源不提供任何信息。反之，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1比特信息量。2.12.1单符号离散信源单符号离散信源第41页/共294页 信源熵是从整个信源的统计特性来考虑的，它是从平均意义上来表征信源的总体信息测度的。对于某特定的信源（概率空间给定），其信源熵是一个特定的值。不同的信源因统计特性不同，其熵也不同。信源熵用以表征信息源的平均不确定性，平均自信息量是消除信源不确
27、定性时所需信息的量度，即收到一个信源符号，全部解除了这个符号的不确定性。或者说获得这样大的信息量后，信源不确定性就被消除了。2.12.1单符号离散信源单符号离散信源第42页/共294页 信源熵和平均自信息量两者在数值上相等，但含义不同。某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就必有信源的熵值；这熵值在总体平均上才有意义，因而是一个确定的值。而另一方面，信息量则只有当信源输出的符号被接收者收到后才有意义，信息量就是给予接收者的信息度量，该值本身可以是随机量，也可以与接收者的情况有关。因此说信源熵是信源的平均不确定性的描述，一般情况下它并不等于平均获得的信息量。只是在无噪情况下
28、，接收者才能正确无误地接收到信源所发出的信息，消除了信源熵H（X）值大小的平均不确定性，所以获得的平均信息量就等于信源熵H（X）的值。在一般情况下获得的信息量是两熵之差，并不是信源熵本身。2.12.1单符号离散信源单符号离散信源第43页/共294页n条件熵思考：求条件熵时为什么要用联合概率加权？条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量X的条件下，随机变量Y的条件熵定义为：2.12.1单符号离散信源单符号离散信源第44页/共294页条件概率条件概率并且并且当已知特定事件当已知特定事件xi出现时，下一个出现的是出现时，下一个出现的是yj 的不确的不确定性为：定性为：对集
29、合对集合Y Y中所有元素统计平均，其熵为：中所有元素统计平均，其熵为：上述熵值再对集合上述熵值再对集合Y Y中的元素做统计平均，得条件中的元素做统计平均，得条件熵熵：同理可得：同理可得：第45页/共294页条件熵H(X/Y)是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是信道干扰所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。条件熵H(Y/X)也是一个确定值,表示信源发出X后，信宿仍然存在的不确定度。这是由于噪声引起的。也称为噪声熵。2.12
30、.1单符号离散信源单符号离散信源第46页/共294页n联合熵（共熵）联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。说明:联合熵H（XY）表示X和Y同时发生的不确定度。2.12.1单符号离散信源单符号离散信源第47页/共294页n加权熵（自学）对香农熵引入主观因素效用权重系数(重量)定义：设信源X 则加权熵 Hw(X)含义 消息xi 的权重wi对I(xi)的加权平均性质：略2.12.1单符号离散信源单符号离散信源第48页/共294页从通信系统角度看熵的意义从通信系统角度看熵的意义H(X)：表示信源边每个符号的平均信息量（信源熵）；H(Y)：表示信宿边每个符号的平均信息量（信宿熵）
31、；H(X|Y):信道疑义度(含糊度)，表示在输出端接收到Y后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于信道干扰引起的。H(Y|X):噪声熵，表示在已知X后，对于输出Y尚存的平均不确定性；H(XY):表示整个信息传输系统的平均不确定性；2.12.1单符号离散信源单符号离散信源第49页/共294页n各种熵的性质 联合熵联合熵H(XY)与熵与熵H(X)及条件熵及条件熵H(X/Y)之间存之间存在下列关系在下列关系:H(XY)H(X)H(Y/X)H(XY)H(Y)H(X/Y)联合熵与信息熵的关系:H(XY)=H(X)H(Y)条件熵与信息熵的关系:H(Y|X)=H(Y)H(X|Y)=0 该
32、性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。极值性：即I(X;Y)=H(X)一般来说，信道疑义度H(X|Y)总是大于0，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。对称性：即I(X;Y)=I(Y;X)I(Y;X)表示从X中提取关于的Y的信息量，实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式 2.12.1单符号离散信源单符号离散信源第55页/共294页 I(X;Y)是二元函数:P(X)的上凸函数，P(Y|X)的下凸
33、函数 平均互信息的凸状性平均互信息的凸状性2.12.1单符号离散信源单符号离散信源第56页/共294页 定理定理2.1 2.1 对于固定的信道，平均互信息对于固定的信道，平均互信息I(X;Y)I(X;Y)是信源是信源概率分布概率分布P(X)P(X)的上凸函数的上凸函数 这就是说，对于一定的信道转移概率分布这就是说，对于一定的信道转移概率分布P(Y|X)P(Y|X)，总可，总可以找到某一个先验概率分布的信源以找到某一个先验概率分布的信源X X，使平均交互信息量，使平均交互信息量I(X;Y)I(X;Y)达到相应的最大值达到相应的最大值I Imaxmax，这时称这个信源为，这时称这个信源为该信道的匹
34、该信道的匹配信源配信源。可以说，不同的信道转移概率对应不同的。可以说，不同的信道转移概率对应不同的I Imaxmax。信宿信道信源 通信系统的简化模型通信系统的简化模型噪声噪声2.12.1单符号离散信源单符号离散信源第57页/共294页例：对于二元对称信道例：对于二元对称信道如果信源分布如果信源分布X=p,1-pX=p,1-p，则，则 2.12.1单符号离散信源单符号离散信源qq10YX第58页/共294页2.12.1单符号离散信源单符号离散信源而：而：所以：所以：当当信信道道固固定定时时，q q为为一一个个固固定定常常数数，平平均均互互信信息息是是信信源源分分布布的的上上凸凸函函数数，最最大
35、大只只为为1-H(q)1-H(q)。图图示示曲曲线线表表明明，对对于于固固定定信信道道，输输入入符符号号X X的的概概率率分分布布不不同同时时，在在接接收收端端平平均均每每个个符符号号所所获获得得的的信信息息量量就就不不同同。当当输输入入符符号号为为等等概概率率分分布布时时，平平均均互互信信息息量量为为最最大大值值，接收每个符号所获得的信息量最大。接收每个符号所获得的信息量最大。信道容量的理论基础信道容量的理论基础1-H(q)0 0.5 1 pI(X;Y)第59页/共294页定理定理2.2 2.2 对于固定的信源，平均互信息对于固定的信源，平均互信息I(X;Y)I(X;Y)信道传递信道传递概率
36、分布概率分布P(Y|X)P(Y|X)的下凸函数的下凸函数 这就是说，对于一个已知先验概率为这就是说，对于一个已知先验概率为p p的离散信源，总可以的离散信源，总可以找到某一个转移概率分布的信道找到某一个转移概率分布的信道q q，使平均互信息量达到相应的，使平均互信息量达到相应的最小值最小值I Iminmin。信宿信道信源 通信系统的简化模型通信系统的简化模型噪声噪声2.12.1单符号离散信源单符号离散信源第60页/共294页例：对于二元对称信道例：对于二元对称信道 当信源固定后，当信源固定后，p p为一个固定常数，改变信道特性为一个固定常数，改变信道特性q q可获得不可获得不同的平均互信息同的
37、平均互信息I(X;Y)I(X;Y)。当。当q=1/2q=1/2时，时，I(X;Y)=0,I(X;Y)=0,即在信道输出端即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大。一种最差的信道，其噪声最大。信息率失真理论的基础。信息率失真理论的基础。2.12.1单符号离散信源单符号离散信源qq10YX0 0.5 1 qH(p)I(X;Y)第61页/共294页对于无损信道，有I(X;Y)=H(X)=H(Y)=H(XY)H(X/Y)=H(Y/X)=0对于全损信道，有I(X;Y)=0 H(X/Y)=H(X
38、)；H(Y/X)=H(Y)2.12.1单符号离散信源单符号离散信源第62页/共294页n 数据处理定理(自学)I(X;Z)I(Y;Z)I(X;Z)I(X;Y)意义 信息不增原理 每经一次处理，可能丢失一部分信息P(Y/X)P(Z/Y)XYZ2.12.1单符号离散信源单符号离散信源第63页/共294页H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)H(XY)ABABABABA B各类熵与集合图的类比各类熵与集合图的类比2.12.1单符号离散信源单符号离散信源第64页/共294页信道中熵的信息流图信道中熵的信息流图H(Y|X):噪声熵；H(X|Y):信道疑义度；它们都是由于噪声干扰的存在而存在
39、的。信道中存在噪声干扰，是减低信道传信能力的基本原因。H(X)H(Y)I(X;Y)H(X|Y)H(Y|X)2.12.1单符号离散信源单符号离散信源第65页/共294页 名称名称 符号符号 关关 系系 图图 示示 无无 条条 件件 熵熵 条条 件件 熵熵 条条 件件 熵熵 联联 合合 熵熵 交交 互互 熵熵各种熵之间的关系各种熵之间的关系第66页/共294页例2.12.1单符号离散信源单符号离散信源第67页/共294页第68页/共294页第69页/共294页n 作业：2.4(P68),2.6(P68),2.7(P68),2.10(P68)第70页/共294页2.22.2多符号离散平稳信源多符号离
40、散平稳信源第71页/共294页离离散散无无记记忆忆信信源源：发发出出的的各各个个符符号号是是相相互互独独立立的的，发发出出的的符符号号序序列列中中的的各各个个符符号号之之间间没没有有统统计计关关联联性性，各各个个符符号号的的出出现现概率是它自身的先验概率。概率是它自身的先验概率。离散有记忆信源：离散有记忆信源：所发出的各个符号的概率是有关联的。所发出的各个符号的概率是有关联的。发发出出单单个个符符号号的的信信源源：是是指指信信源源每每次次只只发发出出一一个个符符号号代代表表一一个消息；个消息；发发出出符符号号序序列列的的信信源源：是是指指信信源源每每次次发发出出一一组组含含二二个个以以上上符符
41、号的符号序列代表一个消息号的符号序列代表一个消息。发发出出符符号号序序列列的的有有记记忆忆信信源源：是是指指用用信信源源发发出出的的一一个个符符号号序序列的整体概率（即列的整体概率（即联合概率联合概率）反映有记忆信源的特征。）反映有记忆信源的特征。发发出出符符号号序序列列的的马马尔尔可可夫夫信信源源：是是指指某某一一个个符符号号出出现现的的概概率率只只与与前前面面一一个个或或有有限限个个符符号号有有关关，而而不不依依赖赖更更前前面面的的那那些些符符号号，这这样样的的信信源源可可以以用用信信源源发发出出符符号号序序列列内内各各个个符符号号之之间间的的条件概率条件概率来反映记忆特征。来反映记忆特征
42、。2.22.2多符号离散平稳信源多符号离散平稳信源第72页/共294页2.22.2多符号离散平稳信源多符号离散平稳信源n 离散无记忆信源 发出单个符号的无记忆信源（最简单的离散信源）自信息量信源熵第73页/共294页2.22.2多符号离散平稳信源多符号离散平稳信源n 离散无记忆信源的扩展信源 实际信源输出的消息往往是时间上或空间上的一系列符号，实际信源输出的消息往往是时间上或空间上的一系列符号，如电报系统，序列中前后符号间一般是有统计依赖关系的。如电报系统，序列中前后符号间一般是有统计依赖关系的。离散无记忆二进制信源离散无记忆二进制信源X的二次扩展信源的二次扩展信源 我们先讨论离散无记忆信源，
43、此时，信源序列的前后符号我们先讨论离散无记忆信源，此时，信源序列的前后符号之间是统计独立的之间是统计独立的.如在二元系统中，我们可以把两个二元数字看成一组，会如在二元系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：出现四种可能情况：0000、0101、1010和和1111，我们可以把这四种情况，我们可以把这四种情况看成一个新的信源称为看成一个新的信源称为二元无记忆信源的二次扩展信源二元无记忆信源的二次扩展信源，相应，相应的，如果把的，如果把N N个二元数字看成一组，则新的信源称为个二元数字看成一组，则新的信源称为二元无记二元无记忆信源的忆信源的N N次扩展信源次扩展信源。第74页/
44、共294页则该信源的则该信源的N N次扩展信源为：次扩展信源为：一般情况下，设一个离散无记忆信源为：一般情况下，设一个离散无记忆信源为：离散无记忆二进制信源X的三次扩展信源离散无记忆信源X的N次扩展信源2.22.2多符号离散平稳信源多符号离散平稳信源第75页/共294页根据信息熵的定义：根据信息熵的定义：可以证明，对于离散无记忆的扩展信源可以证明，对于离散无记忆的扩展信源 N次扩展信源的熵2.22.2多符号离散平稳信源多符号离散平稳信源注意：(1)单位:bit/sign,但含义不同(2)N次扩展信源的熵等于各符号熵之和第76页/共294页例例:离散无记忆信源的离散无记忆信源的N N次扩展信源次
45、扩展信源离散无记忆信源为：离散无记忆信源为：X:aX:a1 1,a,a2 2,a,a3 3;P(X):1/4,1/2,1/4;P(X):1/4,1/2,1/42 2次扩展信源为：次扩展信源为：:A:A1 1,A,A9 9 信源的信源的9 9个符号为：个符号为：A A1 1=a=a1 1a a1 1A A2 2=a=a1 1a a2 2A A3 3=a=a1 1a a3 3A A4 4=a=a2 2a a1 1A A5 5=a=a2 2a a2 2A A6 6=a=a2 2a a3 3A A7 7=a=a3 3a a1 1A A8 8=a=a3 3a a2 2A A9 9=a=a3 3a a3
46、3其概率关系为其概率关系为 :A A1 1A A2 2A3A3A A4 4A A5 5A A6 6A A7 7A A8 8A A9 91/161/16 1/81/81/161/16 1/81/81/41/41/81/81/161/16 1/81/81/161/162.22.2多符号离散平稳信源多符号离散平稳信源第77页/共294页计算可知计算可知2.22.2多符号离散平稳信源多符号离散平稳信源第78页/共294页2.22.2多符号离散平稳信源多符号离散平稳信源n 离散平稳信源 一般来说，信源的前后消息之间有前后依赖关系，可以一般来说，信源的前后消息之间有前后依赖关系，可以用随机矢量描述：用随机
47、矢量描述：信源在某一时刻发出什么样的值取决于两方面信源在某一时刻发出什么样的值取决于两方面1 1、这一时刻该变量的概率分布、这一时刻该变量的概率分布2 2、这一时刻以前发出的消息、这一时刻以前发出的消息 如一个人讲话如一个人讲话 我们现在讨论我们现在讨论平稳的平稳的随机序列，随机序列，所谓平稳是指序列的统所谓平稳是指序列的统计性质与时间的推移无关计性质与时间的推移无关（俩个任意时刻信源发出符号的（俩个任意时刻信源发出符号的概率分布完全相同）。概率分布完全相同）。信源所发符号序列的信源所发符号序列的概率分布与时概率分布与时间的起点无关间的起点无关，这种信源我们称之为，这种信源我们称之为离散序列平
48、稳信源离散序列平稳信源。第79页/共294页2.22.2多符号离散平稳信源多符号离散平稳信源第80页/共294页2.22.2多符号离散平稳信源多符号离散平稳信源n 离散平稳信源的熵 最简单的平稳信源最简单的平稳信源二维平稳信源，信源发出序二维平稳信源，信源发出序列中只有前后两个符号间有依赖关系，我们可以对其二列中只有前后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。维扩展信源进行分析。信源的概率空间信源的概率空间:假定X=X1X2,则可得到一个新的信源第81页/共294页2.22.2多符号离散平稳信源多符号离散平稳信源根据信息熵的定义，可得：(1)联合熵 可以表征信源输出长度为可以表
49、征信源输出长度为2 2的符号的平均不确定性，或所的符号的平均不确定性，或所含有的信息量。因此可以用含有的信息量。因此可以用 作为二维平稳信源的作为二维平稳信源的信息熵的近似值信息熵的近似值(2)(2)条件熵条件熵则：则：第82页/共294页2.22.2多符号离散平稳信源多符号离散平稳信源另外还可以得到：另外还可以得到：只有信源统计独立时等号成立。只有信源统计独立时等号成立。结论：二维离散平稳有记忆信源的熵小于等于二结论：二维离散平稳有记忆信源的熵小于等于二维平稳无记忆信源的熵。维平稳无记忆信源的熵。可以证明：可以证明：第83页/共294页 例例 设某二维离散信源的原始信源的信源空间设某二维离散
50、信源的原始信源的信源空间X=x1,x2,x3;P(X)=1/4,1/4,1/2,X=x1,x2,x3;P(X)=1/4,1/4,1/2,一维条件概率为：一维条件概率为：p(x1|x1)=1/2;p(x2|x1)=1/2;p(x3|x1)=0;p(x1|x1)=1/2;p(x2|x1)=1/2;p(x3|x1)=0;p(x1|x2)=1/8;p(x2|x2)=3/4;p(x3|x2)=1/8;p(x1|x2)=1/8;p(x2|x2)=3/4;p(x3|x2)=1/8;p(x1|x3)=0;p(x2|x3)=1/4;p(x3|x3)=3/4;p(x1|x3)=0;p(x2|x3)=1/4;p(x