《信息论与编码(第三版)资料讲解.ppt》由会员分享，可在线阅读，更多相关《信息论与编码(第三版)资料讲解.ppt（248页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码信息论与编码(bin m)计算器第一页，共248页。简简 介介 是一门应用概率论、随机过程、数理统计和是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处近代代数的方法，来研究信息传输、提取和处理中一般理中一般(ybn)(ybn)规律的学科。规律的学科。奠基人：美国数学家香农（奠基人：美国数学家香农（C.E.ShannonC.E.Shannon）1948 1948年年“通信通信(tng xn)(tng xn)的数学理论的数学理论”2第二页，共248页。简简 介介l信息论的基本信息论的基本(jbn)问题问题信息的度量信息的度量l无失真信源编码定理无失真信源编
2、码定理香农第一定理香农第一定理l信道编码定理信道编码定理香农第二定理香农第二定理l信源编码、信道编码信源编码、信道编码3第三页，共248页。绪绪 论论第第1 1章章第四页，共248页。1.1 1.1 信息信息(xnx)(xnx)的概的概念念 5第五页，共248页。情报：是人们对于某个特定对象所见、所闻、所理情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。解而产生的知识。知识：一种具有普遍和概括性质的高层次的信息知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，以实践为基础，通过抽象思维(swi)(swi)，对客观，对客观事物规律性的概括。事物规律性的概括。消
3、息：用文字、符号、语音、图像等能够被人们感消息：用文字、符号、语音、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维觉器官所感知的形式，把客观物质运动和主观思维(swi)(swi)活动的状态表达出来。活动的状态表达出来。几个几个(j)常见常见概念概念6第六页，共248页。香农信息香农信息(xnx)的度量的度量（1 1）样本空间）样本空间 某事物各种可能出现的不同状态。某事物各种可能出现的不同状态。（2 2）概率测度）概率测度 对每一个对每一个(y)(y)可能选择的消息指定一个可能选择的消息指定一个(y(y)概率。概率。（3 3）概率空间）概率空间 先验概率先验概率p(xi)p(x
4、i)：选择符号选择符号xixi作为消息的概率。作为消息的概率。样本空间概率(gil)测度7第七页，共248页。l例：例：气象预报气象预报 甲甲乙乙l“甲地晴甲地晴”比比“乙地晴乙地晴”的不确定性小。的不确定性小。l某一事物状态出现的概率某一事物状态出现的概率(gil)(gil)越小，其不确定性越大。越小，其不确定性越大。某一事物状态出现的概率某一事物状态出现的概率(gil)(gil)接近于接近于1,1,即预料中肯定即预料中肯定会出现的事件，那它的不确定性就接近于零。会出现的事件，那它的不确定性就接近于零。8第八页，共248页。对对xixi的不确定性可表示为先验的不确定性可表示为先验(xin(x
5、in yn)yn)概率概率p(xi)p(xi)的倒数的某一函数。的倒数的某一函数。（4 4）自信息）自信息（5 5）互信息）互信息 先验先验(xin yn)(xin yn)的不确定性减去尚存的不确定的不确定性减去尚存的不确定性。性。后验概率后验概率p(ai|bj)p(ai|bj)：接收端收到消息：接收端收到消息bjbj后而后而发送端发的是发送端发的是aiai的概率。的概率。9第九页，共248页。信息信息(xnx)的特征的特征信息是物质存在的普遍属性，信息和能量、物质规定了信息是物质存在的普遍属性，信息和能量、物质规定了事物的功能和性能；事物的功能和性能；接收者在收到信息之前，对它的内容是不知道
6、的，所以，接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；它使认识主体对某一事物的未信息是新知识、新内容；它使认识主体对某一事物的未知性或不确定性减少的有用知识；知性或不确定性减少的有用知识；信息的存在具有普遍性、无限性、动态性、时效性和相信息的存在具有普遍性、无限性、动态性、时效性和相对独立性；对独立性；信息可以产生，也可以消失，同时信息可以被传递、转信息可以产生，也可以消失，同时信息可以被传递、转换、扩散换、扩散(kusn)(kusn)、复制、贮存、分割，具有可共享性；、复制、贮存、分割，具有可共享性；信息是可以量度的，信息量有多少的差别。信息是可以量度的，信息量有
7、多少的差别。10第十页，共248页。1.2 1.2 信息论研究的信息论研究的对象对象(duxing)(duxing)、目、目的和内容的和内容11第十一页，共248页。研究研究(ynji)对象：通信系统模型对象：通信系统模型信信道道信信源源信源编码信源编码加密加密信信道道编编码码干干 扰扰 源源信信宿宿信源解码信源解码解密解密信信道道解解码码加密(ji m)密钥解密(ji m)密钥12第十二页，共248页。l信源：发送消息信源：发送消息(xio xi)(xio xi)的源的源l离散信源离散信源l模拟信源模拟信源l信源是信息论的主要研究对象之一信源是信息论的主要研究对象之一.我们不我们不探讨信源的
8、内部结构和机理，而关注信源的探讨信源的内部结构和机理，而关注信源的输出。重点讨论其描述方法及性质。输出。重点讨论其描述方法及性质。l信宿：信息归宿之意，亦即收信者或用户，信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。是信息传送的终点或目的地。l信道：传输信息的物理媒介。信道：传输信息的物理媒介。信源、信道信源、信道(xn do)、信宿、信宿13第十三页，共248页。l信源编码器信源编码器l通过信源编码可以压缩信源的冗余度通过信源编码可以压缩信源的冗余度,以提高通信系以提高通信系统传输消息的效率。统传输消息的效率。l信源编码器分为两类信源编码器分为两类l无失真信源编码：适用于离
9、散信源或数字信号；无失真信源编码：适用于离散信源或数字信号；l限失真信源编码：用于连续限失真信源编码：用于连续(linx)(linx)信源或模拟信信源或模拟信号号,如语音、图像等信号的数字处理。如语音、图像等信号的数字处理。信源编码器与译码器信源编码器与译码器l信源编码器的主要指标信源编码器的主要指标(zhbio)(zhbio)l是它的编码效率。一般来说，效率越高，编译码器的代价是它的编码效率。一般来说，效率越高，编译码器的代价也将越大。也将越大。l信源译码器信源译码器l把信道译码器的输出变换成信宿所需的消息形式，相当于把信道译码器的输出变换成信宿所需的消息形式，相当于信源编码器的逆过程。信源
10、编码器的逆过程。14第十四页，共248页。信道编码器与译码器信道编码器与译码器l信道编码信道编码l主要作用是提高信息传送主要作用是提高信息传送(chun sn)(chun sn)的可靠性。的可靠性。l信道编码器的作用信道编码器的作用l在信源编码器输出的代码组上有目的地增加一些监督码在信源编码器输出的代码组上有目的地增加一些监督码元元,使之具有检错或纠错的能力。使之具有检错或纠错的能力。l信道编码的主要方法信道编码的主要方法l增大码率或频带增大码率或频带,即增大所需的信道容量。这恰与信源编即增大所需的信道容量。这恰与信源编码相反。码相反。l信道译码器的作用信道译码器的作用l具有检错或纠错的功能具
11、有检错或纠错的功能,它能将落在其检错或纠错范围内它能将落在其检错或纠错范围内的错传码元检出或纠正的错传码元检出或纠正,以提高传输消息的可靠性。以提高传输消息的可靠性。15第十五页，共248页。1.3 1.3 信息论的形成信息论的形成(xngchng)(xngchng)和发展和发展16第十六页，共248页。信信息息论论是是在在长长期期的的通通信信工工程程实实践践和和理理论论研研究究的基础上发展起来的。的基础上发展起来的。简简 史史现现代代信信息息论论是是从从2020世世纪纪2020年年代代奈奈奎奎斯斯特特和和哈哈特特莱莱的的工作开始工作开始(kish)(kish)的：的：19241924年年奈奈
12、奎奎斯斯特特(Nyquist)(Nyquist)的的 “影影响响电电报报速速率率因因素素的确定的确定”。19281928年年哈哈特特莱莱(Hartley)(Hartley)的的“信信息息传传输输”一一文文研研究究了了通通信信系系统统传传输输信信息息的的能能力力，并并给给出出了了信信息息度度量量方法。方法。信息论的形成信息论的形成(xngchng)17第十七页，共248页。l19461946年柯切尔尼柯夫的学位论文年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰起伏噪声下的潜在抗干扰理论理论”，根据最小错误概率准则和最小均方误差准则研究了，根据最小错误概率准则和最小均方误差准则研究了离散和连续信
13、道离散和连续信道(xn do)(xn do)的最佳接收问题。的最佳接收问题。l19481948年香农的权威性长文年香农的权威性长文“通信的数学理论通信的数学理论”，讨论了信源，讨论了信源和信道和信道(xn do)(xn do)特性，特性，19491949年香农年香农“噪声中的通信噪声中的通信”，两论，两论文奠定了现代信息论的理论基础。文奠定了现代信息论的理论基础。l此后，在基本理论和实际应用方面，信息论都得到了巨大的此后，在基本理论和实际应用方面，信息论都得到了巨大的发展。发展。18第十八页，共248页。第第2 2章章 离散离散(lsn)(lsn)信源及其信息测信源及其信息测度度 2.1 2.
14、1 信源的数学模型及分类信源的数学模型及分类(fn(fn li)li)2.2 2.2 离散离散(lsn)(lsn)信源的信息熵信源的信息熵2.3 2.3 信息熵的基本性质信息熵的基本性质2.5 2.5 离散无记忆的扩展信源离散无记忆的扩展信源2.6 2.6 离散平稳信源离散平稳信源2.7 2.7 马尔可夫信源马尔可夫信源2.8 2.8 信源剩余度与自然语言的熵信源剩余度与自然语言的熵第十九页，共248页。信源信源 产生消息或消息序列的源。消息携带信息，产生消息或消息序列的源。消息携带信息，是信息的具体形式。是信息的具体形式。描述方法描述方法(fngf)(fngf)通信过程中，信源发出何种消息是
15、不确定的、通信过程中，信源发出何种消息是不确定的、是随机的。是随机的。因此，信源可用随机变量、随机矢量或随机因此，信源可用随机变量、随机矢量或随机过程（或样本空间及其概率测度）来描述。过程（或样本空间及其概率测度）来描述。不同的信源根据其输出消息的不同的随机性不同的信源根据其输出消息的不同的随机性质进行分类。质进行分类。2.1 2.1 信源的数学模型及分类信源的数学模型及分类(fn li)(fn li)20第二十页，共248页。1 1、随机变量描述、随机变量描述(mio sh)(mio sh)的信源（单符的信源（单符号）号）l特点：输出单符号消息。符号集的取值特点：输出单符号消息。符号集的取值
16、A:a1,a2,aqA:a1,a2,aq是是有限的或可数的有限的或可数的,可用离散型随机变量可用离散型随机变量X X描述。描述。l数学模型：设每个信源符号数学模型：设每个信源符号aiai出现出现(chxin)(chxin)的的(先验先验)概率概率p(ai)(i=1,2,q)p(ai)(i=1,2,q)满足：满足：概率空间能表征概率空间能表征(bio zhn)(bio zhn)离散信源的统计特性，因离散信源的统计特性，因此也称概率空间为信源空间。此也称概率空间为信源空间。1 1）离散信源）离散信源21第二十一页，共248页。1 1）平稳）平稳(pngwn)(pngwn)信源信源l特点特点:l 信
17、源输出的消息由一符号序列所组成。信源输出的消息由一符号序列所组成。l 可用可用N N维随机维随机(su j)(su j)矢量矢量 X X(X1,X2,XN)(X1,X2,XN)描描述，且随机述，且随机(su j)(su j)矢量矢量X X的各维概率分布都与时间的各维概率分布都与时间起点无关起点无关 。l离散平稳信源：每个随机离散平稳信源：每个随机(su j)(su j)变量变量Xi(iXi(i1,2,N)1,2,N)是取值离散的随机是取值离散的随机(su j)(su j)变量。变量。l连续平稳信源：每个随机连续平稳信源：每个随机(su j)(su j)变量变量Xi(iXi(i1,2,N)1,2
18、,N)是取值连续的随机是取值连续的随机(su j)(su j)变量。变量。2 2、随机、随机(su j)(su j)矢量描述的信源矢量描述的信源22第二十二页，共248页。2 2）离散无记忆）离散无记忆(jy)(jy)平稳信源平稳信源l离散平稳离散平稳(pngwn)(pngwn)信源的特例，信源发出的符号都相互统计独立，即信源的特例，信源发出的符号都相互统计独立，即各随机变量各随机变量Xi (iXi (i1,2,N)1,2,N)之间统计独立。之间统计独立。l性质：性质：l独立独立P(X)=P(X1,X2,XN)=P1(X1)P2(X2)P(X)=P(X1,X2,XN)=P1(X1)P2(X2)
19、PN(XN)PN(XN)l平稳平稳(pngwn)(pngwn)P1(Xi)=P2(Xi)=PN(Xi)=P(Xi)P1(Xi)=P2(Xi)=PN(Xi)=P(Xi)l （下标（下标1-N1-N为时间标志）为时间标志）N N维随机维随机(su(su j)j)矢量的一个取值，矢量的一个取值，i i(ai1 ai2(ai1 ai2aiN)aiN)P(aP(aikik)是符号集是符号集A A的一维概率的一维概率分布分布若各随机变量若各随机变量X Xi取值同样符号集取值同样符号集A:A:a a1 1,a,a2 2,a,aq q，则则23第二十三页，共248页。信源信源X X的各输出的各输出XiXi间统
20、计独立、且取值同一间统计独立、且取值同一(tngy)(tngy)符号集符号集A A。该信源该信源输出的输出的N N维随机矢量维随机矢量X X为离散无记忆信源为离散无记忆信源X X的的N N次扩展信源。次扩展信源。此扩展信源取值为符号集此扩展信源取值为符号集 i i(ai1ai2aiN),(ai1ai2aiN),其中其中(i1,i2,iN=1,2,q)(i1,i2,iN=1,2,q)，其数学模型是其数学模型是X X信源空间的信源空间的N N重空间：重空间：3 3）离散）离散(lsn)(lsn)无记忆信源的无记忆信源的N N次扩展信源次扩展信源 若若X X为离散为离散(lsn)(lsn)无记忆信源
21、：无记忆信源：24第二十四页，共248页。4 4）有记忆）有记忆(jy)(jy)信源信源 信源在不同时刻发出的符号之间是相互依赖的，即信源输出的信源在不同时刻发出的符号之间是相互依赖的，即信源输出的随机序列随机序列X X中，各随机变量中，各随机变量XiXi之间相互依赖。之间相互依赖。须使用随机矢量的联合概率分布和条件概率分布来说明它们之须使用随机矢量的联合概率分布和条件概率分布来说明它们之间的关联关系。间的关联关系。例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的修辞制约和表
22、达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现中文句子或文章。所以，在汉字序列中前后文字的出现(chxin)(chxin)是有依赖的，是彼此相关的。是有依赖的，是彼此相关的。25第二十五页，共248页。5 5）m m阶马尔可夫信源（非平稳阶马尔可夫信源（非平稳(pngwn)(pngwn)信信源）源）不同时刻发出的符号不同时刻发出的符号(fho)(fho)间的依赖关系间的依赖关系 记忆信源的记忆长度为记忆信源的记忆长度为m+1m+1时，称这种有记忆信源为时，称这种有记忆信源为m m阶阶马尔可夫信源。马尔可夫信源。若上述条件概率与时间起点若上述条件概率
23、与时间起点 i i 无关，信源输出无关，信源输出(shch)(shch)的符的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。可夫信源。26第二十六页，共248页。2.2 2.2 离散离散(lsn)(lsn)信源的信息熵信源的信息熵 基本的离散信源：基本的离散信源：输出输出(shch)(shch)单符号消息，且这些消息间两两互不单符号消息，且这些消息间两两互不相容。用一维随机变量相容。用一维随机变量X X来描述信源的输出来描述信源的输出(shch)(shch)，其，其数学模型可抽象为数学模型可抽象为:问题：这样的信源能输出多少信息
24、问题：这样的信源能输出多少信息?每个消息每个消息(xio xi)(xio xi)的出现携带多少的出现携带多少信息量信息量?27第二十七页，共248页。信息信息(xnx)(xnx)的度量的度量l要点：要点：l信息的度量（信息量）和不确定性消除的程度有关信息的度量（信息量）和不确定性消除的程度有关(yugun)(yugun)，消除的不确定性获得的信息量；，消除的不确定性获得的信息量；l不确定性就是随机性，可以用概率论和随机过程来测度；不确定性就是随机性，可以用概率论和随机过程来测度；l推论：推论：l概率小概率小 信息量大，即信息量是概率的单调递减函数；信息量大，即信息量是概率的单调递减函数；l信息
25、量应该具有可加性；信息量应该具有可加性；l信息量的计算公式为（香农（自）信息量的度量）：信息量的计算公式为（香农（自）信息量的度量）：28第二十八页，共248页。2.1.1 2.1.1 自信息自信息(xnx)(xnx)设离散设离散(lsn)(lsn)信源信源X X的概率空间为：的概率空间为：I(ai)I(ai)代表两种含义：代表两种含义：（1 1）当事件）当事件aiai发生以前，表示发生以前，表示(biosh)(biosh)事件事件aiai发生的不确定发生的不确定性性（2 2）当事件）当事件aiai发生以后，表示发生以后，表示(biosh)(biosh)事件事件aiai所提供的信息所提供的信息
26、量量自信息量：自信息量：事件事件ai发生所含有的信息量发生所含有的信息量29第二十九页，共248页。度量度量(dling)(dling)单单位位l计算自信息量时要注意有关事件发生概率计算自信息量时要注意有关事件发生概率(gil)(gil)的计算；的计算；l自信息量的单位取决于对数的底；自信息量的单位取决于对数的底；l底为底为2 2，单位为，单位为“比特（比特（bit,binary unitbit,binary unit）”；l底为底为e e，单位为，单位为“奈特（奈特（nat,nature unitnat,nature unit）”；l底为底为1010，单位为，单位为“哈特（哈特（hat,Ha
27、rtleyhat,Hartley）”；l根据换底公式得：根据换底公式得：n一般计算都采用以一般计算都采用以“2”“2”为底的对数，为了书写简洁为底的对数，为了书写简洁(jinji)(jinji)，常把底数，常把底数“2”“2”略去不写略去不写1 nat=1.44bit,1 hat=3.32 bit1 nat=1.44bit,1 hat=3.32 bit；30第三十页，共248页。收信者收到某消息获得的信息量收信者收到某消息获得的信息量 不确定性减少的量不确定性减少的量 (收到此消息前关于收到此消息前关于(guny)(guny)某事件的不确定性某事件的不确定性)-(-(收到此消息后关于收到此消息
28、后关于(guny)(guny)某事件的不确定性某事件的不确定性)通信的实质？通信的实质？即：传递信息，消除不确定性。即：传递信息，消除不确定性。31第三十一页，共248页。2.2.2 2.2.2 信息熵信息熵l对对一一个个信信源源发发出出不不同同(b(b tn)tn)消消息息所所含含有有的的信信息息量量也也不不同同(b(b tn)tn)。所所以以自自信信息息I(ai)I(ai)是是一一个个随随机机变变量量，不不能能用它来作为整个信源的信息测度。用它来作为整个信源的信息测度。l信息熵：自信息的数学期望，平均自信息量信息熵：自信息的数学期望，平均自信息量Hr(X)Hr(X)：r r进制单位进制单位
29、(dnwi)/(dnwi)/符号符号32第三十二页，共248页。熵的含义熵的含义(hny)(hny)l熵是从整个熵是从整个(zhngg)(zhngg)集合的统计特性来考虑的，它从集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。平均意义上来表征信源的总体特征。l信源输出前，熵信源输出前，熵H(X)H(X)表示信源的平均不确定性；表示信源的平均不确定性；l信源输出后，熵信源输出后，熵H(X)H(X)表示每个消息的平均信息量；表示每个消息的平均信息量；l信息熵信息熵H(X)H(X)表征了变量表征了变量X X的随机性。的随机性。33第三十三页，共248页。信息熵是信源概率空间的一种特殊函数
30、。这个函数的取值大小信息熵是信源概率空间的一种特殊函数。这个函数的取值大小(dxio)(dxio)，与信源的符号数及其概率分布有关。，与信源的符号数及其概率分布有关。用概率矢量用概率矢量P P来表示概率分布来表示概率分布P(x)P(x)：3.3 3.3 信息熵的基本信息熵的基本(jbn)(jbn)性性质质 则信息熵则信息熵H(X)H(X)是概率矢量是概率矢量(shling)P(shling)P或它的分量或它的分量p1p1，p2p2，pqpq的的q-1q-1元函数元函数(独立变量只有独立变量只有q-1q-1元元)。则。则 H(X)H(X)可写成：可写成：34第三十四页，共248页。熵函数熵函数(
31、hnsh)(hnsh)的向的向量形式量形式lH(P)H(P)是概率矢量是概率矢量P P的函数，称为熵函数。的函数，称为熵函数。l我们用下述表示方法：我们用下述表示方法：l用用H(x)H(x)表示以离散随机变量表示以离散随机变量(su j bin lin)x(su j bin lin)x描述描述的信源的信息熵；的信源的信息熵；l用用H(P)H(P)或或H(p1,p2,pq)H(p1,p2,pq)表示概率矢量为表示概率矢量为lP=(p1,p2,pq)P=(p1,p2,pq)的的q q个符号信源的信息熵。个符号信源的信息熵。l若当若当 q=2 q=2 时，因为时，因为 p1+p2=1,p1+p2=1
32、,所以将两个符号的熵所以将两个符号的熵函数写成函数写成H(p1)H(p1)或或H(p2)H(p2)。l熵函数熵函数H(P)H(P)是一种特殊函数，具有以下性质。是一种特殊函数，具有以下性质。35第三十五页，共248页。熵函数熵函数(hnsh)(hnsh)性质性质1 1、对称性：、对称性：H(P)H(P)的取值与分量的取值与分量 p1,p2,pq p1,p2,pq的顺序无关的顺序无关(wgun)(wgun)。说明：说明：H(P)=H(P)=pi log pi pi log pi 中的和式满足交换率；中的和式满足交换率；熵只与随机变量的总体统计特性有关。熵只与随机变量的总体统计特性有关。例子：例子
33、：36第三十六页，共248页。2 2、确定性：、确定性：H(1,0)=H(1,0,0)=H(1,0,0,0)=0H(1,0)=H(1,0,0)=H(1,0,0,0)=0说明：从总体来看，信源虽然有不同的输出符号，但它说明：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎只有一个符号几乎(jh)(jh)必然出现，而其它符号则是必然出现，而其它符号则是几乎几乎(jh)(jh)不可能出现，那么，这个信源是一个确知不可能出现，那么，这个信源是一个确知信源，其熵为零。信源，其熵为零。分析：分析：若若Pi=1,PilogPi=0Pi=1,PilogPi=0；其他；其他(qt)Pj(qt)Pj趋于
34、趋于0 0，PjlogPj PjlogPj 趋于趋于0 0。由。由罗比塔法则：罗比塔法则：因此因此(ync)37第三十七页，共248页。3 3、非负性：、非负性：H(P)H(P)0 0说明：说明：随机变量随机变量X X的概率分布满足的概率分布满足0 0pipi1 1，对数函数的底大于，对数函数的底大于1 1时，时，log(pi)log(pi)0 0，-pilog(pi)-pilog(pi)0 0，即得的熵为正值。只有，即得的熵为正值。只有(zhyu)(zhyu)当随机变量是一确知量时熵才等于零。当随机变量是一确知量时熵才等于零。这种非负性合适于离散信源的熵，对连续信源来说这一性质并这种非负性合
35、适于离散信源的熵，对连续信源来说这一性质并不存在（基于差熵、相对熵概念）。不存在（基于差熵、相对熵概念）。v非负性体现信息非负性体现信息非负性体现信息非负性体现信息(xnx)(xnx)(xnx)(xnx)是非负的。是非负的。是非负的。是非负的。38第三十八页，共248页。4 4、扩展性、扩展性l说明：信源的符号说明：信源的符号(fho)(fho)数增多时，若这些取值对应的概率数增多时，若这些取值对应的概率很小很小(接近于零接近于零)，则信源的熵不变。，则信源的熵不变。所以所以(suy)(suy)，上式，上式成立。成立。因为因为趋于趋于0 039第三十九页，共248页。5 5、可加性、可加性 统
36、计独立信源统计独立信源X X和和Y Y的联合的联合(linh)(linh)信源信源XYXY的熵的熵等于信源等于信源X X和和Y Y各自的熵之和：各自的熵之和：H(XY)=H(X)+H(Y)H(XY)=H(X)+H(Y)即：即：另外：可加性是熵函数的一个重要特性，正因具有可加性，另外：可加性是熵函数的一个重要特性，正因具有可加性，才能才能(cinng)(cinng)保证熵函数的形式是唯一的。保证熵函数的形式是唯一的。信源信源XYXY的符号联合的符号联合(linh)(linh)概率概率40第四十页，共248页。证明证明(zhng(zhngmng)mng)：=1=141第四十一页，共248页。例如例
37、如(lr)(lr)，甲信源为，甲信源为它们它们(t men)(t men)的联合信源是的联合信源是可计算可计算(j sun)(j sun)得联合信源的联合熵：得联合信源的联合熵：H(Z)=H(XY)=log(nm)=log m+log n=H(X)+H(Y)H(Z)=H(XY)=log(nm)=log m+log n=H(X)+H(Y)乙信源为乙信源为42第四十二页，共248页。6 6、强可加性、强可加性 两个互相关联的信源两个互相关联的信源X X和和Y Y的联合信源的联合信源XYXY的熵等于的熵等于(dngy)(dngy)信源信源X X的熵加上在的熵加上在X X已知条件下信源已知条件下信源Y
38、 Y的条件熵。的条件熵。H H（XYXY）=H=H（X X）+H+H（Y|XY|X）l证明：证明：l 设设X X、Y Y的概率分布为的概率分布为 lX X、Y Y之间存在关联，用条件之间存在关联，用条件(tiojin)(tiojin)概率描述：概率描述：同时，联合信源同时，联合信源XYXY的各个符号的各个符号(fho)(fho)，由，由X X、Y Y信源中的符号信源中的符号(fho)(fho)构成，构成，每个联合符号每个联合符号(fho)(fho)的联合概率为：的联合概率为：43第四十三页，共248页。显然显然(xinrn)则则联合联合(linh)概概率率44第四十四页，共248页。=1条件条
39、件(tioji(tiojin)n)熵熵条件条件(tioji(tiojin)n)熵熵45第四十五页，共248页。l条件熵：条件熵：l H H（Y|XY|X）表示信源）表示信源 X X 输出一符号的条件下，输出一符号的条件下，信源信源Y Y再输出一符号所能提供再输出一符号所能提供(tgng)(tgng)的平均信的平均信息量。息量。也即：也即：由前面由前面(qin mian)(qin mian)的推导，的推导，可得：可得：46第四十六页，共248页。7 7、递增、递增(dzng)(dzng)性性 若原信源若原信源 X X 中有一个符号分割成了中有一个符号分割成了m m个元素个元素(符号符号)，这，这
40、m m个元素的概率之和等于原元素的概率，而其他个元素的概率之和等于原元素的概率，而其他(qt)(qt)符号符号的概率不变，则新信源的熵增加。的概率不变，则新信源的熵增加。熵的增加量等于由分割而产生的不确定性量。熵的增加量等于由分割而产生的不确定性量。47第四十七页，共248页。#（选讲）#证明(zhngmng):可以从熵的定义或强可加性得出：48第四十八页，共248页。因为因为而当而当inin时时p pijij=0=0，所以，所以即得：即得：49第四十九页，共248页。递增递增(dzng)(dzng)性的性的推广推广l它表示它表示n n个元素的信源熵可以递推成个元素的信源熵可以递推成(n-1)
41、(n-1)个二元信源的熵函数个二元信源的熵函数的加权和。这样，可使多元信源的熵函数的计算简化成计算若的加权和。这样，可使多元信源的熵函数的计算简化成计算若干个二元信源的熵函数。因此，熵函数的递增干个二元信源的熵函数。因此，熵函数的递增(dzng)(dzng)性又可性又可称为递推性。称为递推性。50第五十页，共248页。#（选讲）#例：运用熵函数(hnsh)的递增性（的推广），计算熵函数(hnsh)H(1/3，1/3，1/6，1/6)的数值。51第五十一页，共248页。8 8、极值性、极值性 在离散在离散(lsn)(lsn)信源情况下，信源各符号等概率分信源情况下，信源各符号等概率分布时，熵值达
42、到最大。布时，熵值达到最大。等概率分布信源的平均不确定性为最大。这是一个等概率分布信源的平均不确定性为最大。这是一个(y)(y)重要结论，称为最大离散熵定理。重要结论，称为最大离散熵定理。证明：证明：因为因为(yn wi)(yn wi)对数函数是对数函数是型凸函数，满足詹森不等式型凸函数，满足詹森不等式 Elog Y Elog Y log EY log EY，令矢量，令矢量Y=1/PY=1/P即（即（yi=1/piyi=1/pi），则有：），则有：=152第五十二页，共248页。特例：二进制离散信源。特例：二进制离散信源。该信源符号只有二个，设为该信源符号只有二个，设为“0”“0”和和“1”“
43、1”。符号输出。符号输出(shch)(shch)的概率分别为的概率分别为“”和和“1-“1-”，即信源的概率空，即信源的概率空间为：间为：H(X)=-H(X)=-loglog (1-1-)log()log(1-1-)=H()=H()即信息熵即信息熵H(x)H(x)是是的函数的函数(hnsh)(hnsh)。取值于取值于00，11区间，可画出熵区间，可画出熵函数函数(hnsh)H(hnsh)H()的曲线来，的曲线来，如右图所示。如右图所示。53第五十三页，共248页。熵函数熵函数H(P)是概率矢量是概率矢量(shling)P(p1，p2，pq)的的严格严格型凸函数型凸函数(或称上凸函数或称上凸函数
44、)。（因为（因为H(P)是由具有严格上凸性的对数函数是由具有严格上凸性的对数函数-xlogx（二阶导数（二阶导数0）的）的线性组合。）线性组合。）即：对任意概率矢量即：对任意概率矢量(shling)P1(p1,p2,pq)和和 P2(p1,p2,pq)，和任意的和任意的 01，有：，有：H P1+(1-)P2 H(P1)+(1-)H(P2)因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。9 9、上凸性、上凸性54第五十四页，共248页。扩展扩展(kuzhn)(kuzhn)信源的由来：信源的由来：当离散无记忆信源信源发出固定长度的消
45、息序列时，则得到原当离散无记忆信源信源发出固定长度的消息序列时，则得到原信源的扩展信源的扩展(kuzhn)(kuzhn)信源。信源。例如：在电报系统中，若信源输出的是二个符号组成的符号序列，例如：在电报系统中，若信源输出的是二个符号组成的符号序列，此时可认为是一个新的信源，它由四个符号（此时可认为是一个新的信源，它由四个符号（0000，0101，1010，1111）组成，我们把该信源称为二元无记忆信源的二次扩展组成，我们把该信源称为二元无记忆信源的二次扩展(kuzhn)(kuzhn)信源。信源。更进一步，如果把更进一步，如果把N N个二元符号组成一组，则信源等效成一个个二元符号组成一组，则信源
46、等效成一个具有具有2N2N个符号的新信源，把它称为二元无记信源的个符号的新信源，把它称为二元无记信源的N N次扩展次扩展(kuzhn)(kuzhn)信源。信源。2.4 2.4 离散无记忆离散无记忆(jy)(jy)的扩展信源的扩展信源55第五十五页，共248页。概念：概念：一般地，对一个离散无记忆信源一般地，对一个离散无记忆信源X X，其样本空间为，其样本空间为a1,a2,aq a1,a2,aq，对它的输出消息序列，可用一组组长度为，对它的输出消息序列，可用一组组长度为N N的序列来表示它。这时，它等效成一个新信源。的序列来表示它。这时，它等效成一个新信源。新信源输出的符号是新信源输出的符号是N
47、 N维离散随机矢量维离散随机矢量(shling)(shling)X=(X1 X=(X1，X2 ,XN)X2 ,XN)，其中每个分量其中每个分量Xi(iXi(i1,2,N)1,2,N)都是随机变量，它们都都是随机变量，它们都取值于同一信源符号集，并且分量之间统计独立，则由随机取值于同一信源符号集，并且分量之间统计独立，则由随机矢量矢量(shling)X(shling)X组成的新信源称为离散无记忆信源组成的新信源称为离散无记忆信源X X的的N N次扩次扩展信源。展信源。56第五十六页，共248页。单符号离散单符号离散(lsn)(lsn)无记忆信源无记忆信源X X的数学模型：的数学模型：lN N次扩
48、展信源与单符号离散信源比较，其输出不是次扩展信源与单符号离散信源比较，其输出不是(b shi)(b shi)单个符号，单个符号，而是一串而是一串N N个相互独立的符号序列：个相互独立的符号序列：l X X(X1,X2,XN)(X1,X2,XN)，l 联合分布密度联合分布密度 P(X)=P(X1X2XN)P(X)=P(X1X2XN)l 它们把它们把 X X 等效为一个新信源等效为一个新信源-X-X的的N N次扩展信源。次扩展信源。N N次扩展次扩展(kuzhn)(kuzhn)N N次扩展信源次扩展信源N N次扩展信源的数学模型次扩展信源的数学模型57第五十七页，共248页。N N次扩展次扩展(k
49、uzhn)(kuzhn)信源数学模型表示为：信源数学模型表示为：因为因为(yn wi)(yn wi)是无记忆的是无记忆的(彼此统计独立彼此统计独立)则：则：58第五十八页，共248页。性质：离散平稳性质：离散平稳(pngwn)(pngwn)无记忆无记忆N N次扩展信源的熵次扩展信源的熵 H(XN)=NH(X)H(XN)=NH(X)其中其中(qzhng(qzhng)：同理计算式中其余同理计算式中其余(qy)(qy)各项，得到：各项，得到：H(XH(XN N)=H(X)+H(X)+)=H(X)+H(X)+H(X)=N H(X)+H(X)=N H(X)证明：证明：分解为分解为N N重求和重求和59第
50、五十九页，共248页。一、概念一、概念 在一般情况下，信源在在一般情况下，信源在 t=i 时刻将要发出什么样的时刻将要发出什么样的符号决定于两方面：符号决定于两方面：(1)信源在信源在 t=i 时刻，随机变量时刻，随机变量Xi 取值的概率分布取值的概率分布P(xi)。一般一般 P(xi)P(xj)(2)t=i 时刻以前信源发出的符号。时刻以前信源发出的符号。即与条件概率即与条件概率P(xi|xi-1 xi-2)有关有关平稳随机序列：其统计性质与时间平稳随机序列：其统计性质与时间(shjin)的推移无关，即的推移无关，即信源发出符号序列的概率分布与时间信源发出符号序列的概率分布与时间(shjin