《2022年信息论与编码教案.docx》由会员分享，可在线阅读，更多相关《2022年信息论与编码教案.docx（74页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案2.3 连续信源熵上一章我们争论的为离散信源,实际应用中仍有一类信源称为连续信源,这种信源的时间和取值都是连续的,例如语音信号,电视信号都是连续信号.时间离散状态连续的信源熵可以用连续信源熵表示,相当于一个连续随机变量.而时间连续的信源,为一个随机过程,只要信号频谱有限,就可以依据采样定理,将其变为时间离散信源.信息论中只争论单变量连续信源,即时间离散状态连续的连续信源.1 连续信源的熵1-1 连续信源熵的定义连续信源的状态概率用概率密度来表示.假如连续随机变量X,取值为实数域R,其概率密度函数为px,就R假如取值为
2、有限实数域a,b,就这是 X 的概率分布函数为：pxdx1连续信源的数学模型bpxdx 1ax1F x1P Xx1p xdxX:R或a,bPX:px连续信源熵的表达式利用离散信源熵的概念来定义连续信源熵,第一看一个再a,b取间的连续随机变量,如图：pxdxR1pxpxia0 xibx第一把 X 的取值区间 a,b 分割为 n 个小区间,小区间宽度为：=b-a/n依据概率分布为概率密度函数曲线的区间面积的关系,X 取值为 xi 的概率为：Pi=pxi.这样可以得到离散信源Xn 的信源空间为：Xn,P:Xn:x1x2xnPXn:px1px2pxn且有：当n 趋无穷时,nnPipxibpxdx1ai
3、 1i 1精品_精品资料_可编辑资料-欢迎下载按离散信源熵的定义：可得离散信源Xn 的熵：学习资料名师精选-第 1 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案H XnnPilog Pii 1n pxilogi 1pxi npxi logi 1pxilognp xii 1pxilog pxilog当趋于0,n 趋于无穷时,离散随机变量Xn将接近于连续随机变量X,这时可以得到连续信源的熵为：HcXlim0bnH Xnlimni 1pxilogpxi logpxlogapxdxlimlog0H X其中：连续信源的熵定义为：连续信源熵为一个相对熵,
4、其值为肯定熵减去一个无穷大量.连续信源有无穷多个状态,因此依据SHANNON熵的定义必定为无穷大.连续信源的熵不等于一个消息状态具有的平均信息量.其熵是有限的,而信息量是无限的.连续信源熵不具有非负性,可以为负值.bH X pxlogap xdx尽管连续信源的肯定熵为一个无穷大量,但信息论的主要问题是信息传输问题,连续信道的输入输出都是连续变量,当分析其交互信息量时是求两个熵的差,当采纳相同的量化过程时,两个无穷大量将被抵消,不影响分析.连续信源的疑义度：HX/Ypx,ylogp x/y dxdy就平均交互信息量为：IX,Y=HX-HX/Y1-2 几种连续信源的熵(1)匀称分布的连续信源熵设一
5、维连续随机变量X 的取值区间是a,b,在 a,b中的概率密度函数是px1axbba0 xb,xa这种连续信源称为匀称分布的连续信源.其熵为：精品_精品资料_可编辑资料-欢迎下载学习资料名师精选-第 2 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案HXbp xlogapxdxb11logdxababalog b a这时可以看到：当b-a1 时,HX0,即 HX 不具有熵函数的非负性,由于HX 是相对熵,相对熵可以为负值,但肯定熵仍旧为正值.(2)高斯分布的连续信源熵设一维随机变量X 的取值范畴是整个实数R,概率密度函数为：1x m2pxexp2
6、222其中,m 是随机变量X 的均值mExxpxdx2是随机变量X 的方差2E X m2x m2pxdx当均值 m=0 时,方差 2就是随机变量的平均功率,Px2pxdx这个信源称为高斯分布的连续信源,其数学模型为：X:R1x m2X,P:P X:p xexp2222pxdx1这时可以得到高斯连续信源的熵为：1x m2HXpxlogpxdxpxlog2exp2 dx21x m2pxlog2dxpx2dx2log221122log 221122log2 e2这里的对数是以e 为底.当均值为0时,高斯信源的熵为1H X log 2 eP2(3)指数分布的连续信源熵设一随机变量X 的取值取间为0,其
7、概率密度函数为22精品_精品资料_可编辑资料-欢迎下载1xpxeaax 0就称为指数分布的连续信源.其中常数a为随机变量X 的均值.即学习资料名师精选-第 3 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载x资料word精心总结归纳-名师精编精品教案E X1mxpxdxxexadxa00a指数分布的连续信源的熵为H Xp xlog01xp xdx11ea0ax1logeaxadxlog aea0adxxeadxa0log aeHXpxlogpxdx2 连续信源的最大熵2-1 连续信源的最大熵pxdx1为了求出连续信源的最大熵,将利用数学中的变分法的方法来求解.连续信源的熵为：其基本约束
8、条件为：其它约束条件为：b x,apdx K1bx,pdxK2aF x,pxf x,pdx11x,pdx.mm x,pdxf x,ppxlogpx12精品_精品资料_可编辑资料-欢迎下载建立帮助函数：其中有：依据极值的条件有：F x,pp0及 m 个约束方程,可以确定最大熵和所对应的信源概率密度分布px.下面争论两种基本信源.（1）输出幅度受限时的最大熵（瞬时功率受限）学习资料名师精选-第 4 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载21资料word精心总结归纳-名师精编精品教案其基本条件为：|x|v,x2S,这时对应只有一个约束方程,并且：vp xv dx1F x,pp可以得到
9、：f x,pp1x,p1p1log px 10log px11;pxe11这里的对数为以e 为底,由约束方程可得：v11111e1dx1;ve1;2vp x2v2 S结论：对于瞬时功率受限的连续信源,在假定信源状态为独立时,当概率密度分布为常数时,信源具有最大熵.其最大熵为：Hmax X1v2v1log2vdxlog 2v（2）输出平均功率受限时的最大熵推导：这时的约束条件为：可知：pxdx1;x2pxdx2f x,ppxlogpx;1 x,ppx;2 x,px2pxf x,pp1log px;1x,p1;p2x,p2px由极值条件：可得：f122ppp1log px12x0pxe11e2x2
10、v0精品_精品资料_可编辑资料-欢迎下载e2logpx=1+2x2-1px=e2x2将其代入约束条件1,可得：e11e2xdx1利用积分公式：ex2dx可得：学习资料名师精选-第 5 页,共 37 页-1-1精品_精品资料_可编辑资料-欢迎下载222e资料word精心总结归纳-名师精编精品教案e11由：1;e2112x2pxdxe11利用积分关系：x2e2xdx2x2e2xdx1222可得：e1112222代入前面的结果：得到：2122221222;e1112得到连续信源获得最大熵时的概率密度函数：1x22px22这是一个均值为0 的高斯分布.其最大熵为1x2H Xp xlogedxpx222
11、dxlog21ex222x2dxx21e2dxe22221loge22loge2 e;net其中利用两个积分关系：假如平均功率为N=2;就有x2精品_精品资料_可编辑资料-欢迎下载21e22dx1;2x2exdx4学习资料名师精选-第 6 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载N资料word精心总结归纳-名师精编精品教案H max Xloge2 eNnet;1.443loge2 eNbit结论：（最大熵定理）对于输出平均功率受限的连续信源,在假设状态相互独立时,当其概率密度函数为高斯分布时,具有最大熵.其最大熵值随功率N 的增加而增加.2-2 连续信源的熵功率对于平均功率受限的
12、连续信源,当信源为高斯分布时有最大熵,假如概率分布不是高斯分布,就信源熵将小于最大熵.熵功率就用来描述连续信源熵的剩余度.一个平均功率为N 的非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率.当非高斯连续信源与高斯信源具有相同熵时,那非高斯信源的平均功率肯定大于高斯信源的功率.当非高斯连续信源与高斯信源具有相同平均功率时,那非高斯信源的熵肯定小于高斯信源的熵.平均功率为N 的非高斯信源的熵功率为HN XHmax Xloge2 eNe2 HN X2 eN1N2 e2 H X eN2-3 连续信源的共熵和条件熵同离散信源相像,连续信源也可定义其共熵和条件熵,其基本关系为：HX,Yp
13、x,ylogp x,y dxdyHX,Y=HX+HY/X=HY+HX/Y HX,Y HX+HYHX/Ypx,ylogp x/ydxdyH Y/X px,ylogp y/x)dxdyHX/Y HXHY/X HY2.4 平稳随机序列信源熵前面争论的是单符号离散信源和单符号离散信道的信息特性.这一节开头争论随机矢量或随机序列信源的情形.通常这种信源是很复杂的,通常要进行简化分析.X=X1,X2,X3,为平稳随机序列,即统计特性不随时间转变.随机序列为有限等长度,每个信源消息由N 个符号序列组成,1 离散无记忆信源的扩展信源A.假设条件这里对离散平稳随机序列信源做进一步假设.精品_精品资料_可编辑资料
14、-欢迎下载(1)我们假设多符号离散平稳信源X=X1,X2,XN中,符号的随机变量Xi都取值于同一个信源空间,Xi,P=x1x2x3xnpx1px2px3pxn(2)我们假设多符号离散平稳信源X=X1,X2,XN中,各变量Xii=1,2,之N间统计独立,即学习资料名师精选-第 7 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案PX=PX1,X2,XN=PX1PX2PX3PN到目前为止,我们介绍的离散无记忆信源包括两层意思：单符号离散无记忆信源,px1,x2,xn=px1px2pxn多符号离散无记忆信源,PX1,X2,XN=PX1PX2PX3PN在
15、这种假设前提下,可以把多符号离散平稳信源看作单符号离散平稳信源的N 次扩展信源.通常N 次扩展信源,记为XN.B.N 次扩展信源的信源空间由于信源XN的每一个消息 Xi=Xi1,Xi2,XiN均由信源X 的符号集X:x1,x2,xn中的 N 个符号组成,所以,XN的某一个详细符号Xi可以表示为Xi=xi1,xi2,xiNxijX:x1,x2,xn,这个关系说明扩展信源的每个符号取值于同一个单符号信源空间,X:x1,x2,xn.因此扩展信源XN就有rN种不同的符号,可以表示为XN:X1,X2,Xi,XnN;i=1,2,nN例如 n=2,N=2,X=X1,X2XN:X1,X2,X3,X4X:x1=
16、0,x2=1X1=00;X2=01;X3=10;X4=11;所以平稳离散无记忆信源X,P的 N 次扩展信源的信源空间为：XNX1X2XnNXN,P:PXNpX1pX2pXnN并且有：nNp XinNpxi1,xi2,.xiNnn.pxi1,xi 2,.xiNi 1i 1i 1 1iN 1ni 11.niN1p xi1p xi 2.p xiN1说明该信源概率空间也是一个完备空间.C.N 次扩展信源的熵依据熵函数的定义：nNH XNH X1,X2,.XNp Xi1ilogp Xi利用 pXi=pxi1,xi2,xiN的关系和pxi1,xi2,xiN=pxi1pxi2pxiN无记忆信源,可以得到：H
17、 XNH X1,X2,.XNH X1H X2.H XN再考虑到无记忆信源,HX1=HX2=HXN,可以得到：HXN=N.HX多符号平稳离散无记忆信源的N 次扩展信源是一种最简洁的多符号信源.假如多符号平稳离散无记忆信源X=X1,X2,XN 中的各变量Xi 取值于不同的单符号离散无记忆信源Xi,P.Xixi1xi2xinXi,P:i=1,2,Nn精品_精品资料_可编辑资料-欢迎下载PXipxi1pxi2pxinpxil1l1i 1,2,.N 这种信源称为多符号离散无记忆信源,可以证明这种信源的熵为：其中 HXi 为单符号离散信源Xi,P 的熵.H XHX1,X2,.XNHX1HX2.HXN学习资
18、料名师精选-第 8 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案2 二维离散平稳有记忆信源的信源熵这里介绍最简洁的离散平稳有记忆信源,即二维信源.X=X1,X2所谓有记忆信源就是一种相关信源,每个消息由两个符号组成,后一个符号与前一个符号有一个概率说明相关性,（这是一种近似处理方法,只考虑消息组内的相关性）.设离散平稳信源的信源空间为：X,P=x1x2x3xnpx1px2px3pxn且有 pxi=1,同时有一维条件概率为“PX2=xj/X1=xi=PX2+T=xj/X1+T=xi=pxj/xi,说明为平稳序列.i=1,2,n;j=1,2,nX
19、=X1,X2的符号集中的一个Xi=xi1,xi2 xi1,xi2 X:x1,x2,xn;i1,i2=1,2,n2i=1,2,3,n且有：pXi=pxi1,xi2=pxi1pxi2/xi1这时可得二维信源X=X1,X2的信源空间：X2X3Xn2X,P=X1pX1pX2pX3pXn2n2pXinnpxi1,xi2nnpxi1pxi2/xi1nnp xi1pxi2/xi11i 1i1 1 i 2 1i 1 1 i 2 1i1 1i2 1即信源空间为完备空间.可得二维信源的一个消息（两个符号）所供应的平均信息量为：HXHX1,X2nnpxi1,xi2log p xi1,xi2i1 1 i 2 1nnp
20、xi1pxi2/xi1logpxi1pxi2/xi1i 1 1 i 2 1nnpxi1pxi2/xi1logpxi1i1 1 i 2 1nnpxi1pxi2/xi1logpxi2/xi1i1 1 i 2 1nnp xi1,x2logpxi1nnpxi1pxi2/xi1logpxi2/xi1i1 1 i2 1i 1 1 i 21精品_精品资料_可编辑资料-欢迎下载H X1H X2/X 1其中：HX1 表示信源发出第一个符号所能供应的平均信息量,HX2/X1 表示在第一个符号已知的前提下,其次个符号所供应的平均信息量.二维离散平稳有记忆信源每发一个消息所能供应的平均信息量是一种联合熵,这种信源的熵
21、等于第一个随机变量的熵加上第一变量已知的条件下其次个变量的条件熵.其中：nHX1i 1 1pxi1logpxi1HX2/X1ni 1 1pxi1H X2/X1xi1学习资料名师精选-第 9 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案ni1 1npxi1nni 2 1pxi2/xi1logpxi2/xi1i1 1 i 2 1pxi1 pxi2/xi1log pxi2/xi1当随机变量X1X2 相互独立时,有HX=HX1,X2=HX1+HX2.可以证明：二维离散平稳有记忆信源的熵满意：HX1,X2 HX1+HX2,（作业）例 2-15 设某二维
22、离散信源的原始信源的信源空间X=x1,x2,x3;PX=1/4,1/4,1/2,一维条件概率PX2=xi/X1=xj为：px1/x1=1/2;px2/x1=1/2;px3/x1=0;px1/x2=1/8;px2/x2=3/4;px3/x2=1/8;px1/x3=0;px2/x3=1/4;px3/x3=3/4;原始信源的熵为：HX=1.5 bit/符号条件熵：HX2/X1=1.4 bit/符号可见：HX2/X1 1,对于一切ij=1,2,都 n有pijn00（矩阵 P 中的全部元素）对于每个j=1,2,.,n都存在不依靠i 的极限（每个状态都以肯定的概率显现）就称这个马氏链是各态历经的.其中的极
23、限概率pj=p1,p2,pn是方程组limn满意条件pijnpjn j 1,2,.,npj的唯独解.pipiji 1 j 1,2,.,npj0,npj1j1为：Pj=P1,P2,Pn;PjT=P1T.PjT马氏链的各态历经定理说明：只有在转移了肯定步数后各状态之间可相通的条件下,当转移步数足够大时,处于某一状态的概率才能稳固在某一极限值.各状态相通,均可经受.每个由各状态经受过程产生的序列都有同样的统计特性,即统计匀称性.例 2:设一个马氏链有三个状态,X:0,1,2,其一步转移概率为：P1=ij0120p00p01p02=0120qp0这时 pij0 不满意,不能判定是否具有各态历经性,看二
24、步转移矩阵.2p2P2=P1P1=p2qp+p2这时 pij0 满意,可以判定具有各态历经性,其状态极限概率（稳态概率）可以由方程得到：p0=qp0+qp1由这四个方程求解p1=pp0+qp2p2=pp1+pp2;p0+p1+p2=1由一步状态转移矩阵求极限概率的基本关系为：TTTP=P1.PT 表示矩阵的转置.1p10p11p121q0p2p20p21p2220qp010q2+pqqp1q22qp2q2qpp0qq0p0p1=p0qp1p20ppp2精品_精品资料_可编辑资料-欢迎下载(3)状态转移图有限齐次马氏链除了用转移矩阵描述外仍可以用状态转移图来表示.例如上面的例题对应的状态图为：q
25、p学习资料名师精选-第 11 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案q012ppq齐次马氏链为一个不行约闭集,即对马氏链中的任意两个状态,总可以从一个状态经过有限步数转移到另一个状态.齐次马氏链具有非周期性,从一个状态到另一个状态的步数不能具有周期性.(4)马尔柯夫信源m 阶马尔可夫信源：假如一个离散平稳有记忆信源X=X1,X2,Xm,Xm+1,Xm+2,中,任一时刻 m+1 的随机变量Xm+1 只依靠于它前面的 m 个随机变量,与更前面的变量无关,称为记忆长度为源.m 的离散平稳有记忆信源,也称为m 阶马尔柯夫信这时把 X1,X2,X
26、m 某一个取值 Si=xk1,xk2,xkm 称为一个状态.xkjX:x1,x2,xn 为原始信源状态空间;kj=1,2,nj=1,2,.mi=1,2,mn马尔柯夫信源状态：同时把随机变量X2,X3,Xm+1 的某一取值 Sj 称为另一个状态,Si 为 Sj 的前一状态.m 阶马尔柯夫信源的状态空间为 S:S1,S2,Srm,马尔柯夫信源的一个状态由m 个符号组成,当信源再输出一个符号时,信源变为另一个状态,所以从Si 到 Sj的一步转移概率为：pSj/Si=pxkm+1/xk1xk2xkm为一个条件概率.其中：k1,k2,km=1,2,n;km+1=1,2,ni,j=1,2,m.nm 阶马尔
27、柯夫信源空间：X:x1x2xnP:pxkm+1/xk1xk2xkm且有：np xkmkm111/xk1xk2.xkm 1m 阶马尔柯夫信源的极限熵：依据 m 阶马尔柯夫信源的定义,及平稳性,有：pxkN/xk1xk2xkmxkm+1,xkN-1=pxkN/xkN-mxkN-m+1,xkN-1=pxkm+1/xk1xk2.xkm,这样,可以得到m 阶马尔柯夫信源的极限熵：HlimNH XN/X1X2.XN1nnlim.pxk1.xkNlogpxkN/xk1xk 2.xkN 1Nk1 1kN 1nlim.np xk1.xkNlogpxkm1/xk1xk 2.xkmNk1 1kN 1n.npxk1.
28、xkm1l o gpxkm 1精品_精品资料_可编辑资料-欢迎下载/xk 1xk 2.xkmk1 1km 1 1=HXm+1/X1X2Xm这说明,m 阶马尔柯夫信源的极限熵就等于m 阶条件熵,记为：Hm+1.用状态转移概率表示极限熵：pSj/Si=pxk/Si=pxkm+1/xk1xk2xkm或 pxk+1/Si这时极限熵可以表示为：学习资料名师精选-第 12 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案nmnmHpSi p Sj/Silogp Sj/Sii1j1从以上分析可以看到,m 阶马尔柯夫信源的分析是实际信源的一种简化,把一个无限的问
29、题转化为有限量的运算问题.已知 m 阶马尔柯夫信源的状态一步转移概率后,求极限熵的问题就在于得到概率pSi,i=1,2,nm,而 pSi就是马尔柯夫信源在稳固状态时的各状态的极限概率.所以,第一要判定信源是否具有各态历经性,假如有,就可以有一步转移概率求出极限概率.例 3:一个二进制二阶马尔柯夫信源的原始信源为X：0,1,m=2,这时的状态空间为：S:S1=00,S2=01,S3=10,S4=11,共有 n=2=4 个不同的状态.已知其一步转移概率为：信源空间S:S1,S2,S3,S4pSj/Si i=1,2,3,4可得到信源状态转移图为：0.8S10.20.50.5S2S30.50.50.2
30、S40.8由状态图可以判定,这是一个非周期不行闭集,具有各态历经性,存在状态极限概率.有：pS1pS2=0.80.2pS30pS40其约束条件为：pS1+pS2+pS3+pS4=1pSi1i=1,2,3,4 解得其极限概率分别为：pS1=pS4=5/14;pS2=pS3=2/14由极限概率和状态转移概率就可以运算马尔柯夫信源的极限熵：H2 144i1j1p SipSj/Si logpSj/Si m20/0000p0/00p0/S1pS1/S1=0.81/0001p1/00p1/S1pS2/S1=0.20/0110p0/01p0/S2pS3/S2=0.51/0111p1/01p1/S2pS4/S
31、2=0.50/1000p0/10p0/S3pS1/S3=0.500.50pS100.50pS20.500.5pS30.500.5pS4精品_精品资料_可编辑资料-欢迎下载=0.8bit/符号另外,仍有的离散有记忆信源即马尔柯夫信源是已知极限概率和转移概率,求信源熵的.留意：马尔柯夫信源的熵就是其极限熵,也就是一个条件熵.例 4:一个一阶马尔柯夫信源的原始信源为X:x1,x2,x3,已知其先验概率和一步转移概率,求其极限熵.学习资料名师精选-第 13 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案px1=11/36;px2=4/9;px3=1/4
32、;9/112/110P1=其状态图如图示：1/83/41/802/97/9可得原始信源熵和极限熵为：HX=1.542 bit/符号H1+1=Hj/i=HXj/Xi=0.89bit/符号.也可以用各态历经的验证方法：9/112/1109/112/110P2=1/83/41/81/83/41/802/97/902/97/9可知：P2 中 pij0,其极限概率存在.px19/111/80px1px2=2/113/42/9px2px301/87/9px3可得：px1=9/11px1+1/8px2px2=2/11px1+3/4px2+2/9px3px3=1/8px2+7/9px3在考虑:px1+px2+
33、px3=1可以得出：px1=11/36;px2=4/9;px3=1/4;2.5 信源的冗余度(1)关于离散信源熵的总结：实际信源非平稳的有记忆随机序列信源.其极限熵是不存在的.解决的方法是假设其为离散平稳随机序列信源,极限熵存在,但求解困难.进一步假设其为m 阶 Markov 信源,用其极限熵Hm+1近似.再进一步假设为一阶Markov 信源,用其极限熵H1+1X2/X1 来近似.最简化的信源是离散无记忆信源,其熵为Hx=H1+1X;最终可以假定为等概的离散无记忆信源,其熵为H0X=logn.它们之间的关系可以表示为：logn=H0X H1X H1+1XH2+1X Hm+1X H可见离散有记忆
34、信源的记忆长度越长,信源熵越小,而独立且等概的信源,熵最大.(2)冗余度：用来衡量由于信源内部的消息状态的相关性和分布性,使其熵削减的程度称为冗余度.相对熵：=H/H0=实际信源熵/离散信源最大熵=HX/HmaxX内熵 信息熵差 ：=H0-H（最大熵）-（实际信源熵）冗余度：H=HX-HmaxXH X E11H0Hmax X 精品_精品资料_可编辑资料-欢迎下载例上面的例题中其冗余度为：E=1-0.89/log3=43.8%说明信源 X 有 43%的剩余,只有57%是纯信息.例英文字母信源：H0=log27=4.76 bit等概 H1=4.02 bit（不等概）H1+1=3.32 bit（一阶
35、 M-信源）H2+1=3.1 bit（二阶 M-信源）H=1.4 bit学习资料名师精选-第 14 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案六、本章小结1)信息是可以定量描述的,可以比较大小.由概率打算.2)对应特定信源,可以求出所含不确定度,也就是排除不确定度所需的信息量.3)可通过对信源的观看、测量获得信息,以削减对信源的不确定度.4)考虑信源符号概率分布和符号之间的相关性,信源不确定度会下降.5)HX 就是信源无失真时必需输出的最小信息量.6)通过传输,信宿可以得到信息IX;Y,从而减小对信源的不确定度：HX/Y=HX-IX;Y7)
36、信息通过系统传输,只会丢失信息,不会增加.丢失部分HX/Y 是由噪声引起的.8)弄清自信息量、信源熵、相对熵.互信息、条件熵、联合熵,序列熵、平均符号熵、极限熵冗余度的定义、运算公式、相互关系.七、教学反思第三章无失真信源编码一、教学目标：1、懂得信源编码的意义和分类,明白信源编码基础学问.2、把握定长编码和变长编码的特点.3、把握香农编码、费诺编码、哈夫曼编码的编码思想和编码方法.二、教学重点与难点：重点：变长编码定理结论的应用难点：变长编码定理的证明三、方案课时：四、教学方法：五、教学内容：通信的根本目的就是有效而牢靠的传输信息.Shannon 信息论中的一个重要内容就是它给出了信息传输的
37、有效性和牢靠性的极限才能.详细表现为两个编码定理.一般称为Shannon第一编码定理（信源编码定理,有效性编码定理）和 Shannon 其次编码定理（信道编码定理,抗干扰编码定理）.3-1-1编码器 Encoder我们前面考虑的信源都是离散化的信源,实际上没有考虑到编码的问题.编码的作用可以分为以下编两点：一些原始信源的符号不适应信道的传输.原始信源符号的传输效率很低.码器可以看作这样一个系统,它的输入端为原始信源S,其符号集为S:s1,s2,sn.sii=1,2,.n 而信道所能传输的符号集为A:a1,a2,aq.编码器的功能是用符号集A 中的元素,将原始信源的符号si变换为相应的码字符号W
38、i,i=1,2,n,所以编码器输出端的符号集为W:W1,W2,Wn.S=原始信源符号集.A=码元符号集.精品_精品资料_可编辑资料-欢迎下载W=码字符号集.（码组）学习资料名师精选-第 15 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载L资料word精心总结归纳-名师精编精品教案S:s1,s2,sn编码器W:W1,W2,WnA:a1,a2,aqWi=w1,w2,wLiwia1,a2,aqLi 为码字 Wi 的码元个数,称为码字Wi 的码字长度,简称码长.q=2 时,称为二元编码,否就称为q 元编码.3-1-2单义可译码 Uniquely decodable code(1)单义可译码定
39、义：假如一个码组的任一有限长的码字序列（一串码字）,只能唯独的被译成一个一个码字,就称为单义可译码,也称为异前置码.例如：S:s1,s2,s3;A:0,1;W:w1=0,w2=10,w3=11,为单义可译码.当接收码字序列为：10011001111 时,可以唯独的译为：w2,w1,w3,w1,w1,w3,w3;假如码字集合为：W:0,01,11就为非单义可译码.当接收码字序列为：10011001111 时,可以译为：x,w1,w1w2(2)瞬时可译码（非续长码）定义：假如一个码组中的任一个码字都不是另一个码字的续长,或者说,任何一个码字后加上如干码元后都不是码组中另一个码字.就称为瞬时可译码,
40、也称为非续长码.例如：W：0,10,100,111不是瞬时可译码,100 为 10 的续长.瞬时可译码肯定是单义的,单义可译码却不肯定是瞬时可译码.例如：W：0,01 是单义的,但不是瞬时可译码.(3)单义可译码定理：设原始信源符号集为S:s1,s2,sn,码元符号集为A:a 1,a2,aq,码字集合为W:W1,W2,Wn,其码长分别为L1,L2,Ln.就单义可译码存在的充要条件为码长组合满意Kraft 不等式,即nqi1i1Kraft 不等式不仅是单义可译码的充要条件,也是瞬时可译码的充要条件.这里所说的充要条件是对于码长组合而言,而不是对于码字本身而言,就是说：满意Kraft 不等式的码长
41、组合肯定能构成单义码,单义码的码长组合肯定满意Kraft 不等式.有些码字的码长组合满意Kraft 不等式,但不是单义码.（编码方法不对）下面看一个例子：n=4,q=2A:0,1信源符号W1W2W3W4W5W6s10000000s2011011101001s30111101001101110s40111111011011111011W1:满意 Kraft不等式,但只是单义的,不是瞬时可译码.码长组合为1,2,3,4.W2:满意 Kraft不等式,是单义的,也是瞬时可译码.码长组合为1,2,3,4.W3:满意 Kraft不等式,不是单义的,也不是瞬时可译码.码长组合为1,2,3,3.W4:满意
42、Kraft 不等式,是单义的,也是瞬时可译码.码长组合为1,2,3,3.W5:不满意 Kraft 不等式,不行能为单义的.码长组合为1,2,2,3.W6:满意 Kraft 不等式,是单义的,也是瞬时可译码.为等长码.(4)用码树图构成瞬时可译码从根开头,画出q 条分支,任选一个分支作为W1.在另一个分支上再分出q 条分支,任选一个分支作为W2.连续进行,直至终止.从根到各端点,所经过的状态即为码字.例如：A:0,1,q=2,W:W1,W2,W3,W4精品_精品资料_可编辑资料-欢迎下载学习资料名师精选-第 16 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名
43、师精编精品教案根根0110W101W110W2W20110W3W4W3W4这种方法构成的瞬时可译码是不唯独的.码树图可以用于译码,有根,枝,节点等概念.同样可以用于q 元编码.例：S:s1,s2,s9,A=0,1,2,q=302W1122W900101W212W5W6W8W3W4W7W1=0;W5=20;W9=222;W2=10;W6=21;W3=11;W7=220;W4=12;W8=221;3-1-3平均码子长度假如一个码组的参数满意Kraft 不等式,就肯定可以构成无噪声信道下的无失真传输,然而,在一个通信系统中,信源编码的主要目的是提高编码效率,即每个码元符号要携带更多的信息量.因此要定
44、义平均码长的概念.设原始信源的信源空间为S,P=s1s2snps1ps2psnn其中：p si 1i1对此信源用码元符号集A;a1,a2,aq进行编码,得单义可译码W：W1,W2,Wn.相应得码字长度分别为：Li,i=1,2,.,n 就 这个信源编码的平均码长为：nLp siLii1这时看一下信息传输效率：每个信道码元所携带的平均信息量.当信源 S给定,信源的熵为HS,就每个信道码元所携带的平均信息量可以表示为RHSLH X 可见,当原始信源肯定时,编码后的平均码长越小,信道传信率越高,编码效率越高.编码效率可以用平均码长来描述.每个码字的长度应当与对应的信源符号的先验概率有关.为了提高编码效
45、率,总期望平均码长越小越好,但平均码长能否无限小了？定理:平均码长极限定理精品_精品资料_可编辑资料-欢迎下载如一个离散无记忆信源S的熵为 HS,对其进行q 元编码,A:a1,a2,aq,就总可以找到一种无失真的编码方法,构成单义可译码,使其平均码长满意：H S LlogqH S1logq学习资料名师精选-第 17 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案对于常用的二元编码来说：HS LDmax 时,RD0.RD是关于 D 的下凸函数,因而也是关于D 的连续函数.RD 是关于 D 的严格递减函数.4.2离散信源和连续信源的R（D）运算RD
46、minI X;YPD精品_精品资料_可编辑资料-欢迎下载学习资料名师精选-第 27 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案4.3限失真信源编码定理在失真限度内使信息率任意接近RD 的编码方法存在.然而,要使信息率小于RD,平均失真肯定会超过失真限度 D.对于连续平稳无记忆信源,无法进行无失真编码,在限失真情形下,有与上述定理一样的编码定理.限失真信源编码定理只能说明正确编码是存在的,而详细构造编码方法却一无所知.因而就不能象无损编码那样从证明过程中引出概率匹配的编码方法.一般只能从优化的思路去求正确编码.实际上迄今尚无合适的可实现的编码
47、方法可接近 RD 这个界.4.4常用信源编码方法简介1、游程编码在二元序列中,连0 段称为 0 游程,连1 段称为 1 游程000101110010001可变换成以下游程序列：3113213如已知二元序列以0 起始,从游程序列很简洁复原成原先的二元序列游程序列是多元序列,各长度可按霍夫曼编码或其它方法处理以达到压缩码率的目的.多元序列也存在相应的游程序列多元序列变换成游程序列再进行压缩编码没有多大意义游程编码只适用于二元序列,对于多元信源,一般不能直接利用游程编码2 冗余位编码游程编码在多元信源的应用如下多元序列x1,x2,xm1,y,y,y,x m1+1,xm1+2,x m2,y,y,可以用
48、下面序列表示111,100,000111,111000 x1,x2,xm1,x m1+1,x m1+2x 2,1 表示信息位,0 表示冗余位3 算术编码算术编码从性能上看具有很多优点,特殊是由于所需的参数很少,不象哈夫曼编码那样需要一个很大的码表,常设计成自适应算术编码来针对一些信源概率未知或非平稳情形.但是在实际实现时仍有一些问题,如运算复杂性、运算的精度以及储备量等,随着这些问题的逐步解决,算术编码正在进入有用阶段,但要扩大应用范畴或进一步提高性能,降低造价,仍需进一步改进.符号概率与积存概率的递推关系采纳累积概率PS表示码字CS,符号概率pS表示状态区间 AS精品_精品资料_可编辑资料-
49、欢迎下载学习资料名师精选-第 28 页,共 37 页-精品_精品资料_可编辑资料-欢迎下载资料word精心总结归纳-名师精编精品教案PS把区间 0,1分割成很多小区间,每个小区间的长度等于各序列的概率pS,小区间内的任一点可用来代表这序 列把积存概率PS写成二进位的小数,取其前L 位;假如有尾数,就进位到第L 位,这样得到一个数C.例如PS0.10110001,pS=1/17,就 L5,得 C0.10111这个 C 就可作为 S 的码字编码效率很高,当序列很长时,可达到概率匹配.平均代码长度接近S的熵值.可以唯独的译码.六、信源编码总结信源编码的方法信源编码的目的是提高编码效率,信源编码的方法
50、基本分为两种：信源状态独立化和概率匀称化.弱记忆信源的独立化方法就是信源扩展.强记忆信源的独立化方法是猜测编码,这方面有很多有用化方法,已经形成了相对独立的争论分支,例如语音压缩技术,图象压缩编码等.概率匀称化包括很多有用编码技术,例如Huffman 编码.一些典型的信源编码方法：Huffman 编码.二元序列的游程编码.冗余位编码.算术编码.等.七、教学反思第五章 信道编码一、教学目的：1、明白信道模型及信道分类,信道容量的定义和它的意义,特殊单符号离散信道的容量运算方法.2、把握信道编码的意义、分类、基本原理和检错和纠错才能的运算方法.3、明白线性分组码和卷积码.二、教学重点与难点：重点：