《2023年信息论与编码精品讲义1.pdf》由会员分享，可在线阅读，更多相关《2023年信息论与编码精品讲义1.pdf（38页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、学习好资料 欢迎下载 2.3 连续信源熵 上一章我们讨论的为离散信源，实际应用中还有一类信源称为连续信源，这种信源的时间和取值都是连续的，例如语音信号，电视信号都是连续信号。时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个连续随机变量。而时间连续的信源，为一个随机过程，只要信号频谱有限，则可以根据采样定理，将其变为时间离散信源。信息论中只讨论单变量连续信源，即时间离散状态连续的连续信源。1 连续信源的熵 1-1连续信源熵的定义 连续信源的状态概率用概率密度来表示。如果连续随机变量 X，取值为实数域 R，其概率密度函数为 p(x)，则 如果取值为有限实数域a,b，则 这是 X 的概率分布
2、函数为：连续信源的数学模型 X:R(或a,b)P(X):p(x)连续信源熵的表达式 利用离散信源熵的概念来定义连续信源熵，首先看一个再a,b取间的连续随机变量，如图：p(x)p(xi)a 0 xi b x 首先把 X 的取值区间a,b分割为 n 个小区间，小区间宽度为：=(b-a)/n 根据概率分布为概率密度函数曲线的区间面积的关系，X 取值为 xi 的概率为：Pi=p(xi).这样可以得到离散信源 Xn 的信源空间为：Xn,P:Xn:x1 x2 xn P(Xn):p(x1)p(x2)p(xn)且有：当 n 趋无穷时，按离散信源熵的定义：可得离散信源 Xn 的熵：p x dxR()1p x d
3、xab()1F xP Xxp x dxx()()111p x dxR()1Pip xip x dxininab111()()学习好资料 欢迎下载 当趋于 0，n 趋于无穷时，离散随机变量 Xn将接近于连续随机变量 X，这时可以得到连续信源的熵为：其中：连续信源的熵定义为：连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大量。连续信源有无穷多个状态，因此根据 SHANNON 熵的定义必然为无穷大。连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。连续信源熵不具有非负性，可以为负值。尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，连续信道的输入输
4、出都是连续变量，当分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。连续信源的疑义度：则平均交互信息量为：I(X,Y)=H(X)-H(X/Y)1-2 几种连续信源的熵(1)均匀分布的连续信源熵 设一维连续随机变量 X 的取值区间是a,b，在a,b中的概率密度函数是 这种连续信源称为均匀分布的连续信源。其熵为：H XPPp xip xiniiinin()log()log()11 p xip xip xiinin()log()log()11 p xip xi()log()logHXH Xp xip xicnnin()lim()lim()log()log01
5、p xp x dxab()log()limlog0 H X()H Xp xp x dxab()()log()H XYp x yp xy dxdy(/)(,)log(/)p xbaaxbxb xa(),10于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 这时可以看到：当(b-a)1时，H(X)0，即 H(X)不具有熵函数的非负性，因为 H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。(2)高斯分布的连续信源熵 设一维随机变量 X
6、的取值范围是整个实数 R，概率密度函数为：其中，m 是随机变量 X 的均值 2是随机变量 X 的方差 当均值 m=0 时，方差2就是随机变量的平均功率，这个信源称为高斯分布的连续信源，其数学模型为：这时可以得到高斯连续信源的熵为：这里的对数是以 e 为底。当均值为 0 时，高斯信源的熵为(3)指数分布的连续信源熵 设一随机变量 X 的取值取间为0，其概率密度函数为 则称为指数分布的连续信源。其中常数 a 为随机变量 X 的均值。即 H Xp xp x dxbabadxbaabab()()log()loglog()11p xxm()exp()122222mE xxp x dx()222EXmxm
7、p x dx()()()Px p x dx2(),:():()exp()X PXP XRp xxm122222p x dx()1H Xp xp x dxp xxmdx()()log()()logexp()122222p xdxp xxmdx()log()()122222 logloglog21212212122222eH XeP()log122p xaexxa()()10于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 指数分布的连续信源
8、的熵为 2 连续信源的最大熵 2-1 连续信源的最大熵 为了求出连续信源的最大熵，将利用数学中的变分法的方法来求解。连续信源的熵为：其基本约束条件为：其它约束条件为：建立辅助函数：其中有：根据极值的条件有：及 m 个约束方程，可以确定最大熵和所对应的信源概率密度分布 p(x)。下面讨论两种基本信源。（1）输出幅度受限时的最大熵（瞬时功率受限）E Xmxp x dxxaedxaxa()100H Xp xp x dxaeaedxxaxa()()log()log11001100aaedxaxedxaexaxaloglogH Xp xp x dx()()log()p x dx()111abx p dx
9、K(,)22abx p dxK(,)F x p xf x p dxx p dxx p dxmm,()(,)(,).(,)11f x pp xp x(,)()log()F x pp(,)0于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 其基本条件为：|x|v，x2S，这时对应只有一个约束方程，并且：可以得到：这里的对数为以 e 为底，由约束方程可得：结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数时，信源具有
10、最大熵。其最大熵为：（2）输出平均功率受限时的最大熵 推导：这时的约束条件为：可知：由极值条件：可得：logp(x)=1+2x2-1 p(x)=e1-1e2x2 将其代入约束条件 1，可得：利用积分公式：可得：pxdxvv()1F x ppf x ppx ppp x(,)(,)(,)log()11101log();()p xp xe1111edxevp xvSvv11111121212;()HXvvdxvvvmax()loglog12122p x dxx p x dx();()122f x ppp xx ppx ppx(,)log();(,);(,)11122f x pp xp xx pp x
11、x px p x(,)()log();(,)();(,)()122fppp10122 log()10122p xx p xeex()1221eedxx12211edxx2于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 由：利用积分关系：可得：代入前面的结果：得到：得到连续信源获得最大熵时的概率密度函数：这是一个均值为 0 的高斯分布。其最大熵为 其中利用两个积分关系：如果平均功率为 N=2;则有 ee1112121;x p x dxex
12、 edxx2122122()x edxx2222212()e1122212()222212()22112121;ep xex()12222 H Xp xdxp xxdxe()()log()()12222 logexxedxxedx 21221222222222 loglog;eeenet2122121422222 edxx edxxx;于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 结论：（最大熵定理）对于输出平均功率受限的连续信源，在
13、假设状态相互独立时，当其概率密度函数为高斯分布时，具有最大熵。其最大熵值随功率 N 的增加而增加。2-2连续信源的熵功率 对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，如果概率分布不是高斯分布，则信源熵将小于最大熵。熵功率则用来描述连续信源熵的剩余度。一个平均功率为 N 的非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率。当非高斯连续信源与高斯信源具有相同熵时，那非高斯信源的平均功率一定大于高斯信源的功率。当非高斯连续信源与高斯信源具有相同平均功率时，那非高斯信源的熵一定小于高斯信源的熵。平均功率为 N 的非高斯信源的熵功率为 2-3 连续信源的共熵和条件熵 同离散信
14、源相似，连续信源也可定义其共熵和条件熵，其基本关系为：H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X,Y)H(X)+H(Y)H(X/Y)H(X)H(Y/X)H(Y)2.4 平稳随机序列信源熵 前面讨论的是单符号离散信源和单符号离散信道的信息特性。这一节开始讨论随机矢量或随机序列信源的情况。通常这种信源是很复杂的，通常要进行简化分析。X=X1，X2，X3，为平稳随机序列，即统计特性不随时间改变；随机序列为有限等长度，每个信源消息由 N 个符号序列组成，1 离散无记忆信源的扩展信源 A.假设条件 这里对离散平稳随机序列信源做进一步假设。(1)我们假设多符号离散平稳信源 X=X1
15、，X2，XN 中，符号的随机变量 Xi都取值于同一个信源空间，Xi,P=x1 x2 x3 xn p(x1)p(x2)p(x3)p(xn)(2)我们假设多符号离散平稳信源 X=X1，X2，XN 中，各变量 Xi(i=1,2,N)之间统计独立，即 HXeNneteNbiteemax()log;.log214432HXHXeNNe()()logmax2eeNHXN22()NeeNHXN122()H X Yp x yp x y dxdy(,)(,)log(,)H XYp x yp xy dxdy(/)(,)log(/)H YXp x yp yx dxdy(/)(,)log(/)于一个连续随机变量而时间
16、连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 P(X)=P(X1,X2,XN)=P(X1)P(X2)P(X3)P(N)到目前为止，我们介绍的离散无记忆信源包括两层意思：单符号离散无记忆信源，p(x1,x2,xn)=p(x1)p(x2)p(xn)多符号离散无记忆信源，P(X1,X2,XN)=P(X1)P(X2)P(X3)P(N)在这种假设前提下，可以把多符号离散平稳信源看作单符号离散平稳信源的 N 次扩展信源。通常 N 次扩展信源，记为 XN。B.N 次扩展信
17、源的信源空间 因为信源 XN的每一个消息Xi=Xi1,Xi2,XiN均由信源 X 的符号集 X:x1,x2,xn中的 N 个符号组成，所以，XN 的某一个具体符号 Xi可以表示为 Xi=(xi1,xi2,xiN)xijX:x1,x2,xn，这个关系表明扩展信源的每个符号取值于同一个单符号信源空间，X:x1,x2,xn。因此扩展信源 XN 就有 rN 种不同的符号，可以表示为 XN:X1,X2,Xi,XnN;(i=1,2,nN)例如 n=2,N=2,X=X1,X2 XN:X1,X2,X3,X4 X:x1=0,x2=1 X1=00;X2=01;X3=10;X4=11;所以平稳离散无记忆信源X，P的
18、 N 次扩展信源的信源空间为：XN,P:XN X1 X2 XnN P(XN)p(X1)p(X2)p(XnN)并且有：p Xip xxxp xxxiiiNininiiiNiNninNN()(,.).(,.)12111211 1 .()().()pxpxpxiiiNiNnin121111 表明该信源概率空间也是一个完备空间。C.N 次扩展信源的熵 根据熵函数的定义：HXHXXXpXpXNNiiinN()(,.)()log()121 利用 p(Xi)=p(xi1,xi2,xiN)的关系和 p(xi1,xi2,xiN)=p(xi1)p(xi2)p(xiN)无记忆信源，可以得到：HXHXXXHXHXHX
19、NNN()(,.)()().()1212 再考虑到无记忆信源，H(X1)=H(X2)=H(XN)，可以得到：H(XN)=N.H(X)多符号平稳离散无记忆信源的 N 次扩展信源是一种最简单的多符号信源。如果多符号平稳离散无记忆信源X=X1,X2,XN 中的各变量 Xi 取值于不同的单符号离散无记忆信源Xi,P。Xi,P:Xi xi1 xi2 xin P(Xi)p(xi1)p(xi2)p(xin)(i=1,2,N)p xiNilln()(,.)11 21 这种信源称为多符号离散无记忆信源，可以证明这种信源的熵为：其中 H(Xi)为单符号离散信源Xi,P的熵。H XH X XXH XH XH XNN
20、()(,.)()().()1212 于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 2 二维离散平稳有记忆信源的信源熵 这里介绍最简单的离散平稳有记忆信源，即二维信源。X=X1，X2 所谓有记忆信源就是一种相关信源，每个消息由两个符号组成，后一个符号与前一个符号有一个概率表明相关性，（这是一种近似处理方法，只考虑消息组内的相关性）。设离散平稳信源的信源空间为：X,P=x1 x2 x3 xn p(x1)p(x2)p(x3)p(xn)且有p
21、(xi)=1，同时有一维条件概率为“PX2=xj/X1=xi=PX2+T=xj/X1+T=xi=p(xj/xi)，表明为平稳序列。(i=1,2,n;j=1,2,n)X=X1，X2 的符号集中的一个Xi=(xi1,xi2)xi1,xi2X:x1,x2,xn;i1,i2=1,2,n i=1,2,3,n2 且有：p(Xi)=p(xi1,xi2)=p(xi1)p(xi2/xi1)这时可得二维信源X=X1,X2 的信源空间：X,P=X1 X2 X3 Xn2 p(X1)p(X2)p(X3)p(Xn2)p Xip xi xip xip xixip xip xixiininininininin()(,)()(
22、/)()(/)1212112112 11 12 11 12 11 112 即信源空间为完备空间。可得二维信源的一个消息（两个符号）所提供的平均信息量为：HH X Xp xi xip xi xiinin()(,)(,)log(,)X 1212122 11 1 p xi p xixip xi p xixiinin()(/)log()(/)1211212 11 1 p xip xixip xiinin()(/)log()12112 11 1 p xi p xixip xixiinin()(/)log(/)121212 11 1 p xi xp xip xi p xixip xixiinininin(
23、,)log()()(/)log(/)1 21121212 11 12 11 1 HXHXX()(/)121 其中：H(X1)表示信源发出第一个符号所能提供的平均信息量，H(X2/X1)表示在第一个符号已知的前提下，第二个符号所提供的平均信息量。二维离散平稳有记忆信源每发一个消息所能提供的平均信息量是一种联合熵，这种信源的熵等于第一个随机变量的熵加上第一变量已知的条件下第二个变量的条件熵。其中：H Xp xip xiin()()log()1111 1 H XXp xi H XXxiin(/)()(/)2112111 1 于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度
24、来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 p xip xixip xixiinin()(/)log(/)121211 12 1 p xi p xixip xixiinin()(/)log(/)121212 11 1 当随机变量 X1X2 相互独立时，有 H(X)=H(X1,X2)=H(X1)+H(X2)。可以证明：二维离散平稳有记忆信源的熵满足：H(X1,X2)H(X1)+H(X2)，（作业）例 2-15 设某二维离散信源的原始信源的信源空间 X=x1,x2,x3;P(X)=1/4,1/4,1/2,一维条
25、件概率 PX2=xi/X1=xj 为：p(x1/x1)=1/2;p(x2/x1)=1/2;p(x3/x1)=0;p(x1/x2)=1/8;p(x2/x2)=3/4;p(x3/x2)=1/8;p(x1/x3)=0;p(x2/x3)=1/4;p(x3/x3)=3/4;原始信源的熵为：H(X)=1.5 bit/符号 条件熵：H(X2/X1)=1.4 bit/符号 可见：H(X2/X1)1，对于一切 ij=1,2,n 都有 pij(n0)0 （矩阵P中的所有元素）对于每个 j=1,2,.,n 都存在不依赖 i 的极限（每个状态都以一定的概率出现）则称这个马氏链是各态历经的。其中的极限概率 pj=p1,
26、p2,pn是方程组 lim()(,.,)nijjpnpjn 12 满足条件 pp pjnjiijin11 2(,.,)的唯一解。pjpjjn011,为：Pj=P1,P2,Pn;PjT=P(1)T.PjT 马氏链的各态历经定理说明：只有在转移了一定步数后各状态之间可相通的条件下，当转移步数足够大时，处于某一状态的概率才能稳定在某一极限值；各状态相通，均可经历；每个由各状态经历过程产生的序列都有同样的统计特性，即统计均匀性；例 2:设一个马氏链有三个状态，X:0,1,2,其一步转移概率为：P(1)=ij 0 1 2=0 1 2 0 p00 p01 p02 0 q p 0 1 p10 p11 p12
27、 1 q 0 p 2 p20 p21 p22 2 0 q p 这时 pij0 不满足，不能判断是否具有各态历经性，看二步转移矩阵。P(2)=P(1)P(1)=0 1 2 0 q2+pq qp p2 1 q2 2qp p2 2 q2 qp qp+p2 这时 pij0 满足，可以判断具有各态历经性，其状态极限概率（稳态概率）可以由方程得到：p0 q q 0 p0 p0=qp0+qp1 由这四个方程求解 p1=pp0+qp2 p2=pp1+pp2;p0+p1+p2=1 p1=p 0 q p1 p2 0 p p p2 由一步状态转移矩阵求极限概率的基本关系为：PT=P(1)T.PT T 表示矩阵的转置
28、。(3)状态转移图 有限齐次马氏链除了用转移矩阵描述外还可以用状态转移图来表示。例如上面的例题对应的状态图为：q p 于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 q 0 1 2 p p q 齐次马氏链为一个不可约闭集，即对马氏链中的任意两个状态，总可以从一个状态经过有限步数转移到另一个状态；齐次马氏链具有非周期性，从一个状态到另一个状态的步数不能具有周期性；(4)马尔柯夫信源 m 阶马尔可夫信源：如果一个离散平稳有记忆信源X=X1，
29、X2，,Xm,Xm+1,Xm+2,中，任一时刻(m+1)的随机变量 Xm+1 只依赖于它前面的 m 个随机变量，与更前面的变量无关，称为记忆长度为 m 的离散平稳有记忆信源，也称为 m 阶马尔柯夫信源。这时把(X1,X2,Xm)某一个取值 Si=(xk1,xk2,xkm)称为一个状态。xkjX:x1,x2,xn为原始信源状态空间;kj=1,2,n j=1,2,.m i=1,2,nm 马尔柯夫信源状态：同时把随机变量(X2,X3,Xm+1)的某一取值 Sj 称为另一个状态，Si 为 Sj 的前一状态。m 阶马尔柯夫信源的状态空间为 S:S1,S2,Srm，马尔柯夫信源的一个状态由 m 个符号组成
30、，当信源再输出一个符号时，信源变为另一个状态，所以从 Si 到 Sj 的一步转移概率为：p(Sj/Si)=p(xkm+1/xk1xk2xkm)为一个条件概率；其中：(k1,k2,km=1,2,n;km+1=1,2,n)(i,j=1,2,.nm)m 阶马尔柯夫信源空间：X:x1 x2 xn P:p(xkm+1/xk1 xk2 xkm)且有：p xxxxkmkkkmkmn(/.)1121 11 m 阶马尔柯夫信源的极限熵：根据 m 阶马尔柯夫信源的定义，及平稳性，有：p(xkN/xk1 xk2 xkm xkm+1,xkN-1)=p(xkN/xkN-m xkN-m+1,xkN-1)=p(xkm+1/
31、xk1 xk2.xkm),这样，可以得到 m 阶马尔柯夫信源的极限熵：HHXX XXNNNlim(/.)121 lim.(.)log(/.)NkkNkNkkkNkNnknp xxp xx xx112111 1 lim.(.)log(/.)NkkNkmkkkmkNnknp xxp xx xx111211 1 .(.)l o g(/.)p xxp xx xxkkmkmkkkmkmnkn111121 11 1 =H(Xm+1/X1X2Xm)这表明，m 阶马尔柯夫信源的极限熵就等于 m 阶条件熵，记为：Hm+1。用状态转移概率表示极限熵：p(Sj/Si)=p(xk/Si)=p(xkm+1/xk1xk2
32、xkm)或 p(xk+1/Si)这时极限熵可以表示为：于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 Hp Sp SSp SSijijijninmm()(/)log(/)11 从以上分析可以看到，m 阶马尔柯夫信源的分析是实际信源的一种简化，把一个无限的问题转化为有限量的计算问题。已知 m 阶马尔柯夫信源的状态一步转移概率后，求极限熵的问题就在于得到概率 p(Si)，(i=1,2,nm)，而 p(Si)就是马尔柯夫信源在稳定状态时的各状
33、态的极限概率。所以，首先要判断信源是否具有各态历经性，如果有，则可以有一步转移概率求出极限概率。例 3:一个二进制二阶马尔柯夫信源的原始信源为 X：0，1，m=2，这时的状态空间为：S:S1=00,S2=01,S3=10,S4=11，共有 nm=22=4 个不同的状态。已知其一步转移概率为：0/00 00 p(0/00)p(0/S1)p(S1/S1)=0.8 1/00 01 p(1/00)p(1/S1)p(S2/S1)=0.2 0/01 10 p(0/01)p(0/S2)p(S3/S2)=0.5 1/01 11 p(1/01)p(1/S2)p(S4/S2)=0.5 0/10 00 p(0/10
34、)p(0/S3)p(S1/S3)=0.5 1/10 01 p(1/10)p(1/S3)p(S2/S3)=0.5 0/11 10 p(0/11)p(0/S4)p(S3/S4)=0.2 1/11 11 p(1/11)p(1/S4)p(S4/S4)=0.8 信源空间 S:S1,S2,S3,S4 p(Sj/Si)(i=1,2,3,4)可得到信源状态转移图为：0.8 S1 0.2 0.5 0.5 S2 S3 0.5 0.5 0.2 S4 0.8 由状态图可以判断，这是一个非周期不可闭集，具有各态历经性，存在状态极限概率。有：p(S1)=0.8 0 0.5 0 p(S1)p(S2)0.2 0 0.5 0
35、p(S2)p(S3)0 0.5 0 0.5 p(S3)p(S4)0 0.5 0 0.5 p(S4)其约束条件为：p(S1)+p(S2)+p(S3)+p(S4)=1 p(Si)1 (i=1,2,3,4)解得其极限概率分别为：p(S1)=p(S4)=5/14;p(S2)=p(S3)=2/14 由极限概率和状态转移概率就可以计算马尔柯夫信源的极限熵：Hp Sip SjSip SjSiji211414()(/)log(/)=0.8 bit/符号 另外，还有的离散有记忆信源即马尔柯夫信源是已知极限概率和转移概率，求信源熵的。注意：马尔柯夫信源的熵就是其极限熵，也就是一个条件熵。例 4:一个一阶马尔柯夫信
36、源的原始信源为 X:x1,x2,x3，已知其先验概率和一步转移概率，求其极限熵。于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 p(x1)=11/36;p(x2)=4/9;p(x3)=1/4;P(1)=9/11 2/11 0 1/8 3/4 1/8 0 2/9 7/9 其状态图如图示：可得原始信源熵和极限熵为：H(X)=1.542 bit/符号 H1+1=H(j/i)=H(Xj/Xi)=0.89 bit/符号。也可以用各态历经的验证方法
37、：P(2)=9/11 2/11 0 9/11 2/11 0 1/8 3/4 1/8 1/8 3/4 1/8 0 2/9 7/9 0 2/9 7/9 可知：P(2)中 pij0，其极限概率存在。p(x1)9/11 1/8 0 p(x1)p(x2)=2/11 3/4 2/9 p(x2)p(x3)0 1/8 7/9 p(x3)可得：p(x1)=(9/11)p(x1)+(1/8)p(x2)p(x2)=(2/11)p(x1)+(3/4)p(x2)+(2/9)p(x3)p(x3)=(1/8)p(x2)+(7/9)p(x3)在考虑:p(x1)+p(x2)+p(x3)=1 可以得出：p(x1)=11/36;p
38、(x2)=4/9;p(x3)=1/4;2.5 信源的冗余度(1)关于离散信源熵的总结：实际信源非平稳的有记忆随机序列信源；其极限熵是不存在的；解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难；进一步假设其为 m 阶 Markov 信源，用其极限熵 Hm+1近似；再进一步假设为一阶 Markov 信源，用其极限熵 H1+1(X2/X1)来近似；最简化的信源是离散无记忆信源，其熵为 H(x)=H1+1(X);最后可以假定为等概的离散无记忆信源，其熵为 H0(X)=logn；它们之间的关系可以表示为：logn=H0(X)H1(X)H1+1(X)H2+1(X)Hm+1(X)H 可见离散
39、有记忆信源的记忆长度越长，信源熵越小，而独立且等概的信源，熵最大。(2)冗余度：用来衡量由于信源内部的消息状态的相关性和分布性，使其熵减少的程度称为冗余度。相对熵：=H/H0=(实际信源熵)/(离散信源最大熵)=H(X)/Hmax(X)内熵(信息熵差)：=H0-H（最大熵）-（实际信源熵）=H(X)-Hmax(X)冗余度：EHHH XHX 110()()max 例上面的例题中其冗余度为：E=1-(0.89/log3)=43.8%说明信源 X 有 43%的剩余，只有 57%是纯信息。例英文字母信源：H0=log27=4.76 bit (等概)H1=4.02 bit （不等概）H1+1=3.32
40、bit （一阶 M-信源）H2+1=3.1 bit （二阶 M-信源）H=1.4 bit 于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 六、本章小结 1)信息是可以定量描述的，可以比较大小。由概率决定；2)对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；3)可通过对信源的观察、测量获得信息，以减少对信源的不确定度；4)考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降；5)H(X)就是信源无失真时必需输出的
41、最小信息量；6)通过传输，信宿可以得到信息 I(X;Y)，从而减小对信源的不确定度：H(X/Y)=H(X)-I(X;Y)7)信息通过系统传输，只会丢失信息，不会增加。丢失部分 H(X/Y)是由噪声引起的；8)弄清自信息量、信源熵、相对熵；互信息、条件熵、联合熵，序列熵、平均符号熵、极限熵冗余度的定义、计算公式、相互关系。七、教学反思 第三章 无失真信源编码 一、教学目标：1、理解信源编码的意义和分类，了解信源编码基础知识。2、掌握定长编码和变长编码的特点。3、掌握香农编码、费诺编码、哈夫曼编码的编码思想和编码方法。二、教学重点与难点：重点：变长编码定理结论的应用 难点：变长编码定理的证明 三、
42、计划课时：四、教学方法：五、教学内容：通信的根本目的就是有效而可靠地传输信息。Shannon 信息论中的一个重要内容就是它给出了信息传输的有效性和可靠性的极限能力。具体表现为两个编码定理；一般称为 Shannon 第一编码定理（信源编码定理，有效性编码定理）和 Shannon 第二编码定理（信道编码定理，抗干扰编码定理）。3-1-1 编码器(Encoder)我们前面考虑的信源都是离散化的信源，实际上没有考虑到编码的问题。编码的作用可以分为以下编两点：一些原始信源的符号不适应信道的传输；原始信源符号的传输效率很低；码器可以看作这样一个系统，它的输入端为原始信源 S，其符号集为 S:s1,s2,s
43、n；si(i=1,2,n)；而信道所能传输的符号集为 A:a1,a2,aq；编码器的功能是用符号集 A 中的元素，将原始信源的符号 si变换为相应的码字符号 Wi，(i=1,2,n)，所以编码器输出端的符号集为 W:W1,W2,Wn。S=原始信源符号集；A=码元符号集；W=码字符号集；（码组）于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 S:s1,s2,sn W:W1,W2,Wn A:a1,a2,aq Wi=w1,w2,wLi wia
44、1,a2,aq Li 为码字 Wi 的码元个数，称为码字 Wi 的码字长度，简称码长。q=2 时，称为二元编码，否则称为 q 元编码。3-1-2 单义可译码(Uniquely decodable code)(1)单义可译码定义：如果一个码组的任一有限长的码字序列（一串码字），只能唯一地被译成一个一个码字，则称为单义可译码，也称为异前置码。例如：S:s1,s2,s3;A:0,1;W:w1=0,w2=10,w3=11,为单义可译码。当接收码字序列为：10011001111 时，可以唯一地译为：w2,w1,w3,w1,w1,w3,w3;如果码字集合为：W:0,01,11 则为非单义可译码。当接收码字
45、序列为：10011001111 时，可以译为：x,w1,w1(w2)(2)瞬时可译码（非续长码）定义：如果一个码组中的任一个码字都不是另一个码字的续长，或者说，任何一个码字后加上若干码元后都不是码组中另一个码字。则称为瞬时可译码，也称为非续长码。例如：W：0，10，100，111不是瞬时可译码，100 为 10 的续长。瞬时可译码一定是单义的，单义可译码却不一定是瞬时可译码。例如：W：0，01是单义的，但不是瞬时可译码。(3)单义可译码定理：设原始信源符号集为 S:s1,s2,sn，码元符号集为 A:a 1,a2,aq，码字集合为 W:W1,W2,Wn，其码长分别为L1,L2,Ln；则单义可译
46、码存在的充要条件为码长组合满足 Kraft 不等式，即 qLini11 Kraft 不等式不仅是单义可译码的充要条件，也是瞬时可译码的充要条件；这里所说的充要条件是对于码长组合而言，而不是对于码字本身而言，就是说：满足 Kraft 不等式的码长组合一定能构成单义码，单义码的码长组合一定满足 Kraft 不等式。有些码字的码长组合满足 Kraft 不等式，但不是单义码。（编码方法不对）下面看一个例子：n=4,q=2 A:0,1 信源符号 W1 W2 W3 W4 W5 W6 s1 0 0 0 0 0 00 s2 01 10 11 10 10 01 s3 011 110 100 110 11 10
47、s4 0111 1110 110 111 110 11 W1:满足 Kraft 不等式，但只是单义的，不是瞬时可译码；码长组合为 1,2,3,4；W2:满足 Kraft 不等式，是单义的，也是瞬时可译码；码长组合为 1,2,3,4；W3:满足 Kraft 不等式，不是单义的，也不是瞬时可译码；码长组合为 1,2,3,3；W4:满足 Kraft 不等式，是单义的，也是瞬时可译码；码长组合为 1,2,3,3；W5:不满足 Kraft 不等式，不可能为单义的；码长组合为 1,2,2,3；W6:满足 Kraft 不等式，是单义的，也是瞬时可译码；为等长码；(4)用码树图构成瞬时可译码 从根开始，画出
48、q 条分支，任选一个分支作为 W1；在另一个分支上再分出 q 条分支，任选一个分支作为 W2；继续进行，直至结束；从根到各端点，所经过的状态即为码字；例如：A:0,1,q=2,W:W1,W2,W3,W4 编码器 于一个连续随机变量而时间连续的信源为一个随机过程只要信号频谱有概率用概率密度来表示如果连续随机变量取值为实数域其概率密度函数连续随机变量如图首先把的取值区间分割为个小区间小区间宽度为根据学习好资料 欢迎下载 根 根 0 1 1 0 W1 0 1 W1 1 0 W2 W2 0 1 1 0 W3 W4 W3 W4 这种方法构成的瞬时可译码是不唯一的；码树图可以用于译码，有根，枝，节点等概念
49、；同样可以用于 q 元编码；例：S:s1,s2,s9,A=0,1,2,q=3 0 2 W1 1 2 2 W9 0 0 1 0 1 W2 1 2 W5 W6 W8 W3 W4 W7 W1=0;W5=20;W9=222;W2=10;W6=21;W3=11;W7=220;W4=12;W8=221;3-1-3 平均码子长度 如果一个码组的参数满足 Kraft 不等式，就一定可以构成无噪声信道下的无失真传输，然而，在一个通信系统中，信源编码的主要目的是提高编码效率，即每个码元符号要携带更多的信息量。因此要定义平均码长的概念。设原始信源的信源空间为 S,P=s1 s2 sn p(s1)p(s2)p(sn)
50、其中：psiin()11 对此信源用码元符号集 A;a1,a2,aq 进行编码，得单义可译码 W：W1，W2，Wn。相应得码字长度分别为：Li,(i=1,2,n)。则这个信源编码的平均码长为：Lp sLiiin()1 这时看一下信息传输效率：每个信道码元所携带的平均信息量。当信源 S 给定，信源的熵为 H(S)，则每个信道码元所携带的平均信息量可以表示为 RH SLHX()()可见，当原始信源一定时，编码后的平均码长越小，信道传信率越高，编码效率越高。编码效率可以用平均码长来描述；每个码字的长度应当与对应的信源符号的先验概率有关。为了提高编码效率，总希望平均码长越小越好，但平均码长能否无限小呢