《第3讲——离散信源的数学模型及其信息测度2.pdf》由会员分享，可在线阅读，更多相关《第3讲——离散信源的数学模型及其信息测度2.pdf（35页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第三讲第三讲第三讲第三讲离散信源的数学模型及其信息测度离散信源的数学模型及其信息测度()离散信源的数学模型离散信源的数学模型离散信源的数学模型离散信源的数学模型及其信息测度及其信息测度及其信息测度及其信息测度()信源的数学模型信源的数学模型信源熵（信息熵）信源熵（信息熵）随机变量、随机序列随机变量、随机序列 随机过程随机过程 定义：自信息的数学期望定义：自信息的数学期望 含义：两种解释含义：两种解释 与联合熵、条件熵之间的关系与联合熵、条件熵之间的关系Review()()iH XE I x=()(/)ijH X YEI xy=()()ijH XYE I x y=)()()()()(YXHYHX
2、YHXHXYH+=+=+=NnnnNNNUUUUHUUUUHUUUHUUHUHUUUH112112121312121)()()()()()(?熵、条件熵、联合熵关系熵、条件熵、联合熵关系Review信源的数学模型信源的数学模型信源熵（信息熵）信源熵（信息熵）随机变量、随机序列随机变量、随机序列 随机过程随机过程 定义：自信息的数学期望定义：自信息的数学期望 含义：两种解释含义：两种解释 与联合熵、条件熵之间的关系与联合熵、条件熵之间的关系Review()()iH XE I x=()(/)ijH X YEI xy=()()ijH XYE I x y=第三讲第三讲第三讲第三讲离散信源的数学模型及其
3、信息测度离散信源的数学模型及其信息测度()离散信源的数学模型离散信源的数学模型离散信源的数学模型离散信源的数学模型及其信息测度及其信息测度及其信息测度及其信息测度()3.1 3.1 3.1 3.1 熵的基本性质熵的基本性质熵的基本性质熵的基本性质=KkkkKpppppHXH121log),()(?),.,2,1(0,11KkppkKkk=KKpppxxxPX?2121熵的基本性质熵的基本性质概率矢量概率矢量非负性非负性?非负性非负性 H(X)0由于由于0pk1,所以所以logpk0，-logpk0，则总有，则总有H(X)0。?对称性对称性),.,(),.,(12121=KKKppppHpppH
4、根据加法交换律可以证明，当变量交换顺序时熵函数的值不变根据加法交换律可以证明，当变量交换顺序时熵函数的值不变,即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。对称性对称性确定性确定性当信源当信源X的信源空间的信源空间X，P中，任一概率分量等于中，任一概率分量等于1，根据完备空间特性，其它概率分量必为，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为，这时信源为一个确知信源，其熵为0。?确定性确定性HHH(,)(,)(,.)100110 000=),(),(lim21210KKKK
5、pppHpppH?=这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。，在信源熵中占极小的比重，使信源熵保持不变。0loglim20=?扩展性扩展性扩展性扩展性?可加性可加性)/()()()/()()(YXHYHXYHXYHXHXYH+=+=1)/()/()()(:)/()()/()/()(log)(/(log)()(log)/()()/()(log)()(log)()(22222=+=+=jijijij
6、ijijiiiijijjiiijijiijiijjijiijjixypxypxpyxpXYHXHXYHxypxpxpxypyxpxpxypxpxypxpyxpyxpyxpXYH利用可加性可加性证明:证明:?极值性极值性最大离散熵定理最大离散熵定理()logH XK信源信源X中包含中包含K个不同离散消息时，信源熵，当且仅当个不同离散消息时，信源熵，当且仅当X中各个消息出现的概率全相等时，上式取等号。表明等概信源的不确定性最大，具有最大熵，为中各个消息出现的概率全相等时，上式取等号。表明等概信源的不确定性最大，具有最大熵，为log K极值性极值性()logH XKH(X)1.00.50 0.5 1
7、 P二元离散信源二元离散信源引理引理1：一个常用不等式：一个常用不等式：lnx x-1令令f(x)=lnx(x-1),则则11)(=xxf可见，可见，f(x)是是x的上凸函数，且当的上凸函数，且当x=1时，时，f(x)有极大值。故有极大值。故01)(2=xxf即即 lnx(x-1)f(x)=lnx-(x-1)0 证明：证明：引理引理111loglogKKkkkkkkpppq=11=Kkkp1,1=Kkkq=+KkkkKKqppppH121log),(?=+=KkkkKkkkqppp11loglog=KkkkkKkkkkpqpepqp11lnloglog0log1log111=KkkKkkKkk
8、kkpqepqpe令，可得即等概时熵最大，为。令，可得即等概时熵最大，为。证明：证明：Kqk1=log K引理引理2香农辅助定理香农辅助定理12(,)logKKHp ppK?12(,)KKHp pp=?定理：定理：1.H(X/Y)H(X)（条件熵不大于无条件熵）（条件熵不大于无条件熵）2.H(XY)H(X)+H(Y)证明：证明：基本定理基本定理,()(/)()()yyp y p xyp xyp x=其中(/)()log(/)xyH X Yp xyp x y=()(/)log(/)yxp yp x yp x y=()(/)log()yxp yp x yp x()(/)log()xyp y p x
9、 yp x=()log()()xp xp xH X=()()(/)()()H XYH YH X YH YH X=+由定理由定理1，得，得基本定理推广基本定理推广121()()nnnn snnn mH U UUUH U UU?Nnms1H(X/Y)H(X)121()()NNnnH U UUH U=?H(XY)H(X)+H(Y)?上凸性上凸性熵函数熵函数H(X)为上凸函数，即对任何和任何两个概率矢量为上凸函数，即对任何和任何两个概率矢量P,Q)10(+上凸性上凸性)()1()()1(qfpfqpf+qp)1(+在在a,b上定义的上凸函数上定义的上凸函数)1()()1()(qpfqfpf+qp)1(
10、+在在a,b上定义的下凸函数上定义的下凸函数?唯一性唯一性香农指出，存在这样的不确定性的度量，它是概率分布的函数，且该函数应满足：香农指出，存在这样的不确定性的度量，它是概率分布的函数，且该函数应满足：对称性对称性极值性极值性可加性可加性扩展性它的形式是唯一的。扩展性它的形式是唯一的。Kppp,21?),(21Kpppf?唯一性唯一性?递增性递增性(递推性递推性)若原信源若原信源X中有一元素分割成中有一元素分割成m个元素个元素(符号符号)，而这，而这m个元素的概率之和等于原元的概率，则新信源的熵增加。个元素的概率之和等于原元的概率，则新信源的熵增加。=+=+=mjniniinmnnmnnnnm
11、nmnpqppqpqpqHpppppHqqqpppH1121121211211,1),(),(),(其中?递增性递增性熵的增加是由于新的划分产生了不确定性。熵的增加是由于新的划分产生了不确定性。3.2 3.2 3.2 3.2 离散序列信源的熵离散序列信源的熵离散序列信源的熵离散序列信源的熵)|()|()|()(),()(12121312121=LLLiiiiiiiiiiiiiixxxxpxxxpxxpxpxxxpp?X设信源输出的随机序列为设信源输出的随机序列为X=(X1X2XlXL)序列中的变量序列中的变量Xlx1,x2,xn离散无记忆信源离散无记忆信源=LliiiiiiiiilLLxpxp
12、xpxpxpxxxpp1)()()()()(),()(32121?X离散无记忆:离散无记忆:离散无记忆信源的序列熵离散无记忆信源的序列熵信源的序列熵信源的序列熵)XXX()X()(L21L?HHH=X平均符号熵平均符号熵)()X(1)(LXHHLHL=X)X()H(X)X(L21HH?+=)(XLH=例例:有一个无记忆信源随机变量有一个无记忆信源随机变量X(0,1),等概率分布等概率分布,若以单个符号出现为一事件若以单个符号出现为一事件,则此时的信源熵则此时的信源熵:bitXH12log)(2=bitH24log)X(22=bitHH1)X(21)(22=X 即用即用 1比特就可表示该事件。比
13、特就可表示该事件。如果以两个符号出现如果以两个符号出现(L=2的序列的序列)为一事件，则随机序列为一事件，则随机序列X(00,01,10,11)，信源的序列熵，信源的序列熵 即用即用2比特才能表示该事件。比特才能表示该事件。信源的符号熵信源的符号熵离散无记忆信源实例离散无记忆信源实例)X(2)(2HH=X 例例:有一离散平稳无记忆信源有一离散平稳无记忆信源=414121)(321xxxxpX求：二次扩展信源的熵求：二次扩展信源的熵X2信源的元素信源的元素a1a2a3a4a5a6a7a8a9对应的消息序列对应的消息序列x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概
14、率概率p(ai)1/4 1/81/81/81/16 1/161/81/16 1/16离散无记忆信源实例离散无记忆信源实例bitapapXHiii3)(log)()(912=bitxpxpXHiii5.1)(log)()(31=)(2)(2XHXH=信源熵为信源熵为 信源的序列熵信源的序列熵 平均符号熵为平均符号熵为bitXHH5.12/)()(22=X离散无记忆信源实例离散无记忆信源实例a0a1a2a09/112/110a11/83/41/8a202/97/9例例:已知离散有记忆信源中各符号的概率为已知离散有记忆信源中各符号的概率为:=41943611210aaaPX设发出的符号只与前一个符号
15、有关设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率这两个符号的概率关联性用条件概率p(aj|ai)表示表示,如表如表离散有记忆信源实例离散有记忆信源实例p(aj|ai)由由 p(ai,aj)=p(ai)p(aj|ai)计算得联合概率计算得联合概率p(aiaj)如表如表a0a1a2a01/41/180a11/181/31/18a201/187/36离散有记忆信源实例离散有记忆信源实例发二重符号序列的熵发二重符号序列的熵bitaapaapXXHijijij41.2),(log),()(202021=平均符号熵平均符号熵符号之间存在关联性符号之间存在关联性bitXXHH21.1)(
16、21)(212=X)X()(2HHX而信源而信源X的信息熵为的信息熵为bitapapXHiii543.1)(log)()(20=比较比较有记忆信源实例有记忆信源实例)X()XX(12HH条件熵条件熵bitaapaapXXHiijjij872.0)|(log)()|(202012=作业作业2.9 2.13 2.14 2.18（前三个不等式证明）（前三个不等式证明）本节小结本节小结（本节内容见课本（本节内容见课本21-25页）页）熵的性质熵的性质多符号离散信源的熵多符号离散信源的熵 非负性、对称性、确定性、扩展性、可加性、极值性、上凸性、唯一性、递增性非负性、对称性、确定性、扩展性、可加性、极值性
17、、上凸性、唯一性、递增性 非负性非负性、对称性、确定性、扩展性、对称性、确定性、扩展性、可加性可加性、极值性极值性、上凸性、唯一性、递增性、上凸性、唯一性、递增性 离散无记忆信源离散无记忆信源 离散有记忆信源离散有记忆信源()()LHH X=X()()LHH XX本节小结本节小结（本节内容见课本（本节内容见课本21-25页）页）熵的性质熵的性质多符号离散信源的熵多符号离散信源的熵 非负性、对称性、确定性、扩展性、可加性、极值性、上凸性、唯一性、递增性非负性、对称性、确定性、扩展性、可加性、极值性、上凸性、唯一性、递增性 非负性非负性、对称性、确定性、扩展性、对称性、确定性、扩展性、可加性可加性、极值性极值性、上凸性、唯一性、递增性、上凸性、唯一性、递增性 离散无记忆信源离散无记忆信源 离散有记忆信源离散有记忆信源()()LHH X=X()()LHH XX