《信息论与编码总复习课件.ppt》由会员分享，可在线阅读，更多相关《信息论与编码总复习课件.ppt（78页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第1章绪论章绪论o重点掌握重点掌握n信息的特征信息的特征n信息、消息、信号的联系和区别信息、消息、信号的联系和区别n通信系统的物理模型通信系统的物理模型 oo一般了解一般了解n n信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程n n信息论的研究内容信息论的研究内容信息论的研究内容信息论的研究内容 拈嘎易葵蔬资秆云殃策惠钡腮脚乙屠缔昔痪军宝金筋蹬臂立樱或汀亡埂船信息论与编码总复习信息论与编码总复习1/11/20231信息的特征信息的特征o信息的基本概念在于它的信息的基本概念在于它的不确定性不确定性，任何已任何已确定的事物都不含信息。确定
2、的事物都不含信息。n n接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容n n信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识n n信息可以产生，也可以消失，同时信息可以被信息可以产生
3、，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被携带、贮存及处理携带、贮存及处理携带、贮存及处理携带、贮存及处理n n信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别赃秸危匆廓鹊汲与轩椒虫莲爵都剖亭值脏弥桑镊请捆朴爹辰黍辈傅否翼贮信息论与编码总复习信息论与编码总复习1/11/20232消息、信号和信息消息、信号和信息u信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体可描述，
4、同时它又是载荷信息的实体u消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式u信息是抽象的、非物理的信息是抽象的、非物理的哲学层表达哲学层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的数学层表达信息的数学层表达信息的数学层表达信息的数学层表达矩酣撼挤季贪递叹价盾缴京锋禄筷躲众另舷壶神桌遏弊捏欧士渗副杂停已信息论与编码总复习信息论与编码总复习1/11/20233通信系统模型简介通信系统
5、模型简介信道信道信道信道信源信源信源信源信源编码信源编码信源编码信源编码加密加密加密加密信道编码信道编码信道编码信道编码干扰源干扰源干扰源干扰源信宿信宿信宿信宿信源解码信源解码信源解码信源解码解密解密解密解密信道解码信道解码信道解码信道解码加密加密加密加密密钥密钥密钥密钥解密解密解密解密密钥密钥密钥密钥詹篙脑茶摇灭呸码尝宜妥粹董刀斗肺哪凯字舱客稽居巳令题闺事残闷匡芹信息论与编码总复习信息论与编码总复习1/11/20234第第2章信源及信源熵章信源及信源熵o重点掌握重点掌握n信源的分类和数学描述信源的分类和数学描述n自信息量、互信息自信息量、互信息n离散信源熵离散信源熵n离散序列信源的熵离散序列
6、信源的熵n熵的性质熵的性质oo一般了解一般了解一般了解一般了解n n连续信源熵连续信源熵连续信源熵连续信源熵n n冗余度冗余度冗余度冗余度丁芬铬娘痉滋痢占梭闲棍草淄芹清汾姿矾搜举俱尤疆玫冠羊孤悍赵陪剪管信息论与编码总复习信息论与编码总复习1/11/20235信源分类信源分类离散离散离散离散信源信源信源信源 离散离散离散离散无记忆无记忆无记忆无记忆信源信源信源信源离散离散离散离散有记忆有记忆有记忆有记忆信源信源信源信源 发出单个符号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序
7、列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源材名嘘潜谋翟陛拣澳奎泳拒跟府综煌路钧捎浪斑晶稿方贯跳暮捂醉务扑葛信息论与编码总复习信息论与编码总复习1/11/20236信源的数学描述信源的数学描述o单符号无记忆信源单符号无记忆信源n用一维离散型用一维离散型随机变量随机变量X X来描述这些信息的输出。来描述这些信息的输出。n数学模型数学模型oo符号序列无记忆信源符号序列无记忆信源符号序列无记忆信源符号序列无记忆信源n n很多实际信源
8、输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出这种用每次发出这种用每次发出这种用每次发出1 1组含组含组含组含2 2个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代表一个消息的信源叫做表一个消息的信源叫做表一个消息的信源叫做表一个消息的信源叫做发出符号序列的信源发出符号序列的信源发出符号序列的信源发出符号序列的信源。n n设信源输出的设信源输出的设信源输出的设信源输出的随机序列随机序列随机序列随机序列为为为为
9、X X，序列中的变量序列中的变量序列中的变量序列中的变量舆踌涣竿著值站劳析曰致植蜜株显诱卵吩膳棒枚肿加厢粱尺器右迢嫁咳松信息论与编码总复习信息论与编码总复习1/11/20237信源的数学描述信源的数学描述o有记忆信源的有记忆信源的联合概率联合概率表示比较复杂，需要表示比较复杂，需要引入引入条件概率条件概率来反映信源发出符号序列内各来反映信源发出符号序列内各个符号之间的记忆特征。个符号之间的记忆特征。逼蜕凋衙英袖滥淫押叫恋霸绒彦裁摩乓坯下浦铃斡幢蠢蹦蝎吵钻砍形鲍谎信息论与编码总复习信息论与编码总复习1/11/20238信源的数学描述信源的数学描述o一阶马尔可夫信源一阶马尔可夫信源oom阶马尔可夫
10、信源阶马尔可夫信源溺敷漾低涕蹭镣了叛酸排至配刨浓趴粮泵追猫沽烤岛况蚊盅磊肢勿浆涝哲信息论与编码总复习信息论与编码总复习1/11/20239自信息量自信息量o随机事件的自信息量定义为其概率对数的负值，随机事件的自信息量定义为其概率对数的负值，即即ooI I(x xi i)含义含义:n n当事件当事件当事件当事件x xi i发生以前，表示事件发生以前，表示事件发生以前，表示事件发生以前，表示事件x xi i发生的发生的发生的发生的不确定性不确定性不确定性不确定性n n当事件当事件当事件当事件x xi i发生以后，表示事件发生以后，表示事件发生以后，表示事件发生以后，表示事件x xi i所含有的所含
11、有的所含有的所含有的信息量信息量信息量信息量规怀哩潞摆麓总富桔驯担灶击钱阅梳黎撑妆锣脏渺惰传丧响嚏某兴砸镁据信息论与编码总复习信息论与编码总复习1/11/202310自信息量的特性自信息量的特性ooI(xi)是非负值是非负值o当当p(xi)=1时，时，I(xi)=0o当当p(xi)=0时，时，I(xi)=ooI(xi)是先验概率是先验概率p(xi)的单调递减函数，即的单调递减函数，即 当当p(x1)p(x2)时，时，I(x1)I(x2)o两个独立事件的两个独立事件的联合信息量联合信息量等于它们分别等于它们分别的信息量之和。即：统计独立信源的信息的信息量之和。即：统计独立信源的信息量等于它们分别
12、的信息量之和。量等于它们分别的信息量之和。砧戏穷划栋核奴恃衔捏球综呼朴基坟捡遗罪彭屋捎忙抒吓汀贤波维纵鸿掖信息论与编码总复习信息论与编码总复习1/11/202311联合自信息量联合自信息量o两个消息两个消息x xi，y yj同时出现的联合自信息量同时出现的联合自信息量 o当当x xi,y yj相互独立时，有相互独立时，有p p(x xi y yj)=p p(x xi)p p(y yj)，那，那么就有么就有 I I(x xi y yj)=I I(x xi)+I I(y yj)。oox xi y yj所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自信息量。信息量。轴掂夯
13、坯浙殆杆凡柜熙覆橡祥瑞羽啤鲜齐正料秧博粳铱针屡包祖踊酉殊蔼信息论与编码总复习信息论与编码总复习1/11/202312条件自信息量条件自信息量o在事件在事件y yj出现的条件下，随机事件出现的条件下，随机事件x xi发生的条件概发生的条件概率为率为p p(x xi/y yj)，则它的条件自信息量定义为条件概，则它的条件自信息量定义为条件概率对数的负值：率对数的负值：n n在给定在给定在给定在给定y yj j条件下，随机事件条件下，随机事件条件下，随机事件条件下，随机事件x xi i所包含的不确定度在数值上所包含的不确定度在数值上所包含的不确定度在数值上所包含的不确定度在数值上与条件自信息量相同，
14、但两者含义不同。与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者含义不同。o联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量东堕优焊拦睬碘绵约元堪绊玛愚雏旬消崭蜘猎懦足宰食系敲霄她戳吉觅端信息论与编码总复习信息论与编码总复习1/11/202313信源熵信源熵o离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学期望期望o信源熵的物理含义信源熵的物理含义n n表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性n n表示
15、信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息量量量量丽缺胃添衣瞥犯芋碘音刻倔胡帝卫缠币肌治猎蔫氖叫旭潦蛛秃雏奇造川币信息论与编码总复习信息论与编码总复习1/11/202314条件熵条件熵o在给定在给定y yj条件下，条件下，x xi的条件自信息量为的条件自信息量为I I(x xi/y yj)，X X集合集合的条件熵的条件熵o在给定在给定Y Y（即各个（即各个y yj）条件下，）条件下，X X集合的条件熵集合的条件熵o在给定在给定X X（即各个（即各个x xi）条件下，）条件下，Y Y集合的条
16、件熵集合的条件熵oo条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合XYXY上的条件自信息量的联合上的条件自信息量的联合上的条件自信息量的联合上的条件自信息量的联合概率加权统计平均值。概率加权统计平均值。概率加权统计平均值。概率加权统计平均值。oo条件熵条件熵条件熵条件熵HH(X X/Y Y)表示已知表示已知表示已知表示已知Y Y后，后，后，后，X X的不确定度。的不确定度。的不确定度。的不确定度。惠掇蒸赞嚎沮主盆岛防竟烽侣碌栖辽听点蒋照目湃犹败腐曙愉钉僚分零驰信息论与编码总复习信息论与编码总复习1/11/202315联合熵联合熵o联合熵是联合符号集合联
17、合熵是联合符号集合 XY上的每个元素对上的每个元素对xiyj的自信息量的概率加权统计平均值的自信息量的概率加权统计平均值o联合熵联合熵H(XY)表示表示X和和Y同时发生的不确定度。同时发生的不确定度。o联合熵、信源熵和条件熵之间的关系联合熵、信源熵和条件熵之间的关系 御狱项俐杰肖烷隐筋灼渍拧歇蝴致错滚批皮遗瓦煤原监拇岗踢始栗多扑炳信息论与编码总复习信息论与编码总复习1/11/202316互信息互信息o定义：定义：x xi的后验概率与先验概率比值的对数的后验概率与先验概率比值的对数n n事件事件事件事件x xi i是否发生具有不确定性，用是否发生具有不确定性，用是否发生具有不确定性，用是否发生具
18、有不确定性，用I I(x xi i)度量。度量。度量。度量。n n接收到符号接收到符号接收到符号接收到符号y yj j后，事件后，事件后，事件后，事件x xi i是否发生仍保留有一定是否发生仍保留有一定是否发生仍保留有一定是否发生仍保留有一定的不确定性，用的不确定性，用的不确定性，用的不确定性，用I I(x xi i /y/yj j)度量。度量。度量。度量。n n接收到某消息接收到某消息接收到某消息接收到某消息y yj j后获得的关于事件后获得的关于事件后获得的关于事件后获得的关于事件x xi i的信息量，的信息量，的信息量，的信息量，用用用用I I(x xi i;y yj j)表示。表示。表
19、示。表示。宁许棍澜仲司垂赤献络笛粗憾培冶鸭上析较霖霄瑟卓樊邢育缀隐佣脾剧领信息论与编码总复习信息论与编码总复习1/11/202317平均互信息平均互信息o互信息量互信息量 I(xi;yj)在在X集合上的统计平均值集合上的统计平均值为为 ooI(X;yj)在在Y集合上的概率加权统计平均值集合上的概率加权统计平均值 平均互信息（量）平均互信息（量）吓速牟郊恶值誉趋逼夷火焕砷矮涨袱妙假守哨顿循驾歹奢作应霹沉宙范剧信息论与编码总复习信息论与编码总复习1/11/202318平均互信息量的物理意义平均互信息量的物理意义ooHH(X/YX/Y)：信道：信道疑义度，损失熵疑义度，损失熵n信源符号通过有噪信道传
20、输后引起的信息量损失。信源符号通过有噪信道传输后引起的信息量损失。n信源信源X X的熵等于接收到的信息量加损失掉的信息量。的熵等于接收到的信息量加损失掉的信息量。ooHH(Y/XY/X)：噪声熵，散布度噪声熵，散布度噪声熵，散布度噪声熵，散布度n n它反映了信道中噪声源的不确定性。它反映了信道中噪声源的不确定性。它反映了信道中噪声源的不确定性。它反映了信道中噪声源的不确定性。n n输出端信源输出端信源输出端信源输出端信源Y Y的熵的熵的熵的熵HH(Y Y)等于接收到关于等于接收到关于等于接收到关于等于接收到关于X X的信息量的信息量的信息量的信息量I I(X X;Y Y)加上加上加上加上HH(
21、Y/XY/X)，这完全是由信道中噪声引起的。，这完全是由信道中噪声引起的。，这完全是由信道中噪声引起的。，这完全是由信道中噪声引起的。渗挺她核喂羔隘啊诗录练渡寂木撒柳龚门驭高坑岗佯赠禁厂围计暇渭铭疡信息论与编码总复习信息论与编码总复习1/11/202319熵的性质熵的性质o非负性非负性n nHH(X X)HH(x x1,x x2,x xn)0等号在等号在p p(x xi)=1时成立时成立oo对称性对称性对称性对称性n nHH(x x1 1,x x2 2,x xn n)HH(x x2 2,x x1 1,x xn n)n n熵函数只与随机变量的总体结构有关熵函数只与随机变量的总体结构有关熵函数只与
22、随机变量的总体结构有关熵函数只与随机变量的总体结构有关oo确定性确定性确定性确定性n nHH(0,1)(0,1)HH(1,0,0,0)(1,0,0,0)0 0n n只要信源符号集中有一个符号的出现概率为只要信源符号集中有一个符号的出现概率为只要信源符号集中有一个符号的出现概率为只要信源符号集中有一个符号的出现概率为1 1，信源，信源，信源，信源熵就等于零熵就等于零熵就等于零熵就等于零鸭柳售促屿贼坝撬轮综新栋惟蓉鉴飞堂显魁烩椅符渡糠碳仰职蔽椿吨把畸信息论与编码总复习信息论与编码总复习1/11/202320熵的性质熵的性质o香农辅助定理香农辅助定理n n对于对于对于对于P P(p p1 1,p p
23、2 2,p pn n)和和和和Q Q(q q1 1,q q2 2,q qn n)n n对任意概率分布对任意概率分布对任意概率分布对任意概率分布p pi i，它对其他概率分布，它对其他概率分布，它对其他概率分布，它对其他概率分布q qi i的自信息量的自信息量的自信息量的自信息量取数学期望时，必不小于取数学期望时，必不小于取数学期望时，必不小于取数学期望时，必不小于p pi i本身的熵本身的熵本身的熵本身的熵oo最大熵定理最大熵定理最大熵定理最大熵定理n n离散无记忆信源输出离散无记忆信源输出离散无记忆信源输出离散无记忆信源输出MM个不同的信息符号，当且仅个不同的信息符号，当且仅个不同的信息符号
24、，当且仅个不同的信息符号，当且仅当各个符号出现概率时（即等概率分布），熵最大当各个符号出现概率时（即等概率分布），熵最大当各个符号出现概率时（即等概率分布），熵最大当各个符号出现概率时（即等概率分布），熵最大韧忿韦餐换侠冻袄棠尧春掠郊连秀寺范结瑰绵沽舍锯槛伙臆苫伊拜继腮首信息论与编码总复习信息论与编码总复习1/11/202321互信息量与熵互信息量与熵H(X/Y)H(X)H(Y)H(XY)H(Y/X)I(X;Y)鞘爹丫除圆翔申遁淄腰姚眺俊速愧布衰厨颇颤腕吞末硕眠毛瘁驮偷起上启信息论与编码总复习信息论与编码总复习1/11/202322离散无记忆信源的序列熵离散无记忆信源的序列熵oo设信源输出的随
25、机序列为设信源输出的随机序列为设信源输出的随机序列为设信源输出的随机序列为X X =(=(X1X2XlXL)n n序列中的变量序列中的变量序列中的变量序列中的变量X Xl l x x1 1,x x2 2,x xn n n n信源的序列熵可以表示为信源的序列熵可以表示为信源的序列熵可以表示为信源的序列熵可以表示为n n信源序列中，平均每个符号的熵为信源序列中，平均每个符号的熵为信源序列中，平均每个符号的熵为信源序列中，平均每个符号的熵为n n离散无记忆信源平均每个符号的符号熵离散无记忆信源平均每个符号的符号熵离散无记忆信源平均每个符号的符号熵离散无记忆信源平均每个符号的符号熵HHL L(X X)
26、等于等于等于等于单个符号信源的符号熵单个符号信源的符号熵单个符号信源的符号熵单个符号信源的符号熵HH(X X)无记忆无记忆无记忆无记忆无记忆、平稳无记忆、平稳无记忆、平稳无记忆、平稳次藏谭弛硫裹礁阑妓寸批服加防卸礁硷剑蔼欧乞朔络肝谢疟宽景户喊辫谐信息论与编码总复习信息论与编码总复习1/11/202323离散有记忆信源的序列熵离散有记忆信源的序列熵o若信源输出一个若信源输出一个L长序列，则信源的序列熵为长序列，则信源的序列熵为o平均每个符号的熵为平均每个符号的熵为o信源无记忆时信源无记忆时o满足平稳时满足平稳时劈饰耘撼阵愤胡胖尖囊睡有帽旺衙缝参掏冲侨袄合舍恿赔蚜够哪疮版示菊信息论与编码总复习信息
27、论与编码总复习1/11/202324离散平稳信源离散平稳信源o结论结论1：H(XL/XL-1)是是L的单调非增函数的单调非增函数o结论结论2：HL(X)H(XL/XL-1)o结论结论3：HL(X)是是L的单调非增函数的单调非增函数o结论结论4：当：当L时，时，H(X)称为极限熵称为极限熵小桨嚎形占补划杰铃侠盼逛胎餐脆对亦堵秆冬岸矽倘缠讹者补沉钨麓毫净信息论与编码总复习信息论与编码总复习1/11/202325马尔可夫信源马尔可夫信源oo若一个信源满足下面两个条件，则称为若一个信源满足下面两个条件，则称为若一个信源满足下面两个条件，则称为若一个信源满足下面两个条件，则称为马尔可夫信源马尔可夫信源马
28、尔可夫信源马尔可夫信源：n n某一时刻信源输出符号的概率只与当前所处的状态有关，某一时刻信源输出符号的概率只与当前所处的状态有关，某一时刻信源输出符号的概率只与当前所处的状态有关，某一时刻信源输出符号的概率只与当前所处的状态有关，而与以前的状态无关；而与以前的状态无关；而与以前的状态无关；而与以前的状态无关；n n信源的下一个状态由当前状态和下一刻的输出符号唯一信源的下一个状态由当前状态和下一刻的输出符号唯一信源的下一个状态由当前状态和下一刻的输出符号唯一信源的下一个状态由当前状态和下一刻的输出符号唯一确定。确定。确定。确定。oo符号条件概率符号条件概率符号条件概率符号条件概率n n信源在某一
29、时刻出现符号信源在某一时刻出现符号信源在某一时刻出现符号信源在某一时刻出现符号x xj j的概率与信源此时所处的状态的概率与信源此时所处的状态的概率与信源此时所处的状态的概率与信源此时所处的状态s si i有关，用条件概率表示为有关，用条件概率表示为有关，用条件概率表示为有关，用条件概率表示为p p(x xj j/s si i)。oo状态转移概率状态转移概率状态转移概率状态转移概率n n当信源符号当信源符号当信源符号当信源符号x xj j出现后，信源所处的状态将发生变化，并转出现后，信源所处的状态将发生变化，并转出现后，信源所处的状态将发生变化，并转出现后，信源所处的状态将发生变化，并转入一个
30、新的状态。这种状态的转移可用状态转移概率入一个新的状态。这种状态的转移可用状态转移概率入一个新的状态。这种状态的转移可用状态转移概率入一个新的状态。这种状态的转移可用状态转移概率p p(s sj j/s si i)表示。表示。表示。表示。四入恭秘传牧阅屿慌拉棚脐掷绝惋毋肘懈唱刺阜腑习洛怀潞臃瘪许絮嗽一信息论与编码总复习信息论与编码总复习1/11/202326状态转移图（香农线图）状态转移图（香农线图）oo齐次马尔可夫链可以用齐次马尔可夫链可以用其状态转移图（香农线其状态转移图（香农线图）表示图）表示oo每个圆圈代表一种每个圆圈代表一种状态状态 oo状态之间的有向线代表状态之间的有向线代表从某一
31、状态向另一状态从某一状态向另一状态的的转移转移oo有向线一侧的符号和数有向线一侧的符号和数字分别代表发出的字分别代表发出的符号符号和和条件概率条件概率s so os s1 1x x2 2/0.6/0.6x x1 1/0.3/0.3x x1 1/0.4/0.4s s2 2x x2 2/0.2/0.2x x1 1/0.8/0.8x x2 2/0.7/0.7p p(x x1 1/s s2 2)=0.8)=0.8p p(s s2 2/s s2 2)=0.8)=0.8倦看擒捅机曰仁绊肄室课墟竖凉怀梧均淆瞎缔录柞肩鼓小堡永则宗欺诽萤信息论与编码总复习信息论与编码总复习1/11/202327稳定的马尔可夫信
32、源稳定的马尔可夫信源o极限概率极限概率WWjn n一个不可约的、非周期的、状态有限的马尔可夫链，其一个不可约的、非周期的、状态有限的马尔可夫链，其一个不可约的、非周期的、状态有限的马尔可夫链，其一个不可约的、非周期的、状态有限的马尔可夫链，其k k步转移概率步转移概率步转移概率步转移概率p pij ij(k k)在在在在k k时趋于一个和初始状态无关的时趋于一个和初始状态无关的时趋于一个和初始状态无关的时趋于一个和初始状态无关的概率，即概率，即概率，即概率，即n n不论起始状态如何，这种马氏链都可以最后达到稳定，不论起始状态如何，这种马氏链都可以最后达到稳定，不论起始状态如何，这种马氏链都可以
33、最后达到稳定，不论起始状态如何，这种马氏链都可以最后达到稳定，即所有变量即所有变量即所有变量即所有变量X Xk k的概率分布均不变。可以用的概率分布均不变。可以用的概率分布均不变。可以用的概率分布均不变。可以用P P这一矩阵充这一矩阵充这一矩阵充这一矩阵充分描述稳定的马氏链。分描述稳定的马氏链。分描述稳定的马氏链。分描述稳定的马氏链。n n平稳分布平稳分布平稳分布平稳分布WWj j可用下列方程组求得可用下列方程组求得可用下列方程组求得可用下列方程组求得贩脏剩辟摹博抿丽苔潞舵韦宾篆萄隆旷唯颜涕浊捧侯粳馆原摆允买疏濒育信息论与编码总复习信息论与编码总复习1/11/202328马尔可夫信源的熵马尔可
34、夫信源的熵ooMM阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵o齐次、遍历的马尔可夫信源的熵齐次、遍历的马尔可夫信源的熵处于状态处于状态处于状态处于状态s si i时符号时符号时符号时符号的平均不确定性的平均不确定性的平均不确定性的平均不确定性纽速蠢帛距绘敷纬朋驭瓤祖捉塞扎酮旁镜甸磅氰侠讲关此汞纂康馋汝酞蛊信息论与编码总复习信息论与编码总复习1/11/202329第第3章信道与信道容量章信道与信道容量o重点掌握重点掌握n有干扰无记忆信道的数学描述有干扰无记忆信道的数学描述n信道容量的定义信道容量的定义n对称和准对称对称和准对称DMC信道的信道容量计算信道的信道容量计算n香农公式香农公式oo一般
35、了解一般了解n n信道的各种分类信道的各种分类信道的各种分类信道的各种分类n n无干扰离散信道的信道容量无干扰离散信道的信道容量无干扰离散信道的信道容量无干扰离散信道的信道容量n n信源和信道的匹配信源和信道的匹配信源和信道的匹配信源和信道的匹配笛口坐柳妻骄图缀汁换托泌琼琴产肄彝写碧詹愧称躁忍缺弓波栖伴氨匡盂信息论与编码总复习信息论与编码总复习1/11/202330信道的分类信道的分类o按信道的用户数量来划分按信道的用户数量来划分单用户信道、多用户信道单用户信道、多用户信道oo按输入按输入按输入按输入/输出之间的关系来划分输出之间的关系来划分输出之间的关系来划分输出之间的关系来划分无反馈信道、
36、反馈信道无反馈信道、反馈信道无反馈信道、反馈信道无反馈信道、反馈信道oo按信道参数与时间的关系来划分按信道参数与时间的关系来划分按信道参数与时间的关系来划分按信道参数与时间的关系来划分固定参数信道、时变参数信道固定参数信道、时变参数信道固定参数信道、时变参数信道固定参数信道、时变参数信道oo按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分随机差错信道、突发差错信道随机差错信道、突发差错信道随机差错信道、突发差错信道随机差错信道、突发差错信道oo按输入按输入按输入按输入/输出信号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分输出信号在幅度
37、和时间上的取值划分输出信号在幅度和时间上的取值划分离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道相凉秒貉帆毅扩隧腑罪替汝圆泛灵凶低确铰组藻争革给泊指选驭侈郊三踩信息论与编码总复习信息论与编码总复习1/11/202331信道模型信道模型o根据干扰和记忆性分类根据干扰和记忆性分类n无干扰（无噪声）信道无干扰（无噪声）信道n有干扰无记忆信道有干扰无记忆信道n有干扰有记忆信道有干扰有记忆信道oo信道模型信道模型信道模型信道模型n n信道的输入信道的输入信道的输入信道
38、的输入X Xi i=a a1 1,a a2 2,a an n n n信道的输出信道的输出信道的输出信道的输出Y Yj j=b b1 1,b b2 2,b bmm n n信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵p p(Y Y/X X)信信信信 道道道道输入输入输入输入X X输出输出输出输出Y Yp p(Y Y/X X)技蛆盟灭当筑线迁止范显铜普多搬根室肾夯鳞同崔宾喝掣搅橡如扑亏混刑信息论与编码总复习信息论与编码总复习1/11/202332信道模型信道模型1.二进制离散信道二进制离散信道：BSC信道信道n n输入符号输入符号输入符号输入符号X X取值取值取值取值0,10,1
39、n n输出符号输出符号输出符号输出符号Y Y取值取值取值取值0,10,12.2.离散无记忆信道离散无记忆信道离散无记忆信道离散无记忆信道：DMCDMC信道信道信道信道oo输入符号集输入符号集输入符号集输入符号集X X=a a1 1,a a2 2,a an n oo输出符号集输出符号集输出符号集输出符号集Y Y=b b1 1,b b2 2,b bmm 症焦班嗅兄绵哩侈荤情抉俄贼卷匝进驾摔脾科凛诺晋纪句捎甫传乙江肌霞信息论与编码总复习信息论与编码总复习1/11/202333信道模型信道模型3.离散输入、连续输出信道离散输入、连续输出信道oo输入符号集：输入符号集：输入符号集：输入符号集：X X=a
40、 a1 1,a a2 2,a an n oo输出未经量化，即输出未经量化，即输出未经量化，即输出未经量化，即Y Y=-,=-,oo输出特性由离散输入输出特性由离散输入输出特性由离散输入输出特性由离散输入X X、连续输出、连续输出、连续输出、连续输出Y Y以及一组条以及一组条以及一组条以及一组条件概率密度函数件概率密度函数件概率密度函数件概率密度函数 p p(y y/X X=a ai i)来决定。来决定。来决定。来决定。4.4.波形信道波形信道波形信道波形信道oo输入是模拟波形，输出也是模拟波形输入是模拟波形，输出也是模拟波形输入是模拟波形，输出也是模拟波形输入是模拟波形，输出也是模拟波形oo连
41、续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道ooy y(t t)x x(t t)n n(t t)n n(t t)代表加性噪声代表加性噪声代表加性噪声代表加性噪声怪眷骏郴静戒践蔓囚敛屿谈抛伐屎橙腋祖切晨陕发棠削材派瀑朗熏喉窑醛信息论与编码总复习信息论与编码总复习1/11/202334信道容量的定义信道容量的定义o信道传输率信道传输率R R I I(X X;Y Y)bit/符号符号n信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量oo信息传输速率信息传输速率信息传输速率信息传输速率R Rt t I I(X X
42、;Y Y)/)/t t bit/bit/s sn n信道中单位时间传送的信息量信道中单位时间传送的信息量信道中单位时间传送的信息量信道中单位时间传送的信息量oo信道容量信道容量信道容量信道容量n n给定转移概率矩阵给定转移概率矩阵给定转移概率矩阵给定转移概率矩阵P P后，平均互信息后，平均互信息后，平均互信息后，平均互信息I I(X X;Y Y)是概是概是概是概率矢量率矢量率矢量率矢量P Px x的上凸函数。的上凸函数。的上凸函数。的上凸函数。n nI I(P Px x)的极大值就是的极大值就是的极大值就是的极大值就是信道容量信道容量信道容量信道容量。戴舀粥卡鞋庞肉虐瞎缀娃腋延账构沦桐噪匿峙咨
43、仁豺挟仟辟部舅槽股网言信息论与编码总复习信息论与编码总复习1/11/202335离散单符号信道离散单符号信道离散单个离散单个离散单个离散单个符号信道符号信道符号信道符号信道无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道有扰离散信道有扰离散信道有扰离散信道有扰离散信道对称对称对称对称DMCDMC信道信道信道信道准对称准对称准对称准对称DMCDMC信道信道信道信道一般一般一般一般DMCDMC信道信道信道信道无噪无损信道无噪无损信道无噪无损信道无噪无损信道无噪有损信道无噪有损信道无噪有损信道无噪有损信道有噪无损信道有噪无损信道有噪无损信道有噪无损信道戍弦湘骚钾己鼻伏屉噎柜湃吞汪靡搔权檄辰抉
44、满煌癌擂梁贴层检棵峡拌请信息论与编码总复习信息论与编码总复习1/11/202336无干扰离散信道无干扰离散信道o无噪无损信道无噪无损信道n nC=max I(X;Y)=log noo无噪有损信道无噪有损信道n nC=max I(X;Y)=max H(Y)oo有噪无损信道有噪无损信道n nC=max I(X;Y)=max H(X)崭竖丧忧痢撕僻垒报链秀遵吸豌模砚拘盆镣逼烤魔堡箍之圾寄椎鸿忿急忧信息论与编码总复习信息论与编码总复习1/11/202337DMC信道的容量信道的容量1.对称对称DMC信道的性质信道的性质对称信道的条件熵对称信道的条件熵对称信道的条件熵对称信道的条件熵HH(Y Y/X X
45、)与信道输入符号的概与信道输入符号的概与信道输入符号的概与信道输入符号的概率分布无关。率分布无关。率分布无关。率分布无关。如果信道输入符号等概率分布，则信道输出符如果信道输入符号等概率分布，则信道输出符如果信道输入符号等概率分布，则信道输出符如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号等概号也等概率分布；反之，若信道输出符号等概号也等概率分布；反之，若信道输出符号等概号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。率分布时，信道输入符号也是等概率分布。率分布时，信道输入符号也是等概率分布。率分布时，信道输入符号也是等概率分布。当信道
46、输入符号等概率分布时，对称当信道输入符号等概率分布时，对称当信道输入符号等概率分布时，对称当信道输入符号等概率分布时，对称DMCDMC信道信道信道信道达到其信道容量。达到其信道容量。达到其信道容量。达到其信道容量。洱鸳泡钢饱严各忆腿兔枉军募冕荒吵廓豫幢峡珍雍畔甭油怎劣史腮品笛秽信息论与编码总复习信息论与编码总复习1/11/202338DMC信道的容量信道的容量2.准对称准对称DMC信道的容量信道的容量oo如果转移概率矩阵如果转移概率矩阵如果转移概率矩阵如果转移概率矩阵P P的输入对称而输出不对称，的输入对称而输出不对称，的输入对称而输出不对称，的输入对称而输出不对称，则称该信道是则称该信道是则
47、称该信道是则称该信道是准对称准对称准对称准对称DMCDMC信道信道信道信道。pp当信道输入符号等概率分布时，准对称当信道输入符号等概率分布时，准对称当信道输入符号等概率分布时，准对称当信道输入符号等概率分布时，准对称DMCDMC信信信信道达到其信道容量道达到其信道容量道达到其信道容量道达到其信道容量C C。pp矩阵分解法：将转移概率矩阵划分成若干个互矩阵分解法：将转移概率矩阵划分成若干个互矩阵分解法：将转移概率矩阵划分成若干个互矩阵分解法：将转移概率矩阵划分成若干个互不相交的对称子矩阵。不相交的对称子矩阵。不相交的对称子矩阵。不相交的对称子矩阵。周唱邦钦缮愧豹立寒响虏误吝敛捎飞链槛厉涧用骸崔秆
48、挠座拖搁页肆壳摘信息论与编码总复习信息论与编码总复习1/11/202339DMC信道的容量信道的容量3.一般一般DMC信道的容量信道的容量oo以输入符号概率矢量以输入符号概率矢量以输入符号概率矢量以输入符号概率矢量P Px x为自变量的函数为自变量的函数为自变量的函数为自变量的函数I I(P Px x)的极大值，即信道容量。的极大值，即信道容量。的极大值，即信道容量。的极大值，即信道容量。oo为了使为了使为了使为了使I I(X X;Y Y)最大化，即求取信道容量的值，最大化，即求取信道容量的值，最大化，即求取信道容量的值，最大化，即求取信道容量的值，输入概率集输入概率集输入概率集输入概率集 p
49、 p(x xi i)必须满足的充分必要条件必须满足的充分必要条件必须满足的充分必要条件必须满足的充分必要条件是：是：是：是：ooI I(x xi i;Y Y)C C，对于所有满足，对于所有满足，对于所有满足，对于所有满足p p(x xi i)0 0条件的条件的条件的条件的i iooI I(x xi i;Y Y)C C，对于所有满足，对于所有满足，对于所有满足，对于所有满足p p(x xi i)0 0条件的条件的条件的条件的i i每一个概率不为每一个概率不为每一个概率不为每一个概率不为0 0 0 0的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息的
50、输入符号对输出提供相同的互信息湖穷涎攘绣渊臻侮瞒拴票所籽驳埂送怜同材威哲贰骗雪刘姨惋浓惠逊屡踌信息论与编码总复习信息论与编码总复习1/11/202340离散序列信道及其容量离散序列信道及其容量信信信信 道道道道输入输入输入输入X X输出输出输出输出Y Yp p(Y Y/X X)X X=(=(X X1 1,X X2 2,X XL L)X Xl l=a a1 1,a a2 2,a an n Y Y=(=(Y Y1 1,Y Y2 2,Y YL L)Y Yl l=b b1 1,b b2 2,b bmm 独立、无记忆、平稳独立、无记忆、平稳独立、无记忆、平稳独立、无记忆、平稳离散序列信道的信道容量为：离