《北京邮电大学通信工程专业通信原理课程ppt课件第七章信源与信源编码.ppt》由会员分享，可在线阅读，更多相关《北京邮电大学通信工程专业通信原理课程ppt课件第七章信源与信源编码.ppt（20页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第七章 信源与信源编码彭涛“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.1 引言n信源编码：去掉信源输出中的冗余信息，提供有效性n内容n信源分类及其统计特性n信息熵，信源剩余度n互信息，各类熵与互信息的关系nHuffman编码“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.2 信源分类及其统计特性描述n信源分类n连续/模拟信源n离散/数字信源n重点研究
2、“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.2 信源分类及其统计特性描述n单消息（符号）离散信源n只输出一个离散符号n统计特性描述 111,11,2,1iiiniinniiiXxP xXxxxP xP xP xP xP xinP x用符号可能取值范围 和符号取值 的概率描述其中，0，且“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.2 信源分类及其统
3、计特性描述n离散消息（符号）序列信源n输出一个离散消息（符号）序列n统计特性描述 1111213211111,|,|,LLiLLLiLiLLLLininLLXXXXxxxxnXP xP xxxP xP xxP xxxP xxxaaaXP aP aP aP x 离散消息序列由 个符号组成，则消息序列可表示成 维随机矢量，其可能取值有种可能性，构成取值集合则离散消息序列的统计特性表示为取值集合及其取值概率“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.2 信源分类及其统计特性描
4、述n离散消息（符号）序列信源n离散无记忆序列信源：序列中前后符号相互统计独立n离散有记忆序列信源：序列中前后符号不是相互统计独立的n可用马尔可夫链表示 11,LlLllP xP xxxP x“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n信息的基本特征：不确定性。因此信息应该是概率P的函数n信息的两个特点n随概率P的递减性：概率越大，信息量越小n可加性：两个独立消息的总信息量应是两个消息的信息量的和n满足这两个条件的表示信息量的函数只有一种可能：对数函数
5、 P xI P x， I P x P yI P xI P y “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n单消息离散信源的信息度量n自信息量：出现某个消息时的信息量n理解：消息出现概率越小，信息量越大 1loglogiiiI P xP xP x “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n单消息离散信源的信
6、息度量n两个单消息离散信源X,Y的联合信息量|log|log|,log,iiiiiiiiiiiiiiiiiixyI P yxP yxyxI P xyP xyxyI P x yP x y 知道了消息 的情况下，消息 新带来的信息量：知道了消息 的情况下，消息 新带来的信息量：两个消息 ， 一共带来的信息量：“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n单消息离散信源的信息熵n前面定义的是一个具体消息的信息量，因为信源输出的消息有多种可能性，所以可以把信息
7、熵理解为这个输出消息（考虑多种可能性）的平均信息量n信息熵也可以理解为对信源的不确定性的平均度量n在各种可能性等概时，信源的信息熵最大（图7.3.1） 1loglogniiiiiH XE I P xEP xP xP x “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n信息量和熵的单位n对数以2为底时，单位为比特(bit)n对数以e为底时，单位为奈特(Nat)n对数以10为底时，单位为笛特(Det)n1bit=0.693Nat=0.301Det“雪亮工程是
8、以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n两个单消息离散信源的联合熵和条件熵1111,/,log,log,/|log|,log|log|nmijijijijijnmjijiijjiijijiX YH X YE I P x yEP x yP x yP x yH Y XE I P yxEP yxP x yP yxH X YE I P xyEP x 联合熵 两个符号带来的总信息熵 平均信息量条件熵 知道一个符号条件下，另一个符号带来的信息熵 平均信息量11,log|
9、nmjijijijyP x yP xy “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n联合熵和条件熵的一些性质 max1,|Shannon|,3,H X YH XH Y XH YH X YH XH X YH YH Y XX YX YH X YH XH Y理解为两符号先后到达的过程：两个符号的总信息熵一个符号的信息熵知道这个符号的条件下另一个符号带来的信息熵2不等式：；理解：一个消息没有任何前兆时带来的信息肯定大于等于有前兆带来的信息当独立时，等号成立；
10、否则都是大于号成立统计独立时，其联合熵取最大值 两符号信息熵之和“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n离散消息序列信源的信息熵、剩余度 11121111121111,|,0|,|11,lim,iLLLLLLLLLLXXXXH XH XXH XH XXH XXXH XXXH XXH XHXH XXHXH XXLL离散平稳有记忆信源输出的消息序列为1 其总信息熵为其中，每发一个符号具有不同的信息熵 依次递减 ：2 定义平均符号信息熵为：总信息熵除以
11、符号个数，“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.3 信息熵H(X)n离散消息序列信源的信息熵、剩余度 21020030logN4HXHXHXHXNHXHXH容易看出：其中：是具有 种取值可能的单消息信源的最大信息熵 等概时符号所含的信息熵依次递减，平均符号信息熵自然越来越小编码时如果有以下假设：消息序列的各符号统计独立；各取值等概出现则实际是没有对信源进行仔细的研究，利用其统计特性，认为其平均符号信息熵为。如实际中的文字编码这必然会产生大量冗余，这正是进行压缩编码
12、的前提信源效率：01XRHX ；信源剩余度：“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.4 互信息I(X;Y)n互信息的定义I(X;Y)及理解 ,|0;|log;|log;|iijijjjijiH X YH XH Y XH YH X YH XH X YH YH Y XH XH X YH YH Y XP xI X YH XH X YEE i x yP xyP yH YH Y XEE i yxP yxH XXH X YYX前面已知：；由此可见：互信息定义：互信息的理解：是
13、所含的信息；是已知 的条件下还能带来的信息量。那么两YXYX者之差自然就是由于知道 使得 减少的信息量，也即由 可以得到的关于 的信息量“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7.4 互信息I(X;Y)n各种信息熵的关系“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。Huffman编码n等长编码：对信源输出的各种出现概率的符号用等长的码字表示n没有充分利
14、用信源的统计特性n变长编码：根据信源输出符号出现概率不同选择码字，出现概率大的用短码，出现概率小的用长码n利用了信源的统计特性，其编码效率高于等长编码nHuffman编码：Huffman提出的一种变长编码n是单消息信源的最佳变长编码“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。Huffman编码n图解Huffman编码方法n1.写出消息概率n2.对最小的两概率编码（0/1）n3.对这两概率合并n4.重复3，直至结束n5.自顶而下到达某消息即得编码“雪亮工程是以区（县）、乡（镇
15、）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。Huffman编码n确定了对信源符号的编码规则，可进行编译码n这种特性得益于Huffman编码的非延长性和异前置性n非延长性：把任一许用码组延长（添加数字）都得不到许用码字；异前置性：将任一许用码组的最后一位或几位去掉都得不到许用码组。n这两种性质可以从Huffman编码的规则看出来1234567536243755362437510 11 000 001 010 0110 0111010 000 0110 11 001 000 0111 0100100000110110010000111010 xxxxxxxx x x x x x x xx x x x x x x x如果信源输出一列消息：可得到编码序列：同样，如果接收端收到序列：由编码规则，很容易将其译码出来：