《信息论-01.ppt》由会员分享，可在线阅读，更多相关《信息论-01.ppt（29页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息技术基础信息技术基础参考教材：信息论-基础理论与应用 傅祖芸编著 电子工业出版社 2001年出版 信息论与编码联系方式：娄朝刚Tel:83794756-838Email:第一章第一章 绪论绪论信源信源编码器编码器信道信道译码器译码器信宿信宿噪声源噪声源统计统计特性特性与信与信息测息测度度信信道道容容量量传输传输可靠可靠有效有效1.11.1信息论的研究内容与目的信息论的研究内容与目的目的：提高信息传输的可靠性、有效性、保密性目的：提高信息传输的可靠性、有效性、保密性和认证性和认证性1.2 1.2 信息的定义信息的定义信息信息是是事物运动状态或存在方式的不确定事物运动状态或存在方式的不确定性的
2、描述性的描述不仅仅是形式上的消息或情报不仅仅是形式上的消息或情报 ，而且包括，而且包括消息或情报所含的对事物状态或不确定消息或情报所含的对事物状态或不确定性的描述性的描述克劳德艾尔伍德香农（Claude Elwood Shannon）美国数学家美国数学家、信息论信息论的创始人。的创始人。19161916年年4 4月月3030日日出生于美国出生于美国密歇根州密歇根州的的PetoskeyPetoskey，20012001年年2 2月月2626日日去世，享年去世，享年8484岁。岁。19361936年年毕业于毕业于密歇根大学密歇根大学并获得数学和电子工程学士学位，并获得数学和电子工程学士学位，194
3、01940年年获得获得麻省理工学院麻省理工学院（MITMIT）数学博士学位和电子工程硕士学位。数学博士学位和电子工程硕士学位。19411941年年他加入他加入贝贝尔实验室尔实验室，工作到，工作到19721972年年。19561956年年他成为麻省理工学院（他成为麻省理工学院（MITMIT）客座教授，客座教授，并于并于19581958年年成为终生教授，成为终生教授，19781978年年成为名誉教授。成为名誉教授。香农于香农于19401940年年在在普林斯顿高级研究所普林斯顿高级研究所（The Institute for Advanced The Institute for Advanced St
4、udy at PrincetonStudy at Princeton）期间开始思考信息论与有效通信系统的问题。经过期间开始思考信息论与有效通信系统的问题。经过8 8年的努力，香农在年的努力，香农在19481948年年6 6月月和和1010月月在在贝尔系统技术杂志贝尔系统技术杂志（Bell System Bell System Technical JournalTechnical Journal）上连载发表了他影像深远的论文上连载发表了他影像深远的论文通讯的数学原理通讯的数学原理。19491949年年，香农又在该杂志上发表了另一著名论文，香农又在该杂志上发表了另一著名论文噪声下的通信噪声下的通信
5、。在这两。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了码等一系列基本技术问题。两篇论文成为了信息论信息论的奠基性著作。他的工作的奠基性著作。他的工作被称为二十世纪的伟大创造被称为二十世纪的伟大创造(intellectual achievements)(intellectual achievements)之一。之一。克劳德克劳德艾尔伍德
6、艾尔伍德香农（香农（Claude Elwood Claude Elwood ShannonShannon）第二章第二章 离散信源及其信息测度离散信源及其信息测度信源的数学模型及分类信源的数学模型及分类信源的自信息信源的自信息*信息熵及基本性质信息熵及基本性质*离散无记忆扩展信源离散无记忆扩展信源离散平稳信源离散平稳信源马尔科夫信源马尔科夫信源*信源的剩余度与自然语言的熵信源的剩余度与自然语言的熵2.12.1信源的数学模型及分类信源的数学模型及分类离散信源离散信源：信源输出的都是单个符号的消息，符：信源输出的都是单个符号的消息，符号集的取值是有限的或可数的号集的取值是有限的或可数的且满足且满足X
7、 X为样本空间为样本空间P(x)P(x)为每个符号出现的概率，称为先验概率为每个符号出现的概率，称为先验概率连续信源连续信源：信源输出的都是单个符号的消息，符：信源输出的都是单个符号的消息，符号集的取值是连续的或取值是实数集号集的取值是连续的或取值是实数集R R=(-=(-,)或或并满足并满足 或或平稳信源平稳信源与与非平稳信源非平稳信源：任意两个不同时刻随机矢量任意两个不同时刻随机矢量X X的各维概率分的各维概率分布布都相同都相同（不相同）（不相同）N N维随机矢量维随机矢量：由：由N N个符号组成的符号序列个符号组成的符号序列 N N次扩展信源次扩展信源：信源输出的消息是按一定：信源输出的
8、消息是按一定概率选取的由概率选取的由N N个符号组成的序列，即输出的个符号组成的序列，即输出的是随机矢量是随机矢量有记忆信源有记忆信源与与无记忆信源无记忆信源：发出的符号之：发出的符号之间间有有（没有）（没有）相互依赖关系相互依赖关系 离散信源连续信源平稳信源非平稳信源有记忆信源无记忆信源几种信源分类之间的关系几种信源分类之间的关系2.2 信源的自信息不确定性 I 是概率的函数一次测量获得的信息量为 如果事件 发生的概率为 ,事件 发生所含有的信息量，就称为自信息量，表示为自信息量的特点1.如果 ，则2.当 ，则3.当 ，则4.两个独立事件联合信息量等于他们分别的信息量之和自信息量的计算公式如
9、果事件 发生的概率为 ,事件发生的自信息量为例题 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”，答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？设事件A为第一个事件事件B为第二个事件事件A的概率 事件B的概率则从事件A中获得的信息量则从事件B中获得的信息量例题例题设有12枚同样的硬币，其中有一枚为假币，且只知道假币的重量与真币不同，但不知是轻还是重。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出那一枚是假币，试问至少必须称多少次？在12枚硬币中，某一枚为假币的概率为假币的重
10、量比真币的重量是重或轻的概率为找到假币获得的总的信息量为在天平上称一次能判断出三种情况：重、轻、相等。所以称一次获得的信息量为所以，至少必须称的次数为比特比特次2.3 信息熵信息熵定义为信源的平均信息量物理意义：1.信源输出的每个消息的平均信息量2.信源的平均不确定性3.输出消息的随机性8个灯泡的例子此信源的信息熵 （比特/符号）例题 甲乙两地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。某乙地的天气预报为：晴（占7/8）、小雨（占1/8）。求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、大雨、
11、小雨出现的概率都相等，为1/4。求这两极端情况所提供的平均信息量。又求乙地出现这两极端情况所提供的平均信息量。例题甲地天气预报提供的平均信息量（信息熵）（比特）乙地天气预报提供的平均信息量（信息熵）（比特）甲地极端情况1的信息熵 （比特）甲地极端情况2的信息熵 （比特）同样乙地的两极端情况的信息熵分别为 与信息熵的基本性质概率矢量：熵函数：基本性质 对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性、上凸性1)信息熵的对称性当变量 的顺序任意互换时，熵函数的值不变，即2)信息熵的确定性3)信息熵的非负性4)信息熵的扩展性5）可加性如果有两个随机变量X和Y，他们彼此是统计独立的，概
12、率分布分别为 与 则有H(XY)=H(X)+H(Y)即其中6）信息熵的强可加性 两个相互关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵7）信息熵的递增性 其中 熵函数 是概率矢量 的严格 型凸函数。即对任意概率矢量 和 及任意 则有8）信息熵的极值性（最大离散熵定理）9）信息熵的上凸性例题为了传输一个由字母A,B,C,D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A,01代表B,10代表C,11代表D。每个二元码脉冲宽度为5ms。（1）不同字母等概率出现时，计算传输的平均信息速率？（2）若每个字母出现的概率分别为pA=1/5,pB=1/4,pC=1/4,pD=3/10,试计算传输的平均信息速率？1）不同字母等概率出现时，平均每个字母含有的信息量为比特/符号一秒钟可以传输的字母个数为字母/秒传输的平均信息速率为比特/秒2）概率不同时，平均每个字母含有的信息量为比特/符号传输的平均信息速率为比特/秒