《信息论基础优秀课件.ppt》由会员分享，可在线阅读，更多相关《信息论基础优秀课件.ppt（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论基础第1页，本讲稿共25页互信息量互信息量v设有两个随机变量设有两个随机变量X和和Y，X取值于信源发出的离散取值于信源发出的离散消息集合，消息集合，Y取值于信宿收到的离散消息集合。取值于信宿收到的离散消息集合。v信源的数学模型为：信源的数学模型为：信宿的数学模型为：信宿的数学模型为：第2页，本讲稿共25页互信息量互信息量第3页，本讲稿共25页互信息量互信息量可以推得：可以推得：第4页，本讲稿共25页互信息量的性质互信息量的性质(1)互信息有对称性，即互信息有对称性，即(2)当当X和和Y相互独立时，互信息为零。相互独立时，互信息为零。(3)互信息量可为正值，也可为负值。互信息量可为正值，也
2、可为负值。当后验概率小于先验概率时，互信息量为负值，说明当后验概率小于先验概率时，互信息量为负值，说明信宿收到信宿收到yj后，不仅没有使后，不仅没有使xi的不确定度减少，反而的不确定度减少，反而更大，这是通信受到干扰或错误所造成。更大，这是通信受到干扰或错误所造成。第5页，本讲稿共25页条件互信息量条件互信息量第6页，本讲稿共25页可以推的如下结果：可以推的如下结果：第7页，本讲稿共25页证明：证明：第8页，本讲稿共25页第9页，本讲稿共25页第10页，本讲稿共25页第11页，本讲稿共25页第12页，本讲稿共25页第13页，本讲稿共25页第14页，本讲稿共25页已知单符号离散信源的数学模型已知
3、单符号离散信源的数学模型：信源熵信源熵我们定义信源各个离散消息的自信息量的数学期望（即概率加权的统计我们定义信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的平均值）为信源的平均信息量，一般称为信源的信源熵，或信息熵，信源熵，或信息熵，香农熵，无条件熵。香农熵，无条件熵。简称为简称为熵，熵，记为：记为：信息熵，它的实质上是对无记忆信源平均不确定度的度量。信息熵，它的实质上是对无记忆信源平均不确定度的度量。第15页，本讲稿共25页注意：注意：信源熵信源熵和和平均自信息量平均自信息量两者在数值上是相等的，但含两者在数值上是相等的，但含义不同。信源熵表征
4、信源的平均不确定度，平均自信息量义不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源的不确定度所需要的信息的度量是消除信源的不确定度所需要的信息的度量 信源熵有三种物理含义：信源熵有三种物理含义：（1）信源熵）信源熵H(X)表示信源表示信源输出后输出后，每个离散消息所提供的，每个离散消息所提供的平均信息量。平均信息量。（2）信源熵）信源熵H(X)表示信源表示信源输出前输出前，信源的平均不确定度。，信源的平均不确定度。（3）信源熵）信源熵H(X)反映了变量反映了变量X的的随机性随机性。第16页，本讲稿共25页第17页，本讲稿共25页第18页，本讲稿共25页 当二元信源符号当二元信源符号0
5、和和1以等概率出现时，信源熵达到极大值，等于以等概率出现时，信源熵达到极大值，等于1bit信息量。信息量。第19页，本讲稿共25页条件熵条件熵 条件熵是在联合符号集合条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随上的条件自信息量的数学期望。在已知随机变量机变量Y取取yj的条件下，随机变量的条件下，随机变量X的条件熵的条件熵H(X/yj)的定义为：的定义为：上式是仅知某一个上式是仅知某一个Y的的yj取值时取值时X的条件熵，它随着的条件熵，它随着yj的变化而变化，仍的变化而变化，仍然是一个随机变量。已知所有的然是一个随机变量。已知所有的yj(j=1,2,m)时，时，X任然存在不确定任然存在不确定度。度。第20页，本讲稿共25页条件熵条件熵 在已知随机变量在已知随机变量Y的条件下，随机变量的条件下，随机变量X的条件熵的条件熵H(X/Y)的定义为：的定义为：相应地，在已知随机变量相应地，在已知随机变量X的条件下，随机变量的条件下，随机变量Y的条件熵的条件熵H(Y/X)的的定义为：定义为：第21页，本讲稿共25页第22页，本讲稿共25页Bit/符号符号第23页，本讲稿共25页联合熵联合熵第24页，本讲稿共25页本讲结束本讲结束第25页，本讲稿共25页