《信息论基础PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论基础PPT讲稿.ppt（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论基础第1页，共25页，编辑于2022年，星期四互信息量互信息量v设有两个随机变量设有两个随机变量X和和Y，X取值于信源发出的离散取值于信源发出的离散消息集合，消息集合，Y取值于信宿收到的离散消息集合。取值于信宿收到的离散消息集合。v信源的数学模型为：信源的数学模型为：信宿的数学模型为：信宿的数学模型为：第2页，共25页，编辑于2022年，星期四互信息量互信息量第3页，共25页，编辑于2022年，星期四互信息量互信息量可以推得：可以推得：第4页，共25页，编辑于2022年，星期四互信息量的性质互信息量的性质(1)互信息有对称性，即互信息有对称性，即(2)当当X和和Y相互独立时，互信息为零。
2、相互独立时，互信息为零。(3)互信息量可为正值，也可为负值。互信息量可为正值，也可为负值。当后验概率小于先验概率时，互信息量为负值，当后验概率小于先验概率时，互信息量为负值，说明信宿收到说明信宿收到yj后，不仅没有使后，不仅没有使xi的不确定度减少，反的不确定度减少，反而更大，这是通信受到干扰或错误所造成。而更大，这是通信受到干扰或错误所造成。第5页，共25页，编辑于2022年，星期四条件互信息量条件互信息量第6页，共25页，编辑于2022年，星期四可以推的如下结果：可以推的如下结果：第7页，共25页，编辑于2022年，星期四证明：证明：第8页，共25页，编辑于2022年，星期四第9页，共25
3、页，编辑于2022年，星期四第10页，共25页，编辑于2022年，星期四第11页，共25页，编辑于2022年，星期四第12页，共25页，编辑于2022年，星期四第13页，共25页，编辑于2022年，星期四第14页，共25页，编辑于2022年，星期四已知单符号离散信源的数学模型已知单符号离散信源的数学模型：信源熵信源熵我们定义信源各个离散消息的自信息量的数学期望（即概率加权的我们定义信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的统计平均值）为信源的平均信息量，一般称为信源的信源熵，或信信源熵，或信息熵，香农熵，无条件熵。息熵，香农熵，无条件熵。简
4、称为简称为熵，熵，记为：记为：信息熵，它的实质上是对无记忆信源平均不确定度的度量。信息熵，它的实质上是对无记忆信源平均不确定度的度量。第15页，共25页，编辑于2022年，星期四注意：注意：信源熵信源熵和和平均自信息量平均自信息量两者在数值上是相等的，但含两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是义不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源的不确定度所需要的信息的度量消除信源的不确定度所需要的信息的度量 信源熵有三种物理含义：信源熵有三种物理含义：（1）信源熵）信源熵H(X)表示信源表示信源输出后输出后，每个离散消息所提供的，每个离散消息所提
5、供的平均信息量。平均信息量。（2）信源熵）信源熵H(X)表示信源表示信源输出前输出前，信源的平均不确定度。，信源的平均不确定度。（3）信源熵）信源熵H(X)反映了变量反映了变量X的的随机性随机性。第16页，共25页，编辑于2022年，星期四第17页，共25页，编辑于2022年，星期四第18页，共25页，编辑于2022年，星期四 当二元信源符号当二元信源符号0和和1以等概率出现时，信源熵达到极大值，等以等概率出现时，信源熵达到极大值，等于于1bit信息量。信息量。第19页，共25页，编辑于2022年，星期四条件熵条件熵 条件熵是在联合符号集合条件熵是在联合符号集合XY上的条件自信息量的数学期望。
6、在已知上的条件自信息量的数学期望。在已知随机变量随机变量Y取取yj的条件下，随机变量的条件下，随机变量X的条件熵的条件熵H(X/yj)的定义为：的定义为：上式是仅知某一个上式是仅知某一个Y的的yj取值时取值时X的条件熵，它随着的条件熵，它随着yj的变化而变化，仍的变化而变化，仍然是一个随机变量。已知所有的然是一个随机变量。已知所有的yj(j=1,2,m)时，时，X任然存在不确定度。任然存在不确定度。第20页，共25页，编辑于2022年，星期四条件熵条件熵 在已知随机变量在已知随机变量Y的条件下，随机变量的条件下，随机变量X的条件的条件熵熵H(X/Y)的定义为：的定义为：相应地，在已知随机变量相应地，在已知随机变量X的条件下，随机变量的条件下，随机变量Y的条件熵的条件熵H(Y/X)的定义为：的定义为：第21页，共25页，编辑于2022年，星期四第22页，共25页，编辑于2022年，星期四Bit/符号符号第23页，共25页，编辑于2022年，星期四联合熵联合熵第24页，共25页，编辑于2022年，星期四本讲结束本讲结束第25页，共25页，编辑于2022年，星期四