《信源熵 第二章—3.ppt》由会员分享，可在线阅读，更多相关《信源熵 第二章—3.ppt（29页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信源熵 第二章3 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望2.2.1 2.2.1 单符号离散信源的数学模型单符号离散信源的数学模型单符号离散信源的数学模型单符号离散信源的数学模型2.2.2 2.2.2 自信息和信源熵自信息和信源熵自信息和信源熵自信息和信源熵 I I I I、信息量、信息量、信息量、信息量 1 1、自信息量自信息量自信息量自信息量；2 2、联合自信息量联合自信息量联合自信息量联合自信息量；3 3、条件自信息量条件自信息量条件自信息量条件自信息
2、量 IIII、互信息量和条件互信息量、互信息量和条件互信息量、互信息量和条件互信息量、互信息量和条件互信息量 1 1、互信息量；、互信息量；、互信息量；、互信息量；2 2、互信息的性质；、互信息的性质；、互信息的性质；、互信息的性质；3 3、条件互信息量、条件互信息量、条件互信息量、条件互信息量III、信源熵、信源熵1、信源熵；、信源熵；2、条件熵；、条件熵；3、联合熵、联合熵2.2.3 信源熵的基本性质和定理信源熵的基本性质和定理2.2.4 平均互信息量平均互信息量2.2.5 各种熵之间的关系各种熵之间的关系2.2 2.2 单单符号离散信源符号离散信源2回顾回顾单符号离散信源的互单符号离散信
3、源的互信息量和条件互信息量信息量和条件互信息量3互信息互信息设有两个随机事件设有两个随机事件X和和Y，X取值于取值于信源发出信源发出的离的离散消息集合，散消息集合，Y取值于取值于信宿收到信宿收到的离散符号集合的离散符号集合互信息定义：互信息定义：xi的后验概率与先验概率比值的的后验概率与先验概率比值的对数对数含义含义接收到某消息接收到某消息yj后获得的关于事后获得的关于事件件xi的信息量的信息量4互信息量互信息量条件互信息量条件互信息量联合互信息量联合互信息量互信息互信息52.2.1 单符号离散信源的数学模型单符号离散信源的数学模型2.2.2 2.2.2 自信息和信源熵自信息和信源熵自信息和信
4、源熵自信息和信源熵I I、信息量、信息量1、自信息量自信息量；2、联合自信息量联合自信息量；3、条件自信息量条件自信息量II、互信息量和条件互信息量、互信息量和条件互信息量1、互信息量；、互信息量；2、互信息的性质；、互信息的性质；3、条件互信息量、条件互信息量 IIIIII、信源熵、信源熵、信源熵、信源熵 1 1、信源熵；、信源熵；、信源熵；、信源熵；2 2、条件熵；、条件熵；、条件熵；、条件熵；3 3、联合熵、联合熵、联合熵、联合熵2.2.3 信源熵的基本性质和定理信源熵的基本性质和定理2.2.4 平均互信息量平均互信息量2.2.5 各种熵之间的关系各种熵之间的关系2.2 2.2 单单符号
5、离散信源符号离散信源6III、信源熵、信源熵7例例2-6:一个布袋内放一个布袋内放100个球，其中个球，其中80个球是红色的，个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？求平均摸取一次所能获得的自信息量？解解:依据题意，这一随机事件的概率空间为依据题意，这一随机事件的概率空间为 III-1.信源熵信源熵其中：其中：x1表示摸出的球为红球事件，表示摸出的球为红球事件，x2表示摸出的表示摸出的 球是白球事件。球是白球事件。8如果摸出的是红球，则获得的信息量是如果摸出的是红球，则获得的信息量是 I(x1)
6、=log2p(x1)=log20.8 bit如果摸出的是白球，则获得的信息量是如果摸出的是白球，则获得的信息量是 I(x2)=log2p(x2)=log20.2 bit如果每次摸出一个球后又放回袋中，再进行下一如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取次摸取。则如此摸取n次，红球出现的次数为次，红球出现的次数为np(x1)次，白球出现的次数为次，白球出现的次数为 np(x2)次。随机摸取次。随机摸取n次后总共所获得的信息量为次后总共所获得的信息量为 np(x1)I(x1)+np(x2)I(x2)9H(X):):平均信息量平均信息量,称为信源称为信源X的熵。的熵。信源熵、香农熵
7、信源熵、香农熵平均随机摸取一次所获得的信息量为平均随机摸取一次所获得的信息量为10离散信源熵离散信源熵H(X)(平均不确定度平均不确定度/平均信息量平均信息量/平均自信息量平均自信息量)定义：定义：信源的平均不确定度信源的平均不确定度H(X)为信源中各个符号为信源中各个符号不确定度的数学期望，即：不确定度的数学期望，即：单位为单位为比特比特/符号符号或比特或比特/符号序列符号序列 III-1.信源熵信源熵11其概率空间分别为：其概率空间分别为：得出：得出：H(Y)H(X)信源信源Y比信源比信源X的的平均不确定性平均不确定性要大。要大。例如：有两个信源例如：有两个信源12III-1.信源熵信源熵
8、信息熵信息熵：从从平均平均意义上来表征信源的意义上来表征信源的总体总体信息测度的信息测度的一个量。一个量。自信息自信息：指某一信源发出指某一信源发出某一消息某一消息所含有的信息量。所含有的信息量。所发出的所发出的消息不同消息不同,它们所含有的它们所含有的信息量信息量也也就就不同不同。自信息自信息I(xi)是是一个随机变量一个随机变量,不能用它来作不能用它来作为整个信源的信息测度。为整个信源的信息测度。13信源熵与信息量的比较信源熵与信息量的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值
9、确定值 一一般为随机量般为随机量 有限值有限值 可为无穷大可为无穷大 熵熵 信息量信息量14信源熵具有以下信源熵具有以下三种物理含意三种物理含意：信信息息熵熵H(X)表表示示信信源源输输出出后后，每每个个离离散散消消息所提供的息所提供的平均信息量平均信息量。信信息息熵熵H(X)表表示示信信源源输输出出前前，信信源源的的平平均均不确定性。不确定性。信息熵信息熵H(X)反映了变量反映了变量X的的随机性。随机性。III-1.信源熵信源熵区别：信源熵表征信源的平均不确定度；区别：信源熵表征信源的平均不确定度；平均自信息量是消除信源不确定度所需要的信息的量度。平均自信息量是消除信源不确定度所需要的信息的
10、量度。15甲地提供的平均信息量大于乙地甲地提供的平均信息量大于乙地 (1)甲地天气预报甲地天气预报乙地天气预报乙地天气预报 求：求：两地天气预报各自提供的平均信息量两地天气预报各自提供的平均信息量?例例2-7:16信源是一信源是一确定确定信源，所以不存在不确定性，信源，所以不存在不确定性，信息熵等于零。信息熵等于零。(2)甲、乙地天气预报为两极端情况：甲、乙地天气预报为两极端情况：limlog=017(3)甲、乙地天气预报为两极端情况：甲、乙地天气预报为两极端情况：这种情况下这种情况下,信源的不确定性最大信源的不确定性最大,信息熵最大。信息熵最大。甲地比乙地提供更多的信息量。因为甲地可能甲地比
11、乙地提供更多的信息量。因为甲地可能出现的消息数多于乙地可能出现的消息数。出现的消息数多于乙地可能出现的消息数。18定义：定义：在给定在给定yj条件下，条件下，xi的条件自信息量为的条件自信息量为I(xi|yj),X 集合的条件熵集合的条件熵H(X|yj)为为在给定在给定Y(即各个即各个yj)条件下，条件下，X集合的集合的条件熵条件熵H(X|Y)III-2.条件熵条件熵19条件熵条件熵是在联合符号集合是在联合符号集合(X,Y)上的条件自信息上的条件自信息量的联合概率加权统计平均值。量的联合概率加权统计平均值。条件熵条件熵H(X|Y)表示已知表示已知Y后，后，X的不确定度。的不确定度。相应地，相应
12、地，在给定在给定X(即各个即各个xi)条件下，条件下，Y集合的集合的条件熵条件熵H(Y|X)定义为定义为III-2.条件熵条件熵20定义：定义：联合符号集合联合符号集合(X,Y)上的每个元素对上的每个元素对(xi,yj)的自信的自信 息量的概率加权统计平均值。息量的概率加权统计平均值。-联合熵联合熵H(X,Y)表示表示X 和和Y同时发生同时发生的不确定度。的不确定度。III-3.联合熵联合熵21 H(XY)H(X)H(Y|X)H(XY)H(Y)H(X|Y)III-4.信源熵、条件熵、联合熵之信源熵、条件熵、联合熵之间的关系间的关系22一个二进信源一个二进信源X发出符号集发出符号集0,1，经过离
13、散无记，经过离散无记忆信道传输，信道输出用忆信道传输，信道输出用Y表示。由于信道中存表示。由于信道中存在噪声，接收端除收到在噪声，接收端除收到0和和1的符号外，还有不确的符号外，还有不确定符号定符号“2”已知已知X的先验概率的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4 p(y1|x1)=1/2,p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵信源熵例例2-8:23得联合概率：得联合概率：p(x0y0)=p(x0)p(y0|x0)=2/33/4=1/2 p(x0y1)=p(x0)p(y1
14、|x0)=0 p(x0y2)=p(x0)p(y2|x0)=2/31/4=1/6 p(x1y0)=p(x1)p(y0|x1)=0 p(x1y1)=p(x1)p(y1|x1)=1/31/2=1/6 p(x1y2)=p(x1)p(y2|x1)=1/31/2=1/6条件熵条件熵由由24联合熵联合熵H(XY)H(X)H(Y|X)=1.8bit/符号符号得得 p(y0)=p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2 p(y1)=p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6 p(y2)=p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3 由由25由由得得同理同理 p(x0|y1)=0；p(x1|y1)=1 p(x0|y2)=1/2；p(x1|y2)=1/226小小小小 结结结结第二章第二章3小 结回顾互信息量的定义、条件互信息量的定回顾互信息量的定义、条件互信息量的定义。义。根据单符号离散信源的数学模型，考虑信根据单符号离散信源的数学模型，考虑信源整体的随机变量，得出信源熵、条件熵、源整体的随机变量，得出信源熵、条件熵、联合熵。联合熵。对习题进行讲解，进一步地加深对信源熵对习题进行讲解，进一步地加深对信源熵的理解。的理解。28本次课结束！29