《信息论第六讲.ppt》由会员分享，可在线阅读，更多相关《信息论第六讲.ppt（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2.6 凸函数与互信息的凸性凸函数与互信息的凸性记离散型随机变量X的事件为1，2，K。记X的概率分布为P(X=k)=qk，k=1K。记离散型随机变量Y的事件为1，2，J。记条件概率P(Y=j|X=k)=p(j|k)。则rkj=P(X,Y)=(k,j)=qkp(j|k)，（概率论中的乘法公式）wj=P(Y=j)=k qkp(j|k)，（概率论中的全概率公式）2023/1/211设条件概率p(j|k)，k=1K，j=1J被确定。此时I(X,Y)是概率向量q=(q1,q2,qK)的函数。我们希望找到这样的概率向量，使得对应的I(X,Y)达到最大。这就是说，记我们希望找到这样的K维概率向量a=(a1,
2、a2,aK)，使得2023/1/212定理定理2.6.2的含义的含义 K维概率向量a=(a1,a2,aK)使得当且仅当：以a为X的概率向量的时候，I(X=k;Y)对所有ak0的k都取一个相同的值C；I(X=k;Y)对所有满足ak=0的k都取值不超过上述的相同值C。2023/1/213I(X=k;Y)表示什么？表示事件X=k与随机变量Y之间的“半平均互信息量”。2023/1/214例例 设X的事件有0、1；Y的事件有0、1；已知p(0|0)=1-u；p(1|0)=u；p(0|1)=u；p(1|1)=1-u。当X服从等概分布（a0=P(X=0)=1/2；a1=P(X=1)=1/2）时，I(X;Y)达到最大。因为此时2023/1/2152023/1/216小结小结2023/1/217作业n2.3n2.4n2.7n2.9n2.13n2.28n2.292023/1/218