《信息论与编码zjh09习题讲解(第二章)zjh剖析培训讲学.ppt》由会员分享，可在线阅读，更多相关《信息论与编码zjh09习题讲解(第二章)zjh剖析培训讲学.ppt（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息论与编码信息论与编码zjh201209zjh201209习题讲解习题讲解(第二章第二章)zjh)zjh剖析剖析2-2由符号集 0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2，P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态概率。解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为：P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/
2、10)=0.5 P(11/01)=0.5 P(01/10)=0.5各状态稳定概率计算：即 得：即：P(00)=P(11)=P(01)=P(10)=12/10/202222-3解：(1)P（3,5）=1/36+1/36=1/18 I（3,5）=log18=4.17 bit(2)P（1,1）=1/6*1/6=1/36 I（1,1）=log36=5.17 bit(3)H（X）=1/36*6*log36+2/36*15*log18 =4.337 bit(4)H（X）=2*(1/36*log36+2/36*log18 +3/36log12+4/36log9+5/36log36/5)+6/36log6 =
3、3.274bit(5)I(1,X)=log36/11=1.7105bit 12/10/20223l2-4设在一只布袋中装有100只对人手感觉全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列3中情况：（1）红色球和白色球各50置；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只。求从布袋中随意去除一只球时，猜测其颜色所需要的信息量。12/10/20224分析分析 取出一个球，其颜色可能是红色、白色、蓝色或黄色。都有可能，但各种颜色的不确定度不同，即出现概率不同。要求猜测其颜色信息所需要的信息量也就是要求取出一个球所包含的平均信息量（信源熵）。根据H（X）的定义，就可求出。
4、12/10/20225解答根据定义 H（X）=-得：随意取出一球时，所需要的信息量为（1）P（红）=P（白）=1/2 H（X）=1比特12/10/20226（2）P（白）=1/100 P（红）=99/100所以 H（X）=0.08比特 （3）P（红）=P（白）=P（蓝）=P（黄）=1/4所以 H（X）=4 x（）=2比特 12/10/20227解：设事件v为女孩是大学生，事件u为身高1.6米以上的女孩，由题意可知：P(v)=0.25,P(u/v)=0.75,P(u)=0.5因为：P(v/u)=P(u,v)/P(u)=P(v)P(u/v)/P(u)=(1/4*3/4)/(1/2)=3/8所以：I
5、(v/u)=log(8/3)=1.42bit 2-52-512/10/202282-62-6 掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：12/10/202292-72-7解：(1)每个符号携带的自信息量：I(0)=log3/8=1.42bit,I(1)=log1/4=2bitI(2)=log1/4=2bit,I(3)=log1.8=3bit (2)消息序列的自信息量：I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit 平均每个符号携带的信息量为 I/n=87.8/45=1.95比特/符
6、号设有一离散无记忆信源,其概率空间为 该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?12/10/2022102-8解：I(2)=log2=1 I(4)=log4=2 I(8)=log8=312/10/2022112-9解：(1)I(点)=log(4/3)=0.42 I(划)=log4=2(2)平均信息量：H(X)=1/4log4+3/4log(4/3)=0.81 12/10/2022122-102-10解：不确定度即为H(X)(1)H(X)
7、=1/3log3+2/3log(3/2)=0.39+0.53=0.92bit(2)H(Y/x1)=P(y1/x1)log P(y1/x1)P(y2/x1)logP(y2/x1)=4/14log(14/4)+10/14log14/10 =0.346+0.516=0.86bit(3)H(Y/x2)=5/14log(14/5)+9/14log(14/9)=0.41+0.53=0.94bit(4)H(Y/X)=1/3*0.86+2/3*0.94=0.92bit设：x1：第一次摸黑球，y1第二次摸黑球 x2：第一次摸白球，y2第二次摸白球12/10/2022132-11解：(1)H(colour)=2/
8、38log19+2*(18/38)log(38/18)=0.22+1.02=1.24bit(2)H(colour,number)=H(number)=log38 =5.25bit(3)H(number|colour)=H(c,n)-H(c)=5.25-1.24=4.01bit 12/10/2022142-12解：(1)H(X,Y)=14/24log(24/7)+4/24log24+1/4log4 =2.3bit(2)H(Y)=8/24log3+8/24log3+8/24log3 =1.58bit(3)H(X/Y)=H(X,Y)-H(Y)=0.7212/10/2022152-13解：(1)H(X
9、)=1;H(Y)=1;H(Z)=7/8*log(8/7)+1/8*log8=0.54 H(YZ)=H(XZ)=H(X)+H(Z/X)=1+1/8*log4+3/8*log(4/3)=1.41 H(XYZ)=H(XZ)+H(Y/XZ)=1.41+0.4=1.8112/10/202216(2)H(X/Y)=H(Y/X)=H(XY)-H(X)=1.81-1=0.81 说明：H(XY)=2*3/8log(8/3)+1/8log8=1.81 H(Z/Y)=H(Z/X)=H(XZ)-H(X)=0.41 H(X/Z)=H(XZ)-H(Z)=1.41-0.54=0.87 H(Z/XY)=0 12/10/202
10、217(3)I(X;Y)=H(X)-H(X/Y)=1-0.81=0.19 I(Y;Z)=I(X;Z)=H(X)-H(X/Z)=1-0.87=0.13 I(X;Y/Z)=I(X;YZ)-I(X;Z)=H(X)-H(X/YZ)-I(X;Z)=0.6-0.13=0.47 I(Y;Z/X)=I(X;Z/Y)=I(X;YZ)-I(X;Y)=H(X)-H(X/YZ)-I(X;Y)=1-0.4-0.19=0.41 12/10/202218 在一个二进制信道中，信息源消息集X=0，1，且P(1)=P(0),信宿的消息集Y=0，1，信道传输概率P（1/0）=1/4，P（0/1）=1/8。求：（1）在接收端收到y
11、=0后，所提供的关于传输消息x的平均条件互信息量I（X;y=0）。(2)该情况所能提供的平均互信息量I（X；Y）。解：X=0,1,Y=0,1 2-142-1412/10/202219求 12/10/202220(2)12/10/2022212-152-15解：I(a1;b1)=log =logP(b1)=P(b1,a1)+P(b1,a2)=P(b1/a1)P(a1)+P(b1/a2)P(a2)=(1-)*(1/2)+1/2*=1/2P(a1,b1)=1/2*(1-)P(a1/b1)=P(a1,b1)/P(b1)=1-12/10/202222I(a1,b1)=log2*(1-)I(a1;b2)=
12、logP(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+P(b2/a2)P(a2)=(1-)*(1/2)+1/2*=1/2P(a1,b2)=P(b2/a1)*P(a1)=1/2*P(a1/b2)=P(a1,b2)/P(b2)=I(a1,b2)=log2 12/10/2022232-16解：(1)H(X)=-P(黑)*log P(黑)-P(白)*log P(白)(2)(3)=0.3*log(1/0.3)+0.7*log(1/0.7)(4)(5)=0.5211+0.3602(6)(7)=0.881312/10/202224(2)P=W1=0.9143W1+0.2W2W2=
13、0.0857W1+0.8W2得 W1=1/3,W2=2/312/10/2022252-172-17解：I(X)=log =3*7=2.1*I(Y)=log =13288Log =2.1*X=2.1*/13.288=158038个12/10/2022262-19解：由得 k=1/2所以 12/10/2022272-21解：（1）已知所以 12/10/202228（2）已知所以12/10/2022292-252-25某一无记忆信源的符号集为0,1，已知p0=1/4,p1=3/4（1）求符号的平均熵。（2）由100个符号构成的序列，求某一特定序列（例如有m个0和100-m个1）的自信息量的表达式。（
14、3）计算(2)中的序列的熵。解：（1）对离散无记忆信源符号的平均熵：比特/符号（2）长度为L=100的符号序列中某特定序列其中“0”的个数为m，“1”的个数为100-m.该特定序列的概率为12/10/202230 对离散无记忆信源，其符号独立出现，即 则该特定序列的自信息量为：(3)长度为L=100的符号序列离散无记忆信源熵：=41+1.59m (bit)H(XL)=H(X1X2X100)=81（比特/序列）12/10/2022312-302-30 有一马尔可夫信源，已知转移概率为p(s1/s1)=2/3,p(s2/s1)=1/3,p(s1/s2)=1,p(s2/s2)=0.。试画出状态转移图
15、，并求出信源熵解:（1）由题意知，该马尔可夫信源阶数为1，状态集S=S1,S2，状态转移图为：(2)信源熵：a)求稳态概率计算方程：即：12/10/202232得：W2=1/4；W1=3/4；12/10/2022332-31解：由：1/3W1+1/3W2+1/2W3=W 1 1/3W1+1/3W21/2 W 3=W2 1/3W1+1/3 W 2=W3 W1+W2+W 3=1 得：W1=W2=3/8 W 3=1/412/10/202234信源熵12/10/202235 一阶马尔可夫信源的状态图如图2-14所示，信源X符号集为0，1，2。（1）求平稳后信源的概率分布；（2）求信源熵（3）求当p=0
16、或p=1时信源的熵，并说明其理由。解：（1）一阶马尔可夫信源的状态空间S=X=0，1，2，由图2-14状态转移图中分析得，此马尔可夫链是时齐的，状态有限的和不可约闭集，非周期，所以具有各态历经性。平稳后状态的极限分布存在，因为是一阶马尔可夫信源，状态的极限分布即平稳后信源符号的一维概率分布，即 根据状态转移图，得状态一步转移矩阵：2-332-3312/10/202236(2)根据马尔可夫信源熵的表达式：即 状态极限概率 P(0)=P(1)=P(2)=1/3计算方程组 即 整理计算得：=由12/10/202237 同理从而比特/符号（3）当p=0或p=1时信源的熵，这是因为p=0或p=1时信源为确定性信源，观察着对信源发出什么符号不存在任何不确定度，所以信源不提供任何的信息量。12/10/202238结束语结束语谢谢大家聆听！谢谢大家聆听！39