《信息论第二章课后习题解答.ppt》由会员分享，可在线阅读，更多相关《信息论第二章课后习题解答.ppt（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第二章第二章课后习题课后习题【2.12.1】设有设有 12 12 枚同值硬币，其中有一枚为假币。只知道假币枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？假币，试问至少必须称多少次？解：解：“1212枚硬币中，某一枚为假币枚硬币中，某一枚为假币”该事件发生的概率为该事件发生的概率为“假币的重量比真的轻，或重假币的重量比真的轻，或重”该事件发生的概率为该事件发生的
2、概率为为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有于二者是独立的，因此有而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为均为 ，因此天平每一次消除的不确定性为，因此天平每一次消除的不确定性为 比特比特 因此，必须称的次数为：因此，必须称的次数为：因此，至少需称因此，至少需称3 3次。次。【2.22.2】同时扔一对均匀的骰子，当得知同时扔一对均匀的骰子，当得知“两骰子面朝上点数之两骰子面朝上点数之和为和为2”2”或或“面朝上点数之和为面
3、朝上点数之和为8”8”或或“两骰子面朝上点数是两骰子面朝上点数是3 3 和和4”4”时，试问这三种情况分别获得多少信息量？时，试问这三种情况分别获得多少信息量？解：解：“两骰子总点数之和为两骰子总点数之和为2”2”，即两骰子的点数各为，即两骰子的点数各为1 1，由于，由于二者是独立的，因此该种情况发生的概率为二者是独立的，因此该种情况发生的概率为 ，该事，该事件的信息量为：件的信息量为：“两骰子总点数之和为两骰子总点数之和为8”8”共有如下可能：共有如下可能：2 2和和6 6、3 3和和5 5、4 4和和4 4、5 5 和和3 3、6 6 和和2 2，概率为，概率为 ，因此该事件的信息量为：，
4、因此该事件的信息量为：“两骰子面朝上点数是两骰子面朝上点数是3 3和和4”4”的可能性有两种：的可能性有两种：3 3和和4 4、4 4和和3 3，概率为概率为 因此该事件的信息量为：因此该事件的信息量为：【2.42.4】居住某地区的女孩中有居住某地区的女孩中有25%25%是大学生，在女大学生中有是大学生，在女大学生中有75%75%是身高是身高1.61.6米以上的，而女孩中身高米以上的，而女孩中身高 1.6 1.6 米以上的占总数一半。米以上的占总数一半。假如我们得知假如我们得知“身高身高 1.6 1.6 米以上的某女孩是大学生米以上的某女孩是大学生”的消息，问的消息，问获得多少信息量？获得多少
5、信息量？解：解：设设 A A表示女孩是大学生，表示女孩是大学生，P(A)=0.25 P(A)=0.25；B B表示女孩身表示女孩身高高1.61.6米以上，米以上，P(B|A)=0.75,P(B)=0.5 P(B|A)=0.75,P(B)=0.5 “身高身高1.61.6米以上的某女孩是大学生米以上的某女孩是大学生”的发生概率为的发生概率为:已知该事件所能获得的信息量为已知该事件所能获得的信息量为 【2.52.5】设离散无记忆信源设离散无记忆信源 ，其发出的消息为其发出的消息为（），求（），求 （1 1）此消息的自信息是多少？此消息的自信息是多少？（2 2）在此消息中平均每个符号携带的信息量是多少
6、？在此消息中平均每个符号携带的信息量是多少？解：解：信源是无记忆的，此时发出的消息的自信息即为各消息的信源是无记忆的，此时发出的消息的自信息即为各消息的自信息之和。各消息所包含的信息量分别为：自信息之和。各消息所包含的信息量分别为：发出的消息中，共有发出的消息中，共有14个个“0”，13个个“1”，12个个“2”，6个个“3”，则得到消息的自信息为：则得到消息的自信息为：平均每个符号携带的信息量为平均每个符号携带的信息量为 【2.72.7】从大量统计资料知道，男性中红绿色盲的发病率为从大量统计资料知道，男性中红绿色盲的发病率为7%7%，女性发病率为女性发病率为0.5%0.5%，如果你问一位男同
7、志：，如果你问一位男同志：“你是否是红绿色你是否是红绿色盲？盲？”，他的回答可能是，他的回答可能是“是是”，也可能是，也可能是“否否”，问这两个，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：男为红绿色盲的概率空间为：解：男为红绿色盲的概率空间为：问男，回答问男，回答“是是”所获昨的信息量为：所获昨的信息量为：问男，回答问男，回答“否否”所获得的信息量为：所获得的信息量为：男，平均回答中含有的信息量为：男，平均回答
8、中含有的信息量为：同样，女为红绿色盲的概率空间为同样，女为红绿色盲的概率空间为 问女，回答问女，回答“是是”所获昨的信息量为：所获昨的信息量为：问女，回答问女，回答“否否”所获昨的信息量为：所获昨的信息量为：女，平均回答中含有的信息量为女，平均回答中含有的信息量为 【2.122.12】（1 1）为了使电视图像获得良好的清晰度和规定的适当）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用的对比度，需要用 5105105 5个像素和个像素和1010个不同亮度电平，求传递个不同亮度电平，求传递此图像所需的信息率（比特此图像所需的信息率（比特/秒）。并设每秒要传送秒）。并设每秒要传送 303
9、0帧图像，帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。所有像素是独立变化的，且所有亮度电平等概率出现。（2 2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有还必须有3030个不同的色彩度，试证明传输这彩色系统的信息率要个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大比黑白系统的信息率约大2.52.5倍。倍。解：解：（1 1）每个像素的电平取自）每个像素的电平取自1010个不同的电平，形成的概率个不同的电平，形成的概率空间为：空间为：这样，平均每个像素携带的信息量为：这样，平均每个像素携带的信息
10、量为：每帧图像含有的信息量为：每帧图像含有的信息量为：按每秒传输按每秒传输3030帧计算，每秒需要传输的比特数，即信息传输率帧计算，每秒需要传输的比特数，即信息传输率为：为：（2 2）需）需3030个不同的色彩度，设每个色彩度等概率出现，则其概个不同的色彩度，设每个色彩度等概率出现，则其概率空间为：率空间为：由于电平与色彩是互相独立的，因此有由于电平与色彩是互相独立的，因此有 这样，彩色电视系统的信息率与黑白电视系统信息率的比值为这样，彩色电视系统的信息率与黑白电视系统信息率的比值为【2.132.13】每帧电视图像可以认为是由每帧电视图像可以认为是由3103105 5个像素组成，所以像个像素组
11、成，所以像素均是独立变化，且每一像素又取素均是独立变化，且每一像素又取128128个不同的亮度电平，并设个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约若现有一广播员在约 10000 10000 个汉字的字汇中选个汉字的字汇中选 1000 1000 个来口述个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用
12、多少汉字？像，广播员在口述中至少需用多少汉字？解：解：每个像素的电平亮度形成了一个概率空间，如下：每个像素的电平亮度形成了一个概率空间，如下：平均每个像素携带的信息量为：平均每个像素携带的信息量为：每帧图像由每帧图像由3103105 5个像素组成，且像素间是独立的，因此每帧图个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：像含有的信息量为：平均每个汉字携带的信息量为平均每个汉字携带的信息量为 bit/sym;bit/sym;选选择择10001000字来描述，携带的信息量为字来描述，携带的信息量为需要汉字个数为：需要汉字个数为：【2.182.18】设有一信源，它在开始时以设有一信源，它
13、在开始时以P(a)=0.6P(a)=0.6，P(b)=0.3,P(b)=0.3,P(c)=0.1P(c)=0.1的概率发出的概率发出X X1 1。如果。如果X X1 1为为a a时，则时，则 X X2 2为为 a a、b b、c c 的概的概率为率为1/31/3；如果；如果X X1 1为为b b时，则时，则X X2 2为为 a a、b b、c c 的概率为的概率为1/31/3；如果；如果X X1 1为为c c时，则时，则X X2 2为为a a、b b的概率为的概率为1/21/2，为，为c c的概率为的概率为0 0。而且后面发。而且后面发出出X Xi i的概率只与的概率只与X Xi-1i-1有关
14、，又有关，又 。试用马尔克夫信源的图示法画出状态。试用马尔克夫信源的图示法画出状态转移图，并计算此信源的熵转移图，并计算此信源的熵H H。解：解：信源为一阶马尔克夫信源，其状态转换图如下所示。信源为一阶马尔克夫信源，其状态转换图如下所示。根据上述状态转换图，设状态分别为根据上述状态转换图，设状态分别为P(a)P(a)、P(b)P(b)和和P(c)P(c)，【2.202.20】黑白气象传真图的消息只有黑色和白色两种，即信源黑白气象传真图的消息只有黑色和白色两种，即信源,X=X=白白 黑黑 ，设黑色出现的概率为，设黑色出现的概率为 P(P(黑黑)=0.3)=0.3，白色出现的概，白色出现的概率为率
15、为P(P(白白)=0.7)=0.7。（1 1）假设图上黑白消息出现前后没有关联，求熵假设图上黑白消息出现前后没有关联，求熵H(X)H(X)；（2 2）假设消息前后有关联，其依赖关系为假设消息前后有关联，其依赖关系为P(P(白白|白白)=0.9)=0.9，P(P(白白|黑黑)=0.2)=0.2，P(P(黑黑|白白)=0.1)=0.1 ，P(P(黑黑|黑黑)=0.8)=0.8 ，求此一阶马，求此一阶马尔克夫信源的熵尔克夫信源的熵H H2 2 。（3 3）分别求上述两种信源的冗余度，并比较分别求上述两种信源的冗余度，并比较H(X)H(X)和和H H2 2的大小，的大小，并说明其物理意义。并说明其物理
16、意义。解：解：（1）如果出现黑白消息前后没有关联，信息熵为：如果出现黑白消息前后没有关联，信息熵为：（2）当消息前后有关联时，首先画出其状态转移图，如下所）当消息前后有关联时，首先画出其状态转移图，如下所示：示：设黑白两个状态的极限概率为设黑白两个状态的极限概率为Q(Q(黑黑)和和Q Q (白白)，解得：解得：此信源的信息熵为：此信源的信息熵为：（3 3）两信源的冗余度分别为：）两信源的冗余度分别为：结果表明：当信源的消息之间有依赖时，信源输出消息的不确定结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。有依赖时前面已是白色消息，后面绝大多数可能是出性减弱。有依赖时前面已是白色消
17、息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信这时信源的平均不确定性减弱，所以信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。越大。信息信息论与与编码期中期中论文文题目目 浅谈信息论对现代社会的意义浅谈信息论对现代社会的意义要求：要求：1.用正规信纸手写，不要打印版。用正规信纸手写，不要打印版。2.字数不少于字数不少于3000字。字。3.文章末尾要有不少于文章末尾要有不少于500字的内容谈谈自字的内容谈谈自 己对信息论的理解。己对信息论的理解。4.5月月7日交论文，论文成绩记为期中成绩。日交论文，论文成绩记为期中成绩。