《信息论与编码第二章复习资料.docx》由会员分享，可在线阅读，更多相关《信息论与编码第二章复习资料.docx（16页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2-1, 一阶马尔可夫链信源有3个符号，转移概率为：， ，。画出状态图并求出各符号稳态概率。解：由题可得状态概率矩阵为： 状态转换图为： 令各状态的稳态分布概率为，那么： EMBED Equation.DSMT4 EMBED Equation.DSMT4 EMBED Equation.DSMT4 ， EMBED Equation.DSMT4 EMBED Equation.DSMT4 , = EMBED Equation.DSMT4 且： EMBED Equation.DSMT4 1稳态分布概率为： =，=，= 2-2.由符号集，组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8(0|1
2、1)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|10)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。解：状态转移概率矩阵为：令各状态的稳态分布概率为, , , ，利用2-1-17可得方程组。且；解方程组得： 即：2-3, 同时掷两个正常的骰子，也就是各面呈现的概率都是，求：1, “3和5同时出现事务的自信息量；2, “两个1同时出现事务的自信息量；3, 两个点数的各种组合的熵或平均信息量；4, 两个点数之和的熵；5, 两个点数中至少有一个是1的自信息量。解：13和5同时出现的概率为： 2两个1同时出现的概率为： 3两个点数的各种
3、组合无序对为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6) (5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，事务4两个点数之和概率分布为： 信息为熵为： 5两个点数之中至少有一个是1的概率为： 2-4.设在一只布袋中装有100个用手触摸感觉完全一样的木球，每个球上涂有一种颜色。100个球的颜色有以下三种
4、状况： 1红色球和白色球各50个；2红色球99个，白色球1个；3红, 黄, 蓝, 白色球各25个。分别求出从布袋中随意取出一个球时，猜想其颜色所须要的信息量。解：1设取出的红色球为，白色球为；有，那么有：=1事务 (2) ,;那么有：=0.081事务 (3)设取出红, 黄, 蓝, 白球各为, , , ，有那么有：/事务2-5, 居住某地区的女孩中有25%是高校生，在女高校生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。假设得知“的消息，问获得多少信息量？解：设女孩是高校生为事务AB，那么p(A)=1/4, p (B)=1/2，p ()=3/4，那么 P() EMBED E
5、quation.3 2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：1小圆点数之和为3时有1,2和2,1，而总的组合数为36，即概率为，那么2小园点数之和为7的状况有1,6，6,12,55,23,44,3，那么概率为，那么有 2-7, 设有一离散无记忆信源，其概率空间为1, 求每个符号的自信息量；2, 信源发出一消息符号序列为，求该消息序列的自信息量及平均每个符号携带的信息量。解：1的自信息量为： 的自信息量为： 的自信息量为： 的自信息量为：2在该消息符号序列中，出现14次，出现13次，出现12，出现6次
6、，所以，该消息序列的自信息量为： I=14 I+13 I+12 I+6 I 平均每个符号携带的信息量为： 2-8试问四进制, 八进制脉冲所含的信息量是二进制脉冲的多少倍？解;设二进制, 四进制, 八进制脉冲的信息量为 所以，四进制, 八进制脉冲信息量分别是二进制脉冲信息量的2倍, 3倍。2-10 在一个袋中放5个黑球, 10个白球，以摸一个球为试验，摸出的球不再放进去。求： 1一次试验中包含的不确定度； 2第一次试验X摸出是黑球，第二次试验Y给出的不确定度； 3第一次试验X摸出是白球，第二次试验Y给出的不确定度； 4第二次试验包含的不确定度。解：1一次试验的结果可能摸到的是黑球或白球，它们的概
7、率分别是，。所以一次试验的不确定度为 (2)当第一次试验摸出是黑球，那么第二次试验Y的结果可能是摸到黑球或白球，它们的概率分别是 , 。所以该事务的不确定度为 /符号(3)当第一次试验摸出是白球，那么第二次试验Y的结果可能是摸到黑球或白球，它们的概率分别是 , 。所以该事务的不确定度为 /符号4二次试验B出现结果的概率分布是p()(黑，黑)= ，p()(黑，白)= ，p()(白，黑)= ，p()(白，白)= 所以二次试验的不确定度为 H(B)= EMBED Equation.DSMT4 EMBED Equation.DSMT4 EMBED Equation.DSMT4 EMBED Equati
8、on.DSMT4 EMBED Equation.DSMT4 EMBED Equation.DSMT4 符号2-11有一个可旋转的圆盘，盘面上被匀称地分成38份，用1，2，, , , ，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。1假设仅对颜色感爱好，那么计算平均不确定度；2假设对颜色和数字都感爱好，那么计算平均不确定度；3假如颜色时，那么计算条件熵。解：令X表示指针指向某一数字，那么1,2,.,38 Y表示指针指向某一种颜色，那么绿色，红色，黑色 Y是X的函数，由题意可知1仅对颜色感爱好，那么H(c)= EMBED Equation.3
9、 2 EMBED Equation.3 EMBED Equation.3 (2)对颜色和数字都感爱好，那么H()(n)=38(-) (3)假如颜色时，那么2-12, 两个试验X和Y，联合概率为1假如有人告知你X和Y的结果，你得到的平均信息量是多少？2假如有人告知你Y的结果，你得到的平均信息量是多少？3在Y的试验结果的状况下，告知你X的试验结果，你得到的平均信息量是多少？解：1, EMBED Equation.DSMT4 2, 3, 2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。 并定义另一随机变量一般乘积。试计算：（1） ，（2） ， （3） ，解：11 同理：(000)=1/8
10、, (010)=3/8, (100)=3/8, P(111)=1/8(110)(001)(101)(011)=02由于所以： EMBED Equation.DSMT4 ；那么， EMBED Equation.DSMT4 EMBED Equation.DSMT4 EMBED Equation.DSMT4 EMBED Equation.DSMT4 EMBED Equation.DSMT4 EMBED Equation.DSMT4 *3 由于那么 EMBED Equation.DSMT4 同理有： 2.16 黑白 机的消息元只有黑色和白色两种，即黑，白，一般气象图上，黑色的出现概率p(黑)0.3，白
11、色出现的概率p(白)0.7。1假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图2事实上各个元素之间是有关联的，其转移概率为：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。3比拟两种信源熵的大小，并说明缘由。解：1符号P(黑|白)(黑)P(白|白)P(白) P(黑|黑)P(黑) P(白|黑)P(白)间改变2.20 给定语音信号样值X的概率密度为,求(X)，并证明它小于同样方差的正态变量的连续熵。解： EMBED Equation.DSMT4 2-23 连续随机变量X和Y的联合概
12、率密度为求,解： EMBED Equation.DSMT4 随机变量X的概率密度分布为 EMBED Equation.DSMT4 ，呈标准正态分布。其中数学期望为0，方差为S；随机变量Y的概率密度分布为 ，也呈标准正态分布。其中数学期望为0，方差为。 2-25 某一无记忆信源的符号集为0，1，1求符号的平均熵。2由100 个构成的序列，求某一特定序列例如有m个0和100个1的自由信息量的表达式。3计算2中的序列的熵。 解：1 2 32-26 一个信源发出二重符号序列消息，其中第一个符号可以是A，B，C中的任一个，第二个符号可以是D，E，F，G中的任一个。各个为,；各个值列成如下。求这个信源的熵
13、联合熵. 解： 2.29 有一个一阶平稳马尔可夫链,各取值于集合,起始概率P()为，转移概率如以下图所示 j i1231231/22/32/31/401/31/41/30(1) 求的联合熵和平均符号熵(2) 求这个链的极限平均符号熵(3) 求和它们说对应的冗余度解：1符号X1，X2的联合概率分布为12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布为那么X2X3的联合概率分布为12317/247/487/4825/3605/1235/365/120那么/符号所以平均符号熵符号2设a123稳定后的概率分布分别为W123,转移概率距阵为由 得
14、到 计算得到又满意不行约性和非周期性/符号(3)/符号 /符号 /符号 EMBED Equation.DSMT4 EMBED Visio.Drawing.11 2.32 一阶马尔可夫信源的状态图如图213所示，信源X的符号集为0，1，2。1求信源平稳后的概率分布P(0)(1)(2)2求此信源的熵3近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并及进展比拟解:依据香农线图,列出转移概率距阵令状态0,1,2平稳后的概率分布分别为W123 得到 计算得到由齐次遍历可得符号 由最大熵定理可知存在极大值或者也可以通过下面的方法得出存在极大值: 又所以当2/3时0p2/3时 2/3p1时 EMBED Equation.DSMT4 所以当2/3时存在极大值,且 EMBED Equation.DSMT4