《信息理论基础第三章离散信源优秀课件.ppt》由会员分享，可在线阅读，更多相关《信息理论基础第三章离散信源优秀课件.ppt（46页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息理论基础第三章离散信源第1页，本讲稿共46页信息论对信源研究的主要内容由以下几个信息论对信源研究的主要内容由以下几个方面组成：方面组成：（1 1）信源的建模）信源的建模（2 2）信源输出信号中携带信息量大小的计算）信源输出信号中携带信息量大小的计算（3 3）信源输出的有效表示）信源输出的有效表示第2页，本讲稿共46页一、信源一、信源信宿信宿信宿信宿信源信源信源信源发送器发送器发送器发送器信道信道信道信道接收器接收器接收器接收器消息消息消息消息信号信号信号信号发送发送发送发送信号信号信号信号接收接收接收接收消息消息消息消息噪声噪声噪声噪声第一节第一节 信源的数学模型及分类信源的数学模型及分类
2、信源输出随机变量信源输出随机变量信源输出随机变量信源输出随机变量X X X X，可能的取值，可能的取值，可能的取值，可能的取值二、信源的数学模型二、信源的数学模型信息的来源信息的来源信息的来源信息的来源信源信源信源信源第3页，本讲稿共46页1.1.按信源发出的消息在时间上的分布划分：按信源发出的消息在时间上的分布划分：有限长记忆信源有限长记忆信源有限长记忆信源有限长记忆信源(马尔可夫信源）马尔可夫信源）马尔可夫信源）马尔可夫信源）有记忆平稳信源有记忆平稳信源有记忆平稳信源有记忆平稳信源三三.信源分类信源分类离散信源离散信源离散信源离散信源2.2.2.2.按信源发出的按信源发出的按信源发出的按信
3、源发出的前后消息是否有关划分：前后消息是否有关划分：前后消息是否有关划分：前后消息是否有关划分：连续信源连续信源连续信源连续信源无记忆信源无记忆信源无记忆信源无记忆信源有记忆信源有记忆信源有记忆信源有记忆信源第4页，本讲稿共46页例题例题（1 1）为了使电视图像获得良好的清晰度和规定的适当）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用的对比度，需要用 个个像像素素和和1010个个不不同同亮亮度度的的电电平平，设设每每秒秒传传递递3030帧帧图图像像，所所有有象象素素是是独独立立变变化化的的，且且所所有有亮亮度度电电平平等等概概率率出出现现,求求传传递递此此图图像像所所需需的的信信
4、息息率率（比比特特/秒）秒）（2 2）设设某某彩彩电电系系统统，除除了了满满足足对对黑黑白白电电视视系系统统的的上上述述要要求求外外，还还必必须须有有3030个个不不同同的的色色彩彩度度，试试证证明明传传输输这这彩彩色色系统的信息率大约是黑白系统的传输信息率的系统的信息率大约是黑白系统的传输信息率的2.52.5倍。倍。第5页，本讲稿共46页一一.离散无记忆信源离散无记忆信源 1.1.概念概念 信源先后发出的一个个消息符号信源先后发出的一个个消息符号彼此独立彼此独立。2.2.数学模型数学模型 信源输出随机变量信源输出随机变量X X，可能的取值，可能的取值第二节第二节 离散无记忆信源及其扩展信源离
5、散无记忆信源及其扩展信源 3.3.信源输出的信息量信源输出的信息量第6页，本讲稿共46页1.1.求求N N次扩展信源次扩展信源首先看输出只有两个符号（首先看输出只有两个符号（首先看输出只有两个符号（首先看输出只有两个符号（0 0 0 0，1 1 1 1）的情况：）的情况：）的情况：）的情况：一次信源一次信源一次信源一次信源X X X X 信源信源信源信源X=XX=X1 1数学模型为数学模型为数学模型为数学模型为 :二二.离散无记忆信源的扩展信源离散无记忆信源的扩展信源二次信源二次信源二次信源二次信源扩展信源扩展信源扩展信源扩展信源每个消息序列的概率：每个消息序列的概率：每个消息序列的概率：每个
6、消息序列的概率：第7页，本讲稿共46页三次扩展信源三次扩展信源 扩展信源扩展信源扩展信源扩展信源每个消息序列的概率：每个消息序列的概率：第8页，本讲稿共46页依次推出依次推出N N次扩展信源次扩展信源第9页，本讲稿共46页一次信源输出符号集为一次信源输出符号集为进一步推广：进一步推广：N N次扩展信源次扩展信源第10页，本讲稿共46页2 2、N N次扩展信源的熵次扩展信源的熵例例3-1:3-1:第11页，本讲稿共46页例例3-23-2：（1 1 1 1）为了使电视图像获得良好的清晰度和规定的适当）为了使电视图像获得良好的清晰度和规定的适当）为了使电视图像获得良好的清晰度和规定的适当）为了使电视
7、图像获得良好的清晰度和规定的适当的对比度，需要用的对比度，需要用的对比度，需要用的对比度，需要用 个个个个像像像像素素素素和和和和10101010个个个个不不不不同同同同亮亮亮亮度度度度的的的的电电电电平平平平，设设设设每每每每秒秒秒秒要要要要传传传传递递递递30303030帧帧帧帧图图图图像像像像，所所所所有有有有象象象象素素素素是是是是独独独独立立立立变变变变化化化化的的的的，且且且且所所所所有有有有亮亮亮亮度电平度电平度电平度电平等概率等概率等概率等概率出现出现出现出现.求传递此图像所需的信息率（比特求传递此图像所需的信息率（比特求传递此图像所需的信息率（比特求传递此图像所需的信息率（比
8、特/秒）秒）秒）秒）.（2 2 2 2）设设设设某某某某彩彩彩彩电电电电系系系系统统统统，除除除除了了了了满满满满足足足足对对对对黑黑黑黑白白白白电电电电视视视视系系系系统统统统的的的的上上上上述述述述要要要要求求求求外外外外，还还还还须须须须有有有有30303030个个个个不不不不同同同同的的的的色色色色彩彩彩彩度度度度，试试试试证证证证明明明明传传传传输输输输这这这这彩彩彩彩色色色色系系系系统统统统的的的的信信信信息率约是黑白系统信息率的息率约是黑白系统信息率的息率约是黑白系统信息率的息率约是黑白系统信息率的2.52.52.52.5倍。倍。倍。倍。第12页，本讲稿共46页解解：（1 1 1
9、 1）每个象素亮度信源的概率空间为：每个象素亮度信源的概率空间为：每个象素亮度信源的概率空间为：每个象素亮度信源的概率空间为：每个象素亮度含有的信息量为：每个象素亮度含有的信息量为：每个象素亮度含有的信息量为：每个象素亮度含有的信息量为：H(X)=log10=1H(X)=log10=1哈特来哈特来/象素象素=3.32=3.32比特比特/象素象素每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为：设每秒传送设每秒传送设每秒传送设每秒传送30303030帧图像，则传递此图像所需的信息率为帧图像，则传递此图像所需的信息率为帧图像，则传递此图像所需的信息率为
10、帧图像，则传递此图像所需的信息率为：第13页，本讲稿共46页（2 2）证明：）证明：色彩度信源的概率空间为色彩度信源的概率空间为:每个象素色彩度含有的信息量为：每个象素色彩度含有的信息量为：H(Y)=log30=4.91H(Y)=log30=4.91比特比特/象素象素亮度和色彩度同时出现，每个象素含有的信息量为：亮度和色彩度同时出现，每个象素含有的信息量为：H(XY)=H(X)+H(Y)=log10+log30=8.23H(XY)=H(X)+H(Y)=log10+log30=8.23比特比特/象素象素 传传输输这这彩彩色色系系统统的的信信息息率率与与传传输输黑黑白白系系统统的的信信息息率率之之
11、比比就就等等于于彩彩色色系系统统每每象象素素含含有有的的信信息息量量与与黑黑白白系系统统每每象象素素含含有有信信息息量量之之比比，即即：H(XY)/H(X)=2.5H(XY)/H(X)=2.5 则证明传输这彩色系统的信息率是传输黑白系统的信息率的则证明传输这彩色系统的信息率是传输黑白系统的信息率的2.52.5倍。倍。第14页，本讲稿共46页例例3-33-3：每帧电视图像可以认为是由每帧电视图像可以认为是由每帧电视图像可以认为是由每帧电视图像可以认为是由 个个个个象象象象素素素素组组组组成成成成的的的的，所所所所以以以以象象象象素素素素都都都都是是是是独独独独立立立立变变变变化化化化的的的的。且
12、且且且每每每每一一一一个个个个象象象象素素素素又又又又取取取取128128128128个个个个不不不不同同同同的的的的亮亮亮亮度度度度电电电电平平平平，并并并并设设设设亮亮亮亮度度度度电电电电平平平平等等等等概概概概率率率率出出出出现现现现。若若若若现现现现有有有有一一一一个个个个广广广广播播播播员员员员在在在在约约约约10000100001000010000个个个个汉汉汉汉字字字字的的的的字字字字集集集集中中中中选选选选1000100010001000个个个个字来口述此电视图像（设每个字是字来口述此电视图像（设每个字是字来口述此电视图像（设每个字是字来口述此电视图像（设每个字是等概率等概率等
13、概率等概率分布的，并且分布的，并且分布的，并且分布的，并且彼此独立彼此独立彼此独立彼此独立的）。的）。的）。的）。l l试问广播员描述此图像所广播的信息量是多少？试问广播员描述此图像所广播的信息量是多少？试问广播员描述此图像所广播的信息量是多少？试问广播员描述此图像所广播的信息量是多少？l l若要恰当描述此图像，广播员在口述中至少需用多少汉字？若要恰当描述此图像，广播员在口述中至少需用多少汉字？若要恰当描述此图像，广播员在口述中至少需用多少汉字？若要恰当描述此图像，广播员在口述中至少需用多少汉字？第15页，本讲稿共46页解：解：（1 1）分析可知汉字字集是等概率分布的，则汉字字集信源为）分析可
14、知汉字字集是等概率分布的，则汉字字集信源为得该汉字字集中每个汉字含有的信息量为：得该汉字字集中每个汉字含有的信息量为：得该汉字字集中每个汉字含有的信息量为：得该汉字字集中每个汉字含有的信息量为：H(Y)=log10000=13.29H(Y)=log10000=13.29H(Y)=log10000=13.29H(Y)=log10000=13.29比特比特比特比特/字字字字广播员描述此帧图像所广播的信息量为：广播员描述此帧图像所广播的信息量为：广播员描述此帧图像所广播的信息量为：广播员描述此帧图像所广播的信息量为：（2 2）分析可知）分析可知每个象素的亮度信源为每个象素的亮度信源为每个象素的亮度信
15、源为每个象素的亮度信源为每个象素亮度含有的信息量为：每个象素亮度含有的信息量为：H(X)=log128=7H(X)=log128=7比特比特/象素象素每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为：广播员口述此图像至少需用的汉字数为：广播员口述此图像至少需用的汉字数为：广播员口述此图像至少需用的汉字数为：广播员口述此图像至少需用的汉字数为：第16页，本讲稿共46页例例例例3-43-43-43-4：对一最高频率分量为对一最高频率分量为对一最高频率分量为对一最高频率分量为4kHz4kHz4kHz4kHz的模拟信号以的模拟信号以的模拟信号以的模拟信号以
16、奈奎斯特采样定理奈奎斯特采样定理奈奎斯特采样定理奈奎斯特采样定理采样，已知采样，已知采样，已知采样，已知抽样结果是一个抽样结果是一个抽样结果是一个抽样结果是一个独立的平稳随机序列独立的平稳随机序列独立的平稳随机序列独立的平稳随机序列。现将每个抽样值量化为。现将每个抽样值量化为。现将每个抽样值量化为。现将每个抽样值量化为5 5 5 5个个个个离离离离散散散散电平之一，已知这电平之一，已知这电平之一，已知这电平之一，已知这5 5 5 5个电平构成的符号集个电平构成的符号集个电平构成的符号集个电平构成的符号集XXXX的概率特性为的概率特性为的概率特性为的概率特性为 求这个离散信源每秒传送的平均信息量
17、求这个离散信源每秒传送的平均信息量求这个离散信源每秒传送的平均信息量求这个离散信源每秒传送的平均信息量。解：解：由题意可知采样率为由题意可知采样率为由题意可知采样率为由题意可知采样率为8kHz8kHz，则符号速率是，则符号速率是，则符号速率是，则符号速率是80008000个符号个符号个符号个符号/s/s。每个符号的平均信息量为每个符号的平均信息量为每个符号的平均信息量为每个符号的平均信息量为则这个离散信源每秒传送的平均信息量为则这个离散信源每秒传送的平均信息量为则这个离散信源每秒传送的平均信息量为则这个离散信源每秒传送的平均信息量为第17页，本讲稿共46页信源发出的符号序列的概率分布与时信源发
18、出的符号序列的概率分布与时间起点没有关系间起点没有关系,但发出的符号之间有依赖但发出的符号之间有依赖关系。关系。第三节第三节 离散平稳有记忆信源离散平稳有记忆信源一一.平稳有记忆信源概念平稳有记忆信源概念 源源源源，简称平稳信源。，简称平稳信源。，简称平稳信源。，简称平稳信源。如果信源发出的是如果信源发出的是如果信源发出的是如果信源发出的是N N N N长序列长序列长序列长序列，且这个，且这个，且这个，且这个N N N N维联合分布维联合分布维联合分布维联合分布 与与与与时间起点无关时间起点无关时间起点无关时间起点无关，则称为，则称为，则称为，则称为N N N N维平稳信维平稳信维平稳信维平稳
19、信第18页，本讲稿共46页二二.离散平稳信源的熵离散平稳信源的熵 最简单的有记忆最简单的有记忆最简单的有记忆最简单的有记忆（N=2N=2N=2N=2）平稳信源的概率空间平稳信源的概率空间平稳信源的概率空间平稳信源的概率空间：熵熵H(X)H(X)可用联合熵表示：可用联合熵表示：条件熵为条件熵为 可可知知：平平平平稳稳稳稳信信信信源源源源输输输输出出出出一一一一个个个个符符符符号号号号 i i，则则则则对对对对输输输输出出出出下下下下一一一一个个个个符符符符号号号号有有有有影影影影响响响响，这这这这个影响根据个影响根据个影响根据个影响根据 i i而异。依赖关系越强，对输出下一个符号的影响越大。而异
20、。依赖关系越强，对输出下一个符号的影响越大。而异。依赖关系越强，对输出下一个符号的影响越大。而异。依赖关系越强，对输出下一个符号的影响越大。第19页，本讲稿共46页联合熵可表示离散平稳信源的熵联合熵可表示离散平稳信源的熵由由可知可知可知可知：信信信信源源源源联联联联合合合合熵熵熵熵等等于于信信信信源源源源发发发发出出出出前前前前一一一一个个个个符符符符号号号号的的的的信信信信息息息息熵熵熵熵加加上上前一个符号已知时信源发出下一个符号的条件熵前一个符号已知时信源发出下一个符号的条件熵前一个符号已知时信源发出下一个符号的条件熵前一个符号已知时信源发出下一个符号的条件熵前后序列没有依存关系，则前后序
21、列没有依存关系，则 ：第20页，本讲稿共46页平均每个序列携带的信息量平均每个序列携带的信息量平均每个序列携带的信息量平均每个序列携带的信息量 由由N=2N=2推广到推广到N=N=信源序列的熵：信源序列的熵：三三.极限熵极限熵 第21页，本讲稿共46页平均每个符号携带的熵平均每个符号携带的熵当当N,N,极限熵（信源的熵率）记作极限熵（信源的熵率）记作注意：注意：对于一般平稳信源，信源的极限熵一定存在。对于一般平稳信源，信源的极限熵一定存在。第22页，本讲稿共46页 熵率的计算很复杂，在实际应用中常采用有限熵率的计算很复杂，在实际应用中常采用有限N N下的条件熵下的条件熵作为极限熵的近似值，即作
22、为极限熵的近似值，即 信源输出信号所携带的信息利用信源输出信号所携带的信息利用信源输出信号所携带的信息利用信源输出信号所携带的信息利用极限熵极限熵极限熵极限熵来表示。来表示。来表示。来表示。例例3-53-5：设某二阶离散平稳信源设某二阶离散平稳信源X=X1X2X=X1X2的原始信源的原始信源的信源模型为：的信源模型为：X=XX=X1 1X X2 2中前后两个符号的条件概率为：中前后两个符号的条件概率为：比较原始信源与二阶信源的熵。比较原始信源与二阶信源的熵。比较原始信源与二阶信源的熵。比较原始信源与二阶信源的熵。第23页，本讲稿共46页信源信源X X提供的熵提供的熵 平均每个符号携带的信息量：
23、平均每个符号携带的信息量：平均每个符号携带的信息量：平均每个符号携带的信息量：结论：结论：极限熵、条件熵都小于原始信源的熵极限熵、条件熵都小于原始信源的熵原因原因：符号之间存在相关性符号之间存在相关性 解：解：原始信源的熵：原始信源的熵：原始信源的熵：原始信源的熵：条件概率确定的条件熵：条件概率确定的条件熵：条件概率确定的条件熵：条件概率确定的条件熵：第24页，本讲稿共46页第四节第四节 马尔可夫信源及其熵马尔可夫信源及其熵一一.马尔可夫信源的概念马尔可夫信源的概念-信源在某一时刻发出某一个符号的概率仅与前面信源在某一时刻发出某一个符号的概率仅与前面信源在某一时刻发出某一个符号的概率仅与前面信
24、源在某一时刻发出某一个符号的概率仅与前面发出的发出的发出的发出的mm个符号有关，而与更早的无关，这样的有记个符号有关，而与更早的无关，这样的有记个符号有关，而与更早的无关，这样的有记个符号有关，而与更早的无关，这样的有记忆信源称为忆信源称为忆信源称为忆信源称为mm阶马尔可夫信源。阶马尔可夫信源。阶马尔可夫信源。阶马尔可夫信源。对于对于对于对于mm阶马尔可夫信源，当有阶马尔可夫信源，当有阶马尔可夫信源，当有阶马尔可夫信源，当有q q个可能的输出符号个可能的输出符号个可能的输出符号个可能的输出符号时，则该信源有时，则该信源有时，则该信源有时，则该信源有 个可能的状态，从而一个个可能的状态，从而一个
25、个可能的状态，从而一个个可能的状态，从而一个讨论信源讨论信源讨论信源讨论信源输出符号不确定性的问题转换成了讨论信源状态转换输出符号不确定性的问题转换成了讨论信源状态转换输出符号不确定性的问题转换成了讨论信源状态转换输出符号不确定性的问题转换成了讨论信源状态转换的问题的问题的问题的问题。第25页，本讲稿共46页二二.马尔可夫信源的状态转移图马尔可夫信源的状态转移图例例3-63-6：设设设设有有有有一一一一个个个个二二二二进进进进制制制制一一一一阶阶阶阶马马马马尔尔尔尔可可可可夫夫夫夫信信信信源源源源，其其其其信信信信源源源源符符符符号集为号集为号集为号集为A=0,1,A=0,1,A=0,1,A=
26、0,1,条件概率为条件概率为条件概率为条件概率为 求状态转移矩阵。求状态转移矩阵。第26页，本讲稿共46页解解：信源符号个数信源符号个数信源符号个数信源符号个数q=2q=2q=2q=2，k=1k=1k=1k=1,故状态数故状态数故状态数故状态数则令状态则令状态S S1 1=0,=0,状态状态S S2 2=1=1S1=0S2=10.750.500.250.50根据状态图求状态转移概率：根据状态图求状态转移概率：p(Sp(S1 1|S|S1 1)=0.25 p(S)=0.25 p(S2 2|S|S1 1)=0.75)=0.75 p(S p(S1 1|S|S2 2)=0.50 p(S)=0.50 p
27、(S2 2|S|S2 2)=0.50)=0.50则状态转移矩阵为：则状态转移矩阵为：第27页，本讲稿共46页有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为A=0,1,A=0,1,A=0,1,A=0,1,条件概率为：条件概率为：条件概率为：条件概率为：求状态转移矩阵。求状态转移矩阵。例例3-73-7：第28页，本讲稿共46页由状态图可知转移矩阵：由状态图可知转移矩阵：由状态图可知转移矩阵：由状态图可知转移矩阵：则令：则令：状态状态S S1 1=00,=00,状态状态S
28、 S2 2=01=01，状态，状态S S3 3=10=10，状态，状态S S4 4=11=11则状态图：则状态图：0.5S201S310S100S4110.80.80.50.50.50.20.2解解：信源符号个数：信源符号个数q=2q=2，k=2,k=2,故状态数故状态数第29页，本讲稿共46页 1.1.遍历性的遍历性的m阶马尔可夫信源的定义阶马尔可夫信源的定义三三.遍历的马尔可夫信源的熵遍历的马尔可夫信源的熵信源的每个状态由信源的每个状态由信源的每个状态由信源的每个状态由mm个符号构成，且不论从哪一个状态个符号构成，且不论从哪一个状态个符号构成，且不论从哪一个状态个符号构成，且不论从哪一个状
29、态的概率的概率的概率的概率出发，只要经过足够时间，转移到状态出发，只要经过足够时间，转移到状态出发，只要经过足够时间，转移到状态出发，只要经过足够时间，转移到状态都近似等于一个常数都近似等于一个常数都近似等于一个常数都近似等于一个常数,具有这样性质的马尔可夫信源具有这样性质的马尔可夫信源具有这样性质的马尔可夫信源具有这样性质的马尔可夫信源就是遍历性的马尔可夫信源。就是遍历性的马尔可夫信源。就是遍历性的马尔可夫信源。就是遍历性的马尔可夫信源。设遍历性的马尔可夫信源有设遍历性的马尔可夫信源有设遍历性的马尔可夫信源有设遍历性的马尔可夫信源有r r r r个状态，且它的稳态分布矢量为个状态，且它的稳态
30、分布矢量为个状态，且它的稳态分布矢量为个状态，且它的稳态分布矢量为状态转移矩阵为状态转移矩阵为状态转移矩阵为状态转移矩阵为P P，则有，则有，则有，则有提问：提问：任何马尔可夫信源都具有稳态分布吗？任何马尔可夫信源都具有稳态分布吗？任何马尔可夫信源都具有稳态分布吗？任何马尔可夫信源都具有稳态分布吗？第30页，本讲稿共46页定理：定理：马尔可夫信源具有稳态分布的充要条件是存马尔可夫信源具有稳态分布的充要条件是存马尔可夫信源具有稳态分布的充要条件是存马尔可夫信源具有稳态分布的充要条件是存在一个正整数在一个正整数在一个正整数在一个正整数N N N N，使马尔可夫信源的状态转移矩阵，使马尔可夫信源的状
31、态转移矩阵，使马尔可夫信源的状态转移矩阵，使马尔可夫信源的状态转移矩阵中的所有元素均大于零。中的所有元素均大于零。中的所有元素均大于零。中的所有元素均大于零。例例3-83-8 有一个马尔可夫链，其状态转移矩阵为：有一个马尔可夫链，其状态转移矩阵为：有一个马尔可夫链，其状态转移矩阵为：有一个马尔可夫链，其状态转移矩阵为：问：问：是否存在稳态分布，如果存在求此稳态分布。是否存在稳态分布，如果存在求此稳态分布。是否存在稳态分布，如果存在求此稳态分布。是否存在稳态分布，如果存在求此稳态分布。第31页，本讲稿共46页解：解：由此判断：稳态分布存在由此判断：稳态分布存在由此判断：稳态分布存在由此判断：稳态
32、分布存在由由由由WP=WWP=WWP=WWP=W以及各状态概率之和为以及各状态概率之和为以及各状态概率之和为以及各状态概率之和为1 1 1 1得：得：和和第32页，本讲稿共46页 由由由由平平平平稳稳稳稳信信信信源源源源的的的的熵熵熵熵率率率率（实实实实际际际际熵熵熵熵、极极极极限限限限熵熵熵熵）可可可可得得得得遍遍遍遍历历历历性性性性的的的的马马马马尔可夫信源的熵为：尔可夫信源的熵为：尔可夫信源的熵为：尔可夫信源的熵为：则则则则mm阶马尔可夫信源的熵：阶马尔可夫信源的熵：阶马尔可夫信源的熵：阶马尔可夫信源的熵：2.2.遍历性的遍历性的m m阶马尔可夫信源的熵阶马尔可夫信源的熵注意：注意：一般
33、认为，当时间足够长时，遍历的一般认为，当时间足够长时，遍历的一般认为，当时间足够长时，遍历的一般认为，当时间足够长时，遍历的mm阶马尔可阶马尔可阶马尔可阶马尔可夫信源视作平稳有记忆信源。夫信源视作平稳有记忆信源。夫信源视作平稳有记忆信源。夫信源视作平稳有记忆信源。提问：提问：为什么？为什么？为什么？为什么？第33页，本讲稿共46页计算：计算：由遍历性的马尔可夫信源的概念可知，它的每一个状态完由遍历性的马尔可夫信源的概念可知，它的每一个状态完由遍历性的马尔可夫信源的概念可知，它的每一个状态完由遍历性的马尔可夫信源的概念可知，它的每一个状态完全由输出的符号集：全由输出的符号集：全由输出的符号集：全
34、由输出的符号集：A=A=a a1 1,a,a2 2,a,ar r 唯一确定。唯一确定。唯一确定。唯一确定。两端同时取对数，则：两端同时取对数，则：两端对两端对两端对两端对S S S Sj j j j和和和和a a a ak1k1k1k1a a a akm+1km+1km+1km+1取统计平均取统计平均取统计平均取统计平均,然后取负值然后取负值然后取负值然后取负值,则则则则 第34页，本讲稿共46页第35页，本讲稿共46页第36页，本讲稿共46页求遍历性的求遍历性的m m阶的马尔可夫信源熵的公式阶的马尔可夫信源熵的公式:其中：其中：是马尔可夫链的稳态分布是马尔可夫链的稳态分布,可利用：可利用：W
35、P=WWP=W和和 求解出求解出。_表示信源处于状态表示信源处于状态Sj时发出一个消息符号的平均不时发出一个消息符号的平均不确定性确定性第37页，本讲稿共46页3.3.举例说明马尔可夫信源熵的计算方法举例说明马尔可夫信源熵的计算方法 例例3-9:3-9:有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为A=0,1,A=0,1,A=0,1,A=0,1,条件概率为：条件概率为：条件概率为：条件概率为：求求求求二阶马尔可夫信源的熵二阶马尔可夫信源的熵二阶马尔可夫信源的熵二阶马
36、尔可夫信源的熵。第38页，本讲稿共46页解解:由例由例7 7可知状态转移矩阵为：可知状态转移矩阵为：可知：可知：此信源是遍历性的马尔可夫信源，稳态分布存在此信源是遍历性的马尔可夫信源，稳态分布存在此信源是遍历性的马尔可夫信源，稳态分布存在此信源是遍历性的马尔可夫信源，稳态分布存在设稳态分布为：设稳态分布为：则利用则利用WP=WWP=W和和 可知：可知：对于遍历性马尔可夫信源有对于遍历性马尔可夫信源有第39页，本讲稿共46页由由则有：则有：第40页，本讲稿共46页第五节第五节 信源的相关性和剩余度信源的相关性和剩余度一一.信源的相关性信源的相关性 信源输出符号之间的依赖关系信源输出符号之间的依赖
37、关系信源输出符号之间的依赖关系信源输出符号之间的依赖关系 对于离散平稳信源有对于离散平稳信源有对于离散平稳信源有对于离散平稳信源有 当信源输出符号之间的相关程度越长，实际熵越小当信源输出符号之间的相关程度越长，实际熵越小当信源输出符号之间的相关程度越长，实际熵越小当信源输出符号之间的相关程度越长，实际熵越小 二二.信源熵的相对率信源熵的相对率 第41页，本讲稿共46页三三.信源的剩余度信源的剩余度讨论讨论讨论讨论：从提高抗干扰能力角度出发从提高抗干扰能力角度出发从提高抗干扰能力角度出发从提高抗干扰能力角度出发:希望减少或去掉剩余度希望减少或去掉剩余度希望减少或去掉剩余度希望减少或去掉剩余度希望
38、增加或保留信源的剩余度希望增加或保留信源的剩余度希望增加或保留信源的剩余度希望增加或保留信源的剩余度因为因为:剩余度大的消息具有很强的抗干扰能力。当干扰使剩余度大的消息具有很强的抗干扰能力。当干扰使剩余度大的消息具有很强的抗干扰能力。当干扰使剩余度大的消息具有很强的抗干扰能力。当干扰使消息在传输过程中出现错误时，能从它的上下关联中纠正消息在传输过程中出现错误时，能从它的上下关联中纠正消息在传输过程中出现错误时，能从它的上下关联中纠正消息在传输过程中出现错误时，能从它的上下关联中纠正错误。错误。错误。错误。从提高信息传输的有效性观点出发从提高信息传输的有效性观点出发从提高信息传输的有效性观点出发
39、从提高信息传输的有效性观点出发:原因是什么原因是什么?第42页，本讲稿共46页例例3-103-10：黑黑黑黑白白白白气气气气象象象象传传传传真真真真图图图图的的的的消消消消息息息息只只只只有有有有黑黑黑黑白白白白两两两两种种种种颜颜颜颜色色色色，即即即即信信信信源源源源X=X=X=X=黑黑黑黑，白白白白 ，且且且且p(p(p(p(黑黑黑黑)=0.3)=0.3)=0.3)=0.3，p(p(p(p(白白白白)=0.7)=0.7)=0.7)=0.7。（1 1 1 1）假设图上黑白消息出现前后没有关系，）假设图上黑白消息出现前后没有关系，）假设图上黑白消息出现前后没有关系，）假设图上黑白消息出现前后没
40、有关系，求熵求熵求熵求熵H(X)H(X)H(X)H(X)。（2 2 2 2）假设消息前后有关系，其依赖关系为）假设消息前后有关系，其依赖关系为）假设消息前后有关系，其依赖关系为）假设消息前后有关系，其依赖关系为p(p(p(p(白白白白|白白白白)=0.9)=0.9)=0.9)=0.9，p(p(p(p(黑黑黑黑|白白白白)=0.1)=0.1)=0.1)=0.1，p(p(p(p(白白白白|黑黑黑黑)=0.2)=0.2)=0.2)=0.2，p(p(p(p(黑黑黑黑|黑黑黑黑)=0.8)=0.8)=0.8)=0.8，求此一阶马尔可夫信源的熵求此一阶马尔可夫信源的熵求此一阶马尔可夫信源的熵求此一阶马尔可
41、夫信源的熵H2H2H2H2。（3 3 3 3）分分分分别别别别求求求求上上上上述述述述两两两两种种种种信信信信源源源源的的的的剩剩剩剩余余余余度度度度，并并并并比比比比较较较较H(X)H(X)H(X)H(X)和和和和H H H H2 2 2 2的的的的大大大大小小小小，并并并并说说说说明其物理意义。明其物理意义。明其物理意义。明其物理意义。第43页，本讲稿共46页信源的信息熵信源的信息熵信源的信息熵信源的信息熵（2 2）分分析析得得此此信信源源为为一一一一阶阶阶阶马马马马尔尔尔尔可可可可夫夫夫夫信信信信源源源源，它它的的的的状状态态集集为为：A=SA=S1 1=黑，黑，S S2 2=白白。则状
42、态转移图：。则状态转移图：S1S20.20.10.80.9解解：（：（1 1）假设黑白气象传真图上黑白消息出现的前后没有关系，）假设黑白气象传真图上黑白消息出现的前后没有关系，则等效于一个离散无记忆信源。信源概率空间为：则等效于一个离散无记忆信源。信源概率空间为：第44页，本讲稿共46页则其状态转移矩阵为则其状态转移矩阵为则其状态转移矩阵为则其状态转移矩阵为 ：由由此此可可见见：此此马马尔尔可可夫夫信信源源是是遍遍历历的的，稳稳态态分分布布存存在在，则则设设W=(p(S1)p(S2),W=(p(S1)p(S2),根据根据WP=WWP=W可得：可得：可以求出可以求出可以求出可以求出:第45页，本讲稿共46页则此信源的熵为：则此信源的熵为：则此信源的熵为：则此信源的熵为：（3 3 3 3）黑白消息信源的剩余度）黑白消息信源的剩余度）黑白消息信源的剩余度）黑白消息信源的剩余度 即即第46页，本讲稿共46页