《第3章 离散信道及其信道容量.ppt》由会员分享，可在线阅读，更多相关《第3章 离散信道及其信道容量.ppt（92页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第3章章 离散信道及其信道容量离散信道及其信道容量赵赵 越越2011.9.n n信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。n n研究信道中能够传送或存储的最大信息量，即研究信道中能够传送或存储的最大信息量，即研究信道中能够传送或存储的最大信息量，即研究信道中能够传送或存储的最大信息量，即信道容量。信道容量。信道容量。信道容量。数字通信系统的一般模型数字通信系统的一般模型2 23.1 信道的数学模型及分类信道的数学模型及分类 我们认为噪声或干扰主要从信道中引入，它我们认
2、为噪声或干扰主要从信道中引入，它我们认为噪声或干扰主要从信道中引入，它我们认为噪声或干扰主要从信道中引入，它使信号通过信道传输后产生错误和失真。使信号通过信道传输后产生错误和失真。使信号通过信道传输后产生错误和失真。使信号通过信道传输后产生错误和失真。所以，信道的输入和输出信号之间一般不是确所以，信道的输入和输出信号之间一般不是确所以，信道的输入和输出信号之间一般不是确所以，信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。定的函数关系，而是统计依赖的关系。定的函数关系，而是统计依赖的关系。定的函数关系，而是统计依赖的关系。3 33.1.1 信道的分类信道的分类 根据载荷消息
3、的媒体不同根据载荷消息的媒体不同根据载荷消息的媒体不同根据载荷消息的媒体不同根据信息传输的方式根据信息传输的方式根据信息传输的方式根据信息传输的方式邮递信道邮递信道邮递信道邮递信道电信道电信道电信道电信道光信道光信道光信道光信道声信道声信道声信道声信道输入和输出信号的形式输入和输出信号的形式输入和输出信号的形式输入和输出信号的形式信道的统计特性信道的统计特性信道的统计特性信道的统计特性信道的用户多少信道的用户多少信道的用户多少信道的用户多少4 4根据信道的用户多少根据信道的用户多少根据信道的用户多少根据信道的用户多少：（1 1）两端）两端）两端）两端(单用户单用户单用户单用户)信道信道信道信道
4、-只有一个输入端和只有一个输入端和只有一个输入端和只有一个输入端和一个输出端的单向通信的信道；一个输出端的单向通信的信道；一个输出端的单向通信的信道；一个输出端的单向通信的信道；（2 2）多端）多端）多端）多端(多用户多用户多用户多用户)信道信道信道信道-输入端和输出端中输入端和输出端中输入端和输出端中输入端和输出端中至少有两个以上的用户，并且可以双向通信至少有两个以上的用户，并且可以双向通信至少有两个以上的用户，并且可以双向通信至少有两个以上的用户，并且可以双向通信的信道。的信道。的信道。的信道。5 5根据信道输入端和输出端的关联根据信道输入端和输出端的关联根据信道输入端和输出端的关联根据信
5、道输入端和输出端的关联：（1 1）无反馈信道）无反馈信道）无反馈信道）无反馈信道-信道输出端无信号反馈到输入端，信道输出端无信号反馈到输入端，信道输出端无信号反馈到输入端，信道输出端无信号反馈到输入端，即输出端信号对输入端信号无影响、无作用；即输出端信号对输入端信号无影响、无作用；即输出端信号对输入端信号无影响、无作用；即输出端信号对输入端信号无影响、无作用；（2 2）反馈信道）反馈信道）反馈信道）反馈信道-输出端的信号反馈到输入端，对输输出端的信号反馈到输入端，对输输出端的信号反馈到输入端，对输输出端的信号反馈到输入端，对输入端信号起作用。入端信号起作用。入端信号起作用。入端信号起作用。根据
6、信道的参数与时间的关系根据信道的参数与时间的关系根据信道的参数与时间的关系根据信道的参数与时间的关系：（1 1）固定参数信道）固定参数信道）固定参数信道）固定参数信道-信道参数不随时间变化而变信道参数不随时间变化而变信道参数不随时间变化而变信道参数不随时间变化而变化化化化 （2 2）时变参数信道）时变参数信道）时变参数信道）时变参数信道-信道参数随时间变化而变化信道参数随时间变化而变化信道参数随时间变化而变化信道参数随时间变化而变化 6 6根据输入和输出信号的特点根据输入和输出信号的特点根据输入和输出信号的特点根据输入和输出信号的特点：（1 1）离散信道）离散信道）离散信道）离散信道-输入输出
7、的随机序列的取值都是输入输出的随机序列的取值都是输入输出的随机序列的取值都是输入输出的随机序列的取值都是离散的信道；离散的信道；离散的信道；离散的信道；（2 2）连续信道）连续信道）连续信道）连续信道-输入输出的随机序列的取值都是输入输出的随机序列的取值都是输入输出的随机序列的取值都是输入输出的随机序列的取值都是连续的信道；连续的信道；连续的信道；连续的信道；（3 3）半离散或半连续信道）半离散或半连续信道）半离散或半连续信道）半离散或半连续信道-输入序列是离散型的，输入序列是离散型的，输入序列是离散型的，输入序列是离散型的，但相应的输出序列是连续的信道，或相反。但相应的输出序列是连续的信道，
8、或相反。但相应的输出序列是连续的信道，或相反。但相应的输出序列是连续的信道，或相反。（4 4）波形信道）波形信道）波形信道）波形信道-输入和输出都是一些时间上连续输入和输出都是一些时间上连续输入和输出都是一些时间上连续输入和输出都是一些时间上连续的随机信号。（又称模拟信道）的随机信号。（又称模拟信道）的随机信号。（又称模拟信道）的随机信号。（又称模拟信道）7 7条件概率条件概率条件概率条件概率 P(y/x)P(y/x)描述了输入信号和输出信号之描述了输入信号和输出信号之描述了输入信号和输出信号之描述了输入信号和输出信号之间统计依赖关系。反映了间统计依赖关系。反映了间统计依赖关系。反映了间统计依
9、赖关系。反映了信道的统计特性信道的统计特性信道的统计特性信道的统计特性。3.1.2 离散信道的数学模型离散信道的数学模型8 8n n根据信道的根据信道的根据信道的根据信道的统计特性即条件概率统计特性即条件概率统计特性即条件概率统计特性即条件概率 P(y/x)P(y/x)P(y/x)P(y/x)的不同，的不同，的不同，的不同，离散信道又可分成三种情况：离散信道又可分成三种情况：离散信道又可分成三种情况：离散信道又可分成三种情况：n n无干扰信道无干扰信道无干扰信道无干扰信道n n有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道n n有干扰有记忆信道有干扰有记忆信道有干扰有记忆信道
10、有干扰有记忆信道9 9 (1)(1)无无无无干扰干扰干扰干扰(无噪无噪无噪无噪)信道信道信道信道 信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号y y与与与与输入信号输入信号输入信号输入信号 x x 之间有确定的、一之间有确定的、一之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即：一对应的关系。即：一对应的关系。即：y f(x)1010(2)(2)有干扰无有干扰无有干扰无有干扰无记忆信道记忆信道记忆信道记忆信道n n信道输入和输出之间的条件概率是
11、一般的概率分布信道输入和输出之间的条件概率是一般的概率分布信道输入和输出之间的条件概率是一般的概率分布信道输入和输出之间的条件概率是一般的概率分布。n n如果任一时刻输出符号只统计依赖于对应时刻的输如果任一时刻输出符号只统计依赖于对应时刻的输如果任一时刻输出符号只统计依赖于对应时刻的输如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。充要条件为：入符号，则这种信道称为无记忆信道。充要条件为：入符号，则这种信道称为无记忆信道。充要条件为：入符号，则这种信道称为无记忆信道。充要条件为：1111 (3)(3)有有有有干扰干扰干扰干扰(噪声噪声噪声噪声)有记忆信道有记忆信道
12、有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声噪声噪声)又有记忆的又有记忆的又有记忆的又有记忆的这种类型，这是更一般的情况。这种类型，这是更一般的情况。这种类型，这是更一般的情况。这种类型，这是更一般的情况。在这一类信道中某一瞬间的输出符号不但与在这一类信道中某一瞬间的输出符号不但与在这一类信道中某一瞬间的输出符号不但与在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其对应时刻的输入符号有关，而且还与此以前其对应时刻的输入符号有关，而且还与此以前其对应时刻的输入符号有关，而且还与此以前其他时刻
13、信道的输入符号及输出符号有关，这样他时刻信道的输入符号及输出符号有关，这样他时刻信道的输入符号及输出符号有关，这样他时刻信道的输入符号及输出符号有关，这样的信道称为的信道称为的信道称为的信道称为有记忆信道。有记忆信道。有记忆信道。有记忆信道。3.1.3 单符号离散信道单符号离散信道 单符号离散信道：单符号离散信道：单符号离散信道：单符号离散信道：输入符号为输入符号为输入符号为输入符号为X X，取值于取值于取值于取值于aa1 1,a,a2 2,a ar r。输出符号为输出符号为输出符号为输出符号为Y Y，取值于取值于取值于取值于bb1 1,b,b2 2,b bs s。条件概率：条件概率：条件概率
14、：条件概率：P(y/x)P(y/x)P(y=P(y=b bj j/x/x=a ai i)P(bP(bj j/a/ai i)这一组条件概率称为信道的这一组条件概率称为信道的这一组条件概率称为信道的这一组条件概率称为信道的传递概率传递概率传递概率传递概率或或或或转移概率转移概率转移概率转移概率，可以用来描述信道干扰影响的大小。可以用来描述信道干扰影响的大小。可以用来描述信道干扰影响的大小。可以用来描述信道干扰影响的大小。1313n n信道中有干扰信道中有干扰信道中有干扰信道中有干扰(噪声噪声噪声噪声)存在，可以用传递概率存在，可以用传递概率存在，可以用传递概率存在，可以用传递概率 P(bP(bj
15、j/a/ai i)来来来来描述干扰影响的大小。描述干扰影响的大小。描述干扰影响的大小。描述干扰影响的大小。n n一般一般一般一般简单的单符号离散信道简单的单符号离散信道简单的单符号离散信道简单的单符号离散信道可以用可以用可以用可以用X,P(y/x),Y X,P(y/x),Y 三者加三者加三者加三者加以描述。以描述。以描述。以描述。n n其数学模型可以用概率空间其数学模型可以用概率空间其数学模型可以用概率空间其数学模型可以用概率空间X,P(y/x),YX,P(y/x),Y描述。也可用描述。也可用描述。也可用描述。也可用下图来描述：下图来描述：下图来描述：下图来描述：a1 b1 a2 b2 X .
16、Y.ar bsP(bj/ai)1414例例例例3.13.1 二元对称信道，二元对称信道，二元对称信道，二元对称信道，BSCBSC，Binary Symmetrical ChannelBinary Symmetrical Channel 一很重要的特殊信道，一很重要的特殊信道，一很重要的特殊信道，一很重要的特殊信道，X:0,1;Y:0,1;r=s=2X:0,1;Y:0,1;r=s=2，a a1 1=b=b1 1=0=0；a a2 2=b=b2 2=1=1。传递概率传递概率传递概率传递概率:p是单个符号是单个符号传输发生错误传输发生错误的概率。的概率。（1-p）表示是表示是无错误传输无错误传输的概
17、率。的概率。转移矩阵转移矩阵:0 1011p a1=0 0=b11p a2=1 1=b2pp1515符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊以外的特殊符号符号 0 2 101p0 01p1 1q1q2例例例例3.2 3.2 二元删除信道。二元删除信道。二元删除信道。二元删除信道。BECBEC，Binary Eliminated ChannelBinary Eliminated Channel 解：解：解：解：X:0X:0，1 Y:01 Y:0，1 1，22此时，此时，此时，此时，r r 2 2，s s 3 3，传递矩阵为：传递矩阵为：传递矩阵为：传递矩阵为：1616n n
18、一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即 矩阵矩阵P完全描述了信道的特性，可用它作为离散单符完全描述了信道的特性，可用它作为离散单符号号信道的另一种数学模型信道的另一种数学模型的形式。的形式。P中有些是信道干扰引起的错误概率，有些是信道正中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为确传输的概率。所以该矩阵又称为信道矩阵信道矩阵（转移矩阵）（转移矩阵）b1 b2 bsa1 P(b1|a1)P(b2|a1)P(bs|a
19、1)a2 P(b1|a2)P(b2|a2)P(bs|a2).ar P(b1|ar)P(b2|ar)P(bs|ar)17173.2 3.2 平均互信息及平均条件互信息平均互信息及平均条件互信息 本节进一步研究离散单符号信道的数本节进一步研究离散单符号信道的数学模型下的信息传输问题。学模型下的信息传输问题。18183.2.1 信道疑义度信道疑义度信道输入信源信道输入信源X的熵的熵 H(X)H(X)是在接收到输出是在接收到输出是在接收到输出是在接收到输出Y Y以前，关于输入变量以前，关于输入变量以前，关于输入变量以前，关于输入变量X X的的的的先验不确定性，称为先验不确定性，称为先验不确定性，称为先
20、验不确定性，称为先验熵先验熵。如果信道中无干扰，信道输出符号与输入符号如果信道中无干扰，信道输出符号与输入符号如果信道中无干扰，信道输出符号与输入符号如果信道中无干扰，信道输出符号与输入符号一一对应，接收到传送过来的符号就消除了对发送一一对应，接收到传送过来的符号就消除了对发送符号的先验不确定性。符号的先验不确定性。1919接受到接受到接受到接受到b bj j后，关于后，关于后，关于后，关于X X的不确定性为的不确定性为的不确定性为的不确定性为 这是接收到输出符号这是接收到输出符号这是接收到输出符号这是接收到输出符号b bj后关于后关于后关于后关于X X的的的的后验熵后验熵后验熵后验熵。但一般
21、信道中有干扰存在，接收到输但一般信道中有干扰存在，接收到输但一般信道中有干扰存在，接收到输但一般信道中有干扰存在，接收到输Y Y后，对发后，对发后，对发后，对发送的是什么符号仍有不确定性。送的是什么符号仍有不确定性。送的是什么符号仍有不确定性。送的是什么符号仍有不确定性。怎样度量接收到怎样度量接收到Y后关于后关于X的不确定性呢？的不确定性呢？2020 后验熵在输出符号集后验熵在输出符号集Y范围内是个随机量，对后验范围内是个随机量，对后验熵在符号集熵在符号集Y中求数学期望，得条件熵中求数学期望，得条件熵-信道疑义度信道疑义度：后后后后验验验验熵熵熵熵是是是是当当当当信信信信道道道道接接接接收收收
22、收端端端端接接接接收收收收到到到到输输输输出出出出符符符符号号号号b bj后后后后，关关关关于输入符号的信息测度。于输入符号的信息测度。2121uu 信信信信道道道道疑疑疑疑义义义义度度度度表表表表示示示示在在在在输输输输出出出出端端端端收收收收到到到到输输输输出出出出变变变变量量量量Y Y的的的的符符符符号号号号后，对于输入端的变量后，对于输入端的变量后，对于输入端的变量后，对于输入端的变量X X尚存在的平均不确定性。尚存在的平均不确定性。尚存在的平均不确定性。尚存在的平均不确定性。uu 这个对这个对这个对这个对X X尚存的不确定性是由于干扰引起的。尚存的不确定性是由于干扰引起的。尚存的不确
23、定性是由于干扰引起的。尚存的不确定性是由于干扰引起的。uu 如如如如果果果果是是是是一一一一一一一一对对对对应应应应信信信信道道道道，接接接接收收收收到到到到输输输输出出出出Y Y后后后后，对对对对X X的的的的不确定性将完全消除，则信道疑义度为零。不确定性将完全消除，则信道疑义度为零。2222 已知，已知，代表接收到输出符号以前关于输入量代表接收到输出符号以前关于输入量X的平均不确定性，而的平均不确定性，而 代表接收到输出符号代表接收到输出符号后关于输入变量后关于输入变量X的平均不确定性。的平均不确定性。通过信道传输消除了一些不确定性，获得了一定通过信道传输消除了一些不确定性，获得了一定的信
24、息。所以定义的信息。所以定义3.2.2 平均互信息平均互信息 它代表接收到输出符号后平均每个符号获得的关它代表接收到输出符号后平均每个符号获得的关于于X的信息量。也表明，输入与输出两个随机变量之的信息量。也表明，输入与输出两个随机变量之间的统计约束程度。间的统计约束程度。2323 平均互信息就是平均互信息就是互信息互信息 在两个概率空间在两个概率空间X和和Y中求中求统计平均统计平均的结果。的结果。2424即：互信息量表示先验的不确定性减去尚存的不确即：互信息量表示先验的不确定性减去尚存的不确定性，这就是定性，这就是收信者获得的信息量收信者获得的信息量对于无干扰信道，对于无干扰信道，I(xi;y
25、j)=I(xi)；对于全损信道，对于全损信道，I(xi;yj)=0；互信息量互信息量 I(xi;yj)：收到消息收到消息y 后获得关于后获得关于x的信息量的信息量 互信息可取正值，也可取负值互信息可取正值，也可取负值。取负值说明在为收。取负值说明在为收到消息到消息y之前对消息之前对消息x是否出现的猜测的难易程度较小。是否出现的猜测的难易程度较小。由于噪声的存在，接收到消息由于噪声的存在，接收到消息y后，反而是收信者对消后，反而是收信者对消息息x是否出现的猜测难疑度增加。是否出现的猜测难疑度增加。2525平均互信息平均互信息I(X;Y)：I(xi;yj)的的统计平均统计平均 所以，平均互信息所以
26、，平均互信息I(X;Y)I(X;Y)永远不会取负值。永远不会取负值。最差的情况是平均互信息为零，即信道输最差的情况是平均互信息为零，即信道输出端接收到输出符号出端接收到输出符号Y后不获得任何关于输入后不获得任何关于输入符号符号X的信息量。的信息量。2626关于平均互信息关于平均互信息I(X;Y)互信息互信息 I(x;y)代表收到某消息代表收到某消息y后获得关于某事件后获得关于某事件x的信息量。它可取正值，也可取负值。的信息量。它可取正值，也可取负值。若互信息若互信息I(x;y)=0。若若I(X;Y)=0，表示表示在在信道信道输出端接收到输出符号输出端接收到输出符号Y后不获得任何关于后不获得任何
27、关于输输入符号入符号X的信息量的信息量-全损信道全损信道。2727 I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：其中：平均互信息与各类熵的关系平均互信息与各类熵的关系2828平均互信息与各类熵之间关系的集合图（平均互信息与各类熵之间关系的集合图（维拉图维拉图）表示：）表示：H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y)H(X)H(Y)H(X/Y)H(Y/X)H(XY)H(XY)图中，左边的圆代表图中，左边的圆代表图中，左边的圆代表图中，左边的圆代表
28、随机变量随机变量随机变量随机变量X X的熵，右边的熵，右边的熵，右边的熵，右边的圆代表随机变量的圆代表随机变量的圆代表随机变量的圆代表随机变量Y Y的的的的熵，两个圆重叠部分熵，两个圆重叠部分熵，两个圆重叠部分熵，两个圆重叠部分是平均互信息是平均互信息是平均互信息是平均互信息I(XI(X;Y)Y)。每个圆减去每个圆减去每个圆减去每个圆减去I(XI(X;Y)Y)后后后后剩余的部分代表两个剩余的部分代表两个剩余的部分代表两个剩余的部分代表两个疑义度。疑义度。疑义度。疑义度。I(XI(X;Y)Y)表示信源符号通过有噪信道传输后表示信源符号通过有噪信道传输后引起的信息量的损失引起的信息量的损失损失熵损
29、失熵由信道中噪声引起的由信道中噪声引起的噪声熵噪声熵2929n n 两种特殊信道两种特殊信道两种特殊信道两种特殊信道（1 1）离散无干扰信道）离散无干扰信道）离散无干扰信道）离散无干扰信道 (无损信道无损信道无损信道无损信道 )信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，称为称为称为称为无损信道无损信道无损信道无损信道。H(X|Y)=H(Y|X)=0H(X|Y)=H(Y|X)=0 损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为“0”0”由
30、于噪声熵等于零，因此，输出端接收的信息就由于噪声熵等于零，因此，输出端接收的信息就由于噪声熵等于零，因此，输出端接收的信息就由于噪声熵等于零，因此，输出端接收的信息就等于平均互信息等于平均互信息等于平均互信息等于平均互信息:I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)3030（2 2）输入输出独立信道）输入输出独立信道）输入输出独立信道）输入输出独立信道 (全损信道全损信道全损信道全损信道 )信道输入端信道输入端信道输入端信道输入端X X与输出端与输出端与输出端与输出端Y Y完全统计独立完全统计独立完全统计独立完全统计独立 H(X|Y)=H(X),H(Y|X)=H(Y)H(
31、X|Y)=H(X),H(Y|X)=H(Y)所以所以所以所以 I(X;Y)=0 I(X;Y)=0 I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有依赖依赖依赖依赖关系，信息无法传输，关系，信息无法传输，关系，信息无法传输，关系，信息无法传输，称为称为称为称为全损信道全损信道全损信道全损信道。接收到接收到接收到接收到Y Y后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端X X的任何不确定性，的任何不确定性，的任何不确定性，的任何不确定性，所以获得的信息量等
32、于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从X X中获得任何中获得任何中获得任何中获得任何关于关于关于关于Y Y的信息量。的信息量。的信息量。的信息量。平均互信息平均互信息平均互信息平均互信息I(XI(X;Y)Y)等于零，表明了等于零，表明了等于零，表明了等于零，表明了信道两端随机变信道两端随机变信道两端随机变信道两端随机变量的统计约束程度等于零量的统计约束程度等于零量的统计约束程度等于零量的统计约束程度等于零。3131二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系二种极
33、限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系 H(X|Y)=H(X)H(X|Y)=H(X)H(Y|X)=H(Y)H(Y|X)=H(Y)I(X;Y)=0 I(X;Y)=0H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)无损信道：完全重迭无损信道：完全重迭无损信道：完全重迭无损信道：完全重迭全损信道：完全独立全损信道：完全独立全损信道：完全独立全损信道：完全独立无损信道：无损信道：无损信道：无损信道：全损信道：全损信道：全损信道：全损信道：32323.3 3.3 平均互信息的特性平均互信息
34、的特性平均互信息平均互信息平均互信息平均互信息 I I(X(X;Y)Y)具有以下特性：具有以下特性：具有以下特性：具有以下特性：（1 1）非负性非负性非负性非负性 即即即即 I I(X(X;Y)=0Y)=0 当当当当X X、Y Y统计独立时等式成立。统计独立时等式成立。统计独立时等式成立。统计独立时等式成立。（2 2）极值性）极值性）极值性）极值性 即即即即 I I(X(X;Y)=H(X)Y)=H(X)当当当当 H(X/Y)=0 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。时，即信道中传输信息无损时，等式成立。时，即信道中传输信息无损时，等式成立。时，即信道中传输信息无损时，等式成
35、立。观察一个信道的输出，观察一个信道的输出，从平均的角度来看总能从平均的角度来看总能消除一些不确定性，接消除一些不确定性，接收到一定的信息。收到一定的信息。从一个事件提取另一事件的信从一个事件提取另一事件的信息量，最多只有另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件息熵那么多，不会超过该事件自身所含有的信息量。自身所含有的信息量。3333（3 3）交互性（对称性）交互性（对称性）交互性（对称性）交互性（对称性）即即即即 I I(X;Y)=(X;Y)=I I(Y;X)(Y;X)当当当当 X X、Y Y统计独立时统计独立时统计独立时统计独立时 I I(X;Y)=(X;Y)=I
36、I(Y;X)=0(Y;X)=0 当信道无干扰，一一对应时当信道无干扰，一一对应时当信道无干扰，一一对应时当信道无干扰，一一对应时 I I(X;Y)=(X;Y)=I I(Y;X)=H(X)=H(Y)(Y;X)=H(X)=H(Y)3434（4 4）凸状性）凸状性）凸状性）凸状性 所以，所以，平均互信息平均互信息I(X;Y)只是信源只是信源X的概率分的概率分布布P(x)和信道的传递概率和信道的传递概率P(y/x)的函数，的函数，即：即：I(X;Y)=f P(x),P(y|x)35353636定理定理3.1 平均互信息平均互信息I(X;Y)是输入信源的概率分是输入信源的概率分布布P(x)的的型凸函数。
37、型凸函数。n n（1 1）对固定信道，选择不同的对固定信道，选择不同的信源信源(其概率分布不同其概率分布不同)与信道与信道连接，在信道输出端接收到每连接，在信道输出端接收到每个符号后获得的信息量是不同个符号后获得的信息量是不同的。的。n n（2 2）对于每一个固定信道，一对于每一个固定信道，一定存在有一种信源定存在有一种信源(某一种概率某一种概率分布分布P(x)P(x)，使输出端获得的平使输出端获得的平均信息量为最大。均信息量为最大。3737定理定理3.2 平均互信息平均互信息I(X;Y)是信道传递的概率是信道传递的概率P(y/x)的的型凸函数。型凸函数。n当信源固定后，选择不当信源固定后，选
38、择不同的信道来传输同一信同的信道来传输同一信源符号，在信道输出端源符号，在信道输出端获得关于信源的信息量获得关于信源的信息量是不同的。是不同的。n对每一种信源都存在一对每一种信源都存在一种最差的信道，此时干种最差的信道，此时干扰扰(噪声噪声)最大，而输出最大，而输出端获得的信息量最小。端获得的信息量最小。3838小结：各种熵之间的关系小结：各种熵之间的关系小结：各种熵之间的关系小结：各种熵之间的关系3939n n信道对于信息率的容纳并不是无限制的，它不仅与信道对于信息率的容纳并不是无限制的，它不仅与信道对于信息率的容纳并不是无限制的，它不仅与信道对于信息率的容纳并不是无限制的，它不仅与物理信道
39、本身的特性有关，还与信道输入信号的统物理信道本身的特性有关，还与信道输入信号的统物理信道本身的特性有关，还与信道输入信号的统物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即计特性有关，它有一个极限值，即计特性有关，它有一个极限值，即计特性有关，它有一个极限值，即信道容量信道容量信道容量信道容量。3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法p 信道的功能信道的功能信道的功能信道的功能：以信号形式传输和存储信息。：以信号形式传输和存储信息。：以信号形式传输和存储信息。：以信号形式传输和存储信息。p 信道传输信息的速率信道传输信息的速率信道传输信息的速率
40、信道传输信息的速率：与物理信道本身的特性、载：与物理信道本身的特性、载：与物理信道本身的特性、载：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。荷信息的信号形式和信源输出信号的统计特性有关。荷信息的信号形式和信源输出信号的统计特性有关。荷信息的信号形式和信源输出信号的统计特性有关。p 信道容量研究内容信道容量研究内容信道容量研究内容信道容量研究内容：在什么条件下，通过信道的信：在什么条件下，通过信道的信：在什么条件下，通过信道的信：在什么条件下，通过信道的信息量最大。息量最大。息量最大。息量最大。4040什么是信道？什么是信道？什么是信道？什么是信道？信道是传送信息的载
41、体信道是传送信息的载体信道是传送信息的载体信道是传送信息的载体信号所通过的通道。信号所通过的通道。信号所通过的通道。信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，信息是抽象的，信道则是具体的。比如：二人对话，信息是抽象的，信道则是具体的。比如：二人对话，信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；二人间的空气就是信道；打电话，电话线就是信道；二人间的空气就是信道；打电话，电话线就是信道；二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。看电视，听收音机，收、发间的空间就是信道。看电视，听收音
42、机，收、发间的空间就是信道。看电视，听收音机，收、发间的空间就是信道。信道的作用信道的作用信道的作用信道的作用 在信息系统中信道主要用于传输与存储信息，而在信息系统中信道主要用于传输与存储信息，而在信息系统中信道主要用于传输与存储信息，而在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。在通信系统中则主要用于传输。在通信系统中则主要用于传输。在通信系统中则主要用于传输。研究信道目的研究信道目的研究信道目的研究信道目的 在通信系统中研究信道，主要是为了描述、度量、在通信系统中研究信道，主要是为了描述、度量、在通信系统中研究信道，主要是为了描述、度量、在通信系统中研究信道，主要
43、是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，分析不同类型信道，计算其容量，即极限传输能力，分析不同类型信道，计算其容量，即极限传输能力，分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。并分析其特性。并分析其特性。并分析其特性。4141n n研究信道是要讨论信道中平均每个符号所能传送的研究信道是要讨论信道中平均每个符号所能传送的研究信道是要讨论信道中平均每个符号所能传送的研究信道是要讨论信道中平均每个符号所能传送的信息量信息量信息量信息量-信息传信息传信息传信息传输率输率输率输率R Rn n平均互信息平均互信息平均互信息平均互信息I(X;Y)I(X;Y)就是接收到
44、符号就是接收到符号就是接收到符号就是接收到符号Y Y后平均每个符后平均每个符后平均每个符后平均每个符号获得的关于号获得的关于号获得的关于号获得的关于X X的信息的信息的信息的信息量。量。量。量。n n所以：所以：所以：所以：R R=I(X;Y)=H(X)H(X|Y)=I(X;Y)=H(X)H(X|Y)(比特比特比特比特/符号符号符号符号)n n信道中每秒平均传输的信息量信道中每秒平均传输的信息量信道中每秒平均传输的信息量信道中每秒平均传输的信息量-信息传输速率信息传输速率信息传输速率信息传输速率R Rt tRt R/t=I(X;Y)/t=H(X)/t H(X|Y)/t （比特（比特/秒）秒）4
45、242由于平均互信息由于平均互信息由于平均互信息由于平均互信息I I(X;Y)(X;Y)是输入随机变量的是输入随机变量的是输入随机变量的是输入随机变量的 型凸型凸型凸型凸函数函数函数函数 ，所以对一固定的信道，总存在一种信源，使传，所以对一固定的信道，总存在一种信源，使传，所以对一固定的信道，总存在一种信源，使传，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。输每个符号平均获得的信息量最大。输每个符号平均获得的信息量最大。输每个符号平均获得的信息量最大。即存在一个最大的信息传输率即存在一个最大的信息传输率即存在一个最大的信息传输率即存在一个最大的信息传输率 -定义为定
46、义为定义为定义为信道信道容量容量C C（比特（比特（比特（比特/符号）符号）符号）符号）(Bit/s)(Bit/s)Ct仍称为仍称为信道容量信道容量 若平均传输一个符号需要若平均传输一个符号需要 t 秒钟，则信道在单秒钟，则信道在单位时间内平均传输的最大信息量为位时间内平均传输的最大信息量为Ct：4343即：即：例例3.5 信道容量的计算信道容量的计算信道容量的计算信道容量的计算因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：二元对称信道，二元对称信道，I(X;Y)时，时，时，时，I(X;Y)I(X;Y)最大。最大。最大。最大。当当(比特符号比特符号)44441.无噪无损信道无
47、噪无损信道3.4.1 离散无噪信道的信道容量离散无噪信道的信道容量例如：例如：其信道矩阵是单位矩阵：其信道矩阵是单位矩阵：满足：满足：I(X;Y)=H(X)=H(Y)45452.有噪无损信道：有噪无损信道：接收到符号接收到符号接收到符号接收到符号Y Y后，对后，对后，对后，对X X符号是完全确定的。符号是完全确定的。符号是完全确定的。符号是完全确定的。损失熵损失熵损失熵损失熵H(X/Y)=0H(X/Y)=0，但噪声熵但噪声熵但噪声熵但噪声熵H(Y/X)H(Y/X)0 0其信道矩阵：其信道矩阵：其信道矩阵：其信道矩阵：所以所以所以所以 ：I(X;Y)=H(X)H(Y)I(X;Y)=H(X)H(Y
48、)信道的传递矩阵中每一信道的传递矩阵中每一列有一个且仅有一个非列有一个且仅有一个非零元素时，此信道一定零元素时，此信道一定是是有噪无损信道有噪无损信道。46463.3.无噪有损信道无噪有损信道无噪有损信道无噪有损信道满足：满足：满足：满足：I(X;Y)=H(Y)H(X)47474848综上所述：综上所述：n n损失熵等于零的信道称为损失熵等于零的信道称为损失熵等于零的信道称为损失熵等于零的信道称为无损信道无损信道无损信道无损信道；n n噪声熵等于零的信道称为噪声熵等于零的信道称为噪声熵等于零的信道称为噪声熵等于零的信道称为无噪信道无噪信道无噪信道无噪信道；n n一一对应的的无噪信道则为一一对应
49、的的无噪信道则为一一对应的的无噪信道则为一一对应的的无噪信道则为无噪无损信道无噪无损信道无噪无损信道无噪无损信道。求这三类信道的信道容量求这三类信道的信道容量求这三类信道的信道容量求这三类信道的信道容量C C的问题，已经从求的问题，已经从求的问题，已经从求的问题，已经从求平均互信息平均互信息平均互信息平均互信息I I（X X；Y)Y)的极限问题退化为求信息熵的极限问题退化为求信息熵的极限问题退化为求信息熵的极限问题退化为求信息熵H(X)H(X)或或或或HH（Y Y）的极值问题）的极值问题）的极值问题）的极值问题4949 所谓所谓对称对称信道，是指信道矩阵信道，是指信道矩阵P中每一行都是由同一集
50、合中每一行都是由同一集合p1，p2，ps中的诸元素不同排列组成，且每一中的诸元素不同排列组成，且每一列也都是由列也都是由q1，q2，qr 中的诸元素不同排列组中的诸元素不同排列组成。成。具有这种对称信道矩阵的信道称为具有这种对称信道矩阵的信道称为对称离散信道对称离散信道。一般一般sr。3.4.2 对称离散信道的信道容量对称离散信道的信道容量例如：例如：都是对称离散信道都是对称离散信道5050都不是对称离散信道都不是对称离散信道5151若输入和输出符号个数相同，都等于若输入和输出符号个数相同，都等于r，且信道矩阵为：且信道矩阵为：则此信道称为则此信道称为强对称信道或均匀信道强对称信道或均匀信道。