《信息论与编码技术 chap3 信道及其容量.ppt》由会员分享，可在线阅读，更多相关《信息论与编码技术 chap3 信道及其容量.ppt（69页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第三章第三章 信道及其容量信道及其容量u信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。u研究信道中能够传送或存储的最大信息量，即信道容量。研究信道中能够传送或存储的最大信息量，即信道容量。3.1 3.1 信道的数学模型和分类信道的数学模型和分类 图3.1.1 数字通信系统的一般模型3.1 3.1 信道的数学模型和分类信道的数学模型和分类 一、信道的分类一、信道的分类 根据载荷消息的媒体不同根据载荷消息的媒体不同根据信息传输的方式根据信息传输的方式邮递信道邮递信道邮递信道邮递信道电信道电信道电信道电信道光信道光信道光信道光信道声信道声信道声信道声信道输入和输
2、出信号的形式输入和输出信号的形式输入和输出信号的形式输入和输出信号的形式信道的统计特性信道的统计特性信道的统计特性信道的统计特性信道的用户多少信道的用户多少信道的用户多少信道的用户多少根据信息传输的方式分类中根据信息传输的方式分类中 根据信道的用户多少：两端根据信道的用户多少：两端(单用户单用户)信道信道 多端多端(多用户多用户)信道信道根据信道输入端和输出端的关联：根据信道输入端和输出端的关联：无反馈信道无反馈信道 反馈信道反馈信道根据信道的参数与时间的关系：根据信道的参数与时间的关系：固定参数信道固定参数信道 时变参数信道时变参数信道 根据输入和输出信号的特点：根据输入和输出信号的特点：离
3、散信道离散信道 连续信道连续信道 半离散或半连续信道半离散或半连续信道 波形信道波形信道二、离散信道的数学模型二、离散信道的数学模型条件概率条件概率 P(y/x)描述了输入信号和输出信号之间统计描述了输入信号和输出信号之间统计依赖关系。反映了依赖关系。反映了信道的统计特性信道的统计特性。根据信道的根据信道的统计特性即条件概率统计特性即条件概率 P(y/x)P(y/x)的不同，离散的不同，离散信道又可分成三种情况：信道又可分成三种情况：无干扰信道无干扰信道有干扰无记忆信道有干扰无记忆信道有干扰有记忆信道有干扰有记忆信道 (1)无干扰无干扰(噪声噪声)信道信道 信道中没有随机性的干扰或者干扰很小，
4、输出信号信道中没有随机性的干扰或者干扰很小，输出信号y与与输入信号输入信号 x 之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即：y f(x)(2)有干扰无有干扰无记忆信道记忆信道信道输入和输出之间的条件概率是一般的概率分布信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。则这种信道称为无记忆信道。(3)有有干扰干扰(噪声噪声)有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类型型。例如在数
5、字信道中，由于信道滤波使频率特性不理例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号在这一类信道中某一瞬间的输出符号不但与对应时不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，入符号及输出符号有关，这样的信道称为有记忆信道。这样的信道称为有记忆信道。三、单符号离散信道单符号离散信道：单符号离散信道：输入符号为输入符号为X，取值于取值于a1,a2,ar。输出符号为输出符号为Y，取值于取值于b1,b2,bs。条件概率：条件概率：P(y/x)
6、P(y=bj/x=ai)P(bj/ai)这一组条件概率称为这一组条件概率称为信道的传递概率信道的传递概率或或转移概率转移概率，可以用，可以用来来描述信道干扰描述信道干扰影响的大小。影响的大小。信道中有干扰信道中有干扰(噪声噪声)存在，可以用传递概率存在，可以用传递概率 P(bj/ai)来来描述干扰影响的大小。描述干扰影响的大小。一般一般简单的单符号离散信道简单的单符号离散信道可以用可以用X,P(y/x),Y 三者加三者加以描述。以描述。其数学模型可以用概率空间其数学模型可以用概率空间X,P(y/x),Y描述。当然，描述。当然，也可用下图来描述：也可用下图来描述：a1 b1 a2 b2 X .Y
7、.ar bsP(bj/ai)例例1 二元对称信道，二元对称信道，BSC，Binary Symmetrical Channel解：解：此时，此时，X:0,1;Y:0,1;r=s=2，a1=b1=0；a2=b2=1。传递概率传递概率:p是单个符号是单个符号传输发生错误传输发生错误的概率。的概率。（1-p）表示是表示是无错误传输无错误传输的概率。的概率。转移矩阵转移矩阵:0 1011p a1=0 0=b11p a2=1 1=b2pp符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊以外的特殊符号符号 0 2 101p0 01p1 1q1q2例例2二元删除信道。二元删除信道。BEC，Bin
8、ary Eliminated Channel解：解：X:0，1 Y:0，1，2此时，此时，r 2，s 3，传递矩阵为：传递矩阵为：一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即 矩阵矩阵P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型信道的另一种数学模型的形式。的形式。P中有些是信道干扰引起的错误概率，有些是信道正确中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为传输的概率。所以该矩阵又称为信道矩阵信道矩阵（转移矩阵）（转移矩阵）。b1 b2 bsa1 P(b1
9、|a1)P(b2|a1)P(bs|a1)a2 P(b1|a2)P(b2|a2)P(bs|a2).ar P(b1|ar)P(b2|ar)P(bs|ar)3.2 3.2 信道疑义度与平均互信息信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型本节进一步研究离散单符号信道的数学模型下的信息传输问题。下的信息传输问题。一、信道疑义度一、信道疑义度信道输入信源信道输入信源X的熵的熵 H(X)是在接收到输出是在接收到输出Y以前，关于输入变量以前，关于输入变量X的先验不确的先验不确定性，称为定性，称为先验熵先验熵。接受到接受到bj后，关于后，关于X的不确定性为的不确定性为 后验熵在输出符号集后验
10、熵在输出符号集Y范围内是个随机量，对后验熵在符范围内是个随机量，对后验熵在符号集号集Y中求数学期望，得条件熵中求数学期望，得条件熵-信道疑义度信道疑义度：这是接收到输出符号这是接收到输出符号bj后关于后关于X的的后验熵后验熵。后后验验熵熵是是当当信信道道接接收收端端接接收收到到输输出出符符号号bj后后，关关于于输输入入符符号的信息测度。号的信息测度。互信息量互信息量 I(xi;yj)：收到消息收到消息yj 后获得关于后获得关于xi的信息的信息量量即：互信息量表示先验的不确定性减去尚存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定
11、性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这就是就是就是就是收信者获得的信息量收信者获得的信息量收信者获得的信息量收信者获得的信息量对于无干扰信道，对于无干扰信道，对于无干扰信道，对于无干扰信道，I(xI(xi i ;y yj j)=)=I(xI(xi i)；对于全损信道，对于全损信道，对于全损信道，对于全损信道，I(xI(xi i ;y yj j)=0)=0；二、平均互信息二、平均互信息平均互信息平均互信息I(X;Y)：I(xi;yj)的的统计平均。统计平均。l它代表接收到符号集它代表接收到符号集Y后平均每个符号获得的关于后平均每个符号获得的关于X的的信息量，也表示了输入与输出
12、两个随机变量之间的统信息量，也表示了输入与输出两个随机变量之间的统计约束程度。计约束程度。关于平均互信息关于平均互信息I(X;Y)互信息互信息互信息互信息 I(I(x x;y y)代表收到某消息代表收到某消息代表收到某消息代表收到某消息y y后获得关于某事件后获得关于某事件后获得关于某事件后获得关于某事件x x的的的的信息量。信息量。信息量。信息量。它可取正值，也可取负值。它可取正值，也可取负值。它可取正值，也可取负值。它可取正值，也可取负值。若互信息若互信息若互信息若互信息I(I(x x ;y y)0)=0=0。若若若若I(XI(X;Y)Y)=0=0，表示表示表示表示在在在在信道信道信道信道
13、输出端接收到输出符号输出端接收到输出符号输出端接收到输出符号输出端接收到输出符号Y Y后不后不后不后不获得任何关于获得任何关于获得任何关于获得任何关于输输输输入符号入符号入符号入符号X X的信息量的信息量的信息量的信息量-全损信道全损信道全损信道全损信道。I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)+H(Y)-H(XY)其中：其中：其中：其中：平均互信息与各类熵的关系平均互信息与各类熵的关系平均互信息与各类熵之间关系的集合图平均互
14、信息与各类熵之间关系的集合图平均互信息与各类熵之间关系的集合图平均互信息与各类熵之间关系的集合图（维拉图维拉图维拉图维拉图）表示：表示：表示：表示：H(X|Y)=H(X)-I(XH(X|Y)=H(X)-I(X;Y)Y)H(Y|X)=H(Y)-I(X H(Y|X)=H(Y)-I(X;Y)Y)H(XY)=H(X)+H(Y)-I(X H(XY)=H(X)+H(Y)-I(X;Y)Y)H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY)图中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机变量变量变量变量X X的熵，右边的圆代的熵，右边的
15、圆代的熵，右边的圆代的熵，右边的圆代表随机变量表随机变量表随机变量表随机变量Y Y的熵，两个的熵，两个的熵，两个的熵，两个圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息I I(X(X;Y)Y)。每个圆减去每个圆减去每个圆减去每个圆减去I(XI(X;Y)Y)后剩余的部分代表后剩余的部分代表后剩余的部分代表后剩余的部分代表两个疑义度。两个疑义度。两个疑义度。两个疑义度。两种特殊信道两种特殊信道（1 1）、离散无干扰信道）、离散无干扰信道）、离散无干扰信道）、离散无干扰信道 (无损信道无损信道无损信道无损信道 )信道的输入和输出一一对应，信息无损失地传输，信
16、道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，称为称为称为称为无损信道无损信道无损信道无损信道。H(X|Y)=H(Y|X)=0H(X|Y)=H(Y|X)=0 损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为“0”0”由于噪声熵等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等于平均互信息于平均互信息于平均互信息于平均互信息:I(X;Y)=H(X)=H(Y)I(X;Y)=H(
17、X)=H(Y)（2 2）、输入输出独立信道）、输入输出独立信道）、输入输出独立信道）、输入输出独立信道 (全损信道全损信道全损信道全损信道 )信道输入端信道输入端信道输入端信道输入端X X与输出端与输出端与输出端与输出端Y Y完全统计独立完全统计独立完全统计独立完全统计独立 H(X|Y)=H(X),H(Y|X)=H(Y)H(X|Y)=H(X),H(Y|X)=H(Y)所以所以所以所以 I(X;Y)=0 I(X;Y)=0 I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有依赖依赖依赖依赖关系，信息
18、无法传输，关系，信息无法传输，关系，信息无法传输，关系，信息无法传输，称为称为称为称为全损信道全损信道全损信道全损信道。接收到接收到接收到接收到Y Y后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端X X的任何不确定性，的任何不确定性，的任何不确定性，的任何不确定性，所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从X X中获得任何中获得任何中获得任何中获得任何关于关于关于关于Y Y的信息量。的信息量。的信息量。的信息量。平均互信息平均互信息平均互信息平
19、均互信息I(XI(X;Y)Y)等于零，表明了等于零，表明了等于零，表明了等于零，表明了信道两端随机变信道两端随机变信道两端随机变信道两端随机变量的统计约束程度等于零量的统计约束程度等于零量的统计约束程度等于零量的统计约束程度等于零。二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系 H(X|Y)=H(X)H(X|Y)=H(X)H(Y|X)=H(Y)H(Y|X)=H(Y)I(X;Y)=0 I(X;Y)=0H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X
20、)=H(Y)I(X;Y)=H(X)=H(Y)无损信道：完全重迭无损信道：完全重迭无损信道：完全重迭无损信道：完全重迭全损信道：完全独立全损信道：完全独立全损信道：完全独立全损信道：完全独立无损信道：无损信道：无损信道：无损信道：全损信道：全损信道：全损信道：全损信道：3.2 3.2 平均互信息的性质平均互信息的性质平均互信息平均互信息 I(X;Y)具有以下特性：具有以下特性：（1）非负性非负性 即即 I(X;Y)=0 当当X、Y统计独立时等式成立。统计独立时等式成立。（2）极值性）极值性 即即 I(X;Y)=H(X)当当 H(X/Y)=0 时，即信道中传输信息无损时，等式成时，即信道中传输信息
21、无损时，等式成立。立。（3）交互性（对称性）交互性（对称性）即即 I(X;Y)=I(Y;X)当当 X、Y统计独立时统计独立时 I(X;Y)=I(Y;X)=0 当信道无干扰时当信道无干扰时 I(X;Y)=I(Y;X)=H(X)=H(Y)（4 4）凸状性）凸状性）凸状性）凸状性 所以，所以，所以，所以，平均互信息平均互信息平均互信息平均互信息I(XI(X;Y)Y)只是信源只是信源只是信源只是信源X X的概率分布的概率分布的概率分布的概率分布P(P(x x)和信道的传递概率和信道的传递概率和信道的传递概率和信道的传递概率P(P(y/xy/x)的函数，的函数，的函数，的函数，即：即：即：即：I(X;Y
22、)=I(X;Y)=f f P(xP(x),P(y|x),P(y|x)l 平均互信息平均互信息I(X;Y)是输入信源的概率分布是输入信源的概率分布P(x)的的型凸函数。型凸函数。（1 1）对固定信道，选择不同的信源对固定信道，选择不同的信源对固定信道，选择不同的信源对固定信道，选择不同的信源(其概率分布不同其概率分布不同其概率分布不同其概率分布不同)与信与信与信与信道连接，在信道输出端接收到每个符号后获得的信息量是不道连接，在信道输出端接收到每个符号后获得的信息量是不道连接，在信道输出端接收到每个符号后获得的信息量是不道连接，在信道输出端接收到每个符号后获得的信息量是不同的。同的。同的。同的。（
23、2 2）对于每一个固定信道，一定存在有一种信源对于每一个固定信道，一定存在有一种信源对于每一个固定信道，一定存在有一种信源对于每一个固定信道，一定存在有一种信源(某一种概某一种概某一种概某一种概率分布率分布率分布率分布P(x)P(x)P(x)P(x)，使输出端获得的平均信息量为最大。使输出端获得的平均信息量为最大。使输出端获得的平均信息量为最大。使输出端获得的平均信息量为最大。l 平均互信息平均互信息I(X;Y)是信道传递的概率是信道传递的概率P(y/x)的的型凸函数。型凸函数。当当信源固定信源固定后，选择不同的信道来传输同一信源符后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源
24、的信息量是不同的。号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰对每一种信源都存在一种最差的信道，此时干扰(噪声噪声)最大，而输出端获得的信息量最小。最大，而输出端获得的信息量最小。3.3.3 3 离散无记忆信道的扩展离散无记忆信道的扩展信道信道 离散无记忆信道离散无记忆信道离散无记忆信道离散无记忆信道 (DMC(DMC，Discrete Discrete MemorylessMemoryless Channel)Channel)，其其其其传递概率满足传递概率满足传递概率满足传递概率满足：仍可用仍可用仍可用仍可用 XX，P(P(y y/x x)，Y Y
25、 概率空间来描述。概率空间来描述。概率空间来描述。概率空间来描述。设离散无记忆信道的设离散无记忆信道的设离散无记忆信道的设离散无记忆信道的输入符号集输入符号集输入符号集输入符号集A Aaa1 1，a ar r，输出符号集输出符号集输出符号集输出符号集B Bbb1 1 ，b bs s，信道矩阵为信道矩阵为信道矩阵为信道矩阵为:则此无记忆信道的则此无记忆信道的则此无记忆信道的则此无记忆信道的NN次扩展信道次扩展信道次扩展信道次扩展信道的数学模型如图所示的数学模型如图所示的数学模型如图所示的数学模型如图所示:而而而而信道矩阵信道矩阵信道矩阵信道矩阵：其中：其中：其中：其中：例例例例3 3 求二元无记
26、忆对称求二元无记忆对称求二元无记忆对称求二元无记忆对称信信信信道道道道（BSCBSC）的二次扩展信道。的二次扩展信道。的二次扩展信道。的二次扩展信道。解：解：解：解：BSCBSC的输入和输出变量的输入和输出变量的输入和输出变量的输入和输出变量X X和和和和Y Y的取值都是的取值都是的取值都是的取值都是0 0或或或或1 1，因此，因此，因此，因此，二二二二次扩展信道的输入符号集为次扩展信道的输入符号集为次扩展信道的输入符号集为次扩展信道的输入符号集为A A 0000，0101，1010，1111，共有共有共有共有2 22 24 4个符号个符号个符号个符号，输出符号集为输出符号集为输出符号集为输出
27、符号集为B B 0000，0101，1010，1111。由于是由于是由于是由于是无记忆信道无记忆信道无记忆信道无记忆信道，可，可，可，可求得求得求得求得二次扩展信道的传递概率二次扩展信道的传递概率二次扩展信道的传递概率二次扩展信道的传递概率：信道矩阵信道矩阵信道矩阵信道矩阵：根据平均互信息的定义，可得根据平均互信息的定义，可得根据平均互信息的定义，可得根据平均互信息的定义，可得无记忆信道的无记忆信道的无记忆信道的无记忆信道的NN次扩展信次扩展信次扩展信次扩展信道的平均互信息道的平均互信息道的平均互信息道的平均互信息：若信道的输入随机序列为若信道的输入随机序列为若信道的输入随机序列为若信道的输入
28、随机序列为X=(XX=(X1 1X X2 2XXNN)，通过信道传输，通过信道传输，通过信道传输，通过信道传输，接收到的随机序列为接收到的随机序列为接收到的随机序列为接收到的随机序列为Y Y(Y(Y1 1Y Y2 2YYNN)。假若信道是无记忆的假若信道是无记忆的假若信道是无记忆的假若信道是无记忆的，即信道传递概率满足：即信道传递概率满足：即信道传递概率满足：即信道传递概率满足：则有：则有：则有：则有：式中式中式中式中X Xi i Y Yi i是对应第是对应第是对应第是对应第 i i 位的随机变量。位的随机变量。位的随机变量。位的随机变量。若信源是无记忆的，则等式成立。若信源是无记忆的，则等式
29、成立。若信源是无记忆的，则等式成立。若信源是无记忆的，则等式成立。直观分析直观分析直观分析直观分析：如果信源有记忆，前面传送的符号带有后面符号：如果信源有记忆，前面传送的符号带有后面符号：如果信源有记忆，前面传送的符号带有后面符号：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息减少的信息，使得后面传送的符号的互信息减少的信息，使得后面传送的符号的互信息减少的信息，使得后面传送的符号的互信息减少若信道的输入随机序列为若信道的输入随机序列为若信道的输入随机序列为若信道的输入随机序列为X=(XX=(X1 1X X2 2XXNN)，通过信道传输，接通过信道传输，接通过信道
30、传输，接通过信道传输，接收到的随机序列为收到的随机序列为收到的随机序列为收到的随机序列为Y Y(Y(Y1 1Y Y2 2YYNN)。假若信源是无记忆的假若信源是无记忆的假若信源是无记忆的假若信源是无记忆的，则，则，则，则有：有：有：有：其中其中其中其中X Xi i和和和和Y Yi i是随机序列是随机序列是随机序列是随机序列X X和和和和Y Y中的第中的第中的第中的第 i i 位随机变量。位随机变量。位随机变量。位随机变量。直观分析直观分析直观分析直观分析：如果信道有记忆，后面传送的符号带有前面符号：如果信道有记忆，后面传送的符号带有前面符号：如果信道有记忆，后面传送的符号带有前面符号：如果信道
31、有记忆，后面传送的符号带有前面符号的信息，使得前面传送的符号的互信息增加。的信息，使得前面传送的符号的互信息增加。的信息，使得前面传送的符号的互信息增加。的信息，使得前面传送的符号的互信息增加。若若若若信道和信源都是无记忆的信道和信源都是无记忆的信道和信源都是无记忆的信道和信源都是无记忆的，则：，则：，则：，则：研究信道的研究信道的目的目的是要讨论信道中平均每个符号所是要讨论信道中平均每个符号所能传送的信息量能传送的信息量-信息传信息传输率输率R平均互信息平均互信息I(X;Y)就是接收到符号就是接收到符号Y后平均每个后平均每个符号获得的关于符号获得的关于X的信息的信息量。量。所以：所以：R=I
32、(X;Y)=H(X)H(X|Y)(比特比特/符号符号)3.43.4 离散信道的信道容量离散信道的信道容量信道中每秒平均传输的信息量信道中每秒平均传输的信息量-信息信息传输速率传输速率RtRt R/t=I(X;Y)/t=H(X)/t H(X|Y)/t （比特（比特/秒）秒）一、一、信道容量的定义信道容量的定义 由于平均互信息由于平均互信息I(X;Y)是输入随机变量的是输入随机变量的型凸函数型凸函数，所，所以对一固定的信道，总存在一种信源，使传输每个符号平均获以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。得的信息量最大。即存在一个最大的信息传输率即存在一个最大的信息传输率-
33、定义为定义为信道容量信道容量C（比特（比特（比特（比特/符号）符号）符号）符号）(Bit/s)(Bit/s)C Ct t仍称为仍称为仍称为仍称为信道容量信道容量信道容量信道容量 若平均传输一个符号需要若平均传输一个符号需要若平均传输一个符号需要若平均传输一个符号需要 t t 秒钟，则信道在单位时间内秒钟，则信道在单位时间内秒钟，则信道在单位时间内秒钟，则信道在单位时间内平均传输的最大信息量为平均传输的最大信息量为平均传输的最大信息量为平均传输的最大信息量为C Ct t：即：即：即：即：例例4 信道容量的计算信道容量的计算因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：因此，二元
34、对称信道的信道容量为：因此，二元对称信道的信道容量为：二元对称信道，二元对称信道，二元对称信道，二元对称信道，I(X;Y)I(X;Y)时，时，时，时，I(X;Y)I(X;Y)最大。最大。最大。最大。当当(比特符号比特符号比特符号比特符号)离散无噪信道离散无噪信道离散无噪信道离散无噪信道二、简单离散信道的信道容量二、简单离散信道的信道容量例如：例如：例如：例如：其信道矩阵是单位矩阵：其信道矩阵是单位矩阵：其信道矩阵是单位矩阵：其信道矩阵是单位矩阵：满足：满足：满足：满足：I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)有噪无损信道：有噪无损信道：有噪无损信道：有噪无损信道：接收到
35、符号接收到符号接收到符号接收到符号Y Y后，对后，对后，对后，对X X符号是完全确定的。符号是完全确定的。符号是完全确定的。符号是完全确定的。损失熵损失熵损失熵损失熵H(X/Y)=0H(X/Y)=0，但噪声熵但噪声熵但噪声熵但噪声熵H(Y/X)H(Y/X)0 0其信道矩阵：其信道矩阵：其信道矩阵：其信道矩阵：所以所以所以所以 ：I(X;Y)=H(X)H(Y)I(X;Y)=H(X)H(Y)无噪有损信道无噪有损信道满足：满足：满足：满足：I(X;Y)=H(Y)H(X)I(X;Y)=H(Y)C，总可以找到一种编码，当L足够长时，译码错误概率 ，为任意大于零的正数。反之，当RC时，任何编码的 必大于零
36、，当 时，。与无失真信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。即在保证信息传输率低于(直至无限接近)信道容量的前提下，错误概率趋于“0”的编码是存在的。虽然定理设有具体说明如何构造这种码，但它对信道编码技术与实践仍然具有根本性的指导意义。编码技术研究人员在该理论指导下致力于研究实际信道中各种易于实现的具体编码方法。二十世纪六十年代以来，这方面的研究非常活跃，出现了代数编码、循环码、卷积码、级联码、格型码等等，为提高信息传输的可靠性作出了重要的贡献。我们将在第六章介绍信道编码的典型编码方法。