离散信道及其信道容量ppt.pptx

《离散信道及其信道容量ppt.pptx》由会员分享，可在线阅读，更多相关《离散信道及其信道容量ppt.pptx（79页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、离散信道及其信道容量2规定一个离散信道应有三个参数：规定一个离散信道应有三个参数：输入符号集：输入符号集：X=x1X=x1，x2x2，输出符号集：输出符号集：Y=y1Y=y1，y2y2，信道转移概率：信道转移概率：P(Y/X)=p(y1/x1),p(y2/x1),P(Y/X)=p(y1/x1),p(y2/x1),p(/x1),p(/x1),p(y1/p(y1/)p(/)p(/)1 1、离散信道得基本数学模型、离散信道得基本数学模型设离散信道得输入为一个随机变量设离散信道得输入为一个随机变量X X,相应得输出得随机变量为相应得输出得随机变量为Y Y,如图所示如图所示:第一节第一节 信道得数学模型

2、及分类信道得数学模型及分类3第一节第一节 信道得数学模型及分类信道得数学模型及分类2 2、信道得分类、信道得分类:根据信道用户得多少根据信道用户得多少:根据输入端与输出端得关联根据输入端与输出端得关联:单用户信道：只有一个输入端和一个输出端。单用户信道：只有一个输入端和一个输出端。多用户信道：至少有一端有两个以上的用户，双向通信。多用户信道：至少有一端有两个以上的用户，双向通信。无反馈信道：输出端信号对输入端信号无影响、无作用。无反馈信道：输出端信号对输入端信号无影响、无作用。有反馈信道：输出端信号会影响输入端信号变化。有反馈信道：输出端信号会影响输入端信号变化。根据输入输出随机变量个数得多少

3、根据输入输出随机变量个数得多少:单符号信道：输入和输出端都只用一个随机变量表示。单符号信道：输入和输出端都只用一个随机变量表示。多符号信道：输入和输出端用随机变量序列多符号信道：输入和输出端用随机变量序列/随机矢量表示。随机矢量表示。4根据信道参数与时间得关系根据信道参数与时间得关系:固定参数信道：信道的统计特性不随时间变化而变化。固定参数信道：信道的统计特性不随时间变化而变化。时变参数信道：信道的统计特性随时间变化而变化。时变参数信道：信道的统计特性随时间变化而变化。根据信道输入与输出得关系根据信道输入与输出得关系:离散信道：输入、输出随机变量都取离散值。离散信道：输入、输出随机变量都取离散

4、值。连续信道：输入、输出随机变量都取连续值。连续信道：输入、输出随机变量都取连续值。半离散半连续信道：输入变量取离散值而输出变量取连续值，半离散半连续信道：输入变量取离散值而输出变量取连续值，或反之。或反之。波形信道波形信道第一节第一节 信道得数学模型及分类信道得数学模型及分类5第一节第一节 信道得信道得数学模型及分类及分类根据信道上有无干扰关系根据信道上有无干扰关系:根据信道上有无记忆关系根据信道上有无记忆关系:无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）有记忆

5、信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。过去输出有关。有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。信道。计算机和外存设备之间的信道可看作是无干扰信道。以下我们只研究无反馈、固定参数得单用户离散信道。以下我们只研究无反馈、固定参数得单用户离散信道。6(1 1)无干扰信道无干扰信道:输入信号与输出信号有一一对应关系

6、输入信号与输出信号有一一对应关系(2 2)有干扰无记忆信道有干扰无记忆信道:输入与输出无一一对应关系输入与输出无一一对应关系,输出只与当前输入有关输出只与当前输入有关;根据这一模型根据这一模型,可对信道分类如下可对信道分类如下:(3 3)有干扰有记忆信道有干扰有记忆信道:这就是最一般得信道。这就是最一般得信道。第一节第一节 信道得数学模型及分类信道得数学模型及分类7第一节第一节 信道得数学模型及分类信道得数学模型及分类3 3、单符号离散信道得数学模型、单符号离散信道得数学模型o设输入设输入X Xx x1 1,x x2 2,x xi i,x xn n o输出输出 Y Yy y1 1,y y2 2

7、,y yj j,y ym m o信道转移概率信道转移概率/信道传递概率信道传递概率:条件概率条件概率p p(y yj j/x xi i)。o其信道模型如图所示。其信道模型如图所示。8P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)条件概率条件概率p p(y yj j/x xi i)表示成矩阵形式表示成矩阵形式:第一节第一节 信道得数学模型及分类信道得数学模型及分类9单符号离散信道得输入变量为单符号离散信道得输入变量为X X,取值于取值于输出变量为输出变量为Y Y,取值于取

8、值于 。并有条件概率并有条件概率条件概率被称为信道得传递概率或转移概率。条件概率被称为信道得传递概率或转移概率。第一节第一节 信道得数学模型及分类信道得数学模型及分类10例1 二元对称信道(BSC)X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;第一节第一节 信道得数学模型及分类信道得数学模型及分类11例2 二元删除信道(BEC)X=0,1;Y=0,2,1。0 p 0 1-q1-p1 q 12第一节第一节 信道得数学模型及分类信道得数学模型及分类大家学习辛苦了，还是要坚持继续保持安静继续保持安静13 由此可见由此可见,一般单符号离散信道得传递概率可一

9、般单符号离散信道得传递概率可以用矩阵表示以用矩阵表示:第一节第一节 信道得数学模型及分类信道得数学模型及分类14(1 1)联合概率联合概率:(2 2)输出符号得概率输出符号得概率:(3 3)后验概率后验概率:其中其中称为前向概率，描述信道的噪声特性称为前向概率，描述信道的噪声特性称为后向概率；称为后向概率；有时也把有时也把 称为先验称为先验概率，把概率，把 称为后验概率。称为后验概率。表明输出端收到任一符号表明输出端收到任一符号,必定就是输入端某一符号输入所致。必定就是输入端某一符号输入所致。第一节第一节 信道得数学模型及分类信道得数学模型及分类15第二节第二节 平均互信息平均互信息互信息互信

10、息:oyj对对xi得互信息量定义为后验概率与先验概率比值得对得互信息量定义为后验概率与先验概率比值得对数。数。o信源发出某符号信源发出某符号xi,由于受噪声得随机干扰由于受噪声得随机干扰,在信道得输在信道得输出端输出出端输出xi某种变型某种变型yj,这个过程中信道所传送得信息量这个过程中信道所传送得信息量,即信宿收到即信宿收到yj后后,从从yj中获取关于中获取关于xi得信息量得信息量I(xi;yj)。16互信息得性质互信息得性质对称性对称性:I(xi;yj)=I(yj;xi)l两个随机事件得可能结果两个随机事件得可能结果,xi与与yj之间得统计约束程度之间得统计约束程度;l从从yj得到得关于得

11、到得关于xi得信息量得信息量I(xi;yj)与从与从xi得到得关于得到得关于yj得信息量得信息量I(yj;xi)就是一样得就是一样得,只就是观察得角度不同而已。只就是观察得角度不同而已。当统计独立时当统计独立时,表明表明xi与与yj之间不存在统计约束关系之间不存在统计约束关系,从从yj得不到得不到关于得关于得xi任何信息任何信息,反之亦然。反之亦然。互信息量可为正值或负值互信息量可为正值或负值当后验概率大于先验概率时当后验概率大于先验概率时,互信息量为正。互信息量为正。当后验概率小于先验概率时当后验概率小于先验概率时,互信息量为负。互信息量为负。当后验概率与先验概率相等时当后验概率与先验概率相

12、等时,互信息量为零。互信息量为零。这就就是两个随机事这就就是两个随机事件相互独立得情况。件相互独立得情况。平均互信息量o如果将信道得发送与接收端分别看成就是两个如果将信道得发送与接收端分别看成就是两个“信源信源”,则两者之间得统计依赖关系则两者之间得统计依赖关系,即信道输入即信道输入与输出之间得统计依赖关系描述了信道得特性。与输出之间得统计依赖关系描述了信道得特性。o互信息量互信息量I I(x xi i;y yj j)就是定量研究信息流通问题得就是定量研究信息流通问题得重要基础。她就是一个随机变量重要基础。她就是一个随机变量,不能从整体上不能从整体上作为信道中信息流通得测度。作为信道中信息流通

13、得测度。o以下介绍以下介绍n平均互信息量得定义平均互信息量得定义n平均互信息量得物理含义平均互信息量得物理含义n平均互信息量得性质平均互信息量得性质平均互信息量得定义o平均互信息量定义平均互信息量定义:互信息量互信息量I I(x xi i;y yj j)在联合概率空间在联合概率空间P P(XYXY)中得统计平均值。中得统计平均值。o称称I(X;Y)就是就是Y对对X得平均互信息量得平均互信息量(简称平均互信息简称平均互信息/平平均交互信息量均交互信息量/交互熵交互熵)。oX对对Y得平均互信息定义为得平均互信息定义为平均互信息量得物理含义o观察者站在输出端o观察者站在输入端o观察者站在通信系统总体

14、立场上20自信息量自信息量:对对yj一无所知得情况下一无所知得情况下xi存在得不确定度存在得不确定度;l条件自信息量条件自信息量:已知已知yj 得条件下得条件下xi 仍然存在得不确定度仍然存在得不确定度;l互信息量互信息量:两个不确定度之差就是不确定度被消除得部分两个不确定度之差就是不确定度被消除得部分,即等于自信息量减去条件自信息量。即等于自信息量减去条件自信息量。1、观察者站在输出端观察者站在输出端oH H(X X/Y Y)信道疑义度信道疑义度/损失熵。损失熵。Y Y关于关于X X得后验不得后验不确定度。表示收到变量确定度。表示收到变量Y Y后后,对随机变量对随机变量X X仍然存在得仍然存

15、在得不确定度。代表了在信道中损失得信息。不确定度。代表了在信道中损失得信息。oH H(X X)X X得先验不确定度得先验不确定度/无条件熵无条件熵。oI I(X X;Y Y)收到收到Y Y前、后关于前、后关于X X得不确定度减少得量。得不确定度减少得量。从从Y Y获得得关于获得得关于X X得平均信息量。得平均信息量。2、观察者站在输入端观察者站在输入端观察者得知输入端发出观察者得知输入端发出xi前、后对输出端出现前、后对输出端出现yj得不确得不确定度得差。定度得差。oH(Y/X)噪声熵。表示发出随机变量X后,对随机变量Y仍然存在得平均不确定度。如果信道中不存在任何噪声,发送端与接收端必存在确定

16、得对应关系,发出X后必能确定对应得Y,而现在不能完全确定对应得Y,这显然就是由信道噪声所引起得。oI(Y;X)发出X前、后关于Y得先验不确定度减少得量。24l通信前通信前:输入随机变量输入随机变量X与输出随机变量与输出随机变量Y之间没有任何关之间没有任何关联关系联关系,即即X,Y统计独立统计独立:p(xi yj)=p(xi)p(yj)先验不确定度先验不确定度l通信后通信后:输入随机变量输入随机变量X与输出随机变量与输出随机变量Y之间由信道得统之间由信道得统计特性相联系计特性相联系,其联合概率密度其联合概率密度:p(xi yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)后验不确定度

17、后验不确定度l通信后得互信息量通信后得互信息量,等于前后不确定度得差等于前后不确定度得差l这三种表达式实际上就是等效得这三种表达式实际上就是等效得,在实际应用中可根据具体在实际应用中可根据具体情况选用一种较为方便得表达式。情况选用一种较为方便得表达式。3、观察者站在通信系统总体立场上观察者站在通信系统总体立场上H(XY)联合熵。表示输入随机变量联合熵。表示输入随机变量X,经信道传输到达信宿经信道传输到达信宿,输出随机变量输出随机变量Y。即收、发双方通信后即收、发双方通信后,整个系统仍然存在得不整个系统仍然存在得不确定度。确定度。I(X;Y)通信前、后整个系统不确定度减少量。在通信前把通信前、后

18、整个系统不确定度减少量。在通信前把X与与Y看成两个相互独立得随机变量看成两个相互独立得随机变量,整个系统得先验不确定度为整个系统得先验不确定度为X与与Y得联合熵得联合熵H(X)+H(Y);通信后把信道两端出现通信后把信道两端出现X与与Y看成就看成就是由信道得传递统计特性联系起来得、具有一定统计关联关系是由信道得传递统计特性联系起来得、具有一定统计关联关系得两个随机变量得两个随机变量,这时整个系统得后验不确定度由这时整个系统得后验不确定度由H(XY)描述。描述。结论结论o以上三种不同得角度说明以上三种不同得角度说明:从一个事件获得另一个从一个事件获得另一个事件得平均互信息需要消除不确定度事件得平

19、均互信息需要消除不确定度,一旦消除了一旦消除了不确定度不确定度,就获得了信息。就获得了信息。小结小结28平均互信息就是信道传递信息得度量平均互信息就是信道传递信息得度量,从总体上反从总体上反映信道每传递一个符号映信道每传递一个符号,所传递得平均信息量。所传递得平均信息量。I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)(3、34)也可以得到也可以得到:H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)29信道疑义度信道疑义度 这是收到这是收到 后关于后关于X X的后验熵，表示收到的后验

20、熵，表示收到 后关于输后关于输入符号的信息测度。入符号的信息测度。这是关于这是关于X X的先验熵，表示收到输出前关于的先验熵，表示收到输出前关于X X的不确定性度量。的不确定性度量。第二节第二节 平均互信息平均互信息30 这个条件熵称为信道疑义度这个条件熵称为信道疑义度,表示输出端在收到一个符表示输出端在收到一个符号后号后,对输入符号尚存得不确定性对输入符号尚存得不确定性,这就是由信道干扰造成得这就是由信道干扰造成得如果没有干扰如果没有干扰,H(X/Y)=0H(X/Y)=0。一般情况下一般情况下H(X/Y)H(X/Y)小于小于H(X)H(X),说明经过信道传输说明经过信道传输,总能消总能消除一

21、些信源得不确定性除一些信源得不确定性,从而获得一些信息。从而获得一些信息。第二节第二节 平均互信息平均互信息将后验熵对随机将后验熵对随机变量变量Y求数学期望求数学期望31平均互信息平均互信息与各类熵之与各类熵之间得关系间得关系:H(XY)H(X/Y)H(Y/X)H(X)H(Y)第二节第二节 平均互信息平均互信息H(X/Y)H(X/Y)即信道疑义度即信道疑义度,也表示通过有噪信道造成得损失也表示通过有噪信道造成得损失,故也称故也称为损失熵为损失熵,因此信源得熵等于收到得信息量加上损失得熵因此信源得熵等于收到得信息量加上损失得熵;而而H(Y/X)H(Y/X)表示已知输入得情况下表示已知输入得情况下

22、,对输出端还残留得不确定性对输出端还残留得不确定性,这这个不确定性就是由噪声引起得个不确定性就是由噪声引起得,故也称之为噪声熵。故也称之为噪声熵。I(X;Y)32(1 1)无噪一一对应信道无噪一一对应信道:此时可以计算得此时可以计算得:H(X/Y)=H(Y/X)=0H(X/Y)=H(Y/X)=0在上图中表示就就是两圆重合在上图中表示就就是两圆重合(2 2)输入输出完全统计独立输入输出完全统计独立:此时此时I(X;Y)=0I(X;Y)=0 H(X/Y)=H(X)H(X/Y)=H(X)H(Y/X)=H(Y)H(Y/X)=H(Y)下面讨论两种极端情况下面讨论两种极端情况:第二节第二节 平均互信息平均

23、互信息33第三节第三节 平均互信息得特性平均互信息得特性1 1、平均互信息得非负性、平均互信息得非负性:I(X;Y)=0I(X;Y)=0一般来说一般来说,信道疑义度总就是大于信道疑义度总就是大于0 0,所以互信息总就是小于所以互信息总就是小于信源得熵信源得熵,只有当信道就是无损信道时只有当信道就是无损信道时,信道疑义度等于信道疑义度等于0 0,互信息等于信源得熵。互信息等于信源得熵。该性质表明该性质表明,通过一个信道总能传递一些信息通过一个信道总能传递一些信息,最差得条件最差得条件下下,输入输出完全独立输入输出完全独立,不传递任何信息不传递任何信息,互信息等于互信息等于0 0,但但决不会失去已

24、知得信息。决不会失去已知得信息。2 2、平均互信息得极值性、平均互信息得极值性:I(X;Y)=H(X)I(X;Y)=H(X)I(X;Y)=H(Y)I(X;Y)=H(Y)34I(Y;X)I(Y;X)表示从表示从X X中提取关于得中提取关于得Y Y得信息量得信息量,实际上实际上I(X,Y)I(X,Y)与与I(Y,X)I(Y,X)只就是观察者得立足点不同只就是观察者得立足点不同,对信道得输入对信道得输入X X与输与输出出Y Y得总体测度得两种表达形式。得总体测度得两种表达形式。4 4、平均互信息得凸函数性、平均互信息得凸函数性:3 3、平均互信息量得交互性、平均互信息量得交互性:第三节第三节 平均互

25、信息得特性平均互信息得特性I(X,Y)=I(Y,X)I(X,Y)=I(Y,X)35定理定理3、1 平均互信息平均互信息I(X;Y)就是信源概率分布就是信源概率分布P(X)得得型凸函数型凸函数 定理意义定理意义,对于一定得信道转移概率分布对于一定得信道转移概率分布,总总可以找到某一个先验概率分布得信源可以找到某一个先验概率分布得信源X X,使平均互使平均互信息量达到相应得最大值信息量达到相应得最大值I Imaxmax,这时称这个信源为这时称这个信源为该信道得匹配信源。可以说不同得信道转移概率该信道得匹配信源。可以说不同得信道转移概率对应不同得对应不同得I Imaxmax。第三节第三节 平均互信息

26、得特性平均互信息得特性36例例:对于二元对称信道对于二元对称信道 0 1-p 0 pp 1 1-p 1如果信源分布如果信源分布X=w,1-wX=w,1-w,则则:第三节第三节 平均互信息得特性平均互信息得特性37I(X;Y)w0 11-H(P)而：所以：当信道固定时当信道固定时,平均互信息时信源分布得平均互信息时信源分布得型凸函数型凸函数,最大值最大值为为1-H(P)1-H(P):第三节第三节 平均互信息得特性平均互信息得特性38定理定理3、2 平均互信息平均互信息I(X;Y)就是信道传递概率就是信道传递概率P(y|x)得得U型凸函数型凸函数 定理意义定理意义:对于一个已知先验概率为对于一个已

27、知先验概率为P(X)P(X)得离得离散信源散信源,总可以找到某一个转移概率分布得信道总可以找到某一个转移概率分布得信道,使平均互信息量达到相应得最小值使平均互信息量达到相应得最小值 I Iminmin。不同得信源先验概率对应不同得不同得信源先验概率对应不同得 I Iminmin,或者说或者说 I Iminmin就是就是P(X)P(X)得函数。即平均互信息量得最小值体得函数。即平均互信息量得最小值体现了信源本身得特性。现了信源本身得特性。第三节第三节 平均互信息得特性平均互信息得特性39如果信源分布如果信源分布X=w,1-wX=w,1-w,则则 由此可得由此可得例例:对于二元对称信道对于二元对称

28、信道I(X;Y)p0 1H(w)第三节第三节 平均互信息得特性平均互信息得特性 0 1-p 0 pp 1 1-p 140信道容量信道容量C C:在信道中最大得信息传输速率在信道中最大得信息传输速率,单位就是比特单位就是比特/信道符号。信道符号。单位时间得信道容量单位时间得信道容量CtCt:若信道平均传输一个符号需要若信道平均传输一个符号需要t t秒钟秒钟,则单位则单位时间得信道容量为时间得信道容量为:CtCt实际就是信道得最大信息传输速率。实际就是信道得最大信息传输速率。信息传输率信息传输率:R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)bit/R=I(X,Y)=H(X)-H

29、(X/Y)=H(Y)-H(Y/X)bit/符号符号由定理由定理3 3、1 1可知可知,对于每一个确定信道对于每一个确定信道,都有一个信源分布都有一个信源分布,使得信息使得信息传输率达到最大值传输率达到最大值,我们把这个最大值称为该信道得信道容量。我们把这个最大值称为该信道得信道容量。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法41第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法uC C与与CtCt都就是求平均互信息都就是求平均互信息I I(X X;Y Y)得条件极大值问题得条件极大值问题,当输入当输入信源概率分布信源概率分布p p(x xi i)调整好以后调整好

30、以后,C C与与C Ct t已与已与p p(x xi i)无关无关,而仅仅而仅仅就是信道转移概率得函数就是信道转移概率得函数,只与信道统计特性有关只与信道统计特性有关;她就是信道她就是信道得特征参数得特征参数,反应得就是信道得最大得信息传输能力。反应得就是信道得最大得信息传输能力。u信道容量就是完全信道容量就是完全描述信道特性得参量描述信道特性得参量;u信道容量就是信道信道容量就是信道能够传送得最大信息量能够传送得最大信息量。结结 论论对于二元对称信道对于二元对称信道,由图可以看出信道容量等于由图可以看出信道容量等于 1-H(P)1-H(P)42(1 1)具有一一对应关系得无噪声信道具有一一对

31、应关系得无噪声信道 因为信道矩阵中所有元素均就是因为信道矩阵中所有元素均就是“1 1”或或“0 0”,X X 与与Y Y 有确定得对应有确定得对应关系关系;此时由于信道得损失熵与疑义度都等于此时由于信道得损失熵与疑义度都等于0 0,所以所以I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时当信源呈等概率分布时,具有一一对应确定关系得无噪信道达到信道容量。具有一一对应确定关系得无噪信道达到信道容量。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法1、离散无噪信道得信道容量、离散无噪信道得信道容量C=maxI(X;Y)=maxH(X)=maxH(Y

32、)=logr43(2)(2)有噪无损信道有噪无损信道C=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr 可见可见,信道矩阵中每一列有且只有一个非零元素时信道矩阵中每一列有且只有一个非零元素时,这个信道一定就是这个信道一定就是有噪无损信道。此时信道疑义度为有噪无损信道。此时信道疑义度为0 0,而信道噪声熵不为而信道噪声熵不为0 0,从而从而:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法1、离散无噪信道得信道容量、离散无噪信道得信道容量此时输入端符号熵小于输此时输入端符号熵小于输出端符号熵出端符号熵,H H(X X)H H(Y Y)。45第四节第四节

33、信道容量及其一般计算方法信道容量及其一般计算方法1、离散无噪信道得信道容量、离散无噪信道得信道容量结结 论论o无损信道得无损信道得C C决定于信道得输入符号数决定于信道得输入符号数r ro无噪信道得无噪信道得C C只决定于信道得输出符号数只决定于信道得输出符号数s s在求信道容量时在求信道容量时,调整得始终就是输入端得概率分布调整得始终就是输入端得概率分布p p(x xi i),尽管信道容量式子中平均互信息尽管信道容量式子中平均互信息I I(X X;Y Y)等于输出端符号熵等于输出端符号熵H H(Y Y),但就是在求极大值时调整得仍然就是输入端得概率分但就是在求极大值时调整得仍然就是输入端得概

34、率分布布p p(x xi i),而不能用输出端得概率分布而不能用输出端得概率分布p p(y yj j)来代替。来代替。注注 意意46 如果一个离散信道得信道转移矩阵中得每一行都就是由同如果一个离散信道得信道转移矩阵中得每一行都就是由同一组元素得不同组合构成得一组元素得不同组合构成得,并且每一列也就是由这一组元素并且每一列也就是由这一组元素组成得组成得,则称为对称信道。则称为对称信道。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法2、对称离散信道得信道容量、对称离散信道得信道容量o输入对称输入对称:矩阵得每一行都就是第一行得置换矩阵得每一行都就是第一行得置换o输出对称输出对称:矩

35、阵得矩阵得每一列都就是第一列得置换每一列都就是第一列得置换47下面我们来计算对称离散信道得信道容量下面我们来计算对称离散信道得信道容量:I(X;Y)=H(Y)-H(Y/X)H(Y/X=x)H(Y/X=x)就是对矩阵得行求与就是对矩阵得行求与,而由于对称信道定义而由于对称信道定义,我们我们知道知道,此值就是一个与此值就是一个与x x无关得一个常数无关得一个常数,即即因此因此可以看出可以看出,当输出等概分布时当输出等概分布时,即即H(Y)=logsH(Y)=logs时信道容量达到最大。时信道容量达到最大。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法2、对称离散信道得信道容量、对称

36、离散信道得信道容量48 那么那么,在什么样得信源输出情况下在什么样得信源输出情况下,信道输出能等概分布信道输出能等概分布呢？可以证明呢？可以证明,输入等概分布时输入等概分布时,输出也等概分布输出也等概分布可以看出可以看出,信道得输出也就是等概分布得信道得输出也就是等概分布得第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法2、对称离散信道得信道容量、对称离散信道得信道容量49例例:二元对称信道二元对称信道:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法2、对称离散信道得信道容量、对称离散信道得信道容量50如果离散信道得转移矩阵如下如果离散信道得转移矩阵如下 则称此信

37、道为强对称信道或均匀信道则称此信道为强对称信道或均匀信道,她就是对称离散信道她就是对称离散信道得一种特例。得一种特例。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法2、对称离散信道得信道容量、对称离散信道得信道容量u信道中总得错误概信道中总得错误概率就是率就是p p,对称平均对称平均地分配给地分配给(n n-1)-1)个输个输出符号。出符号。u信道矩阵中每行之信道矩阵中每行之与等于与等于1 1,每列之与每列之与也等于也等于1 1。ur*rr*r阶矩阵阶矩阵51根据根据对称离散信道信道容量得计算方法对称离散信道信道容量得计算方法,强对称信道其信道容量强对称信道其信道容量为为:第四

38、节第四节 信道容量及其一般计算方法信道容量及其一般计算方法2、对称离散信道得信道容量、对称离散信道得信道容量结论结论:当信道输入呈等概率分布时当信道输入呈等概率分布时,强对称离散信道能够传输最强对称离散信道能够传输最大得平均信息量大得平均信息量,即达到信道容量。这个信道容量只与信道得即达到信道容量。这个信道容量只与信道得输出符号数输出符号数n n与相应信道矩阵中得任一行矢量有关。与相应信道矩阵中得任一行矢量有关。52若信道得列可以划分成若干个互不相交得子集若信道得列可以划分成若干个互不相交得子集,每一个子集每一个子集都就是对称信道都就是对称信道,则称该信道为准对称信道则称该信道为准对称信道,如

39、如:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法3、准对称离散信道得信道容量准对称离散信道得信道容量53 可以证明达到信道容量得输入分布就是等概分布可以证明达到信道容量得输入分布就是等概分布,也也可计算准对称信道得信道容量为可计算准对称信道得信道容量为:其中其中r r是输入符号集的个数，是输入符号集的个数，为矩阵中的行元为矩阵中的行元素素;是第是第k k各矩阵中的行元素只和，各矩阵中的行元素只和，是第是第k k个矩阵的个矩阵的列元素之和。列元素之和。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法3、准对称离散信道得信道容量准对称离散信道得信道容量54例:可分成

40、:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法3、准对称离散信道得信道容量准对称离散信道得信道容量行之与行之与:N1=1-p-q+p=1-q;N2=q;列之与列之与:M1=1-q-p+p=1-q,M2=2q55我们可以对输入分布求极值,得到而:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道得信道容量、一般离散信道得信道容量56定理定理3 3、3 3 一般离散信道达到信道容量得充要条件一般离散信道达到信道容量得充要条件就是输入概率分布满足就是输入概率分布满足该定理说明该定理说明,当平均互信息达到信道容量时当平均互信息达到信道容量时,信源每一个符信

41、源每一个符号都对输出端输出相同得互信息。号都对输出端输出相同得互信息。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道得信道容量、一般离散信道得信道容量57可以利用该定理对一些特殊信道求得她得信道容量可以利用该定理对一些特殊信道求得她得信道容量例例:输入符号集为输入符号集为:0,1,2第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道得信道容量、一般离散信道得信道容量假设假设P(0)=P(2)=1/2,P(1)=0,则则:59所以:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道得信道容量、一般离散信道得信

42、道容量60对于一般信道得求解方法对于一般信道得求解方法,就就是求解方程组就就是求解方程组移项得移项得:令则若若r=s,此方程有解此方程有解,可以解出可以解出s各未知数各未知数 ,再根据再根据得从而第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道得信道容量、一般离散信道得信道容量61例:可列方程组:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道得信道容量、一般离散信道得信道容量62解之得:第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道得信道容量、一般离散信道得信道容量63第五节第五节 离散无记忆扩展信道

43、及其信道容量离散无记忆扩展信道及其信道容量l多符号离散信道定义多符号离散信道定义定义定义:多符号离散信源多符号离散信源X X=X X1 1X X2 2X XN N在在N N个不同时刻分别通个不同时刻分别通过单符号离散信道过单符号离散信道 X X P P(Y Y/X X)Y Y,则在输出端出现相则在输出端出现相应得随机序列应得随机序列Y Y=Y Y1 1Y Y2 2Y YN N,这样形成一个新得信道称为这样形成一个新得信道称为多符号离散信道多符号离散信道。64第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量离散无记忆信道得离散无记忆信道得N N次扩展信道得传递概率等于各

44、单位时刻次扩展信道得传递概率等于各单位时刻相应得单符号离散无记忆信道得传递概率得连乘。相应得单符号离散无记忆信道得传递概率得连乘。65第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量离散无记忆信道为离散无记忆信道为:则她得则她得N N次扩展信道为次扩展信道为:为N次扩展信源中的一个符号为N次扩展接收符号集中的一个符号66我们首先从一个例子开始例:二元无记忆对称信道得二次扩展信道 二元记忆对称信道为:第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量67 可以将信道得扩展与信源得扩展联系起来看,当信源扩展以后,信道也就称为了扩展信道。则她得二次扩

45、展信道为:第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量68根据平均互信息得定义定理3、5 如果信道就是无记忆得,即则:定理3、6 如果信源就是无记忆得第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量69因此因此,如果信源、信道都就是无记忆得如果信源、信道都就是无记忆得 这就就是离散无记忆扩展信道得信道容量这就就是离散无记忆扩展信道得信道容量,该信道容该信道容量在信源就是无记忆信源且每一个输入变量量在信源就是无记忆信源且每一个输入变量Xi达到最佳达到最佳分布时达到。分布时达到。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及

46、其信道容量第六节第六节 级联信道级联信道o在通信系统中,信息得传输往往要依次通过若干个信道。这些信道通常采用级联得形式。o级联得含义就是被连接得信道输入只依赖于前面相邻信道得输出而与前面得其她信道得输出无直接关系。我们可以把通信系统模型看成各部分得级联,如下图所示。信源发出L长得序列UL,通过编码后得到N长得码序列XN,经信道传输后,译码器收到N长序列为YN,译码后传给信宿得消息序列为VN。通信系统模型各部分得级联随机序列随机序列X,Y,ZX,Y,Z,当当Y给定时给定时,Z不依赖于不依赖于X,即即:P(z/y)=P(z/xy),则则X,Y,ZX,Y,Z构成马氏链。构成马氏链。则信道则信道X-Y

47、X-Y与与Y-ZY-Z构成得信道就是级联信道构成得信道就是级联信道,满足马氏链。满足马氏链。如图所示如图所示:级联信道级联信道若若(X,Y,Z)构成马氏链构成马氏链,则则:o定理3、7 定理定理3 3、8 8 若X,Y,Z构成一马氏链,则 证:即:同理可证明 。数据处理定理数据处理定理得推广信道2信道3信道1XYZW经过数据处理,信息量一般会有丢失,最多保持原有信息,绝对不会有信息增强。(又称信息不增性原理。)该定理表明该定理表明:信息处理信息处理(如如:编译码器、信道得处理编译码器、信道得处理)只能丢失信息只能丢失信息,不会增加或创造信息。而且处理得次不会增加或创造信息。而且处理得次数越多数

48、越多,减少得越多。减少得越多。实际上实际上,数据处理就是必要得数据处理就是必要得,因为只有这样才能因为只有这样才能保留对信宿有用得信息保留对信宿有用得信息,去掉无用得信息或干扰。去掉无用得信息或干扰。例如例如,为看清晰得图像为看清晰得图像,要尽量去除杂波要尽量去除杂波;为听悦耳为听悦耳得声音得声音,要尽量滤掉噪声。虽然信息得总量减少要尽量滤掉噪声。虽然信息得总量减少,但但对信宿得有用信息突出了。对信宿得有用信息突出了。【例例】两个离散信道,将她们串行连接使用,如图,判断该串联噪声信道会不会使信道得信息损失增加,并计算总信道容量C。(1)先计算总信道得信道转移概率矩阵先计算总信道得信道转移概率矩阵 因为p(yx)=p(zx)(对所有得x,y,z)即:串联信道得总信道矩阵P等于第一级信道得信道矩阵P1。故:I(X;Z)=I(X;Y)即该串联噪声信道不会使信道得信息损失增加。(2)计算信道容量C 在该例中,第一个信道就是输入只有两个消息得情况,设最佳分布为 p(x1)=,p(x2)=1-,可算出 =0、4,则信道容量C=C1=0、32(比特/符号)。