信道容量 .ppt

《信道容量 .ppt》由会员分享，可在线阅读，更多相关《信道容量 .ppt（30页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、信道容量 1现在学习的是第1页，共30页第3章 信道容量3.1 信道数学模型和分类3.2 单符号离散信道的信道容量3.3 多符号离散信道3.4 多用户信道3.5 连续信道3.6 信道编码定理2现在学习的是第2页，共30页3.1信道数学模型和分类一、信道数学模型X,Y随机过程：时间连续的时间信号信号带宽有限，X,Y可抽样为时间离散的随机序列，每序列为一随机变量.二、信道分类(1) 根据输入、输出随机信号特点离散信道输入、输出随机变量均离散取值连续信道输入、输出随机变量均连续取值半离散(连续)信道一为离散，另一为连续(/)XP YXYP(Y/X)XY3现在学习的是第3页，共30页3.1信道数学模型

2、和分类(续)二、信道分类 (2) 根据输入、输出随机变量的个数 单符号信道输入、输出均用随机变量表示 多符号信道输入、输出用随机矢量表示 (3) 根据输入、输出端的个数 单用户信道输入、输出均只有一个 多用户信道输入、输出有多个4现在学习的是第4页，共30页3.1信道数学模型和分类(续)二、信道分类 (4) 根据信道上有无噪声(干扰) 有噪(扰)信道 无噪(扰)信道 (5) 根据信道有无记忆特性 无记忆信道输出仅与当前输入有关 与先前输入无关 有记忆信道输出不仅与当前输入有关 还与先前输入有关5现在学习的是第5页，共30页3.2.1 信道容量定义 一. 信道矩阵P含义 由信道转移概率(条件概率

3、)组成的矩阵 设单符号离散信道 则信道特性可表示为p(yj/xi)信道矩阵3.2 单符号离散信道的信道容量p(yj/xi)XYi=1nj=1m1212,injmx xxxy yyyXY112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)(/)mmjinnmnp yxp yxp yxp yxp yxp yxp yxp yxp yxp yxP6现在学习的是第6页，共30页3.2.1 信道容量定义(续)二、信道容量1. 互信息I(X;Y)平均来说，每传送一个信道符号时， 流经信道的有用信息量 I(X;Y) = H(X) H(X/Y) H(X)于是， I(X;Y) 是二元函数

4、：p(xi)的上凸函数 p(yj/xi)的下凸函数(/)(; )()()jiijijjp yxI X Yp x yp y()( ) (/)ijijip x yp x p yx()()jijip yp x y7现在学习的是第7页，共30页3.2.1 信道容量定义(续)二、信道容量2. 信道容量 (1) 定义 (2) 含义给定信道时，对应各种输入概率分布求取的 最大互信息(每信道符号)给定信道时，理论上能传输的最大(有用)信息量3.最高信息传输速率Ct含义 单位时间内 信道中传输的最大有用信息量信息传输速率()max (; )bit/(3.2.6)ip xCI X Y信道符号()1max (; )

5、bit/s (3.2.7)itp xssCCI X YTT8现在学习的是第8页，共30页3.2.2几种特殊信道的C一、离散无噪声信道 (n = m)1.具有一一对应关系的无噪信道 一对一，无噪无损信道 信道矩阵单位阵：元素为0、1 损失熵 H(X/Y) = 0 噪声熵 H(Y/X) = 0 互信息 I(X;Y) = H(X) = H(Y)x1x2x3 xny1y2y3 yn 1000010000100001P2()()max (; )max()log(3.2.8)iip xp xCI X YH XnH(X) I(X;Y)H(Y) 9现在学习的是第9页，共30页3.2.2几种特殊信道的C (续)

6、一、离散无噪声信道 (n m) 2. 具有扩展性的无噪信道 一对多，有噪无损信道 信道矩阵每列只有一个非0元 元素不全是0、1 损失熵 H(X/Y) = 0 噪声熵 H(Y/X) 0 H(X) H(Y)11122324350000000000pppppP2()()max (; )max()log(3.2.9)iip xp xCI X YH Xnx1x2x3y1y2y3y4 y5H(X) I(X;Y)H(Y) H(Y/X) 10现在学习的是第10页，共30页3.2.2几种特殊信道的C (续)一、离散无噪声信道 (n m) 3.具有归并性的无噪信道 多对一，无噪有损信道 信道矩阵每行只有一个非0元

7、 元素为0、1 损失熵 H(X/Y) 0 噪声熵 H(Y/X) = 0 H(X) H(Y) 输入分布非唯一100100010010001P2()()max (; )max( )log(3.2.10)iip xp xCI X YH Ymy1y2y3x1x2x3x4 x5H(X) I(X;Y)H(Y) H(X/Y) 11现在学习的是第11页，共30页3.2.2几种特殊信道的C(续)二、强对称离散信道 1. 信道特点 信道输入、输出均为n元 每符号正确传输概率均为 其他符号错误传输概率为p/(n-1)2.矩阵特点 (1) nn阶对称阵 (2) 二值矩阵 (3) 每行和为1,每列和为1111111pp

8、pnnpppnnpppnnP1pp 12现在学习的是第12页，共30页3. 信道容量C结论 对强对称信道， 输入等概输出等概，可达到C3.2.2几种特殊信道的C(续)2(/)log(/)nijijijHp yxp yx 令22loglog,1nipHpppin 得与 无关( /)( )ininiiH YXp x HH于是()()222max( )( /)max( )logloglogbit/1iinip xp xCH YH Y XH YHpnpppn信道符号13现在学习的是第13页，共30页4. 二进制对称信道(n=2)3.2.2几种特殊信道的C(续)22222logloglog11loglo

9、g1( )pCnpppnppppH p 22( )loglogH ppppp 0 0.5 1 p1C14现在学习的是第14页，共30页三、对称离散信道 1. 术语 行可排列矩阵每行各元素都来自同一集合Q Q q1,q2,qm(排列可不同) 列可排列矩阵每列各元素都来自同一集合P P p1,p2,pn(排列可不同) 矩阵可排列矩阵的行、列皆可排列 对称信道信道矩阵可排列3.2.2几种特殊信道的C(续)15现在学习的是第15页，共30页三、对称离散信道 2. 对称信道性质 (1) m=n 时，Q、P为同一集合 mn时，Q、P 中，一个必为另一个的子集 (2) 输入等概输出等概3.2.2几种特殊信道

10、的C(续)16现在学习的是第16页，共30页3.信道容量分析对于行可排列情况，Hmi与i 无关结论3.2.2几种特殊信道的C(续)21(/)log(/)mmijijijHp yxp yx 令2111(/)( ) (/)log(/)( )nmnijijiimiijiH YXp x p yxp yxp x H 12( /)( ,)mimH Y XHH q qq常数()212max( )( /)log(,)bit/ip xmCH YH YXmH q qq信道符号17现在学习的是第17页，共30页四、准对称离散信道 1. 含义 信道矩阵的行可排列，列不可排列 但把该矩阵在水平方向上分割， 则各子矩阵皆

11、具可排列性例 2. 结论关键H(Y)最大(改变p(xi)时)3.2.2几种特殊信道的C(续)12()max( )(,)imp xCH YH q qq11112488 11114288 P18现在学习的是第18页，共30页3.3.1多符号离散信道的数学模型一、含义 多符号离散信源X=X1X2 Xk .XN 在N个不同时刻分别通过单符号离散信道 X P(Y/X) Y 在输出端出现Y=Y1Y2 Yk .YN 此即多符号离散信道， 或单符号离散信道的N次扩展信道3.3 多符号离散信道19现在学习的是第19页，共30页二、模型Xk取值： x1,x2,xn，则X共有nN种ai，i=1nNYk取值： y1,

12、y2,ym，则Y共有mN种bj，j=1mN三、转移概率矩阵3.3.1多符号离散信道的数学模型(续)P(Y/X)或p(bj/ai)X=X1X2 Xk .XNY=Y1Y2 Yk .YN 112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)(/)NNNNNNmmnnmnp bap bap bap bap bap bap bap bap baP YX20现在学习的是第20页，共30页3.3.2 扩展信道和独立并联信道一、扩展信道1. 定义若多符号离散信道的转移概率满足 则称之为离散无记忆信道的扩展信道解释扩展信道的转移概率 =各时刻单符号信道转移概率之连乘 无记忆性k时刻输出

13、Yk只与k 时刻输入Xk有关, 与k时刻之前输入X1X2 Xk-1无关 无予感性k时刻之前输出Y1Y2 Yk-1 只与k时刻之前输入X1X2 Xk-1有关，与Xk无关结论 N次扩展信道无记忆，无予感1(/)(/) (3.3.1)Nkkkp YXP YX21现在学习的是第21页，共30页3.3.2 扩展信道和独立并联信道(续)一、扩展信道2. 互信息和信道容量 (1) 若信源X的N个变量Xk (k=1N) 之间相互 统计独立 互信息 (2) 若信源X是N次扩展信源时 互信息 I(X;Y)=NI(X;Y) (3.3.14) 信道容量 CN = NC (3.3.15)1(;)(;) (3.3.12)

14、NkkkII XYX Y22现在学习的是第22页，共30页3.3.2 扩展信道和独立并联信道(续)二、独立并联信道 1. 含义 信道输入序列的各随机变量取值于不同符号集 信道输出序列的各随机变量亦取值于不同符号集 2. 信道容量式中，CN(总)N个独立并联信道的C Ck第k个单符号离散无记忆信道的C 当N个输入变量间统计独立，且每个输入变量Xk的概率分布均为最佳分布时，12()1NNkNkCCCCC总()max1NkNkCC总23现在学习的是第23页，共30页3.4多用户信道1. 含义 单用户信道信道有一个输入端，一个输出端 对应单路通信系统 多用户信道信道有多个输入端，多个输出端 对应多路通

15、信系统 信道传输所允许的信息率区域 信道容量C区域之边界2. 分类 多址接入信道多个输入端，一个输出端 广播信道一个输入端，多个输出端 相关信源的多用户信道24现在学习的是第24页，共30页一、连续信道1. 含义输入、输出均连续取值的信道2. 模型 p(y/x)条件概率密度(信道特性)3. 容量二、加性(连续)信道 含义 噪声为连续随机变量N 噪声与输入X统计独立 噪声以相加形式出现：Y=X+N2. 模型3.5 连续信道( / )X PY X Yp(y/x)XY( )max (; )p xCI X YXY=X+NN25现在学习的是第25页，共30页二、加性(连续)信道 3. 重要性质(1) p

16、(y/x) = p(n)信道的条件概率密度 =噪声的概率密度(2) Hc(Y/X) = Hc(N) 回忆 Hc(Y/X) 噪声熵4. 信道容量结论加性信道容量取决于 信源受限条件 信道(噪声)统计特性3.5 连续信道(续)( )( )max(; )max( )()ccp xp xCI X YH YHN( ; )( )( /)( )( )ccccI X YH YH Y XH YH N26现在学习的是第26页，共30页3.5 连续信道(续)三、加性高斯信道 1. 含义信道噪声为零均值，方差2的 高斯随机变量的信道 高斯噪声 2. 性质 (1) p(y/x) = p(n)22( )1,( )0,(

17、)p n dnnp n dnn p n dn22( )1(3)max( )log (2)2cp xCH Ye 221(2)( /)( )log (2)2ccH Y XH Ne 27现在学习的是第27页，共30页3.5 连续信道(续)三、加性高斯信道 3. 香农公式 (1) Hc(Y)的最大值 当输入X概率密度零均值、方差X2的高斯变量时 当噪声N概率密度零均值、方差2的高斯变量时则输出Y概率密度零均值、方差Y2的高斯变量 再根据“限平均功率最大熵定理”，有2222( )1max( )log (2),2cYYYXp xH YePP28现在学习的是第28页，共30页3.5 连续信道(续)三、加性高斯信道 3. 香农公式 (2)加性高斯信道 (3)若信道频带限于(0,W) 且对X每秒抽2W个样本作传输，得香农公式222211loglog122YXNPCP2log1(bit/s)XtNPCWP29现在学习的是第29页，共30页3.6 信道编码定理定理 对离散平稳无记忆信道，其容量为C，输入序列长度为L。则，只要实际信息率RC，就必可找到一种编码：当L足够长时，有PeC， 则对任何编码， Pe必大于零说明 前者为正定理，后者为逆定理 给出了信息传输率的极限 只要RC，必为有失真传输 存在性定理 END30现在学习的是第30页，共30页