《信道及信道容量(1).ppt》由会员分享，可在线阅读，更多相关《信道及信道容量(1).ppt（103页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信道及信道容量2022/12/7第3章 信道及信道容量教学内容和要求掌握单符号离散信道及平均互信息量，理解其性质掌握m=n信道、对称信道和准对称信道的信道容量了解多符号离散信道，掌握N次扩展信道及信道容量信道及信道容量2022/12/7掌握单符号连续信道及平均互信息量，理解其性质掌握高斯加性信道的信道容量和最大信息传输速率了解多符号连续信道及信道容量信道及信道容量2022/12/7编码信道译码噪声信源信宿信道传输信号的媒介，信道中通常引入噪声狭义信道信号的传输媒介有线信道电线、电缆、光缆无线信道电磁空间地波传播、天波传播、视线传播信道及信道容量2022/12/7发转换媒介收转换调制解调 调制信
2、道 编码信道 广义信道包括调制解调、收发转换装置的信道调制信道连续信道编码信道离散信道信道及信道容量2022/12/7一、单符号离散信道及信道容量1、单符号离散信道定义对应于单符号离散信源和单符号离散信宿的信道表示信源离散型随机变量X信宿离散型随机变量Y信道及信道容量2022/12/7随机变量X的取值xi为信源发出的消息 i=1,2,n随机变量Y的取值yj为信宿收到的消息 j=1,2,mXP(Y/X)Y信道及信道容量2022/12/7x1x2xny1y2ymP(y1/x1)P(ym/xn)P(y2/x2)信道及信道容量2022/12/7信道及信道容量2022/12/7例1例2信道及信道容量20
3、22/12/72、互信息量信源发出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量定义信宿消息yj的概率P(yj)与信源发出消息xi而信宿接收到消息yj的转移概率P(yj/xi)之差对数的负值，用I(xi;yj)表示信道及信道容量2022/12/7表示信道及信道容量2022/12/7例3信宿消息0所含各信源消息的互信息量信道及信道容量2022/12/73、平均互信息量各互信息量的数学期望，也叫交互熵，用I(X;Y)表示定义表示信道及信道容量2022/12/74、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息量噪声熵或信道散布度平均互信息量I(X;Y)反映信道每传输一
4、条消息所携带的平均信息量，不反映信宿收到某条消息所含信源发出某条特定消息的信息量信道及信道容量2022/12/7条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量损失熵或信道疑义度信道及信道容量2022/12/7H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿为参考，利用信宿的信息熵和信道的噪声熵来度量信道中传输的平均信息量以信源为参考，利用信源的信息熵和信道的损失熵来度量信道中传输的平均信息量平均互信息量I(X;Y)信息传输率R信道及信道容量2022/12/7信道及信道容量2022/12/75、平均互信息量的主要性质对称性信道及信道容量2022/12/7非负性极值性信道
5、及信道容量2022/12/7X与Y相互独立时，X与Y一一对应关系时，严格凸函数性信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数信道及信道容量2022/12/7例4平均互信息量信道及信道容量2022/12/7信道及信道容量2022/12/7平均互信息量及p-I(X;Y)和q-I(X;Y)曲线例5信道及信道容量2022/12/7信道固定时q为常数，作p-I(X;Y)曲线信道及信道容量2022/12/700.51I(X;Y)1-H(q)p信源固定时p为常数，作q-I(X;Y)曲线信道及信道容量2022/12/700.5
6、1I(X;Y)H(p)q信道及信道容量2022/12/76、信道容量信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使信道中传输的平均互信息量达到最大定义信道转移概率分布P(Y/X)不变时平均互信息量的最大值，用C表示信道及信道容量2022/12/7表示7、m=n信道的信道容量信道及信道容量2022/12/7信道及信道容量2022/12/7信道及信道容量2022/12/7信道及信道容量2022/12/7信道及信道容量2022/12/7信道及信道容量2022/12/7信道及信道容量2022/12/7m=n信道的信道容量信道及信道容量2022/12/
7、7Z信道 的信道容量C及达到信道容量的信源概率分布P(X)例6信道及信道容量2022/12/7习题：(P99)3.1、3.2信道及信道容量2022/12/7二、对称信道及信道容量1、对称信道矩阵中每一行都是集合中各元素的不同排列矩阵行可排列；每一列都是集合 中各元素的不同排列矩阵列可排列信道及信道容量2022/12/7对称信道中，当mn时，P是Q的子集；当m=n时，P=Q例1下列信道矩阵所表示的信道是否为对称信道？既行可排列，又列可排列的信道矩阵所表示的单符号离散信道定义信道及信道容量2022/12/7行可排列列可排列信道及信道容量2022/12/7行可排列不存在P，列不可排列信道及信道容量2
8、022/12/72、对称信道的信道容量m=n=2时的对称信道二进制对称信道BSC对称信道行可排列信道及信道容量2022/12/7信宿等概时最大最大值可达条件对称信道列可排列，不失一般性，设对称信道的信道矩阵信道及信道容量2022/12/7信道及信道容量2022/12/7信道及信道容量2022/12/7对称信道的信道容量BSC的信道容量达到信道容量的信源概率分布信道及信道容量2022/12/7例2信道的信道容量及达到信道容量的信源概率分布信道矩阵既行可排列，又列可排列，所表示的信道为对称信道信道及信道容量2022/12/7信道容量达到信道容量的信源概率分布信道及信道容量2022/12/7三、准对
9、称信道及信道容量行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的子矩阵列可排列的信道矩阵所表示的单符号离散信道信道矩阵定义1、准对称信道信道及信道容量2022/12/7行可排列不存在P，列不可排列按列分成两个不相交的子集，两个子集构成的子矩阵列可排列，信道为准对称信道信道及信道容量2022/12/7二进制删除信道准对称信道准对称信道行可排列2、准对称信道的信道容量信道及信道容量2022/12/7信宿等概的最大值是否可达？如果信宿等概信道及信道容量2022/12/7矛盾！不可达信道及信道容量2022/12/7按列分为s个不相交的子集，各子集构成的子矩阵列可排列对应于子信道的各子信宿
10、等概时最大最大值可达条件子矩阵列可排列，不失一般性，设第k个子矩阵信道及信道容量2022/12/7信道及信道容量2022/12/7信道及信道容量2022/12/7准对称信道的信道容量达到信道容量的信源概率分布信道及信道容量2022/12/7二进制擦除信道的信道容量信道及信道容量2022/12/7的信道容量及达到信道容量时的信源概率分布例1行可排列不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵信道及信道容量2022/12/7都列可排列，所表示的信道为准对称信道信道容量信道及信道容量2022/12/7达到信道容量的信源概率分布信道及信道容量2022/12/7的信道容量及达到信
11、道容量时的信源概率分布例2行可排列不存在P，列不可排列信道及信道容量2022/12/7按列分成两个不相交的子集后，两个子集构成的子矩阵都列可排列，所表示的信道为准对称信道信道及信道容量2022/12/7信道容量信道及信道容量2022/12/7达到信道容量的信源概率分布信道及信道容量2022/12/7四、N次扩展信道及信道容量1、多符号离散信道定义对应于多符号离散信源和多符号离散信宿的信道表示信源离散型随机过程X1X2XN信宿离散型随机过程Y1Y2YN信道及信道容量2022/12/7信道及信道容量2022/12/7X1X2XNP(Y1Y2YN/X1X2XN)Y1Y2YN信道及信道容量2022/1
12、2/72、N维离散平稳信道定义多符号离散信道对任意两个不同时间起点k和l，其转移概率分布及直到N维的各维联合转移概率分布都相同取l=1，N维离散平稳信道信道及信道容量2022/12/73、N维离散平稳无记忆信道DMC定义N维离散平稳信道的符号序列中各符号相互独立表示信道及信道容量2022/12/7N维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信道N次扩展信道对应于N次扩展信源和N次扩展信宿的信道信道及信道容量2022/12/74、N次扩展信道的信道容量信道及信道容量2022/12/7BSC的信道矩阵二次扩展信道的信道矩阵二次扩展信道的信道矩阵和信道容量例1信道及信道容量2022/1
13、2/7二次扩展信道的信道容量习题：(P99-101)3.7、3.15信道及信道容量2022/12/7五、单符号连续信道及信道容量1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源连续型随机变量X信宿连续型随机变量Y信道及信道容量2022/12/7随机变量X的取值x为信源发出的消息随机变量Y的取值y为信宿收到的消息Xp(y/x)Y信道及信道容量2022/12/72、单符号连续信道的噪声熵绝对噪声熵p(y/x)为信道转移概率密度函数信道及信道容量2022/12/7相对噪声熵表示信道及信道容量2022/12/73、平均互信息量相对熵不能作为信息度量，平均互信息量作为熵差，具有信
14、息度量的意义信道及信道容量2022/12/74、平均互信息量的主要性质 对称性 非负性信道及信道容量2022/12/7信道及信道容量2022/12/7 严格凸函数性信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数信道及信道容量2022/12/75、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x)，使信道中传输的平均互信息量达到最大定义信道转移概率密度函数p(y/x)不变时平均互信息量的最大值，用C表示信道及信道容量2022/12
15、/7表示连续信道习惯于考虑信道在单位时间内平均互信息量的最大值最大信息传输速率定义单位时间的信道容量，用Ct表示信道及信道容量2022/12/7其中T为平均传输一条消息所需的时间最大信息传输速率的单位为bit/sec(bps)表示信道及信道容量2022/12/7六、高斯加性信道及信道容量1、高斯加性信道加性噪声信道中噪声与信号相互独立且对信号的作用表现为线性叠加定义信道及信道容量2022/12/7表示XY=X+NNX的概率密度函数为p(x)，Y的概率密度函数为p(y)，N的概率密度函数为p(n)信道及信道容量2022/12/72、高斯加性信道的相对噪声熵相应的雅可比行列式信道及信道容量2022
16、/12/7信道及信道容量2022/12/73、高斯加性信道的信道容量根据平均功率受限下的最大相对熵定理，信宿具有最大相对熵信道及信道容量2022/12/7高斯加性信道的信道容量信道及信道容量2022/12/74、高斯加性信道的最大信息传输速率如果所传输信号的带宽为B，根据采样定理，不失真传输一条消息的最小时间T=1/2B高斯加性信道的最大信息传输速率香农公式信道及信道容量2022/12/7香农公式的意义最大信息传输速率与所传输信号的带宽成正比，基本与信噪功率比成正比信噪功率比小于1时最大信息传输速率仍大于0所传输信号的带宽趋于无穷时，最大信息传输速率趋于有限值信道及信道容量2022/12/7最
17、大信息传输速率一定时，增大所传输信号的带宽，可以降低对信噪功率比的要求信道及信道容量2022/12/7高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5104bps，求信噪功率比；如果将信噪功率比降低到-3dB，求保持同样最大信息传输速率所需的带宽例1信道及信道容量2022/12/7信道及信道容量2022/12/7习题：(P102)3.19、3.20信道及信道容量2022/12/7七、多符号连续信道及信道容量1、多符号连续信道定义对应于多符号连续信源和多符号连续信宿的信道表示信源连续型随机过程X1X2XN信宿连续型随机过程Y1Y2YN信道及信道容量2022/12/7随机过程
18、X1X2XN的取值x1x2xN为信源发出的消息随机过程Y1Y2YN的取值y1y2yN为信宿收到的消息信道及信道容量2022/12/7X1X2XNp(y1y2yN/x1x2xN)Y1Y2YNp(y1y2yN/x1x2xN)为信道转移概率密度函数2、N维连续平稳信道定义多符号连续信道对任意两个不同时间起点k和l，其转移概率密度函数及直到N维的各维联合转移概率密度函数都相同信道及信道容量2022/12/7取l=1，N维连续平稳信道3、N维连续平稳无记忆信道定义N维连续平稳信道的符号序列中各符号相互独立信道及信道容量2022/12/7表示N维连续平稳无记忆信道形式上相当于单符号连续信道的N次扩展信道N次扩展信道对应于N次扩展信源和N次扩展信宿的信道4、高斯加性信道的N次扩展信道信道及信道容量2022/12/75、高斯加性信道N次扩展信道的信道容量6、高斯加性信道N次扩展信道的最大信息传输速率