《信息论第五讲精选PPT.ppt》由会员分享，可在线阅读，更多相关《信息论第五讲精选PPT.ppt（63页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、关于信息论第五讲第1页，讲稿共63张，创作于星期日12.10.20221说明：说明：p(y/x)为为DMC1的信道转移概率；的信道转移概率；p(z/y)为为DMC2的信道转移概率；的信道转移概率；p(z/x,y)为串联信道的信道转移概率；为串联信道的信道转移概率；p(z/x,y)=p(z/y)，说说明明DMC2的的输输出出只只取取决决于于DMC2的的输输入入，这这个个串串联联信信道道具具有有马马尔尔可夫链性质。可夫链性质。I(X,Y;Z)由输出状态由输出状态Z中得到的关于联合状态中得到的关于联合状态(X,Y)的信息量。的信息量。I(Y;Z)由输出状态由输出状态Z中得到的关于状态中得到的关于状态
2、Y的信息量。的信息量。第2页，讲稿共63张，创作于星期日12.10.20222I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)第3页，讲稿共63张，创作于星期日12.10.20223DMC1DMC2XYZ同理：同理：对于所有满足对于所有满足p(x,y,z)0的的(x,y,z)，当且仅当当且仅当p(z/x,y)=p(z/x)时，等式成立。时，等式成立。从从Z中获得中获得X,Y的信息量总是大于等于从的信息量总是大于等于从Z中获得的中获得的X的信息量。的信息量。第4页，讲稿共63张，创作于星期日12.10.20224根据根据:I(X;Z)=H(X)-H(X/Z)=H(Z)-
3、H(Z/X)=I(Z;Y)第5页，讲稿共63张，创作于星期日12.10.20225即即:当当p(z/x,y)=p(z/x)时，等式成立。时，等式成立。说明信道说明信道1是一种无失真的变换。是一种无失真的变换。第6页，讲稿共63张，创作于星期日12.10.20226(2)数据处理定理数据处理定理p(y/x)p(z/xy)XYZ定定理理：若若X,Y,Z为为离离散散随随机机变变量量，并并且且构构成成一一个个马马尔尔可可夫夫链，则有：链，则有：I(X;Z)I(X;Y)I(X;Z)I(Y;Z)证明证明2:如如果果满满足足马马尔尔可可夫夫链链，即即p(z/xy)=p(z/y)。则则串串联联信信道道定理中的
4、等号成立。定理中的等号成立。第7页，讲稿共63张，创作于星期日12.10.20227p(y/x)p(z/xy)XYZI(X,Y;Z)=I(Y;Z)同时在串联信道定理中还有：同时在串联信道定理中还有：I(X,Y;Z)I(X;Z)因此得到因此得到:I(X;Z)I(Y;Z)同样可以证明同样可以证明I(X;Z)I(X;Y)第8页，讲稿共63张，创作于星期日12.10.20228(3)数据处理定理推广数据处理定理推广信源编码器译码器信道这是一个通信系统基本模型。这是一个通信系统基本模型。其中的其中的U，X，Y，V为离散随机矢量。为离散随机矢量。第9页，讲稿共63张，创作于星期日12.10.20229对对
5、于于一一个个实实际际通通信信系系统统来来说说，U，X，Y，V构构成成的的离离散散随随机机矢矢量量序序列列形形成成一一个个马马尔尔可可夫夫链链。也也就就是是说说他他们们满足：满足：这是山农信息理论对通信系统模型的一个基本假设。这是山农信息理论对通信系统模型的一个基本假设。信源编码器译码器信道第10页，讲稿共63张，创作于星期日12.10.202210信源编码器译码器信道这是山农信息理论对通信系统模型的一个基本假设。这是山农信息理论对通信系统模型的一个基本假设。根据根据数据处理定理数据处理定理可以得到：可以得到：第11页，讲稿共63张，创作于星期日12.10.202211说明：说明：q信信息息的的
6、处处理理，例例如如编编码码，译译码码等等，只只能能损损失失信信息息，不能增加信息。不能增加信息。q只有当信息处理是一一对应时，等号成立。只有当信息处理是一一对应时，等号成立。q这这一一点点在在理理论论上上是是正正确确的的，但但是是为为了了有有效效并并可可靠靠的的传输信息，数据处理还是必要的。传输信息，数据处理还是必要的。信源编码器译码器信道第12页，讲稿共63张，创作于星期日12.10.202212(4)多符号信源多符号信源离散随机矢量离散随机矢量第13页，讲稿共63张，创作于星期日12.10.2022132.7.4 信源的剩余度信源的剩余度关于离散信源熵的总结：关于离散信源熵的总结：1)实实
7、际际信信源源一一般般是是非非平平稳稳的的、有有记记忆忆、随随机机序序列列信信源源；其极限熵是不存在的；其极限熵是不存在的；2)解解决决的的方方法法是是假假设设其其为为离离散散平平稳稳随随机机序序列列信信源源，极极限限熵存在，但求解困难；熵存在，但求解困难；3)进进一一步步假假设设其其为为m阶阶Markov信信源源，其其信信源源熵熵用用极极限限熵熵H m+1近似；近似；4)再再进进一一步步假假设设为为一一阶阶Markov信信源源，用用其其极极限限熵熵H1+1(X2/X1)来近似；来近似；5)最简化的信源是离散无记忆信源，最简化的信源是离散无记忆信源，1)其熵为其熵为H(x)=H1(X);6)最后
8、可以假定为等概的离散无记忆信源，最后可以假定为等概的离散无记忆信源，其熵为其熵为H0(X)=logn；第14页，讲稿共63张，创作于星期日12.10.202214它们之间的关系可以表示为：它们之间的关系可以表示为：logn=H0(X)H1(X)H1+1(X)H 2+1(X)H m+1(X)H离散有记忆信源的记忆长度越长，信源熵越小；离散有记忆信源的记忆长度越长，信源熵越小；而独立且等概的信源，熵最大。而独立且等概的信源，熵最大。例例英文字母信源：英文字母信源：26个字母加个字母加1个空格符个空格符H0=log27=4.76 bit (等概)H1=4.02 bit （不等概）H1+1=3.32
9、bit （一阶M-信源）H2+1=3.1 bit （二阶M-信源）H=1.4 bit 第15页，讲稿共63张，创作于星期日12.10.202215剩余度：剩余度：用用来来衡衡量量由由于于信信源源内内部部的的消消息息状状态态的的相相关关性性和和分分布布性性，使其熵减少的程度称为剩余度。使其熵减少的程度称为剩余度。相对熵：相对熵：=H/H0=H(X)/Hmax(X)=(实际信源熵)/(离散信源最大熵)内熵内熵(信息熵差信息熵差)：=H0-H=H(X)-Hmax(X)=（最大熵）-（实际信源熵）剩余度：剩余度：第16页，讲稿共63张，创作于星期日12.10.202216 连续信源熵与信道容量连续信源
10、熵与信道容量上上一一章章我我们们讨讨论论的的是是离离散散信信源源，实实际际应应用用中中还还有有一一类类信信源源称称为为连连续续信信源源，这这种种信信源源的的时时间间和和取取值值都都是是连连续续的的，例例如如语语音音信信号号，电电视图像信号都是连续信号。视图像信号都是连续信号。时时间间离离散散状状态态连连续续的的信信源源熵熵可可以以用用连连续续信信源源熵熵表表示示，相相当当于于一一个连续随机变量。个连续随机变量。而而时时间间连连续续的的信信源源，为为一一个个随随机机过过程程，只只要要信信号号频频谱谱有有限限，则可以根据采样定理，将其变为时间离散信源。则可以根据采样定理，将其变为时间离散信源。这这
11、里里我我们们只只讨讨论论单单变变量量连连续续信信源源，即即时时间间离离散散状状态态连连续续的的连连续信源。续信源。第17页，讲稿共63张，创作于星期日12.10.2022173.1连续信源的熵连续信源的熵3.1.1 连续信源熵的定义连续信源熵的定义连续信源的状态概率用概率密度来表示。连续信源的状态概率用概率密度来表示。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则如果取值为有限实数域a,b，则这时X的概率分布函数为：第18页，讲稿共63张，创作于星期日12.10.202218连续信源的数学模型连续信源的数学模型X：R(或a,b)P(X)：p(x)连续信源熵的表达式连续信源熵的
12、表达式利用离散信源熵的概念来定义连续信源熵，首先看一个再a,b取间的连续随机变量，如图 首先把X的取值区间a,b分割为n个小区间，小区间宽度为：=(b-a)/n根据概率分布为概率密度函数曲线的区间面积的关系，X取值为xi的概率为：Pi=p(xi).第19页，讲稿共63张，创作于星期日12.10.202219这样可以得到离散信源Xn的信源空间为：且有：当n趋无穷时，按离散信源熵的定义：可得离散信源Xn的熵：第20页，讲稿共63张，创作于星期日12.10.202220当趋于0，n趋于无穷时，离散随机变量Xn将接近于连续随机变量X，这时可以得到连续信源的熵为：其中：连续信源的熵定义为：第21页，讲稿
13、共63张，创作于星期日12.10.202221连续信源熵为一个相对熵，其值为绝对熵减去一个无连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大量。穷大量。H(X)=Hc(X)-连续信源有无穷多个状态，因此根据连续信源有无穷多个状态，因此根据SHANNON熵的定义必熵的定义必然为无穷大。然为无穷大。连续信源的熵不等于一个消息状态具有的平均信息量。其熵连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。是有限的，而信息量是无限的。连续信源熵不具有非负性，可以为负值。连续信源熵不具有非负性，可以为负值。尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，
14、连续信道的输入输出都是连续变量，当分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。第22页，讲稿共63张，创作于星期日12.10.202222连续信源的疑义度：则平均交互信息量为：I(X,Y)=H(X)-H(X/Y)3.1.2 几种连续信源的熵几种连续信源的熵均匀分布的连续信源熵均匀分布的连续信源熵设一维连续随机变量X的取值区间是a,b，在a,b中的概率密度函数是第23页，讲稿共63张，创作于星期日12.10.202223这种连续信源称为均匀分布的连续信源。其熵为：这时可以看到：当(b-a)1时，H(X)0，即H(X)不具有熵函数的非负性，因为H(X
15、)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。高斯分布的连续信源熵高斯分布的连续信源熵设一维随机变量X的取值范围是整个实数R，概率密度函数为：第24页，讲稿共63张，创作于星期日12.10.202224其中，m是随机变量X的均值2是随机变量X的方差当均值m=0时，方差2就是随机变量的平均功率，第25页，讲稿共63张，创作于星期日12.10.202225这个信源称为高斯分布的连续信源，其数学模型为：这时可以得到高斯连续信源的熵为：第26页，讲稿共63张，创作于星期日12.10.202226指数分布的连续信源熵指数分布的连续信源熵设一随机变量X的取值取间为0，其概率密度函数为则称为指数分布的连
16、续信源。其中常数a为随机变量X的均值。即指数分布的连续信源的熵为第27页，讲稿共63张，创作于星期日12.10.2022273.2 3.2 连续信源的最大熵连续信源的最大熵3.2.1 连续信源的最大熵连续信源的最大熵为了求出连续信源的最大熵，将利用数学中的变分法的方法来求解。连续信源的熵为：其基本约束条件为：其它约束条件为：第28页，讲稿共63张，创作于星期日12.10.202228建立辅助函数：其中有：根据极值的条件有：及m个约束方程，可以确定最大熵和所对应的信源概率密度分布p(x)。第29页，讲稿共63张，创作于星期日12.10.202229输出幅度受限时的最大熵（瞬时功率受限）输出幅度受
17、限时的最大熵（瞬时功率受限）其基本条件为：|x|v，x2S，这时对应只有一个约束方程，可以得到：第30页，讲稿共63张，创作于星期日12.10.202230这里的对数为以e为底，由约束方程可得：结论：对于瞬时功率受限的连续信源，在假定信源状态结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数时，信源具有最大熵。为独立时，当概率密度分布为常数时，信源具有最大熵。其最大熵为：其最大熵为：第31页，讲稿共63张，创作于星期日12.10.202231输出平均功率受限时的最大熵输出平均功率受限时的最大熵推导：这时的约束条件为：可知：第32页，讲稿共63张，创作于星期日12.1
18、0.202232由极值条件：可得：第33页，讲稿共63张，创作于星期日12.10.202233将其代入约束条件,可得：得到：得到连续信源获得最大熵时的概率密度函数：第34页，讲稿共63张，创作于星期日12.10.202234这是一个均值为0的高斯分布。其最大熵为：第35页，讲稿共63张，创作于星期日12.10.202235如果平均功率为N=2;则有结论：（最大熵定理）结论：（最大熵定理）对对于于输输出出平平均均功功率率受受限限的的连连续续信信源源，在在假假设设状状态态相相互互独独立立时时，当当其其概概率率密密度度函函数数为为高高斯斯分分布布时时，具具有有最大熵。其最大熵值随功率最大熵。其最大熵
19、值随功率N N的增加而增加。的增加而增加。第36页，讲稿共63张，创作于星期日12.10.2022363.2.2 连续信源的熵功率连续信源的熵功率对对于于平平均均功功率率受受限限的的连连续续信信源源，当当信信源源为为高高斯斯分分布布时时有有最最大大熵熵，如如果果信信源源不不是是高高斯斯分分布布，则则信信源源熵熵将将小小于于最最大大熵熵。熵熵功功率率则则用用来来描描述述连连续续信信源源熵熵的的剩剩余余度度。即即说说明明信信源源是是可可以以改改造造的的程度。程度。一一个个平平均均功功率率为为N的的非非高高斯斯分分布布的的连连续续信信源源的的熵熵功功率率等等于于与其有同样熵的高斯信源的平均功率与其有
20、同样熵的高斯信源的平均功率。当当非非高高斯斯连连续续信信源源与与高高斯斯信信源源具具有有相相同同熵熵时时，那那非非高高斯信源的平均功率一定大于高斯信源的功率。斯信源的平均功率一定大于高斯信源的功率。当当非非高高斯斯连连续续信信源源与与高高斯斯信信源源具具有有相相同同平平均均功功率率时时，那那非非高高斯斯信源的熵一定小于高斯信源的熵。信源的熵一定小于高斯信源的熵。第37页，讲稿共63张，创作于星期日12.10.202237平均功率为N的非高斯信源的熵功率为：（“目标功率目标功率”）非高斯信源：高斯信源：当时；一定有：当时；一定有：第38页，讲稿共63张，创作于星期日12.10.2022383.2
21、.3 连续信源的共熵和条件熵连续信源的共熵和条件熵同离散信源相似，连续信源也可定义其共熵和条件熵，其基本关系为：H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X,Y)H(X)+H(Y)H(X/Y)H(X)H(Y/X)H(Y)第39页，讲稿共63张，创作于星期日12.10.2022393.3 连续有噪声信道的信道容量连续有噪声信道的信道容量3.3.1 连续信道的平均交互信息量连续信道的平均交互信息量设信道输入的随机变量X的取值为a,b，信道输出随机变量Y的取值为a,b，信道转移概率为p(y/x),(axb,ayb)，如图3-2所示。第40页，讲稿共63张，创作于星期日12.10
22、.202240其连续信道的平均交互信息量为：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)其中熵函数的表达式：第41页，讲稿共63张，创作于星期日12.10.202241可知：I(X,Y)0；即平均交互信息量为非负值，当X，Y相互独立时，p(x,y)=p(x)p(y)，I(X,Y)=0。同时有：I(X,Y)=I(Y,X)与离散信道情况相似，有相应的概率关系：p(x,y)=p(x)p(y/x)=p(y)p(x/y)第42页，讲稿共63张，创作于星期日12.10.2022423.3.2 连续信道的熵速率与信道容量连续信道的熵速率与信道容量熵速率熵速率在一个高高斯斯白白噪噪声声连续信道
23、中，接收随机变量Y为发送消息状态X于噪声n之和。即为加性高斯白噪声（加性高斯白噪声（GAWN）信道）信道，关系如图所示。第43页，讲稿共63张，创作于星期日12.10.202243定义：定义：接收熵速率为（不考虑符号速率，r=1）首先考虑X,nX,n的联合熵，由于X X与n n相互独立。即。所以有：联合熵（等于独立熵之和）第44页，讲稿共63张，创作于星期日12.10.202244注意：注意：由于Y=X+n，有p(x,n)=p(x)p(n)，即X与n独立，并且有：对于给定的xi,p(y/x)=p(n/x)=p(n)因为Y=X+n；且x与n独立。所以有第45页，讲稿共63张，创作于星期日12.1
24、0.202245山农公式说明山农公式说明加性高斯白噪声信道的输入信号X与噪声n相加得到输出的接收信号Y，如图所示。根据概率论的相关知识，如果X为N维随机变量，Y为N维随机变量，并且X与Y有函数关系，Yi=gi(X);Xi=fi(Y);(如Y=X+n)，则他们的联合概率密度函数存在关系：第46页，讲稿共63张，创作于星期日12.10.202246其中J为雅可比行列式。对于加性高斯白噪声信道，坐标变换为：X=X(f1)；n=Y-X(f2)。第47页，讲稿共63张，创作于星期日12.10.202247因此：（X与n相互独立）另外：则：最终得到：第48页，讲稿共63张，创作于星期日12.10.2022
25、48就是说：加性高斯白噪声连续信道的条件概率密度函数p(y/x)就是噪声n的概率密度函数p(n)，这是加性高斯噪声信道的一个重要特征。则有:可得：熵速率为：R=H(X)-H(X/Y)=H(Y)-H(n)结结论论：在在连连续续有有噪噪声声信信道道上上，接接收收熵熵速速率率等等于于接接收收得得总总信信息息速速率率H(Y)减去噪声信息速率减去噪声信息速率H(n)。第49页，讲稿共63张，创作于星期日12.10.202249信道容量（信道容量（Shannon公式）公式）与与离离散散信信道道的的信信道道容容量量的的概概念念一一样样，在在连连续续信信道道中中，对对于于给给定定的信道的信道p(y/x)，最大
26、的接收熵速率为信道容量。，最大的接收熵速率为信道容量。当考虑到随机变量当考虑到随机变量X的符号速率为的符号速率为r时：时：已知已知X与与n相互独立，则相互独立，则H(n)与与p(x)无关。无关。第50页，讲稿共63张，创作于星期日12.10.202250三点假设：三点假设：信信道道为为加加性性高高斯斯白白噪噪声声信信道道，功功率率谱谱均均匀匀，平平均均功功率为率为N。信信道道带带宽宽满满足足信信号号频频谱谱要要求求，为为W，符符号号速速率率为为r=2W。信源为平均功率受限，信号功率为信源为平均功率受限，信号功率为P。由于由于Y=X+n。为了使。为了使H(Y)为最大，为最大，Y应为高斯分布。应为
27、高斯分布。若若Y为为高高斯斯分分布布，同同时时已已知知n为为高高斯斯分分布布，则则X也也应应为为高高斯斯分分布。布。(Y=X+n)由由此此得得知知：对对于于高高斯斯白白噪噪声声信信道道，当当信信源源为为高高斯斯分分布布时时，接接收熵速率为最大。收熵速率为最大。第51页，讲稿共63张，创作于星期日12.10.202251推导：设Y为在接收端的一个平均功率受限的信源，功率为P+N；则有：若把信道噪声看成一个平均功率为N的噪声源，则有：这样由信道容量的关系式可得：这样就得到了Shannon公式公式,单位为net/s。第52页，讲稿共63张，创作于星期日12.10.202252Shannon公式的理解
28、：公式的理解：在在加加性性高高斯斯信信道道上上，其其信信道道容容量量C与与信信号号带带宽宽W和信号噪声功率比和信号噪声功率比P/N有关。有关。在在加加性性高高斯斯信信道道上上，当当信信源源信信号号为为高高斯斯分分布布时时，信道熵速率等于信道容量。信道熵速率等于信道容量。对对于于连连续续信信源源来来说说，高高斯斯白白噪噪声声信信道道危危害害最最大大，因为因为H(n)大使熵速率大使熵速率R减小。减小。本本公公式式给给出出了了信信道道容容量量的的理理论论极极限限值值，目目前前还还很很难实现，因为信源不可能为高斯分布。难实现，因为信源不可能为高斯分布。信信道道容容量量的的计计算算比比较较复复杂杂，一一
29、些些简简单单情情况况下下是是可可以计算的。以计算的。第53页，讲稿共63张，创作于星期日12.10.2022533-3-3 Shannon公式的参数互换公式的参数互换由Shannon公式可知：（注意：这时的单位可以为比特，因为它是两个熵函数之差，不同单位的信道容量表达式是相同的。）如果考虑通信时间为T，在T秒钟传输的总的信息量为：保持总的信息量不变，保持总的信息量不变，T、W、P/N之间的互换关系。之间的互换关系。当信噪比当信噪比P/N一定时：一定时：WT，TW，当传输时间当传输时间T一定时：一定时：WP/N，WP/N，当带宽当带宽W一定时：一定时：TP/N，TP/N，第54页，讲稿共63张，
30、创作于星期日12.10.2022543.4 关于连续信源熵和山农公式11连续信源的剩余度连续信源的剩余度平均功率为N的非高斯信源的熵为HN(X)；令则HN(X)的熵功率为：是HN(X)的熵功率。是这个非高斯信源的剩余度。第55页，讲稿共63张，创作于星期日12.10.20225522关于信道噪声关于信道噪声在通信系统中，我们把来自各方面的噪声都集中在一起，认为都在通信系统中，我们把来自各方面的噪声都集中在一起，认为都是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。外是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。外部噪声又分为人为噪声（火花）和自然噪声（大气噪声）。内部部噪声又分为
31、人为噪声（火花）和自然噪声（大气噪声）。内部噪声包括热噪声（电子热运动）和散粒噪声（器件中电流起伏）。噪声包括热噪声（电子热运动）和散粒噪声（器件中电流起伏）。按噪声性质对信道进行分类：按噪声性质对信道进行分类：高斯噪声信道；高斯噪声信道；白噪声信道；白噪声信道；高斯白噪声信道；高斯白噪声信道；有色噪声信道有色噪声信道；第56页，讲稿共63张，创作于星期日12.10.20225633高斯噪声信道高斯噪声信道信道中的噪声为高斯分布（正态分布）的平稳、各态历经的随机过程。其幅度值的概率密度函数为高斯分布。内部噪声的热噪声和散粒噪声都是高斯噪声。高斯噪声的一维概率密度函数为：44白噪声信道白噪声信道
32、白噪声信道就是信道中的噪声为白噪声过程，白噪声是一种平稳、各态历经的随机过程。它的功率谱密度在整个频域上为均匀分布，也就是说功率谱密度为常数。第57页，讲稿共63张，创作于星期日12.10.202257白噪声幅度值的概率密度函数为任意的。其中的N0为单边功率谱密度（工程上谱的范围），N0/2为双边功率谱密度（数学上的谱的范围），单位为W/Hz。可以看到白噪声的相关函数为冲击函数。严格地讲，白噪声只是一个理想化的数学模型，实际上不可能存在，但是由于它的简单和方便，是设计和分析的有力工具。电子系统内部噪声的热噪声和散粒噪声都可以认为是白噪声。第58页，讲稿共63张，创作于星期日12.10.2022
33、5855高斯白噪声信道高斯白噪声信道信道中的噪声为高斯白噪声随机过程。即幅度为高斯分布，信道中的噪声为高斯白噪声随机过程。即幅度为高斯分布，功率谱为均匀分布的随机过程。电阻的热噪声就是高斯白噪功率谱为均匀分布的随机过程。电阻的热噪声就是高斯白噪声。通信系统的信道通常都是高斯白噪声信道。声。通信系统的信道通常都是高斯白噪声信道。在通信原理中我们知道，高斯白噪声经过低通限带带滤在通信原理中我们知道，高斯白噪声经过低通限带带滤波器后有一个重要特性，就是它的取样值是一个均值为波器后有一个重要特性，就是它的取样值是一个均值为0，方差为，方差为N0/2，相互独立的（，相互独立的（N=2FT）个高斯分布的随
34、机）个高斯分布的随机变量。变量。第59页，讲稿共63张，创作于星期日12.10.20225966有色噪声信道有色噪声信道除了白噪声以外的噪声称为有色噪声，这样的信道为有色噪声除了白噪声以外的噪声称为有色噪声，这样的信道为有色噪声信道。信道。77乘性信道和加性信道乘性信道和加性信道信道输出信号为信道输入信号乘以噪声的信道为乘性信道。信道输出信号为信道输入信号乘以噪声的信道为乘性信道。这种噪声称为乘性噪声或乘性干扰。如瑞利衰落干扰。这种噪声称为乘性噪声或乘性干扰。如瑞利衰落干扰。信道输出信号为信道输入信号加上噪声的信道为加性信道。这信道输出信号为信道输入信号加上噪声的信道为加性信道。这种噪声称为加
35、性噪声或加性干扰。如高斯白噪声。种噪声称为加性噪声或加性干扰。如高斯白噪声。第60页，讲稿共63张，创作于星期日12.10.20226088山农公式的进一步理解山农公式的进一步理解由噪声功率N=N0W。当带宽增大是信道容量会增加，但是信道容量会随着带宽无当带宽增大是信道容量会增加，但是信道容量会随着带宽无限度增加吗？不会。因为带宽增加噪声功率也在增加。限度增加吗？不会。因为带宽增加噪声功率也在增加。第61页，讲稿共63张，创作于星期日12.10.202261令由于当信号功率一定时，随着带宽增加，信噪比会降低，信道容量不会无限度增加。当信号功率一定时，随着带宽增加，信噪比会降低，信道容量不会无限度增加。当带宽增加到一定时，信道容量基本上等于信噪比，这是加性高斯白噪声信道当带宽增加到一定时，信道容量基本上等于信噪比，这是加性高斯白噪声信道的传信率的极限值。的传信率的极限值。当信道带宽不受限制时，信道传送当信道带宽不受限制时，信道传送1比特信息，信噪比只需要比特信息，信噪比只需要0.693。第62页，讲稿共63张，创作于星期日12.10.202262感谢大家观看12.10.2022第63页，讲稿共63张，创作于星期日