《管理信息学第4章课件.ppt》由会员分享，可在线阅读，更多相关《管理信息学第4章课件.ppt（65页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2023/5/304.4 信息传输的抗干扰性信息传输的抗干扰性4.4.1 信道及信道容量信道及信道容量4.4.2 信道编码信道编码4.4.3 二元线性码二元线性码4.4.4 线性码的编码与译码线性码的编码与译码4.4.5 循环码循环码4.4.6 循环码的编码与译码循环码的编码与译码4.4.7 抗干扰信道编码定理抗干扰信道编码定理2023/5/30信道的一般数学模型信道的一般数学模型4.4.1 信道及信道容量信道及信道容量 其中其中X表示输入，表示输入，Y表示输出，条件概率表示输出，条件概率P(Y|X)表示表示它们之间的统计依赖关系（称为转移概率分布）。这个它们之间的统计依赖关系（称为转移概率分
2、布）。这个数学模型也可以写作数学模型也可以写作 X P(Y|X)Y。2023/5/30信道矩阵信道矩阵设输入设输入X的符号表是的符号表是 a1,a2,an，输出，输出Y的符号表是的符号表是 b1,b2,bm。将。将P(Y|X)用如下矩阵的方式表示：用如下矩阵的方式表示：称为该信道的信道矩阵。其中行表示输入称为该信道的信道矩阵。其中行表示输入X X，列表示输出，列表示输出Y Y，p(bj|ai)（i=1,n j=1,m）表示输入是表示输入是ai，输出是，输出是bj的条的条件概率。件概率。4.4.1 信道及信道容量信道及信道容量2023/5/30互信息公式：互信息公式：互信息表示当收到互信息表示当
3、收到bj后后，可以提取到的关于可以提取到的关于ai的信息量。的信息量。上式称上式称 I(X;Y)是是 Y 对对 X 的平均互信息量，简称平均互信的平均互信息量，简称平均互信息。平均互信息息。平均互信息 I(X;Y)克服了互信息的随机性，成为一个克服了互信息的随机性，成为一个确定的量，因此可以作为信道中信息流通的测度。确定的量，因此可以作为信道中信息流通的测度。4.4.1 信道及信道容量信道及信道容量2023/5/30 假设信源假设信源 X 的熵为的熵为 H(X)，我们希望在信道输出端接收，我们希望在信道输出端接收到的信息量就是到的信息量就是 H(X)，但由于干扰的存在，一般情况下只，但由于干扰
4、的存在，一般情况下只能接收到能接收到 I(X;Y)。它是平均意义上每传送一个符号流经信。它是平均意义上每传送一个符号流经信道的信息量。道的信息量。可以把可以把I(X;Y)理解为信道的信息传输率（或信息率）理解为信道的信息传输率（或信息率）:R=I(X;Y)4.4.1 信道及信道容量信道及信道容量2023/5/30 由于由于 I(X;Y)是信源概率分布是信源概率分布 P(X)和信道转移概率分和信道转移概率分布布 P(Y|X)的函数。给定一个信道，其的函数。给定一个信道，其 P(Y|X)是固定的，因是固定的，因此，此，I(X;Y)随信源概率分布随信源概率分布 P(X)的变化而变化，调整的变化而变化
5、，调整 P(X)，在接收端就能获得不同的信息量。，在接收端就能获得不同的信息量。而总能找到某一种而总能找到某一种 P(X)（即某一种信源），使信道所（即某一种信源），使信道所能传送的信息率达到最大。定义这个最大的信息传输率为信能传送的信息率达到最大。定义这个最大的信息传输率为信道容量，记为道容量，记为 C。C=max R=max I(X;Y)4.4.1 信道及信道容量信道及信道容量2023/5/30 有时我们关心的是信道在单位时间内能够传输的最大信有时我们关心的是信道在单位时间内能够传输的最大信息量。若信道平均传输一个符号需要事件息量。若信道平均传输一个符号需要事件t，则单位时间的，则单位时间
6、的信道容量为信道容量为 Ct的单位是比特的单位是比特/秒，用秒，用bit/s表示。表示。Ct 实际上是信道的最实际上是信道的最大信息传输速率。大信息传输速率。4.4.1 信道及信道容量信道及信道容量2023/5/30u二元对称传送二元对称传送u检错与纠错原理检错与纠错原理u极大似然译码法极大似然译码法4.4.2 信道编码信道编码2023/5/30二元数字信息：是用二元数域二元数字信息：是用二元数域F2=0,1中的数字中的数字0与与1组成的组成的数组或向量数组或向量F2中的中的加法运算：加法运算：0+0=1+1=0，0+1=1+0=1F2中的中的乘法运算：乘法运算：11=1，10=01=00=0
7、通常用同样长度的二元数组代表一个信息集合中的信息。通常用同样长度的二元数组代表一个信息集合中的信息。如前文的英文字母示例。如前文的英文字母示例。4.4.2 信道编码信道编码：二元对称传送：二元对称传送2023/5/30如果在传送过程中，传送任何一个信息是否发如果在传送过程中，传送任何一个信息是否发生错误与前面已传送的信息是否发生了错误无生错误与前面已传送的信息是否发生了错误无关，则称这种传送为关，则称这种传送为无记忆传送无记忆传送。在无记忆传送过程中，如果发送在无记忆传送过程中，如果发送1收到收到0的概率的概率与发送与发送0收到收到1的概率都是的概率都是p，且发送，且发送1收到收到1的概的概率
8、与发送率与发送0收到收到0的概率都是的概率都是1-p，即，即错误传送的错误传送的概率为概率为p，正确传送概率为，正确传送概率为1-p，则称这种传送为，则称这种传送为二元对称传送。二元对称传送。一般一般p远小于远小于1/2。二元对称传送二元对称传送4.4.2 信道编码信道编码：二元对称传送：二元对称传送2023/5/30u 抗干扰编码抗干扰编码：数字信息在传送过程中会受到各种可能的干数字信息在传送过程中会受到各种可能的干扰而出现错误，这样收到的信息可能就不是传送的原信息。扰而出现错误，这样收到的信息可能就不是传送的原信息。抗干扰的有效做法是在采用种种技术措施的同时，在信息传抗干扰的有效做法是在采
9、用种种技术措施的同时，在信息传送前进行一次抗干扰编码，再传送抗干扰编码后的数字信息。送前进行一次抗干扰编码，再传送抗干扰编码后的数字信息。u 抗干扰编码有抗干扰编码有检错编码检错编码与与纠错编码纠错编码，检错编码是检查有无，检错编码是检查有无错误发生的编码，纠错编码是能纠正已发生错误的编码。错误发生的编码，纠错编码是能纠正已发生错误的编码。4.4.2 信道编码信道编码：检错与纠错原理：检错与纠错原理2023/5/30 例例(奇偶校验码奇偶校验码)：设原信息是长为设原信息是长为5的二元向量，在传送前编的二元向量，在传送前编码如下：码如下：显然有显然有(c)的的6个分量之和为个分量之和为0。传送。
10、传送(c)，设收到的向量是，设收到的向量是r=(r0,r1,r2,r3,r4,r5)，则，则:若若 ，则在传送过程中一定发生了错误，且有奇数，则在传送过程中一定发生了错误，且有奇数个分量发生了错误；否则传送过程可能没有发生错误，也可个分量发生了错误；否则传送过程可能没有发生错误，也可能发生了偶数个错误。能发生了偶数个错误。4.4.2 信道编码信道编码：检错与纠错原理：检错与纠错原理2023/5/30 定义定义4.1 设原信息集合是设原信息集合是F2上上 k 维向量组成的向量空间维向量组成的向量空间 Vk，是是 Vk到到 Vn 的一个单射的一个单射(nk)，则称，则称 Vk 的全体象的全体象 C
11、=(Vk)为码，为码，C中的中的每一个每一个 n 维向量为维向量为码字码字，码字的分量称为，码字的分量称为码元。码元。如果任一码字在传送过程中有如果任一码字在传送过程中有 t 个错误发生，而收信方可以个错误发生，而收信方可以检查出有无错误发生，则称这个码检查出有无错误发生，则称这个码 C 可以检查可以检查 t 个差错的个差错的检错码检错码，并称并称为为检错编码检错编码；如果收信方可以从收到的字正确译出发送方发；如果收信方可以从收到的字正确译出发送方发送的码字，则称码送的码字，则称码 C 是可以纠正是可以纠正 t 个差错的个差错的纠错码纠错码，并称，并称为为纠错纠错编码编码。称。称 k 为信息长
12、度，为信息长度，n 为码长，为码长，k/n 为码为码C的信息率。的信息率。4.4.2 信道编码信道编码：检错与纠错原理：检错与纠错原理2023/5/30示例示例k=5n=6码空间Vn码字码元原信息空间Vk映射4.4.2 信道编码信道编码：检错与纠错原理：检错与纠错原理2023/5/30如果如果p=0.01，从统计意义上讲，每发送，从统计意义上讲，每发送100个符号就可能个符号就可能有一个错误产生，这显然不能满足传输的要求。有一个错误产生，这显然不能满足传输的要求。如果我们把信道输入符号重复传输如果我们把信道输入符号重复传输N次，即对于信源符号次，即对于信源符号“0”，信道输入端不只发一个，信道
13、输入端不只发一个“0”，而是连续发，而是连续发N个个“0”；对于信源符号；对于信源符号“1”，信道输入端不只发一个，信道输入端不只发一个“1”，而是连续发，而是连续发N个个“1”。则输入则输入0,1变为变为(000,111)，输出则从，输出则从0,1变为变为N维维空间中的某个向量。空间中的某个向量。重复编码重复编码4.4.2 信道编码信道编码：检错与纠错原理：检错与纠错原理2023/5/30若若N=3，则，则单符号离散无记忆信道的信道矩阵为单符号离散无记忆信道的信道矩阵为 转变为离散无记忆信道的三次扩展信道的信道矩阵转变为离散无记忆信道的三次扩展信道的信道矩阵 4.4.2 信道编码信道编码：检
14、错与纠错原理：检错与纠错原理2023/5/30考虑信道的无记忆性，因此，三次扩展信道的信道矩阵可考虑信道的无记忆性，因此，三次扩展信道的信道矩阵可表示为表示为：在信道输入符号在信道输入符号“0”和和“1”等概率的条件下，等概率的条件下，“0”的码的码字字“000”和和“1”的码字的码字“111”亦等概率，即采用最大后亦等概率，即采用最大后验概率准则选择译码规则，则可得译码规则为：验概率准则选择译码规则，则可得译码规则为：F(000)=F(001)=F(010)=F(100)=000 ,F(011)=F(110)=F(101)=F(111)=1114.4.2 信道编码信道编码：检错与纠错原理：检
15、错与纠错原理2023/5/30其最小平均错误译码概率其最小平均错误译码概率经过简单的重复信道编码，同样采用最大后验概率准则选择经过简单的重复信道编码，同样采用最大后验概率准则选择译码规则，平均错误译码概率的最小值差不多要比不进行信译码规则，平均错误译码概率的最小值差不多要比不进行信道编码时降低两个数量级，从而提高了通信的可靠性。道编码时降低两个数量级，从而提高了通信的可靠性。4.4.2 信道编码信道编码：检错与纠错原理：检错与纠错原理2023/5/30定定义义4.2 在在二二元元对对称称传传送送中中，若若收收到到字字 A=(a1,a2,an)，则则称称发发送送码码字字c=(c1,c2,cn)C
16、 而而收收到到 A 的的概概率率为为前前向向传传送送概概率。率。如果发送码字如果发送码字 CA 收到收到 A 的前向传送概率达到最大值，即的前向传送概率达到最大值，即则则将将 A 译译为为 CA，称称这这种种译译码码方方法法为为极极大大似似然然译译码码法法(Maximum likelihood decoding)。4.4.2 信道编码：极大似然译码法信道编码：极大似然译码法2023/5/30 在二元对称传送中，如果收到字在二元对称传送中，如果收到字 A=(a1,a2,an)，则对，则对任何码字任何码字 c=(c1,c2,cn)C，其前向传送概率为：其前向传送概率为：其中其中 e 是传送码字是传
17、送码字 c 时发生错误的分量个数，因为时发生错误的分量个数，因为 p wt(X)=d(X,0)=d(X+c0,c0)=d(A,c0)符合极大似然译码原理。符合极大似然译码原理。4.4.4 线性码的编码与译码线性码的编码与译码：线性码的译码线性码的译码2023/5/30(2)若若收收到到的的A在在虚虚线线下下方方，则则至至少少存存在在两两个个陪陪集集头头X，Y，其其汉汉明明重重量量wt(X)=wt(Y)同同时时达达到到极极小小，则则存存在在c0、c1 C使得使得A=X+c0(X为第为第1列陪集头列陪集头)，Y=X+c1，此时，此时 d(A,c0)=d(X+c0,c0)=d(X+c0-c0,0)=
18、d(X,0)=wt(X)=wt(Y)=wt(X+c1)=d(X+c1,0)=d(X+c0,c0-c1)=d(A,c0-c1)因因此此A与与c0和和c0-c1两两个个不不同同码码字字的的汉汉明明距距离离都都达达到到最最小小值值，故无法译出。故无法译出。4.4.4 线性码的编码与译码线性码的编码与译码：线性码的译码线性码的译码2023/5/30练习练习 设设C是二元是二元4，2线性码，其生成矩阵为线性码，其生成矩阵为:求：求：(1)A1=(01),A2=(11)的编码的编码;(2)列出码列出码C的译码表；的译码表；(3)译码译码A3=(1010),A4=(0110)4.4.4 线性码的编码与译码线性码的编码与译码：线性码的译码线性码的译码