《第6章 信道编码.ppt》由会员分享，可在线阅读，更多相关《第6章 信道编码.ppt（48页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第六章第六章 信道编码信道编码概概 述述 在理论上，在无噪无损信道中，只要对信源的输出进在理论上，在无噪无损信道中，只要对信源的输出进行恰当的编码，总能以最大信息传输率行恰当的编码，总能以最大信息传输率C C无错误地传输信无错误地传输信息。息。但一般信道中总是存在噪声或干扰，信息传输会造成但一般信道中总是存在噪声或干扰，信息传输会造成损失，那么在有噪信道中，怎么能使消息通过传输后发损失，那么在有噪信道中，怎么能使消息通过传输后发生的错误最少？而且无错误传输时可达到的最大信息传生的错误最少？而且无错误传输时可达到的最大信息传输率是多少？这就是本章要研究的内容，即通信的可靠输率是多少？这就是本章要
2、研究的内容，即通信的可靠性问题。性问题。香龙在香龙在19481948年的文章中，提出并证明了这个极限信息年的文章中，提出并证明了这个极限信息率的存在。该定理被称为信道编码定理，也称为香龙第率的存在。该定理被称为信道编码定理，也称为香龙第二定理。二定理。由于在有噪信道中，输入输出之间是统计依赖关系由于在有噪信道中，输入输出之间是统计依赖关系而不是确定关系，因此，信道输出要唯一地译成输入一而不是确定关系，因此，信道输出要唯一地译成输入一般将无法避免差错，这时，根据信道输出确定信道输入般将无法避免差错，这时，根据信道输出确定信道输入的可靠程度就反映为错误概率。这一错误概率完全取决的可靠程度就反映为错
3、误概率。这一错误概率完全取决于信道的特性，且不可能为零。于信道的特性，且不可能为零。但是，香龙的研究证明：如果把要传送的消息在传但是，香龙的研究证明：如果把要传送的消息在传送前事先进行编码，并在接收端采用适当的译码，则消送前事先进行编码，并在接收端采用适当的译码，则消息有可能得到无错误的传输，息有可能得到无错误的传输，也就是说，通过不可靠的也就是说，通过不可靠的信道可以实现可靠的信息传输。信道可以实现可靠的信息传输。一、信道编码的相关概念一、信道编码的相关概念 1 1、信道编码在数字通信系统的地位和作用：、信道编码在数字通信系统的地位和作用：数字信号在信道传输过程中，总会遇到各种干扰而数字信号
4、在信道传输过程中，总会遇到各种干扰而使接收端收到的信号失真，这种失真称为差错。使接收端收到的信号失真，这种失真称为差错。信道编码的作用就是尽量减少这种差错，提高通信信道编码的作用就是尽量减少这种差错，提高通信系统的可靠性。系统的可靠性。2 2、衡量数字系统的技术标准：、衡量数字系统的技术标准：1)1)传输速率传输速率码元传输速率：码元传输速率：每秒钟通过信道传输的码元数称为码元传输速率。每秒钟通过信道传输的码元数称为码元传输速率。比特传输速率：比特传输速率：每秒钟通过信道传输的信息量称为比特传输速率，简每秒钟通过信道传输的信息量称为比特传输速率，简称比特率。称比特率。两者关系两者关系:采用二进
5、制时，码元速率与比特速率在数值上是相等采用二进制时，码元速率与比特速率在数值上是相等的。的。采用采用 M M 进制时，比特率进制时，比特率 =码元传输速率码元传输速率*loglog2 2 M M2)2)差错率差错率码元差错率：码元差错率：指在传输的码元总数中发生差错的码元数所占的比指在传输的码元总数中发生差错的码元数所占的比 例，简称误码率，用符号例，简称误码率，用符号 表示。表示。3)3)可靠性可靠性 不同的传输系统，对通信可靠性的要求是不一样的。不同的传输系统，对通信可靠性的要求是不一样的。比如：数字电话要求误码率在比如：数字电话要求误码率在1010-4-41010-5-5,但计算机网的数
6、但计算机网的数据传输，却要求误码率在据传输，却要求误码率在1010-6-61010-7-7。4 4）降低误码率的途径：）降低误码率的途径：一是降低信道本身所引起的误码率；二是采用信道编一是降低信道本身所引起的误码率；二是采用信道编码，在数字通信系统中增加差错控制设备。码，在数字通信系统中增加差错控制设备。比特速率与码元速率的转换及计算比特速率与码元速率的转换及计算用途：用途：某些干扰大的信道上，其码元速率受到了限制。某些干扰大的信道上，其码元速率受到了限制。误码率误码率Pe的计算的计算注意：注意：计算误码率时，一定使用码元速率。计算误码率时，一定使用码元速率。3 3、信道编码基本思路：、信道编
7、码基本思路：衡量信息传输可靠性的指标是差错率，而它只与信衡量信息传输可靠性的指标是差错率，而它只与信道的统计特性有关。道的统计特性有关。要改变信道的统计特性成本太高，所以，可事先对要改变信道的统计特性成本太高，所以，可事先对信源编码器输出的符号序列按照某种规则进行编码，一信源编码器输出的符号序列按照某种规则进行编码，一般的方法是给信源序列加上一定的冗余度，这种编码谓般的方法是给信源序列加上一定的冗余度，这种编码谓之信道编码。编好的代码称为码字，将码字送入信道传之信道编码。编好的代码称为码字，将码字送入信道传输，而在信道输出端，信道译玛器根据编码规则对信道输，而在信道输出端，信道译玛器根据编码规
8、则对信道输出符号进行估值，尽量使这种估值接近实际输入码字。输出符号进行估值，尽量使这种估值接近实际输入码字。二、有噪信道编码定理二、有噪信道编码定理该定理又称香农第二定理。该定理又称香农第二定理。定理指出：定理指出：只要信息传输率只要信息传输率R R不大于信道容量不大于信道容量C C，则存在一种编则存在一种编 码，可使信道输出端的错误概率任意小，而信息传输率码，可使信道输出端的错误概率任意小，而信息传输率可以无限地接近信道容量。可以无限地接近信道容量。证明略。证明略。三、纠错编码三、纠错编码 有噪信道编码定理出现后，引起了人们对信道编码有噪信道编码定理出现后，引起了人们对信道编码的极大兴趣，但
9、是，定理只是证明了这种特性（的极大兴趣，但是，定理只是证明了这种特性（R RC C时时P PE E 0 0）的码的存在，还不能按其证明的方法得到这种好的码的存在，还不能按其证明的方法得到这种好码。码。纠错编码作为提高传输可靠性的最主要措施之一，纠错编码作为提高传输可靠性的最主要措施之一，是本小节讨论的主要内容。是本小节讨论的主要内容。广义的信道编码还包括：广义的信道编码还包括：为特定信道设计的传输信号。为特定信道设计的传输信号。如：如：NRZNRZ码、码、HDB3HDB3码等都属于信道编码。码等都属于信道编码。(1)(1)前向纠错（前向纠错（FECFEC方式）方式）若误码个数在码的纠错能力范围
10、之内，译码器可自动发现并纠错若误码个数在码的纠错能力范围之内，译码器可自动发现并纠错特点：特点：（1 1）不需反馈信道）不需反馈信道（2 2）延时小，实时性好）延时小，实时性好（3 3）设备较复杂）设备较复杂能进行一对多点的通信，特别适合于移动通信能进行一对多点的通信，特别适合于移动通信1 1、差错控制的基本工作方式：、差错控制的基本工作方式：在信道译码时，能在译码器自动发现错误的码称为在信道译码时，能在译码器自动发现错误的码称为检错码。检错码。不仅能发现错误而且能自动纠正错误的码称为不仅能发现错误而且能自动纠正错误的码称为纠错码。纠错码。（2 2）检错重发（反馈重传）（）检错重发（反馈重传）
11、（ARQ)ARQ)发送端发出的是检错码，接收端译码时，若发现有错，通过反馈系发送端发出的是检错码，接收端译码时，若发现有错，通过反馈系统向发送端请求重传已发送的全部或部分码字，直到接收端认为没有错统向发送端请求重传已发送的全部或部分码字，直到接收端认为没有错误为止。误为止。检错重发检错重发系统有以下几种：系统有以下几种：A A）停发、等候重发：停发、等候重发：若收到码组后经检测，无错误，回送若收到码组后经检测，无错误，回送ACK ACK（认确信号认确信号）给发端，发端收到给发端，发端收到后接着发下组。后接着发下组。若收端检测有错误时，回送若收端检测有错误时，回送NAKNAK（否认信号），请求重
12、发本组，直至正确否认信号），请求重发本组，直至正确。B）返回重发：无停顿地送出多个码组，再检查错误重发。返回重发：无停顿地送出多个码组，再检查错误重发。（3 3）混合纠错（）混合纠错（HECHEC方式）方式）有一定的前向纠错能力。有一定的前向纠错能力。对超出纠错能力的错误有检测能力，并作检错重发。对超出纠错能力的错误有检测能力，并作检错重发。这种方式能使通信系统的误码率很低，得到了广泛应用。这种方式能使通信系统的误码率很低，得到了广泛应用。2 2、纠错码分类：、纠错码分类：（1 1）根据信息码元与效验码元之间是否存在线性关系可分为根据信息码元与效验码元之间是否存在线性关系可分为线性码和非线性码
13、。线性码和非线性码。线性码的效验码元是若干位信息码元的线线性码的效验码元是若干位信息码元的线性组合，而非线性码的效验位与信息位不满足线性关系。性组合，而非线性码的效验位与信息位不满足线性关系。线性码特点：具有良好的数学结构，编译码比较简单，性能线性码特点：具有良好的数学结构，编译码比较简单，性能优于同样纠错能力的非线性码。优于同样纠错能力的非线性码。（2 2）根据不同的分组及映射方式，纠错码又可以分成）根据不同的分组及映射方式，纠错码又可以分成:分组码和卷积码分组码和卷积码两大类。两大类。分组码：分组码：是把信息序列以每是把信息序列以每 k k 个码元分为一组，然后通过编码器把个码元分为一组，
14、然后通过编码器把这这 k k 个信息元按一定规则产生个信息元按一定规则产生 r r 个多余的校验元，输出码序个多余的校验元，输出码序列每组长为列每组长为 n=k+r n=k+r。每一码字的每一码字的 r r 个校验元只与本分组个校验元只与本分组的的k k 个信息元有关，而与别的分组的信息位无关。个信息元有关，而与别的分组的信息位无关。记为记为 (n,k)(n,k)n n 表示码长，表示码长，k k 表示信息元位数。表示信息元位数。卷积码：卷积码：信息序列以每信息序列以每 k k0 0 个个(通常较小通常较小)码元分段，编码器输出该码元分段，编码器输出该段的效验元段的效验元 r=nr=n0 0
15、k k0 0 不仅本段的不仅本段的 k k0 0 个信息元有关，而且还个信息元有关，而且还与其前面与其前面 m m 段的信息元有关，称为卷积码。段的信息元有关，称为卷积码。记为记为(n(n0 0，k k0 0，m)m)。称称 m m 为编码存贮。为编码存贮。该码的信息元与校验元是线性关系。该码的信息元与校验元是线性关系。3 3、码字的描述：、码字的描述：研究编码技术的目的之一就是寻找编码效率高且纠错能力强的编码方法。研究编码技术的目的之一就是寻找编码效率高且纠错能力强的编码方法。为了准确描述码的纠、检错能力，要用到以下几个基本概念。为了准确描述码的纠、检错能力，要用到以下几个基本概念。（1 1
16、）二元分组码：）二元分组码：将信源编码器的输出序列进行分组，分组长度为将信源编码器的输出序列进行分组，分组长度为k k，则可以有则可以有M=2M=2k k个不同的个不同的信息组，每个信息组用一个信息组，每个信息组用一个n n长的码字来表示（长的码字来表示（n nk k），），故共有故共有2 2k k个不同的个不同的码字码字,人们把人们把2 2k k个个码字的集合称为二元分组码。码字的集合称为二元分组码。（2 2）码字）码字C C 的数学表示：的数学表示：C C=(C =(C n-1,n-1,C,C n-2 n-2 ,C ,C 1 1,C,C 0 0)编码效率或信息率：编码效率或信息率：R=k/
17、nR=k/n表示信息位所占的比重，衡量编码性能的重要指标。表示信息位所占的比重，衡量编码性能的重要指标。（3 3）许用码组与禁用码组：）许用码组与禁用码组：许用码组：许用码组：2 2k k=2=23 3=8=8禁用码组禁用码组:2:2n n-2-2k k=2=27 7 2 23 3=128-8=120=128-8=120信息组信息组码字码字000000000000000000000010010010011101110101001001001001110111011011011011101010101001001001001110111010110110110100110011110110110
18、1101001100111111111111101000100（7 7，3 3）线性分组码）线性分组码 R=k/n=3/7=43%R=k/n=3/7=43%(1)几个基本概念：汉明距离汉明距离/距离：在(n,k)线性码中，两个码字 U、V 之间对应码元位上取值不同的个数，称为码字 U、V 之间的汉明距离。例如：(7,3)码的两个码字 U=0011101,V=0100111，它们之间第2、3、4和6位不同。因此，码字 U 和 V 的距离为4。线性分组码的一个码字对应于 n 维线性空间中的一点，码字间的距离即为空间中两对应点的距离。4、线性分组码的最小距离、检错和纠错能力、线性分组码的最小距离、检
19、错和纠错能力最小距离最小距离/dmin：在(n,k)线性码的码字集合中，任意两个码字间距离最小值，叫做码的最小距离。若C(i)和C(j)是任意两个码字，则码的最小距离表示为如:(3,2)码，n=3,k=2,共有22个码字：000,011,101,110,显然dmin=2。码的最小距离是衡量码的抗干扰能力（检、纠错能力）的重要参数。码的最小距离越大，码的抗干扰能力就越码的最小距离越大，码的抗干扰能力就越强。强。汉明重量汉明重量/码字重量码字重量/W：码字中非0码元符号的个数，称为该码字的汉明重量。在二元线性码中，码字重量就是码字中含“1”的个数。最小重量最小重量/Wmin：线性分组码CI中，非0
20、码字重量最小值，叫做码CI的最小重量：Wmin=minW(V),VCI,V0(2)最小距离与检、纠错能力一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检、纠错能力越强。检错能力：如果一个码能检出长度l 个码元的任何错任何错误图样误图样，称码的检错能力为 l。纠错能力：如果码能纠正长度t 个码元的任何错误图任何错误图样样，称码的纠错能力为 t。最小距离与检错能力：(n,k)线性码能够发现 L个错误的充要条件是码的最小距离为 dmin L+1 上式表明：由于接收字 R 与其它任何码字 U 的距离都大于0，则说明接收字 R 不会因发生错误变为其它码字，因而必能发现错误（两球的重叠
21、区域内）。几何意义：例如：只有一个校验元的奇偶校验码，表示为：(n,n-1)(n,n-1)分组码。以偶校验为例，这种码的编码规则为：添加的校验元要保证每个码字中”1”的个数为偶数。比如(3,2)偶校验码，合法码字为22=4个。000，011，101，110，该码组最小距离为2，所以能发现一个差错。现象一：若发出000，而收到是010，显然010为非法码字，说明收到的码字有差错，可是并不能纠正；现象二：若发出还是000，但收到的是011，由于011为合法码字，于是接收端无法发现。最小距离与纠错能力：(n,k)线性码能纠 t 个错误的充要条件是码的最小距离为 上式表明：如果接收字 R 中错误个数
22、tt，那么，此时译码是 正确的，码字中的错误可以被纠正。（球体以内的错误均可纠正）几何意义：最小距离与检、纠错能力：(n,k)线性码能纠 t 个错误，并能发现 L 个错误(Lt)的充要条件是码的最小距离为dmin t+L+1 几何意义：以简单直观的(n,1)(n,1)重复码为例重复码为例，说明码的最小距离与纠错能力之间的关系。l当(n,k)线性码的最小距离 dmin 给定后，可按实际需要灵活安排纠错的数目。l例如，对 dmin=6 的码，可只用于检5个错误；也可用来纠正2个错误；或者用来纠2检3错。检、纠错能力的安排：练习与作业1、简述信道纠错编码的思路及其目的。2、差错控制系统的基本工作方式
23、有哪些？3、检错码和纠错码两者有什么不同？4、试述码的距离（汉明距离）和重量（汉明重量）的概念。线性分组码的最小距离有何实际意义？5、设某二元码为C=11100，01001，10010，00111 （1）计算此码的最小距离 dmin。（2）此码能纠正几位码元的错误。5 5、编码信道的一般模型：、编码信道的一般模型：注意：注意：1 1）信源编码器的输出二进制序列各符号彼此无关；）信源编码器的输出二进制序列各符号彼此无关；信道编码器的输出二进制序列各符号具有相关性。信道编码器的输出二进制序列各符号具有相关性。2 2）在上述的有噪信道中，传输信息发生的差错率与哪些因）在上述的有噪信道中，传输信息发生
24、的差错率与哪些因素有关呢？素有关呢？信道统计特性、编码方法、译码规则信道统计特性、编码方法、译码规则1 1）差错与差错图样：）差错与差错图样：差错的基本形式：差错的基本形式：A A）随机错误；）随机错误；数据序列中，前后码元之间是否发生错误彼此无关。此数据序列中，前后码元之间是否发生错误彼此无关。此时，通常把产生这种错误的信道称为无记忆信道或随机信道。时，通常把产生这种错误的信道称为无记忆信道或随机信道。B B）突发性错误：）突发性错误：错误之间有相关性，错误是成串出现的。此时，通常把产错误之间有相关性，错误是成串出现的。此时，通常把产生这种错误的信道为突发差错信道。生这种错误的信道为突发差错
25、信道。设发送的是设发送的是n n个码元长的序列个码元长的序列信道中的干扰也用二进制序列表示为：信道中的干扰也用二进制序列表示为：通过信道传输到达接收端的序列为：通过信道传输到达接收端的序列为：若将有错误的各位若将有错误的各位 取值为取值为1 1，无错的各位取值为，无错的各位取值为0 0，那，那么，么，接收序列接收序列 R R 就是就是 C C 与与 E E 序列模序列模2 2相加的结果，此时，相加的结果，此时，就就称称E E为信道的错误图样。为信道的错误图样。例例6.16.1：发送序列发送序列 C:(1111100000)C:(1111100000)，收到序列收到序列 R:(100101000
26、0)R:(1001010000)，可以看出：第二、三、五、六位产生的错误，因此，信道的可以看出：第二、三、五、六位产生的错误，因此，信道的错误图样错误图样 E E 的二、三、五、六位取值为的二、三、五、六位取值为1 1，其它各位取值为，其它各位取值为0 0，即，即 E:(0110110000)E:(0110110000)。用式子可表示成：用式子可表示成：发送序列发送序列 C:1 1 1 1 1 0 0 0 0 0C:1 1 1 1 1 0 0 0 0 0 错误图样错误图样 E:0 1 1 0 1 1 0 0 0 0E:0 1 1 0 1 1 0 0 0 0 接收序列接收序列 R:1 0 0 1
27、 0 1 0 0 0 0R:1 0 0 1 0 1 0 0 0 02)2)错误概率（差错率）和信道统计特性：错误概率（差错率）和信道统计特性：我们已经知道，信道统计特性可由信道矩阵来表示，同我们已经知道，信道统计特性可由信道矩阵来表示，同时，可以通过信道矩阵求出错误概率。所以，错误概率与信时，可以通过信道矩阵求出错误概率。所以，错误概率与信道统计特性有关。道统计特性有关。01100.90.90.10.1若若输入符号概率相等，输入符号概率相等，则则PE=0.9例例6.26.2：3)3)错误概率和译码规则：错误概率和译码规则：经过前面的分析知道，错误概率与信道统计特性有关。经过前面的分析知道，错误
28、概率与信道统计特性有关。但是，通信的过程并不是信息传输到信道输出端就结束了，但是，通信的过程并不是信息传输到信道输出端就结束了，还要经过译码过程才能到达信宿，所以，译码过程和译码规还要经过译码过程才能到达信宿，所以，译码过程和译码规则对系统的错误概率影响很大。则对系统的错误概率影响很大。译码规则的定义：译码规则的定义：例例6.36.3：设有一个二元对称信道，其输入符号为等概率分布。（如图）设有一个二元对称信道，其输入符号为等概率分布。（如图）01100.90.90.10.1若译码规则：若译码规则：0 0 ，1 1 错误概率：错误概率：PE=0.9若译码规则：若译码规则：0 1 ，1 0 错误概
29、率：错误概率：PE=0.1可见，错误概率既与可见，错误概率既与信道统计特性有关，也与译码规则有关！信道统计特性有关，也与译码规则有关！例例6.4：设有一信道，其信道矩阵为设有一信道，其信道矩阵为根据此信道矩阵，可以设计以下两种不同的译码规则：根据此信道矩阵，可以设计以下两种不同的译码规则：r=s=3,r=s=3,总共可以设计出总共可以设计出r r s s =27=27种译码规则。种译码规则。当然，在所有的译码规则中，并不是每一种译码规则都是合当然，在所有的译码规则中，并不是每一种译码规则都是合理的。因此，译码规则的选择应该根据什么准则？理的。因此，译码规则的选择应该根据什么准则？一个很自然的准
30、则当然就是要使错误概率最小一个很自然的准则当然就是要使错误概率最小。1 1）基本概念：）基本概念：译码器的条件正确概率可表示为：译码器的条件正确概率可表示为：译码器的条件错误概率可表示为：译码器的条件错误概率可表示为：5 5、最大后验概率译码准则、最大后验概率译码准则 译码后的平均错误概率为：译码后的平均错误概率为：其中：其中：P(yP(yj j)是接收符号是接收符号 y yj j 的概率，与译码方法无关。的概率，与译码方法无关。2 2）最大后验概率译码准则：）最大后验概率译码准则：只要设计（或选择）某种译码规则只要设计（或选择）某种译码规则 ，使条件错误概，使条件错误概 最小，也就是要选择条
31、件正最小，也就是要选择条件正确概率确概率 最大。最大。这就是最大后验译码准则。这就是最大后验译码准则。又称为最小错误概率译码。又称为最小错误概率译码。即满足下式：即满足下式：规则物理含义：规则物理含义：在译码时，对于每一个输出符号均译成具有最大后验在译码时，对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道译码平均错误概率最小。概率的那个输入符号，则信道译码平均错误概率最小。其不足之处：其不足之处：通常情况下，已知信道转移概率通常情况下，已知信道转移概率 和输入符号和输入符号的先验概率的先验概率 ，而后验概率不易获得，需要进行烦琐的，而后验概率不易获得，需要进行烦琐的计算，故使用起
32、来不方便！计算，故使用起来不方便！6 6、极大似然译码准则、极大似然译码准则该译码规则的优点该译码规则的优点：1 1）译码函数可直接从信道矩阵的传递概率中去选定：当）译码函数可直接从信道矩阵的传递概率中去选定：当收到收到 y yj j后，译成信道矩阵后，译成信道矩阵P P第第j j列中列中最大的转移概率所最大的转移概率所对应的输入符号对应的输入符号x xi i，此时，可使平均错误概率，此时，可使平均错误概率P PE E达到最达到最小。小。2 2）当输入符号等概率时，前述两个规则是等价的。）当输入符号等概率时，前述两个规则是等价的。根据贝叶斯定律，式（根据贝叶斯定律，式（6.2.56.2.5）又
33、可写成：）又可写成：当当输入符号的先验概率输入符号的先验概率 相等，上式就变换成为：相等，上式就变换成为：由此，获得了较实用的译码规则由此，获得了较实用的译码规则-极大似然译码准则。极大似然译码准则。根据上述译码准则，可以计算平均错误概率：根据上述译码准则，可以计算平均错误概率：X_xX_x*的理解：的理解：对输入符号集对输入符号集 X X 中，除去中，除去 x*x*以外的所有元素求和。以外的所有元素求和。如果输入为等概率分布，即如果输入为等概率分布，即 ，则上式写成：，则上式写成：P PE E 公式表明：公式表明：在输入等概率的情况下，译码的平均错误概率可用信在输入等概率的情况下，译码的平均
34、错误概率可用信道矩阵中的元素求和来表示。求和是除去每列中对应于道矩阵中的元素求和来表示。求和是除去每列中对应于 的那一项后，矩阵中其余元素之和。的那一项后，矩阵中其余元素之和。例例6.5:6.5:试求例试求例6.46.4中，两种译码规则对应的平均错误概率。中，两种译码规则对应的平均错误概率。假设其输入为等概分布假设其输入为等概分布解：解：说明：说明：由于规则由于规则 B B 就是一个极大似然译码规则，所以当输就是一个极大似然译码规则，所以当输入为等概分布时，可使信道平均错误概率最小。入为等概分布时，可使信道平均错误概率最小。7 7、错误概率和编码规则、错误概率和编码规则设有二元对称信道如左图所
35、示，相应设有二元对称信道如左图所示，相应的信道矩阵为：的信道矩阵为：若选择最佳译码准则为：若选择最佳译码准则为：总的平均错误概率（输入分布等概率）：总的平均错误概率（输入分布等概率）：x x1 1x x2 2y y1 1y y2 21-p1-p1-p1-pp p发送单个符号的情况发送单个符号的情况 在上述信道中，是否有办法是错误概率降低呢？在上述信道中，是否有办法是错误概率降低呢？举例：举例：简单重复编码：简单重复编码：如果发信源符号如果发信源符号“0”0”时，重复发送时，重复发送3 3个个“0”0”，发，发“1”1”时，重复发送时，重复发送3 3个个“1”1”，这可以看成离散无记忆信道，这可以看成离散无记忆信道的的3 3次扩展次扩展 信道。信道。其信道矩阵为：其信道矩阵为：输入状态输入状态没使用的码字没使用的码字用作消息的码字用作消息的码字输出端接收序列输出端接收序列输出状态输出状态X1x2001010011100101110000111000001010011100101110111Y1Y2Y3Y4Y5Y6Y7Y8 简单重复编码举例：简单重复编码举例：假设输入符号为等概假设输入符号为等概率分布，采用极大似然译率分布，采用极大似然译码规则，译码函数为：码规则，译码函数为：译码后的平均错误概率为：译码后的平均错误概率为：