管理信息学 第4章(1).ppt

《管理信息学 第4章(1).ppt》由会员分享，可在线阅读，更多相关《管理信息学 第4章(1).ppt（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28第四第四第四第四章章 信息传输与信息编码信息传输与信息编码u 4.1 信息传输的概念信息传输的概念u 4.2 信息传输模型信息传输模型u 4.3 信息传输的有效性信息传输的有效性u 4.4 信息传输的抗干扰性信息传输的抗干扰性u 4.5 限失真信源编码定理限失真信源编码定理管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/284.14.1 信息传输的概念信息传输的概念4.1.1 信息传输与语法信息信息传输与语法信息4.1.2 信息传输与信号信息传输与信号 管理信息学 杨善林 胡笑旋编著第4章 信息传输

2、与信息编码2023/1/28 所谓信息传输就是把人们需要的信息从空间中的一点传送到另所谓信息传输就是把人们需要的信息从空间中的一点传送到另一点，其核心问题是如何准确、迅速、安全、可靠地完成传输任务。一点，其核心问题是如何准确、迅速、安全、可靠地完成传输任务。从传输内容上说，所谓信息传输，其实只是语法信息的传输，从传输内容上说，所谓信息传输，其实只是语法信息的传输，且主要是概率语法信息的传输，只要传递了语法信息，语义信息和且主要是概率语法信息的传输，只要传递了语法信息，语义信息和语用信息也就必然隐含在其中了。语用信息也就必然隐含在其中了。4.1.1 信息传输与语法信息信息传输与语法信息管理信息学

3、 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 信息可以脱离其源事物独立存在，这种脱离可表现为两种状信息可以脱离其源事物独立存在，这种脱离可表现为两种状态。态。一是时间上的脱离，一是时间上的脱离，时间上的脱离需要对信息进行存储才能时间上的脱离需要对信息进行存储才能使信息继续存在；使信息继续存在；二是空间上的脱离，二是空间上的脱离，事物运动的状态和方式在事物运动的状态和方式在脱离源事物的同时，就必然附着于另一事物（即载体）。脱离源事物的同时，就必然附着于另一事物（即载体）。信息传输的实质：信息传输的实质：某信息脱离源事物而附着于另一个事物某信息脱离源事物而附着于另一个事物（物理

4、载体）并通过后者的运动将信息在空间中从一点传送到另（物理载体）并通过后者的运动将信息在空间中从一点传送到另一点。一点。4.1.2 信息传输与信号：载体信息传输与信号：载体管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 载体的性质：载体的性质：载体既要能够在空间中转移，从一点运载体既要能够在空间中转移，从一点运动到另一点，又要有能力表示所传输的信息。动到另一点，又要有能力表示所传输的信息。实际上，信息在空间中传送的过程，可能要经过多次实际上，信息在空间中传送的过程，可能要经过多次变换，要变更多种不同的载体。为了便于描述，把这些变变换，要变更多种不同的载体。为了便于描述

5、，把这些变换称为换称为n级变换，而把这些载体称为级变换，而把这些载体称为n级载体。级载体。4.1.2 信息传输与信号：信息变换信息传输与信号：信息变换管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 载体有能力对所传输的信息进行表示就是指能够把源事物的载体有能力对所传输的信息进行表示就是指能够把源事物的运动状态和运动方式用载体自身的某种物理量表示出来，而载体运动状态和运动方式用载体自身的某种物理量表示出来，而载体的某种物理量的各种取值及这些取值之间的关系，必须与所传递的某种物理量的各种取值及这些取值之间的关系，必须与所传递的源事物的运动状态以及这些状态之间的关系一一对

6、应。的源事物的运动状态以及这些状态之间的关系一一对应。信号：在自己的某种物理量与所附着的信息之间建立一一对信号：在自己的某种物理量与所附着的信息之间建立一一对应关系的物理载体。应关系的物理载体。或者说，就是用自己的某种物理量的变化来或者说，就是用自己的某种物理量的变化来表示相应信息的物理载体。表示相应信息的物理载体。4.1.2 信息传输与信号：信号信息传输与信号：信号管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/284.1.24.1.2 信息传输与信号：传输方式信息传输与信号：传输方式 因此从传输形式上来看，信息的传输就是通过信号在空因此从传输形式上来看，信息的传输就是

7、通过信号在空间的移动来完成，信号的某个或某些物理量与所传递的语法间的移动来完成，信号的某个或某些物理量与所传递的语法信息之间应当建立适当的映射关系。信息之间应当建立适当的映射关系。古代以实物或声音来表示信息：结绳记事、烽火狼烟和古代以实物或声音来表示信息：结绳记事、烽火狼烟和击鼓传音等。击鼓传音等。现代通信技术：电信号、无线电信号、微波和光信号等现代通信技术：电信号、无线电信号、微波和光信号等(传输距离更远、传输速度更迅速、抗干扰性更好传输距离更远、传输速度更迅速、抗干扰性更好)。管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 4.24.2 信息传输模型信息传输模型

8、4.2.14.2.1 信息传输的基本模型信息传输的基本模型4.2.24.2.2 信息传输的一般模型信息传输的一般模型管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 YV信源信源变换变换信道信道还原变换还原变换信宿信宿信息传输的基本模型信息传输的基本模型信息信息U信号信号X噪声噪声N4.2.14.2.1 信息传输的基本模型信息传输的基本模型管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28信息传输至少必须包含如下一些事物、环节和过程信息传输至少必须包含如下一些事物、环节和过程：(1)信源信源(2)载体载体(3)变换变换(4)信道信道(5)信宿信

9、宿4.2.14.2.1 信息传输的基本模型信息传输的基本模型管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28换能器编码信息传输的一般模型信息传输的一般模型噪声调制换能器译码解调信道技术阶段技术阶段信号信宿信源4.2.24.2.2 信息传输的一般模型信息传输的一般模型管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28因此，信息传输讨论的主要问题是：因此，信息传输讨论的主要问题是：(1)信源的性质及其产生信息的能力；信源的性质及其产生信息的能力；(2)信道的性质及其通过信息的能力；信道的性质及其通过信息的能力；(3)信信源源与与信信道道的的关关系系

10、以以及及实实现现这这两两者者在在性性质质上上相相互互匹匹配配的的原理和方法。原理和方法。4.2.24.2.2 信息传输的一般模型信息传输的一般模型管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/284.3.1 信源及信源编码信源及信源编码4.3.2 变长无失真信源编码定理变长无失真信源编码定理4.3.3 哈夫曼编码哈夫曼编码4.3 信息传输的有效性信息传输的有效性管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 信源输出的信息常常以一个个符号的形式出现，例如英文字母、信源输出的信息常常以一个个符号的形式出现，例如英文字母、汉字等。如果这些符号的取

11、值是有限的或可数的，这样的信源称为汉字等。如果这些符号的取值是有限的或可数的，这样的信源称为离散信源。离散信源。如果信源只输出一个符号，称为如果信源只输出一个符号，称为单符号信源单符号信源，如果输出的是一，如果输出的是一个符号序列，则称为个符号序列，则称为多符号信源多符号信源。例如，。例如，“Hefei University of Technology”就是由多个英文字母以及标点符号组成的一个序列。就是由多个英文字母以及标点符号组成的一个序列。4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 可以把信源的每次输出看作是一个随机事

12、件。可以把信源的每次输出看作是一个随机事件。对于多符号离对于多符号离散信源而言，可以用一个随机变量序列描述信源发出的信息。散信源而言，可以用一个随机变量序列描述信源发出的信息。X=X1 X2 X3 其中每个随机变量其中每个随机变量Xi(i=1,2)都有都有N个输出状态个输出状态 ，每个状态出现的可能性大小用概率每个状态出现的可能性大小用概率P(Xi)来描述。来描述。该信源中，如果每一个随机变量该信源中，如果每一个随机变量Xi(i=1,2)的概率分布的概率分布P(Xi)都相同，那么这种信源称为都相同，那么这种信源称为多符号离散平稳信源（简称离散多符号离散平稳信源（简称离散平稳信源）。平稳信源）。

13、4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 为了方便起见，假定信源输出的符号长度是有限的，并且如为了方便起见，假定信源输出的符号长度是有限的，并且如果任意两个符号之间都没有相互依赖关系，即每一次符号输出都果任意两个符号之间都没有相互依赖关系，即每一次符号输出都是一个独立的随机事件，那么该信源称为是一个独立的随机事件，那么该信源称为离散无记忆平稳信源。离散无记忆平稳信源。从前面介绍的信息传输的基本模型中可以看出，由于信源发从前面介绍的信息传输的基本模型中可以看出，由于信源发出的信息不适合直接在信道中传输，所以要经过一系列的变

14、换。出的信息不适合直接在信道中传输，所以要经过一系列的变换。其中的一个变换环节就是对信源编码，使其能够满足信道特性，其中的一个变换环节就是对信源编码，使其能够满足信道特性，也就是适合于信道传输的符号序列（一般称为码序列），来代表也就是适合于信道传输的符号序列（一般称为码序列），来代表信源输出的信息。信源输出的信息。4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 例如，离散无记忆平稳信源的输出是例如，离散无记忆平稳信源的输出是 X=X1 X2 X3 XL其中每一个其中每一个Xl的可能状态为的可能状态为 。通过编码，将信源输出的符

15、号序列变成码序列通过编码，将信源输出的符号序列变成码序列 Y=Y1 Y2 Y3 YK其中每一个其中每一个Yk的可能状态为的可能状态为 。4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 例：例：信源有四种输出状态，表中给出了两种信源编码方法。这信源有四种输出状态，表中给出了两种信源编码方法。这两种编码的共同之处是它们都是用二元符号集两种编码的共同之处是它们都是用二元符号集0,1对信源进行编对信源进行编码，称为码，称为二元码。二元码。它们的不同之处在于编码它们的不同之处在于编码1的每个码字长度都是的每个码字长度都是相同的，它是相同

16、的，它是等长码；等长码；而编码而编码2中码字的长度不相同，它是不等长中码字的长度不相同，它是不等长码，或称为码，或称为变长码。变长码。信源符号信源符号出现概率出现概率信源编码信源编码1信源编码信源编码2x11/2001x21/40101x31/810001x41/8110004.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 信源编码实际上是一个对信源进行改造的过程。信源编码实际上是一个对信源进行改造的过程。在通信过程中，在通信过程中，我们总是希望信息传输的效率尽可能高，但是信源我们总是希望信息传输的效率尽可能高，但是信源X的自然

17、性质往的自然性质往往不能直接满足高效率传输信息的要求。往不能直接满足高效率传输信息的要求。因此，我们要因此，我们要通过信源编码过程，使信源通过信源编码过程，使信源X信息含量效率不高信息含量效率不高的情形变为编码后的的情形变为编码后的Y信息含量较高或尽可能高的情形，信息含量较高或尽可能高的情形，从而可以从而可以做到单位时间或单位符号所传输的信息量尽可能大。做到单位时间或单位符号所传输的信息量尽可能大。那么，要怎样对信源进行改造才能达到这一目的呢？那么，要怎样对信源进行改造才能达到这一目的呢？4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/

18、1/28 设信源设信源 X 有有 N 个可能的状态个可能的状态 x1,x2,xN。这些状态相。这些状态相应的先验和后验概率分别为应的先验和后验概率分别为P=p(xn)|xn X P*=p*(xn)|xn X 观察者观察者R从该实验中获得的信息为：从该实验中获得的信息为：若若P*是确定型的是确定型的0-1分布，则分布，则 4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28若再有信源各状态的先验概率分布是均匀分布，即若再有信源各状态的先验概率分布是均匀分布，即则则显然显然4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑

19、旋编著第4章 信息传输与信息编码2023/1/28对于任何一个给定的实际信源和接收者系统对于任何一个给定的实际信源和接收者系统 ，定义，定义 其中，其中，为信息含量效率。显然有为信息含量效率。显然有 ，并且当且仅当，并且当且仅当 时，时，。4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 上述结果让我们很容易想到：各种实际信源的信息含量效率上述结果让我们很容易想到：各种实际信源的信息含量效率是不同的，有的高一些，有的低一些，因为事物是多样性的、有是不同的，有的高一些，有的低一些，因为事物是多样性的、有差异的。差异的。我们改造信源

20、的具体方法，就是尽可能实现我们改造信源的具体方法，就是尽可能实现 ，使信源的各，使信源的各种状态出现的概率满足均匀的先验概率分布，从而压缩信源的冗种状态出现的概率满足均匀的先验概率分布，从而压缩信源的冗余，提高信息传输的效率。余，提高信息传输的效率。这也就是在不考虑噪声影响情况下的离散无记忆平稳信源的这也就是在不考虑噪声影响情况下的离散无记忆平稳信源的有效编码问题。有效编码问题。4.3.1 信源及信源编码信源及信源编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/284.3.24.3.2 变长无失真信源编码定理变长无失真信源编码定理变长无失真信源编码定理变长无失真信源编

21、码定理 如果用如果用 M 元符号表对离散无记忆平稳信源元符号表对离散无记忆平稳信源X 的的K 次次扩展信源扩展信源 XK 编码，则总可以找到一种无失真编码方法，编码，则总可以找到一种无失真编码方法，使每个信源符号对应的码字的平均长度满足：使每个信源符号对应的码字的平均长度满足：管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28例：已知例：已知Y=0,1 计算计算X中各元的最有效编码长度，比较等长编码与中各元的最有效编码长度，比较等长编码与不等长编码的性能；并构造一不等长编码的性能；并构造一Huffman码。码。4.3.2 变长无失真信源编码定理变长无失真信源编码定理管理

22、信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28 解：解：用用Y的两个码元来对的两个码元来对X的的8元状态进行编码，显然必须采元状态进行编码，显然必须采用用Y的码元的重复来实现的码元的重复来实现。如果用。如果用Y对对X进行编码的码字长度进行编码的码字长度都相等，则对都相等，则对8个元进行编码，至少要个元进行编码，至少要3位。例如：位。例如：于是码字长度皆为于是码字长度皆为3，信源的信息熵为信源的信息熵为 每个码元的平均熵则为：每个码元的平均熵则为：比特/符号 比特/码元 4.3.2 变长无失真信源编码定理变长无失真信源编码定理管理信息学 杨善林 胡笑旋编著第4章 信息传输

23、与信息编码2023/1/28 这也就是按等长原则编码之后平均每个码元的信息含量。而这也就是按等长原则编码之后平均每个码元的信息含量。而Y的概率分布为：的概率分布为：计算结果说明，等长编码计算结果说明，等长编码Y的概率分布极其不均匀。的概率分布极其不均匀。4.3.24.3.2 变长无失真信源编码定理变长无失真信源编码定理变长无失真信源编码定理变长无失真信源编码定理管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28HuffmanHuffman码构造步骤码构造步骤码构造步骤码构造步骤1.将信源符号出现的概率按递减的顺序排列。将信源符号出现的概率按递减的顺序排列。2.从最小概率

24、的两个消息开始编码，并给予一定的编码规则，从最小概率的两个消息开始编码，并给予一定的编码规则，如下支路如下支路(小概率小概率)为为0，上支路，上支路(大概率大概率)为为1(反之亦可反之亦可)；若概；若概率相等，仍按相同规则进行。率相等，仍按相同规则进行。3.将已编码的两个符号对应概率求和，合并成一新的信息符号，将已编码的两个符号对应概率求和，合并成一新的信息符号，并与剩下的信源符号重新按概率大小排列。并与剩下的信源符号重新按概率大小排列。4.重复步骤重复步骤(2)(3)，直至合并概率达到，直至合并概率达到1.0为止。为止。5.画出由根结点画出由根结点(概率为概率为1.0)到每个信源符号的路径，

25、记下沿路到每个信源符号的路径，记下沿路径的径的0或或1，形成的串即为变长编码。，形成的串即为变长编码。4.3.3 哈夫曼编码哈夫曼编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/281.0011111111/260000001/251/241/231/221/2信源符号信源符号概率概率码字码字x11/2x21/22x31/23x41/24x51/25x61/26x71/27x81/27101001000100001000001000000100000004.3.3 哈夫曼编码哈夫曼编码例题1：管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28计算平均码字长度:(码元/符号)平均每个码元所载荷的信息量为:(比特/码元)4.3.3 哈夫曼编码哈夫曼编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28例题例题2求离散无记忆信源求离散无记忆信源 的的Huffman编码。编码。4.3.3 哈夫曼编码哈夫曼编码管理信息学 杨善林 胡笑旋编著第4章 信息传输与信息编码2023/1/28解答解答x1x2x3x4x50.40.20.20.10.10.40.20.20.20.40.40.20.60.41.011110000010111110111004.3.3 哈夫曼编码哈夫曼编码