《通信原理通信原理通信原理 (131).pdf》由会员分享，可在线阅读，更多相关《通信原理通信原理通信原理 (131).pdf（22页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、7.4 熵的意义熵的意义通信原理第通信原理第7章章信息库信息库取一条信息获知信息传输信息传输信息发端收端信息库信息库信息库信息库取一条信息获知编号传输编号传输编号发端收端信息库信息库获知信息假设库 中的元素个数是1000个，采用十进制整数编号，发送一条信息最少需要几位十进制数？000、001、002、999答案是3位若 中的元素个数是32个，采用二进制整数编号，发送一条信息最少需要几位二进制数？00000、00001、00010、11111答案是5位万物皆数万物皆数All is Number PythagorasAll is Number Pythagoras信息的传输可以归结为一个整数编号的
2、传输若信息库的元素个数是，表达信息最少需要的二进制比特数是?设序列?是掷骰子的结果序列的全部可能结果总共有?种不同当时，平均每个符号?需要的比特数是?=2.585比特此情形下每符号的熵是log?6二进制整数编号需要的二进制位数是?bit，取44bit。平均每个符号?需要的比特数是?设序列?是掷骰子的结果。序列的元素独立同分布。每个?的6个结果?出现概率不均匀，为?。传输此序列的结果时，每个符号只需要2比特此情形下每符号的熵是?设序列?是掷硬币的结果。传输此序列的结果时，每个符号需要1比特设序列?是掷硬币的结果。收发都已知：序列的元素独立同分布，?，且?。问：传输此序列的结果时，平均每个符号（每
3、一枚硬币）最少需要多少比特？设，。若在 次伯努利实验中，出现了 次，则在信息库中，不符合大数定律的结果应该不会出现，信息库的元素个数没那么多，二进制整数编号后的比特数将可以变少大数定律大数定律?实验次数时，伯努利实验?的结果将分化成两类符合大数定律的其总概率趋于1不符合大数定律的其总概率趋于0当 充分大时，可以认为：不符合大数定律的情形不会发生独立同分布序列?，?，?。符合大数定律的结果的个数是?平均每符号需要的比特数为当整数 很大时斯特林近似斯特林近似?平均每符号需要的比特数为?1?log?log?log?log?log?1?log?1?代入?，?1?!?log?!?!?log?log?1?
4、log?1?log?log?log?1?log?1?log 1?序列?的可能结果的个数是2?序列?平均每个符号最少需要H?个比特序列?整体需要?H?个比特熵是计数熵在本质上是对无限长序列的可能结果的计数熵的意义熵的意义序列?的平均每符号熵H?是?log?可能结果的个数?序列?的总熵是?H?，可能结果的个数是2?熵是不确定性的度量如果随机实验的样本空间 中只有1个元素，它的结果确定的，熵为0如果 中有2个等可能元素，熵为1比特如果 中有个等可能元素，熵为?比特熵的意义熵的意义熵是信息量获得的信息量=不确定性的减少量一个Yes/No问题可获得1比特的信息量均匀硬币的结果是不确定的，不确定性是1bi
5、t，通过1个Yes/No问题可以确定出结果，获得的信息量是1比特4张扑克牌的结果是不确定的，不确定性是2比特，通过2个Yes/No问题可以确定结果，获得的信息量是2比特通过适当设计问题，1个Yes/No问题可以排除中的一半元素，使熵从log?减少为log?log?1。不确定性减少1比特就是获得了1比特信息。熵的意义熵的意义如果信源序列?平均每符号的熵为，那么不可能做到：将序列压缩后平均每符号的比特数小于（总比特数小于）可以做到：将序列压缩后平均每符号的比特数大于（总比特数大于）信源编码定理信源编码定理熵是一切信源压缩的性能极限熵是一切信源压缩的性能极限如果信源序列?平均每符号的熵为，序列的结果
6、经过编码后平均每符号的比特数是，则编码效率为编码效率编码效率?H?H?是序列的联合熵?是编码后的总比特数?H?是平均每符号的熵小结小结本质上可以认为，一切信源的任何一个输出信息都是取自一个信息库，库中的每条信息可以用一个二进制整数表示。存储、传输信息时只需要存储或传输这个二进制整数。二进制数的位数一般称为比特数。表达信源最少需要的比特数取决于信源集合中可能元素的个数小结小结无限长序列的结果中，有些因为明显不符合大数定律，可以被排除。可能发生的结果的个数是序列的联合熵熵反映随机试验的样本空间的元素个数，反映随机试验结果的不确定性，反映消除不确定性所获得的信息量。熵是信源压缩的极限实际信源编码的编码效率是平均每符号的熵除以编码后平均每符号的比特数。