《清华大学多媒体课件32.ppt》由会员分享，可在线阅读，更多相关《清华大学多媒体课件32.ppt（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、4.3.1 统计编码原理 信息量和信息熵信息量和信息熵 图图像像的的概概率率分分布布、信信息息量量和和信信息息熵熵之之间间有有什什么么关关系系？在在图图像像编编码码压压缩缩理理论论研研究究中中，为为什什么么要要引引入入信信息息论论中中“熵熵”值值的的概概念念，有有什什么么重重要要意意义义？这这是是我我们们下下面面需要说明的问题。需要说明的问题。以一个信源编码器模型说明以一个信源编码器模型说明编码器编码器信源信源(消息集消息集)编码输出集编码输出集(接收端接收端)X=x1,x2,xnZ=z1,z2,zn符号集符号集A Am m=a=a1 1,a,a2 2,a,am m 编码器模型图 其中其中X
2、X是消息集是消息集,由几个信号单元由几个信号单元x xj j构成（构成（j=1,2,nj=1,2,n）Z Z是输出集，由几个码字是输出集，由几个码字z zj j构成（构成（j=1,2,nj=1,2,n），），z zj j与与x xj j一一对应。一一对应。A Am m是是符符号号集集，由由m m个个码码元元a ai i构构成成(i=1,2,m)i=1,2,m)，符符号号集集中中的的码码元元组组成输出码字。成输出码字。一一.概念概念:1.信息信息:是用不确定性的量度定义的。是用不确定性的量度定义的。2.信息量信息量:从从N个相等可能事件中选出个相等可能事件中选出 一个事件所需要的信息度量或含量。
3、一个事件所需要的信息度量或含量。3.熵熵:如果将信源所有可能事件信息量如果将信源所有可能事件信息量 进行平均就得到信息的熵进行平均就得到信息的熵(熵就是平熵就是平 均信息量均信息量)。(1).信源均含有的平均信息量(熵),就是进 行无失真编码的理论极限。(2).信源中或多或少的含有自然冗余。(3).则信息源X的熵为:取以 2为底：Shannon 论文论文传输包括:(1).传输所需要的信息。(2).以任意小的失真或零失真接收这些信息。已经证明：只要符号速率不超过信道容量C符号可以以任意小的差错概率向该信道中传输。另外几种典型的方法是另外几种典型的方法是:Fans,Huffman,编码方法定理编码
4、方法定理,变字长编码变字长编码最佳编码定理。最佳编码定理。变字长编码定理变字长编码定理 在变字长编码中，对于出现概率大在变字长编码中，对于出现概率大的信息符号，编以短字长的码的信息符号，编以短字长的码,对于出现对于出现概率小的信息符号编以长字长的码，如概率小的信息符号编以长字长的码，如果码字长度严格按照符号概率的大小的果码字长度严格按照符号概率的大小的相反顺序排列，则平均码字长一定小于相反顺序排列，则平均码字长一定小于按任何其他符号顺序排列方式得到的码按任何其他符号顺序排列方式得到的码字长度。字长度。英文字母出现的概率按大小排列英文字母出现的概率按大小排列该英文字母编码的码长按大小排列该英文字
5、母编码的码长按大小排列概率大概率大码长短码长短证明证明:最佳的平均码字长度最佳的平均码字长度:其中：其中：P(P(aiai)是信源符号是信源符号aiai出现的概率；出现的概率；nini是符号是符号aiai的编码长度。的编码长度。根据编码方法定义规定：根据编码方法定义规定：P(ai)=P(as)nins 如果将如果将ai 的码字与的码字与as的码字互换，则的码字互换，则:(一).熵、熵编码原理、变字长编码最佳 编码定理。(二).Huffman就是利用了这个定理进行 编码。(1).把信源符号按概率大小顺序排列，并设法按逆次序分配码字的长度。(2).在分配码字长度时，首先将出现概率 最小的两个符号的概率相加合成一个概率。(3).把这个合成概率看成是一个新组合符号地概率，重复上述做法直到最后只剩下两个符号概率为止。(4).完成以上概率顺序排列后，再反过来逐步向前进行编码，每一次有三个分支各赋予一个二进制码，可以对概率大的赋为零，概率小的赋为1。