《多媒体信息处理的必要性和可行性精.ppt》由会员分享，可在线阅读，更多相关《多媒体信息处理的必要性和可行性精.ppt（26页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多媒体信息处理的必要性和可行性多媒体信息处理的必要性和可行性第1页，本讲稿共26页2.1 多媒体信息的特点多媒体信息的特点 多媒体信息主要有三个特征：多媒体信息主要有三个特征：（1）数数据据量量庞庞大大：和和文文本本信信息息相相比比，语语音音、图图像像的的信信息息量量就就显显得得十十分分庞庞大大。例例如如，用用生生动动的的语语音音表表达达和和文文本本文文字字相相同同的的一一段段内内容容，语语音音所所需需要要的的数数据据量量要要比比文文本本大大10倍倍以以上上。若若要要用用图图像像来来大大体体表表示示同同样样的的意意思思，则则图图像像所所需需要要的的数数据据量量又又不知道要大多少倍了。不知道要大
2、多少倍了。第2页，本讲稿共26页 （2）码码率率可可变变、突突发发性性强强：代代表表多多媒媒体体信信息息的的数数据据流流其其码码率率是是随随着着不不同同的的信信息息内内容容、所所处处的的不不同同时时间间而而不不断断变变化化的的。人人们们讲讲话话时时的的停停顿顿、所所传传场场景景图图像像中中物物体体的的运运动动等等都都会会形形成成码码流流速速率率的的波波动动，而而且且这这种种波波动动往往往往呈呈现现出出极极强强的的突突发发性性。再再加加上上采采用用了了种种种种信信息息压压缩缩编编码码的的方方法法，就就更更加剧了这种变化。加剧了这种变化。（3）复复合合性性信信息息多多，同同步步性性、实实时时性性要
3、要求求高高：多多媒媒体体通通信信系系统统中中传传输输的的往往往往是是两两种种或或两两种种以以上上媒媒体体的的复复合合信信息息，各各类类信信息息之之间间存存在在着着很很强强的的关关联联，因因此此，对对信信息息传传输输的的同同步性及实时性的要求相当高。步性及实时性的要求相当高。第3页，本讲稿共26页2.2 信息压缩的必要性信息压缩的必要性 1.图像或视频信号图像或视频信号 以以彩彩色色电电视视信信号号为为例例，设设代代表表光光强强、色色彩彩和和色色饱饱和和度度的的YIQ空空间间中中各各分分量量的的带带宽宽分分别别为为4MHz、1.3MHz和和0.5MHz。由由采采样样定定理理，仅仅当当采采样样频频
4、率率2倍倍的的原原始始信信号号的的频频率率时时，才才能能保证采样后的信号可被保真地恢复为原始信号。保证采样后的信号可被保真地恢复为原始信号。设各样点均被数字化为设各样点均被数字化为8bit，从而，从而1s的数据量为的数据量为 （41.30.5）2 8 bit=92.8 Mbit 因因而而一一张张640MB的的CDROM能能够够存存放放的的原原始始电电视视数数据据(每每字节附有字节附有2位校验位位校验位)为：为：640892.8(1+0.25)=44 s 即即 一张普通光盘只能存放一张普通光盘只能存放44 s的原始数据。的原始数据。第4页，本讲稿共26页 2.语音信号语音信号 人人在在正正常常说
5、说话话时时的的音音频频一一般般在在200Hz3.4kHz，即即人人类类语语音音的的带带宽宽为为3.4 kHz。同同样样依依据据采采样样定定理理，并并设设数数字字化化精精度为度为8bit，则每秒的数据量为，则每秒的数据量为 3.4 kHz28=54.4 kbit 在上述采样条件下讲一分钟话的数据量约为在上述采样条件下讲一分钟话的数据量约为400kbit。表表2.2-1列列出出了了支支持持语语音音、图图像像、视视频频等等多多媒媒体体信信号号高高质量存储和传输所必需的未压缩速率以及信号特性。质量存储和传输所必需的未压缩速率以及信号特性。第5页，本讲稿共26页表表2.2-1 各种信号的特性和未压缩速率
6、各种信号的特性和未压缩速率 第6页，本讲稿共26页 未未进进行行编编码码和和压压缩缩：窄窄带带语语音音信信号号需需要要128kb/s的的速速率率，即即两两倍倍于于普普通通电电话话的的速速率率。宽宽带带话话音音需需要要256kb/s的的速速率率，双声道立体声双声道立体声CD音频需要音频需要1.41 Mb/s的速率。的速率。在在保保持持原原始始信信号号质质量量的的前前提提下下压压缩缩：窄窄带带语语音音4kb/s(30 1的的压压缩缩比比)，宽宽带带话话音音16kb/s(15 1的的压压缩缩比比)，CD音音频频64kb/s(22 1的压缩比的压缩比)。对对于于多多媒媒体体处处理理系系统统的的语语音音
7、、图图像像、视视频频、文文本本、数数据据的的结结合合，信信号号进进行行存存储储和和传传输输之之前前，必必须须进进行行处处理理，而而最最关关键键的的处处理理方方法法是是压压缩缩。多多媒媒体体信信息息压压缩缩技技术术的的对对象象主主要要是是视视频频、音音频频和和文文本本信信息息这这三三大大类类。如如对对多多数数图图像像实实现现大大于于100 1的压缩比，而质量没有重大损失。的压缩比，而质量没有重大损失。第7页，本讲稿共26页2.3 信息压缩的可行性信息压缩的可行性 数数据据中中通通常常包包含含很很大大的的冗冗余余，数数据据的的大大小小与与所所携携带带的的信息量的关系由下式给出：信息量的关系由下式给
8、出：I=D-r (2.3-1)其其中中I,D,r分分别别为为信信息息量量、数数据据量量与与冗冗余余量量。以以存存储储一一本本200万万字字的的中中文文百百科科全全书书为为例例，每每个个汉汉字字以以2字字节节计计算算，该该书书的的数数据据量量为为4MB。若若使使用用Huffman算算法法，就就可可简简单单地地将将大大约约2MB左左右右的的冗冗余余数数据据寻寻找找出出来来并并压压缩缩掉掉，这这样样就就可可以以节节省省出出2MB的存储空间。的存储空间。第8页，本讲稿共26页 1 空间冗余空间冗余 在在任任何何一一幅幅图图像像中中，均均有有许许多多灰灰度度或或颜颜色色都都相相同同或或相相近近的的邻邻近
9、近像像素素组组成成的的局局部部区区域域，它它们们形形成成了了一一个个性性质质相相同同的的集集合块，合块，即它们之间具有空间上的强相关性，表现为空间冗余。即它们之间具有空间上的强相关性，表现为空间冗余。对对空空间间冗冗余余的的压压缩缩方方法法就就是是把把这这种种集集合合块块当当作作一一个个整整体体，用用极极少少的的数数据据量量来来表表示示它它，从从而而节节省省了了存存储储空空间间。这这种种压压缩缩方方法法叫叫空空间间压压缩缩或或帧帧内内压压缩缩，它它的的基基本本点点就就在在于于减减少少邻邻近像素之间的空间相关性。近像素之间的空间相关性。第9页，本讲稿共26页图2.3-1 空间冗余 第10页，本讲
10、稿共26页 2 时间冗余时间冗余 时时间间冗冗余余是是活活动动图图像像和和语语音音数数据据中中经经常常包包含含的的冗冗余余。活活动动图图像像中中的的两两幅幅相相邻邻的的图图像像有有较较大大的的相相关关性性，这这反反映映为为时时间间冗冗余余。同同理理，在在语语音音中中，由由于于人人在在说说话话时时其其发发出出的的音音频频是是一一个个连连续续和和渐渐变变的的过过程程，而而不不是是一一个个完完全全的的时时间间上上独独立立的的过过程程,因而存在着时间冗余。因而存在着时间冗余。利利用用这这种种时时间间冗冗余余，可可实实现现数数据据压压缩缩。这这种种压压缩缩对对运运动动图图像像往往往往能能得得到到很很高高
11、的的压压缩缩比比，这这也也称称为为时时间间压压缩缩或或帧帧间间压压缩。缩。第11页，本讲稿共26页图2.3-2 时间冗余 第12页，本讲稿共26页第13页，本讲稿共26页 3 信息熵冗余（编码冗余）信息熵冗余（编码冗余）所谓熵就是平均信息量。所谓熵就是平均信息量。（2.3-2）图图2.3-3 结构冗余示意图（草席）结构冗余示意图（草席）4.结构冗余结构冗余 第14页，本讲稿共26页 5 知识冗余知识冗余 人人们们通通过过认认识识世世界界而而得得到到某某些些图图像像所所具具有有的的先先验验知知识识和和背背景景知知识识，由由此此带带来来的的冗冗余余称称为为知知识识冗冗余余。如如人人脸脸的的图图像像
12、有有固固定定的的结结构构，嘴嘴的的上上方方有有鼻鼻子子，鼻鼻子子的的上上方方有有眼眼睛睛，鼻鼻子子位位于于正正脸脸图图像像的的中中线线上上等等等等。这这类类规规律律的的结结构构可可由由先先验验知知识识和和背背景景知知识识得得到到，因因此此这这类类信信息息对一般人来说是冗余信息。对一般人来说是冗余信息。第15页，本讲稿共26页 6 视觉听觉冗余视觉听觉冗余 以以视视觉觉为为例例，人人类类的的视视觉觉系系统统并并不不能能对对图图像像画画面面的的任任何何变变化化都都能能感感觉觉到到，视视觉觉系系统统对对于于图图像像场场的的注注意意是是非非均均匀匀和和非非线线性性的的，即即注注意意主主要要部部分分质质
13、量量，同同时时取取画画面面的的整整体体效效果果，不不拘泥每一个细节。拘泥每一个细节。例例如如，人人的的视视觉觉对对于于图图像像边边缘缘的的急急剧剧变变化化不不敏敏感感，对对图图像像的的亮亮度度信信息息敏敏感感，对对颜颜色色的的分分辨辨率率较较弱弱等等。因因此此，如如果果图图像像经经压压缩缩或或量量化化发发生生的的变变化化(或或称称引引入入了了噪噪声声)不不能能被被视视觉觉所所感感觉觉，则则认认为为图图像像质质量量是是完完好好的的或或是是够够好好的的，即即图图像像压压缩缩并并恢恢复后仍有满意的主观图像质量。复后仍有满意的主观图像质量。第16页，本讲稿共26页 7 其他冗余其他冗余 多多媒媒体体数
14、数据据除除了了具具有有上上面面所所说说的的各各种种冗冗余余外外，还还存存在在一一些些其其他他的的冗冗余余类类型型。例例如如，图图像像的的空空间间非非定定常常特特性性所带来的冗余，频谱冗余等。所带来的冗余，频谱冗余等。空空间间冗冗余余和和时时间间冗冗余余是是将将图图像像信信号号看看作作为为随随机机信信号号时时所所反反映映出出的的统统计计特特征征，因因此此有有时时把把这这两两种种冗冗余余称称为为统统计计冗冗余余。它它们们也也是是多多媒媒体体图图像像数数据据处处理理中中两两种种最最主主要要的的数据冗余。数据冗余。第17页，本讲稿共26页2.4 数据压缩技术的性能指标数据压缩技术的性能指标 1 压缩比
15、（编码效率）压缩比（编码效率）压压缩缩性性能能常常常常用用压压缩缩比比来来定定义义，也也就就是是压压缩缩过过程程中中输输入入数数据据量量和和输输出出数数据据量量之之比比。压压缩缩比比越越大大，说说明明数数据据压压缩缩的的程程度度越越高高。在在实实际际应应用用中中，压压缩缩比比可可以以定定义义为为比比特特流流中中每每个个样样点所需要的比特数。点所需要的比特数。由由于于同同一一压压缩缩编编码码算算法法对对不不同同信信号号的的编编码码效效率率往往往往不不同同。为为了了公公平平地地衡衡量量压压缩缩编编码码算算法法的的效效率率，常常常常需需要要定定义义一一些些所所谓谓的的“标标准准图图像像（或或语语音音
16、）”。通通过过测测量量不不同同编编码码算算法法在在同同一组一组“标准图像标准图像”上的性能来评价各压缩算法的编码效率。上的性能来评价各压缩算法的编码效率。第18页，本讲稿共26页 (a)头头发发部部分分高高频频数数据据含含量量丰丰富富，背背景景含含低低频频数数据据，肩肩部部亮亮度度过过渡渡平平滑滑；(b)低低频频区区域域含含量量适适中中，但但物物体体边边缘缘丰丰富富，头头巾巾、裤裤子子及及桌桌布布上上有有极极细细腻腻的的条条纹纹；(c)高高频频数数据据极极为为丰丰富富，特特别别是是脸脸部部毛毛发发部部分分，主主要要用用于于评评价价图图像像编编码码算算法法对对高高频频区区域域数数据的处理性能。据
17、的处理性能。（a）Lena图像图像 （b）Barbara图像图像 （c）Mandrill图像图像 国际上流行的三幅标准图像国际上流行的三幅标准图像 第19页，本讲稿共26页 2 重现质量重现质量 重重现现质质量量是是指指比比较较重重现现时时的的图图像像、声声音音信信号号与与原原始始图图像像、声声音音之之间间有有多多少少失失真真，这这与与压压缩缩的的类类型型有有关关。压压缩缩方方法法可可以以分分为为无无损损压压缩缩和和有有损损压压缩缩。无无损损压压缩缩是是指指压压缩缩和和解解压压缩缩过过程程中中没没有有损损失失原原始始图图像像或或声声音音的的信信息息，所所以以对对无无损损系系统统不必担心重现质量
18、。不必担心重现质量。有有损损压压缩缩虽虽然然可可获获得得较较大大的的压压缩缩比比，但但压压缩缩比比过过高高，还还原原后后的的图图像像、声声音音质质量量就就可可能能降降低低。图图像像和和声声音音质质量量的的评评估估常常采采用用客客观观评评估估和和主主观观评评估估两两种种方方法法。以以图图像像信信息息压压缩缩为为例例。图图像像的的主主观观评评价价采采用用5分分制制，其其分分值值在在15分分情情况下的主观评价如表况下的主观评价如表2.4-1所示。所示。第20页，本讲稿共26页表表2.4-1 图像主观评价性能表图像主观评价性能表 主观评价分主观评价分 质量尺度质量尺度 妨碍观看尺度妨碍观看尺度 5 非
19、常好非常好 丝毫看不出图像质量变坏丝毫看不出图像质量变坏 4 好好 能看出图像质量变化，但不妨碍观看能看出图像质量变化，但不妨碍观看 3 一般一般 清楚地看出图像质量变坏，对观看稍有妨碍清楚地看出图像质量变坏，对观看稍有妨碍 2 差差 对观看有妨碍对观看有妨碍 1 非常差非常差 非常严重地妨碍观看非常严重地妨碍观看第21页，本讲稿共26页 而客观尺度通常有以下几种：而客观尺度通常有以下几种：均方误差：均方误差：峰值信噪比：峰值信噪比：信噪比：信噪比：第22页，本讲稿共26页 虽然图像、语音的信噪比值在一定程度上反映了人类观察虽然图像、语音的信噪比值在一定程度上反映了人类观察者对编码质量的感觉，
20、但它并不等同于编码图像、语音的主者对编码质量的感觉，但它并不等同于编码图像、语音的主观质量。观质量。某些编码图像、语音，尽管其信噪比值不高，但由于其编某些编码图像、语音，尽管其信噪比值不高，但由于其编码误差的分布恰使人眼、耳不易察觉图像、语音中的误差失码误差的分布恰使人眼、耳不易察觉图像、语音中的误差失真，而使图像、语音在人视觉、听觉看来质量很高。真，而使图像、语音在人视觉、听觉看来质量很高。而有些编码，尽管其信噪比值很高，但由于其编码误差以而有些编码，尽管其信噪比值很高，但由于其编码误差以人眼、耳很敏感的方式表现出来，其主观质量并不高，这一人眼、耳很敏感的方式表现出来，其主观质量并不高，这一
21、现象的著名实例是分块图像编码中常见的块效应。现象的著名实例是分块图像编码中常见的块效应。第23页，本讲稿共26页 3 压缩和解压缩的速度压缩和解压缩的速度 压压缩缩与与解解压压缩缩的的速速度度是是两两项项单单独独的的性性能能度度量量。有有些些应应用用中中，压压缩缩与与解解压压缩缩都都需需要要实实时时进进行行，这这称称为为对对称称压压缩缩，如如电电视视会会议议的的图图像像传传输输；在在有有些些应应用用中中，压压缩缩可可以以用用非非实实时时压压缩缩，而而只只要要解解压压缩缩是是实实时时的的，这这种种压压缩缩称称为为非非对对称称压压缩缩，如如多多媒媒体体CD-ROM的的节节目目制制作作。从从目目前前
22、开开发发的的压压缩缩技技术术看看，一一般般压压缩缩的的计计算算量量比比解解压压缩缩要要大大。在在静静止止图图像像中中，压压缩缩速速度没有解压缩速度要求严格。度没有解压缩速度要求严格。第24页，本讲稿共26页 但但对对于于动动态态视视频频的的压压缩缩与与解解压压缩缩，速速度度问问题题是是至至关关重重要要的的。动动态态视视频频为为保保证证帧帧间间动动作作变变化化的的连连贯贯要要求求，必必须须有有较较高高的的帧帧速速。大大多多数数情情况况动动态态视视频频至至少少为为15帧帧/s，而而全全动动态态视视频频则则要要求求有有25帧帧/s或或30帧帧/s。因因此此，压压缩缩和和解解压压缩缩速速度度的快慢直接
23、影响实时图像通信的完成。的快慢直接影响实时图像通信的完成。此此外外，还还要要考考虑虑软软件件和和硬硬件件的的开开销销。有有些些数数据据的的压压缩缩和和解解压压缩缩可可以以在在标标准准的的PC硬硬件件上上用用软软件件实实现现，有有些些则则因因为为算算法法太太复复杂杂或或者者质质量量要要求求太太高高而而必必须须采采用用专专门门的的硬硬件件。这这就就需需要要在在占占用用PC上上的的计计算算资资源源或或者者另另外外使使用用专专门门硬硬件件的的问问题上做出选择。题上做出选择。第25页，本讲稿共26页练习与思考题练习与思考题 1结合某种多媒体通信的应用说明多媒体信息的特点。结合某种多媒体通信的应用说明多媒体信息的特点。2以数字电视信号为例说明压缩的必要性和可行性。以数字电视信号为例说明压缩的必要性和可行性。3 多媒体数据存在哪些类型的冗余？多媒体数据存在哪些类型的冗余？去掉这些冗余的去掉这些冗余的方法所对应的技术有哪些？方法所对应的技术有哪些？4 如何衡量一种压缩算法的好坏？举例说明。如何衡量一种压缩算法的好坏？举例说明。第26页，本讲稿共26页