《多媒体视频信息处理PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《多媒体视频信息处理PPT讲稿.ppt（93页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多媒体视频信息处理第1页，共93页，编辑于2022年，星期六5.1 视频基础知识 u5.1.1 视频的定义人类接受的信息70%来自视觉,其中活动图像是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频（Video）就其本质而言，实际上就是其内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫作运动图像或活动图像。从数学角度描述，视频指随时间变化的图像，或称为时变图像。时变图像是一种时-空（颜色）密度模式（spatial-temporal intensity pattern），可以表示为s(x,y,t)，其中(x,y)是空间变量，t是时间变量。第2页，共93页，编辑于2022年，
2、星期六 视频信号具有以下特点：内容随时间而变化伴随有与画面动作同步的声音(伴音)图像与视频是两个既有联系又有区别的概念：静止的图片称为图像（Image），运动的图像称为视频（Video）。此外，两者的信源方式不同，图像的输入要靠扫描仪、数字照相机等设备；而视频的输入只能是电视接收机、摄象机、录象机、影碟机以及可以输出连续图像信号的设备。第3页，共93页，编辑于2022年，星期六u5.1.2 视频的分类 按照处理方式的不同，视频分为模拟视频和数字视频。模拟视频（Analog Video）模拟视频是一种用于传输图像和声音的并且随时间连续变化的电信号。早期视频的记录、存储和传输都是采用模拟方式，例如
3、：我们在电视上所见到的视频图像是以一种模拟电信号的形式来记录的，并依靠模拟调幅的手段在空间传播，再用盒式磁带录像机将其作为模拟信号存放在磁带上。第4页，共93页，编辑于2022年，星期六 传统的模拟信号处理设备 直接广播卫星（DBS）第5页，共93页，编辑于2022年，星期六 模拟视频具有以下特点：q以模拟电信号的形式来记录 q依靠模拟调幅的手段在空间传播 q使用盒式磁带录象机将视频作为模拟信号存放在磁带上 传统上，视频都以模拟方式进行存贮和传送，然而模拟视频不适合网络传输，在传输效率方面先天不足，而且图像随时间和频道的衰减较大，不便于分类、检索和编辑。第6页，共93页，编辑于2022年，星期
4、六数字视频（Digital Video-DV）要使要使计计算机能算机能够对视频进够对视频进行行处处理，必理，必须须把把视频视频源源-即即来自与来自与电视电视机、模机、模拟摄拟摄像机、像机、录录像机、影碟机等像机、影碟机等设备设备的的模模拟视频拟视频信号，信号，转换转换成成计计算机要求的数字算机要求的数字视频视频形式并存形式并存放在磁放在磁盘盘上，上，这这个个过过程称程称为视频为视频的数字化的数字化过过程（包括采程（包括采样样、量化和、量化和编码编码）。）。数字视频克服了模拟视频的局限性，这是因为数字视数字视频克服了模拟视频的局限性，这是因为数字视频可以大大降低视频的传输和存贮费用、增加交互性频
5、可以大大降低视频的传输和存贮费用、增加交互性（数字视频可通过光纤等介质高速随机读取）及带来精（数字视频可通过光纤等介质高速随机读取）及带来精确再现真实情景的稳定图像。确再现真实情景的稳定图像。如今，数字如今，数字视频视频的的应应用已用已经经非常广泛，并非常广泛，并带带来一个全新来一个全新的的应应用局面。首先，包括直接广播用局面。首先，包括直接广播卫卫星（星（DBSDBS）、有线电视、数字电视在内的各种通信应用均需要采用数字视频。其次，一些消费产品，如VCDVCD和和DVDDVD，数字，数字式便携式便携摄摄像机，都是以像机，都是以MPEGMPEG视频压缩为基础的。第7页，共93页，编辑于2022
6、年，星期六u5.1.3 数字化视频的优点视频信号数字化后，就能做到模拟视频信号所无法实现的事情。它的主要优点有：适合于网络应用适合于网络应用 在网络环境中，视频信息可以很方便地实现资源的共享，通在网络环境中，视频信息可以很方便地实现资源的共享，通过网络线、光纤，数字信号可以很方便地从资源中心传到办过网络线、光纤，数字信号可以很方便地从资源中心传到办公室和家中。视频数字信号可以长距离传输而不会产生任何公室和家中。视频数字信号可以长距离传输而不会产生任何不良影响，而模拟信号在传输过程中会有信号损失。不良影响，而模拟信号在传输过程中会有信号损失。再现性好再现性好 模拟信号由于是连续变化的，所以不管复
7、制时采用的精确模拟信号由于是连续变化的，所以不管复制时采用的精确度多高，失真总是不可避免的，经过多次复制以后，误差度多高，失真总是不可避免的，经过多次复制以后，误差就很大。数字视频可以不失真地进行无限次拷贝，其抗干就很大。数字视频可以不失真地进行无限次拷贝，其抗干扰能力是模拟图像无法比拟的。它不会因存储、传输和复扰能力是模拟图像无法比拟的。它不会因存储、传输和复制而产生图像质量的退化，从而能够准确地再现图像。制而产生图像质量的退化，从而能够准确地再现图像。第8页，共93页，编辑于2022年，星期六便于计算机编辑处理模拟信号只能简单调整亮度、对比度和颜色等，极大地限制了处理手段和应用范围。而数字
8、视频信号可以传送到计算机内进行存储、处理，很容易进行创造性地编辑与合成，并进行动态交互。数字视频的缺陷是处理速度慢，所需的数据存储空间大，从而使数字图像的处理成本增高。通过对数字视频的压缩，这样可以节省大量的存储空间，光盘技术的应用也使得大量视频信息的存储成为可能。第9页，共93页，编辑于2022年，星期六u5.1.4 视频的应用领域广播电视 q地面、卫星电视广播地面、卫星电视广播 q有线电视（有线电视（CATV:Community Antenna TV CATV:Community Antenna TV）q数字视频广播数字视频广播(Digital Video Broadcast(Digita
9、l Video Broadcast）q交互式电视（交互式电视（ITV:Interactive TV ITV:Interactive TV）q高清晰度电视（高清晰度电视（HDTVHDTV）通信 q可视电话（可视电话（Videophone Videophone）q视频会议（视频会议（Videoconferencing Videoconferencing）q视频点播（视频点播（VOD:Video On Demand VOD:Video On Demand）q视频数据库视频数据库 第10页，共93页，编辑于2022年，星期六个人娱乐个人娱乐qq录象节目录象节目 qqVCDVCD（Video Compa
10、ct DiskVideo Compact Disk）qqDVDDVD（Digital Versatile DiskDigital Versatile Disk）qq电视购物电视购物 qq家庭摄象家庭摄象 qq视频游戏视频游戏 5.2 电视信号及其标准 u5.2.1 彩色电视信号制式电视信号是视频处理的重要信息源。电视信号的标准也称为电电视信号是视频处理的重要信息源。电视信号的标准也称为电视的制式。目前各国的电视制式不尽相同，不同制式之间的主视的制式。目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新速度、颜色编码系统和传送频率等。目要区别在于不同的刷新速度、颜色编码系统和传送频率
11、等。目前世界上常用的电视制式有中国、欧洲使用的前世界上常用的电视制式有中国、欧洲使用的PALPAL制，美国、制，美国、日本使用的日本使用的NTSCNTSC制及法国等国所使用的制及法国等国所使用的SECAMSECAM制。制。第11页，共93页，编辑于2022年，星期六NTSC制 NTSC(National Television Standard Committe)是美国国家电视系统委员会在1953年制定的一种兼容的彩色电视制式，是目前常用的视频标准，在美国、日本和其他国家广为使用。它定义了彩色电视机对于所接受的电视信号的解码方式、色彩的处理方式、屏幕的扫描频率。NTSC制规定水平扫描线有625条
12、，以每秒30帧速率传送。NTSC采用隔行扫描方式，每一帧画面由两次扫描完成，每一次扫描画出一个场需要1/60秒,两个场构成一帧。第12页，共93页，编辑于2022年，星期六PALPAL制制PAL(Phase Alternate Lock)PAL(Phase Alternate Lock)是是联联邦德国邦德国19621962年制定的一种兼容电视制式。PALPAL意指意指“相位逐行交相位逐行交变变”，我国和大部分西欧国家都使用这种制式。PALPAL制制规规定水平定水平扫扫描描625625行、每秒2525帧、隔行扫描、每场需要1/501/50秒。秒。SECAMSECAM SECAM(Sequenti
13、al Color and Memory)SECAM(Sequential Color and Memory)称称为顺为顺序序传传送送彩色与存彩色与存储储，是用于法国、俄，是用于法国、俄罗罗斯及几个斯及几个东东欧国家的彩欧国家的彩色色电视电视制式。但基本技制式。但基本技术术及广播方式与及广播方式与NTSCNTSC和和PALPAL有很有很大的区大的区别别。不同制式的不同制式的电视电视机只能接收和机只能接收和处处理其理其对应对应制式的制式的电视电视信号。信号。也有多制式或全制式的也有多制式或全制式的电视电视机，机，这为处这为处理和理和转换转换不同制式不同制式的的电视电视信号提供了极大的方便。全制式信
14、号提供了极大的方便。全制式电视电视机可在各国各机可在各国各地区使用，而多制式地区使用，而多制式电视电视机一般机一般为为指定范指定范围围的国家生的国家生产产。第13页，共93页，编辑于2022年，星期六 表5-1 三种彩色电视制式的主要技术指标 TV制式NTSC PALSECAM帧频(Hz)302525行/帧525625625亮度带宽(MHz)4.26.06.0彩色幅载波(Hz)3.584.434.25声音载波(MHz)4.56.56.5第14页，共93页，编辑于2022年，星期六u5.2.2 电视视频信号的扫描方式电视摄像机的作用就是将视频图像转换为电信号。任何时刻，电信号只有1 1个值，即是
15、一维的。但视频个值，即是一维的。但视频图像通常是二维的，将二维视频图像转换为一维电信图像通常是二维的，将二维视频图像转换为一维电信号是通过光栅扫描实现的。扫描方式主要有逐行扫描号是通过光栅扫描实现的。扫描方式主要有逐行扫描和隔行扫描两种。和隔行扫描两种。隔行扫描行的集合称为场。因此，一帧由两个场组成。隔行扫描行的集合称为场。因此，一帧由两个场组成。逐行扫描有以下优点：图像垂直清晰度高，空间处理逐行扫描有以下优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压效果好，有利于电视转换和制式转换，能改善视频压缩效率，等等。其缺点是：数码率高，行扫描频率增缩效率，等等。其缺点
16、是：数码率高，行扫描频率增高，硬件难度加大。高，硬件难度加大。目前的电视系统大都采用隔行扫描，因为隔行扫描能目前的电视系统大都采用隔行扫描，因为隔行扫描能节省频带，且硬件实现简单。但逐行扫描能获得更好节省频带，且硬件实现简单。但逐行扫描能获得更好的图像质量和更高的清晰度，不过这是以增加带宽和的图像质量和更高的清晰度，不过这是以增加带宽和成本为代价的。成本为代价的。第15页，共93页，编辑于2022年，星期六 奇数场奇数场 偶数场偶数场 一帧一帧 第16页，共93页，编辑于2022年，星期六u5.2.3 YUV与RGB彩色模型YUV模型 在PAL彩色电视制式中采用YUV模型来表示彩色图像。其是Y
17、表示亮度，U，V用来表示色差，是构成彩色的两个分量。与此类似，在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I，Q是两个彩色分量。YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。采用YUV模型的优点之一是亮度信号和色差信号是分离的，容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容。第17页，共93页，编辑于2022年，星期六PALPAL彩色电视制式中采用彩色电视制式中采用YUVYUV模型来表示彩色图像模型来表示彩
18、色图像YUV第18页，共93页，编辑于2022年，星期六RGB模型RGB分别代表红（Red）、绿(Green)、蓝（Blue）三种基本颜色。电视机和计算机显示器使用的阴极射线管(Cathode Ray Tube，CRT)是一个有源物体。CRT使用3个电子枪分别产生红、绿和蓝三种波长的光(RGB三种电子束)，分别产生并以相对强度轰击CRT的荧光涂层屏幕以产生颜色。并以各种不同的相对强度综合起来产生颜色。组合这三种光波以产生特定颜色称为相加混色，或称为RGB相加模型。相加混色是计算机应用中定义颜色的基本方法。第19页，共93页，编辑于2022年，星期六 CRT显示器采用RGB彩色模型 A-阴极 B
19、-导电涂层 C-阳极 D-荧光屏 E-电子束 F-荫罩板 第20页，共93页，编辑于2022年，星期六YUV与RGB彩色空间变换 由于所有的显示器都采用RGB值来驱动，这就要求在显示每个像素之前，需要把YUV彩色分量值转换成RGB值。这种转换需要花费一定的计算时间。这是一个在设计软硬件视频处理系统要综合考虑的问题。在考虑人的视觉系统和阴极射线管(CRT)的非线性特性之后，RGB和YUV的对应关系可以近似地用下面的方程式表示：Y=0.299R+0.587G+0.114B U=-0.169R-0.331G+0.5B V=0.500R-0.419G-0.081B 第21页，共93页，编辑于2022年
20、，星期六或者写成矩阵的形式或者写成矩阵的形式:u5.2.4 彩色电视的信号类型 电视频道传送的电视信号主要包括亮度信号、色度信号、复合同步信号和伴音信号，这些信号或者可通过频率域，或者可通过时间域相互分离出来。电视接收机能够将所接收到的高频电视信号还原成视频信号和低频伴音信号，并能够在其荧光屏上重现图像，在其扬声器上重现伴音。第22页，共93页，编辑于2022年，星期六 根据不同的信号源，电视接收机的输入、输出信号有三种类型：高频或射频信号高频或射频信号 为了能够在空中传播电视信号，必须把视频全电视信号调制成高频或射频（RFRFRadio Frequency）信）信号，每个信号占用一个频道，这
21、样才能在空中同时传播号，每个信号占用一个频道，这样才能在空中同时传播多路电视节目而不会导致混乱。多路电视节目而不会导致混乱。PALPAL制每个频道占用8MHz8MHz的带宽；的带宽；NTSC制每个频道的带宽为制每个频道的带宽为4MHz4MHz。有线电。有线电视视CATVCATV（Cable TelevisionCable Television）的工作方式类似，只是）的工作方式类似，只是它通过电缆而不是通过空中传播电视信号。它通过电缆而不是通过空中传播电视信号。电视电视机在接收到某一机在接收到某一频频道的高道的高频频信号后，要把全信号后，要把全电视电视信信号从高号从高频频信号中解信号中解调调出来
22、，才能在屏幕上重出来，才能在屏幕上重现视频图现视频图像。像。第23页，共93页，编辑于2022年，星期六复合视频信号复合视频信号 为便于电视信号远距传输，必须把三个分量信号以及同步信为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。复合视频信号定义为号复合成一个信号，然后才进行传输。复合视频信号定义为包括亮度和色度的单路模拟信号，也即从全电视信号中分离包括亮度和色度的单路模拟信号，也即从全电视信号中分离出伴音后的视频信号，这时的色度信号是间插在亮度信号的出伴音后的视频信号，这时的色度信号是间插在亮度信号的高端。由于复合视频的亮度和色度是间插在一起的，在信号高
23、端。由于复合视频的亮度和色度是间插在一起的，在信号重放时很难恢复完全一致的色彩。这种信号一般可通过电缆重放时很难恢复完全一致的色彩。这种信号一般可通过电缆输入或输出到家用录像机上，其信号带宽较窄，一般只有输入或输出到家用录像机上，其信号带宽较窄，一般只有240240线左右的水平分解率。线左右的水平分解率。早期的早期的电视电视机都只有天机都只有天线输线输入端口，入端口，较较新型的新型的电视电视机才机才备备有有复合复合视频输视频输入和入和输输出端（出端（Video InVideo In，Video OutVideo Out），也即可以直），也即可以直接接输输入和入和输输出解出解调调后的后的视频视频
24、信号。信号。视频视频信号已不包含高信号已不包含高频频分量，分量，处处理起来相理起来相对简单对简单一些，因此一些，因此计计算机的算机的视频视频卡一般都采用复合卡一般都采用复合视视频输频输入端口入端口获获取取视频视频信号。由于信号。由于视频视频信号中已不包含伴音，故一信号中已不包含伴音，故一般与般与视频输视频输入、入、输输出端口配套的出端口配套的还还有音有音频输频输入、入、输输出端口，以便出端口，以便同步同步传输传输伴音。伴音。第24页，共93页，编辑于2022年，星期六图7-7 复合视频线及接口第25页，共93页，编辑于2022年，星期六分量视频信号与分量视频信号与S SVideoVideo为保
25、证视频信号质量，近距离时可用分量视频信号(component video signal)传输传输,分量信号是指每分量信号是指每个基色分量个基色分量(R,G,B(R,G,B 或或 Y,U,V)Y,U,V)作为独立的电视信号传输。计算机输出的VGA视频视频信号，即信号，即为为分量形式的分量形式的视频视频信号。信号。S SVideo 是一种两分量的视频信号，它把亮度和色度信号分成两路独立的模拟信号，用两路导线分别传输并可以分别记录在模拟磁带的两路磁轨上。这种信号不仅其亮度和色度都具有较宽的带宽，而且由于亮度和色度分开传输，可以减少其互相干扰，水平分解率可达420线线。与复合。与复合视频视频信号相比，
26、信号相比，S SVideoVideo可以更好地重可以更好地重现现色彩。色彩。第26页，共93页，编辑于2022年，星期六图7-8 S-VIDEO视频线及接口第27页，共93页，编辑于2022年，星期六5.3 视频的数字化过程要让计算机处理视频信息，首先要解决的是视频数字化的问题。视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号，与音频信号数字化类似，计算机也要对输入的模拟视频信息进行采样与量化，并经编码使其变成数字化图像。第28页，共93页，编辑于2022年，星期六u5.3.1 视频信号的采样对视频采样的基本要求对视频采样的基本要求 对视频信号进行采样时必须满足三个
27、方面的要求。对视频信号进行采样时必须满足三个方面的要求。qq要满足采样定理。对于要满足采样定理。对于PALPAL制电视信号。视频带宽为制电视信号。视频带宽为6MHz6MHz，按照，按照CCIR601CCIR601建建议，亮度信号的采样频率为议，亮度信号的采样频率为13.5MHz 13.5MHz，色度信号为，色度信号为6.75MHz6.75MHz。qq采样频率必须是行频的整数倍。这样可以保证每行有整数个取样点，同时采样频率必须是行频的整数倍。这样可以保证每行有整数个取样点，同时要使得每行取样点数目一样多，具有正交结构，便于数据处理。要使得每行取样点数目一样多，具有正交结构，便于数据处理。qq要满
28、足两种扫描制式。要满足两种扫描制式。数字视频信号的采样频率和格式现行的扫描制式主要有数字视频信号的采样频率和格式现行的扫描制式主要有625625行行/50/50场和场和525525行行/60/60场两种，它们的行频分别为场两种，它们的行频分别为15625Hz15625Hz和和15734.265Hz15734.265Hz。ITU(ITU(国际电信联盟）建议的分量编码标准的亮度抽样频率为国际电信联盟）建议的分量编码标准的亮度抽样频率为13.513.5兆赫，这恰好是上述两种行频的整数倍。按照国际现行电视制式，兆赫，这恰好是上述两种行频的整数倍。按照国际现行电视制式，亮度信号最大带宽是亮度信号最大带宽
29、是6MHz6MHz。根据奈奎斯特抽样定理，抽样频率至。根据奈奎斯特抽样定理，抽样频率至少要大于少要大于262612MHz12MHz，因此取，因此取13.5MHz13.5MHz也是合适的。也是合适的。第29页，共93页，编辑于2022年，星期六数字视频的采样格式数字视频的采样格式 根据电视信号的特征，亮度信号的带宽是色度信号带宽根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时对信号的色差分量的采样率低的两倍。因此其数字化时对信号的色差分量的采样率低于对亮度分量的采样率。如果用于对亮度分量的采样率。如果用Y：U U：V来表示来表示YUVYUV三分三分量的采样比例，则数字视频的
30、采样格式分别有量的采样比例，则数字视频的采样格式分别有4:1:14:1:1、4:2:2和和4:4:44:4:4三种。三种。电视图像既是空间的函数，也是时间的函数，而且又电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪扫描图像的是隔行扫描式，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量要把隔行样本组合成逐行样本，然后进行样本点的量化，化，YUVYUV到RGBRGB色彩空间的转换等等，最后才能得到数字视频数据。第30页，共93页，编辑于20
31、22年，星期六4:2:24:2:2采样格式采样格式模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUVYUV信号方式，而信号方式，而计计算机工作在算机工作在RGBRGB空空间间；电视电视机是隔行机是隔行扫扫描，描，计计算机算机显显示器大多逐行示器大多逐行扫扫描；描；电视图电视图像的分辨率与像的分辨率与显显示器的分示器的分辨率也不尽相同等等。因此，模辨率也不尽相同等等。因此，模拟视频拟视频的数字化主要的数字化主要包括色彩空包括色彩空间间的的转换转换、光、光栅扫栅扫描的描的转换转换以及分辨率的以及分辨率的统统一。一。模模拟视频拟视频一般采用分量数字化方式，先把复合一般采用
32、分量数字化方式，先把复合视频视频信信号中的亮度和色度分离，得到号中的亮度和色度分离，得到YUVYUV或或YIQYIQ分量，然后用三个模数转换器对三个分量分别进行数字化，最后再转换成RGB空空间间。第31页，共93页，编辑于2022年，星期六 4:2:24:2:2采样格式采样格式 图7-13 4:2:2采样格式示意第32页，共93页，编辑于2022年，星期六 为了在PALPAL、NTSCNTSC和和 SECAMSECAM电视制式之间确定共同的数电视制式之间确定共同的数字化参数，国家无线电咨询委员会（字化参数，国家无线电咨询委员会（CCIR）制定了广播）制定了广播级质量的数字电视编码标准，称为级质
33、量的数字电视编码标准，称为CCIR 601CCIR 601标准标准(现在的ITU-RITU-R标准标准)。在该标准中，对采样频率、采样结构、。在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定。根据实验，人眼对颜色彩空间转换等都作了严格的规定。根据实验，人眼对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。频的数据量。ITU-R建议使用了4:2:2采样结构。所谓采样结构。所谓“4:2:24:2:2”是指色度信号取亮度
34、信号取样频率的一半。即是指色度信号取亮度信号取样频率的一半。即此时信号是用一个亮度分量，两个色度分量来表达的。此时信号是用一个亮度分量，两个色度分量来表达的。第33页，共93页，编辑于2022年，星期六 根据ITU推荐的采样率，可计算出在不同的采样格式下数字视频的数据量:由表中看出，未压缩的数字视频数据量十分巨大，对于目前的计算机和网络存储或传输都是不现实的，因此在多媒体中应用数字视频的关键问题是数字视频的压缩技术。采样格式(Y:U:V）数据量(Mbyte/s）4:2:2274:4:440第34页，共93页，编辑于2022年，星期六u5.3.2 量化 采样过程是把模拟信号变成了时间上离散的脉冲
35、信号，量化采样过程是把模拟信号变成了时间上离散的脉冲信号，量化过程则是进行幅度上的离散化处理。因此在时间轴的任意一点上过程则是进行幅度上的离散化处理。因此在时间轴的任意一点上量化后的信号电平与原模拟信号电平之间在大多数情况下总是存量化后的信号电平与原模拟信号电平之间在大多数情况下总是存在有一定的误差，量化所引入的误差是不可避免的同时也是不可在有一定的误差，量化所引入的误差是不可避免的同时也是不可逆的，由于信号的随机性这种误差大小也是随机的，这种表现类逆的，由于信号的随机性这种误差大小也是随机的，这种表现类似于随机噪声效果，具有相当宽度的频谱，因此我们又把量化误似于随机噪声效果，具有相当宽度的频
36、谱，因此我们又把量化误差称为量化噪声。但量化误差与噪声是有本质的区别的。差称为量化噪声。但量化误差与噪声是有本质的区别的。如果视频信号量化比特率为如果视频信号量化比特率为8Bit8Bit，信号就有个量化值。若最大，信号就有个量化值。若最大信号正好用足比特的话，小于信号正好用足比特的话，小于1/2561/256的信号就只能当零处理了。而的信号就只能当零处理了。而且每二个相邻数字的差距也必需大于且每二个相邻数字的差距也必需大于1/2561/256才能分得开，当二个原才能分得开，当二个原来不同的数值用同一个二进制值来表示时，实际数值与记录来不同的数值用同一个二进制值来表示时，实际数值与记录数值之差就
37、成为量化噪声。所以，比特率已决定了整个系统数值之差就成为量化噪声。所以，比特率已决定了整个系统的理想状态下的最小噪声、动态范围和信噪比，模拟信号在的理想状态下的最小噪声、动态范围和信噪比，模拟信号在理想状态是没有这种限制的。亮度信号用比特量化，灰度理想状态是没有这种限制的。亮度信号用比特量化，灰度等级最多只有等级最多只有256256个，如果个，如果RGBRGB三个色度信号都用比特量化，三个色度信号都用比特量化，就可以获得就可以获得2562562562562562561677721616777216，即近，即近1717万种色彩。万种色彩。第35页，共93页，编辑于2022年，星期六 5比特量化有
38、32个灰度等级 8比特量化有256个灰度等级 第36页，共93页，编辑于2022年，星期六 量化比特率愈高，层次就分得愈细，但数据量也成倍量化比特率愈高，层次就分得愈细，但数据量也成倍上升。每增加一个比特，数据量就翻一翻，例如上升。每增加一个比特，数据量就翻一翻，例如播放机视频量化位数多为播放机视频量化位数多为10比特，灰度等级达到比特，灰度等级达到10241024个，然而数据量是比特量化的倍。量化的量化的过过程是不可逆的，程是不可逆的，这这是因是因为为量化本身量化本身给给信号信号带带来的来的损伤损伤是不可弥是不可弥补补的。量化的。量化时时比特数比特数选选取取过过小小则则不不足以反映出足以反映
39、出图图像的像的细节细节，比特数，比特数选选取取过过大大则则会会产产生生庞庞大的数大的数码码率，从而占用大量的率，从而占用大量的频带频带，给传输带给传输带来困来困难难。有一种方法可以用小比特数量化而有一种方法可以用小比特数量化而获获得大比特数量化得大比特数量化时时的效果。降低量化的效果。降低量化误误差的方法最直接的就是增加量差的方法最直接的就是增加量化化级级数减小最小量化数减小最小量化间间隔，但由此隔，但由此带带来来码码率的增加从率的增加从而要求更大的而要求更大的处处理理带宽带宽，一般，一般现现在的在的视频视频信号均采用信号均采用8 8比特、1010比特，在信号比特，在信号质质量要求量要求较较高
40、的情况下采用高的情况下采用1212比特量化。比特量化。第37页，共93页，编辑于2022年，星期六 正如模拟音频信号传输过程中采用不均匀量化一样。在视频信号的量化过程中也可以采用不均匀量化方式，即将模拟信号先进行对数变换，其目的是让变化量大的地方变化小，让变化量小的地方变化大，然后，再进行普通的8比特量化，经传输后再恢复出来的模拟信号可以通过指数变换予以还原，此时，信号传输的效果类似于12比特量化的效果。第38页，共93页，编辑于2022年，星期六u5.3.3 视频信号的压缩与编码 抽样、量化后的信号转换成数字符号才能进行传输，这一过程称为编码。视频压缩编码的理论基础是信息论。信息压缩就是从时
41、间域、空间域两方面去除冗余信息，将可推知的确定信息去掉。在通信理论中，编码分为信源编码和信道编码两大类。所谓信源编码是指将信号源中多余的信息除去，形成一个适合用来传输的信号。为了抑制信道噪声对信号的干扰，往往还需要对信号进行再编码，使接收端能够检测或纠正数据在信道传输过程引起的错误，这称为信道编码。视频编码技术主要包括MPEG与与H.261标准，编码技术主要分成帧内编码和帧间编码。前者用于去掉图像的空间冗余信息，后者用于去除图像的时间冗余信息。第39页，共93页，编辑于2022年，星期六u5.3.4 数字视频DV格式数字视频（数字视频（Digital Video-DV）是定义压缩图像和声）是定
42、义压缩图像和声音数据记录及回放过程的标准。音数据记录及回放过程的标准。DV格式是一种国际通用格式是一种国际通用的数字视频标准，是由的数字视频标准，是由1010余家公司共同制定的标准。余家公司共同制定的标准。DV格式具有如下视频特点：高清晰度，水平分辨率可达500线；宽色度带宽，还原色彩绚丽的图像；第40页，共93页，编辑于2022年，星期六 当前有三种常用当前有三种常用DVDV格式：格式：miniDVminiDV、DVCProDVCPro和和DVCamDVCam。miniDV 最常见，通常是家用摄像机使最常见，通常是家用摄像机使用的格式。DVCProDVCPro和DVCamDVCam为专业格式
43、。为专业格式。DV格式数字摄像机对视频采用格式数字摄像机对视频采用 4:1:14:1:1数字分数字分量采样标准，量采样标准，8 8比特量化，基于离散余弦变量比特量化，基于离散余弦变量DCTDCT的的5:15:1帧内压缩，数据传输率为帧内压缩，数据传输率为24.948 Mbps24.948 Mbps对音对音频信号采用两种频信号采用两种PCMPCM脉冲调制编码方式：一是采样频率48kHz48kHz、1616比特量化的双声道立体声方比特量化的双声道立体声方式。另一种是采样频率为式。另一种是采样频率为32kHz、1212比特量化的比特量化的四声道方式，这种方式可方便后期编辑中的配音四声道方式，这种方式
44、可方便后期编辑中的配音配乐。配乐。第41页，共93页，编辑于2022年，星期六 目前目前 DV DV 格式数字摄录机，其记录图像的水平分辨率格式数字摄录机，其记录图像的水平分辨率为为500500线。在记录过程中，亮度信号线。在记录过程中，亮度信号Y Y与两个色差信号与两个色差信号 U U、V，三者不在同一频带传输并分别记录，避免了相互串，三者不在同一频带传输并分别记录，避免了相互串扰和影响。此外，视频和音频信号在输出时先要进入扰和影响。此外，视频和音频信号在输出时先要进入数字存储器，然后以新的时间码标准输出，这样就消数字存储器，然后以新的时间码标准输出，这样就消除了使用模拟机常见的图像抖动、扭
45、曲等时间码误差，除了使用模拟机常见的图像抖动、扭曲等时间码误差，使图像和声音更加稳定。使用数字存储器还能有效的使图像和声音更加稳定。使用数字存储器还能有效的进行信号失落补偿，消除模拟机播放录像时常见的进行信号失落补偿，消除模拟机播放录像时常见的“雪花雪花”现象。同时，由于对声音的处理采用了与音乐 CD 和数字录音带相同的编码方式，所以图像清晰度高、色彩还原逼真、音响效果好。第42页，共93页，编辑于2022年，星期六5.4基于多媒体计算机的视频处理系统 在多媒体计算机系统中，视频处理一般是借助于一些相关的硬件和软件，在计算机上对输入的视频信号进行接收、采集、传输、压缩、存储、编辑、显示、回放等
46、多种处理。视频信号主要是指来自电视机、录/放像机、摄像机等视频设备的信号，也可以是来自影碟机的影视节目。第43页，共93页，编辑于2022年，星期六u5.4.1 数字视频系统的组成 从硬件平台的角度分析，一个视频采集系统要包从硬件平台的角度分析，一个视频采集系统要包括视频采集设备、视频信号源设备、大容量存储设备、括视频采集设备、视频信号源设备、大容量存储设备、以及配置有相应视频处理软件的高性能计算机系统。以及配置有相应视频处理软件的高性能计算机系统。提供模拟视频输出的设备有录像机、电视机提供模拟视频输出的设备有录像机、电视机 、影、影碟机等；对模拟视频信号进行采集、量化和编码的设碟机等；对模拟
47、视频信号进行采集、量化和编码的设备由视频采集卡来完成；最后，由计算机接收和记录备由视频采集卡来完成；最后，由计算机接收和记录编码后的数字视频数据。在这一过程中起主要作用的编码后的数字视频数据。在这一过程中起主要作用的是视频采集卡，它不仅提供接口以连接模拟视频设备是视频采集卡，它不仅提供接口以连接模拟视频设备和计算机，而且具有把模拟信号转换成数字数据的功和计算机，而且具有把模拟信号转换成数字数据的功能。能。第44页，共93页，编辑于2022年，星期六u5.4.2 视频采集卡的工作原理 视频采集卡是一个安装在计算机扩展槽上的一个视频采集卡是一个安装在计算机扩展槽上的一个硬卡。它可以汇集多种视频源的
48、信息，如电视、影碟、硬卡。它可以汇集多种视频源的信息，如电视、影碟、录像机和摄像机的视频信息，对被捕捉和采集到的画录像机和摄像机的视频信息，对被捕捉和采集到的画面进行数字化、冻结、存储、输出及其他处理操作，面进行数字化、冻结、存储、输出及其他处理操作，如编辑、修整、裁剪、按比例绘制、像素显示调整、如编辑、修整、裁剪、按比例绘制、像素显示调整、缩放功能等。视频卡为多媒体视频处理提供了强有力缩放功能等。视频卡为多媒体视频处理提供了强有力的硬件支持。的硬件支持。视频采集卡的工作原理如图视频采集卡的工作原理如图5-15-1所示所示 。视频卡一般。视频卡一般具有多种视频接口，可接收来自摄像机具有多种视频
49、接口，可接收来自摄像机 、录像机、录像机、VCDVCD机机等多种视频信号，通过视频软件可选择所需的视频源。等多种视频信号，通过视频软件可选择所需的视频源。第45页，共93页，编辑于2022年，星期六 从彩色摄像机、录像机或其他视频信号源得到的彩色电视信号，经视频接口送入视频采集卡，信号首先经过A/D转换，然后送到多制式数字解码器进行解码。模数转换器（ADC）又是一个视频解码器，其任务是对视频信号解码和数字化。采用不同的颜色空间可选择不同的视频输入解码器芯片。图5-1 视频卡的工作原理框图 第46页，共93页，编辑于2022年，星期六 经经ADC解码后得到的YUV信号格式。当以信号格式。当以4
50、4：2 2：2 2格式格式采样时采样时 ，每，每4 4个连续的采样点中取个连续的采样点中取4 4个亮度个亮度Y Y、2 2个色差个色差U、2 2个色差个色差V V的样本值，共8 8个样本值。个样本值。YUVYUV信号经过转换信号经过转换可变成可变成RGBRGB信号。RGBRGB信号然后被送入视频处理芯片，对其进行剪裁，变信号然后被送入视频处理芯片，对其进行剪裁，变化等处理。视频处理芯片是用于视频捕获、播放、显示用化等处理。视频处理芯片是用于视频捕获、播放、显示用的专用控制芯片，主要功能可分为的专用控制芯片，主要功能可分为PC总线接口、视频输总线接口、视频输入剪裁、变化比例、与入剪裁、变化比例、