《硕士论文-运动分割的改进算法及其在智能交通系统中的应用.pdf》由会员分享，可在线阅读，更多相关《硕士论文-运动分割的改进算法及其在智能交通系统中的应用.pdf（64页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、华南理工大学硕士学位论文运动分割的改进算法及其在智能交通系统中的应用姓名：李颖雄申请学位级别：硕士专业：信号与信息处理指导教师：孙季丰20040601摘要摘要视频编码标准M P E G 一4 和M P E G 一7 提出了V O P(V i d e oO b j e c tP l a n e)，S p r i t e等崭新的概念，并采纳了基于分割、基于对象和基于模型的编码方法。视频运动对象分割技术近年来迅速发展，成为当前视频领域的研究热点之一。本文的主要工作是研究视频运动对象分割的关键技术及其在智能交通系统中的初步应用。我们对运动分割的全过程进行了计算机仿真实验，包括交通车辆图像序列的获取、全
2、局运动补偿、光流场估计和最终的运动对象分割与跟踪，并对一些传统算法进行了优化和改进。在全局运动估计和补偿中，我们采用四参数模型来描述摄像机镜头的全局运动，并提出了一个快速估计算法对其参数进行估计，然后用双线性插值来得到全局运动补偿图像。在光流场估计中，本文提出了一个分层多闽值的块匹配算法。通过设定不同的搜索步长和误差阈值来对传统块匹配算法进行分层，每层采用不同的搜索策略和匹配准则以减少运算量。实验结果表明，该算法在运算速度和运行效果上都明显优于传统的块匹配算法。接着我们提出了一个块匹配运动估计和变化区域检测相结合的运动对象分割算法。先利用全局阈值和数学形态滤波的方法得到当前帧的变化区域，再结合
3、光流估计的结果，把运动矢量的起止点均在变化区域内的像素作为运动目标。在仿真实验中成功分割出实验图像序列中的运动车辆。然后提出个简单的运动目标跟踪算法：利用连续多帧图像的变化区域检测进行背景恢复，并利用运动估计结果计算运动目标的运动轨迹，再把分割出来的运动目标映射到背景图像中。最终顺利实现了两个运动目标的跟踪。关键词运动分割；全局运动估计；块匹配；变化区域检测A b s t r a c tM P E G。4a n dM P E G。7a p p e a r sa st h es e c o n dg e n e r a t i o no fv i d e oc o m p r e s s i o
4、 ns t a n d a r d S e g m e n t a t i o n b a s e dc o d i n g，o b j e c t b a s e dc o d i n ga n dm o d e l b a s e dc o d i n ga r et h r e eo fm a i nt e c h n i q u e so fM P E G-4 T h i st h e s i sd i s c u s e sm o t i o ns e g m e n t a t i o na n di t sa p p l i c a t i o ni ni n t e l l i
5、 g e n tt r a n s p o r t a t i o ns y s t e m A n ds i m u l a t i o ne x p e r i m e n ti sp e r f o r m e do nt h ec o m p u t e r,w h i c hr e a l i z et h ec o m p l e t ep r o c e s so fm o t i o ns e g m e n t a t i o n，i n c l u d i n ga t t a i n m e n to fv e h i c l ei m a g es e q u e n
6、c e，g l o b a lm o t i o nc o m p e n s a t i o n，o p t i c a lf l o wf i e l de s t i m a t i o n，m o v i n go b j e c ts e g m e n t a t i o na n dt r a c k i n g W h e nw ed ot h eg l o b a lm o t i o ne s t i m a t i o no fi m a g es e q u e n c e af a s te s t i m a t i o na l g o r i t h mb a
7、s e do n4-p a r a m e t e rm o d e li sp r o p o s e d W ef i r s t l yu s ea na p p r o x i m a t ef o r m u l at oc a l c u l a t et h ed i f f e r e n t i a lc o e f f i c i e n t，t h ee s t i m a t et h e4p a r a m e t e rt h r o u g hs t a t i s t i c a lt h e o r ya n dt h r e s h o l df i l t
8、 e r T h e nw eg e n e r a t et h ec o m p e n s a t ei m a g eb yb i l i n e a ri n t e r p o l a t i o n。Al a y e r e da n dm u l t i t h r e s h o l dB M A(B l o c k M a t c h i n gA l g o r i t h m)i su s e dt od om o t i o ne s t i m a t i o n T h ea l g o r i t h mi sd i v i d e di n t ol a y
9、e r st h r o u g hd i f f e r e n ts e a r c h i n gs t e pl e n g t h I ne a c hl a y e rw eu s ed i f f e r e n ts e a r c ht a c t i c sa n dm a t c hc r i t e r i o n A n dat h r e s h o l di ss e tt ob r e a k d o w nt h es e a r c h i n gS Oa st od e c r e a s et h ec o m p u t a t i o n H o w
10、t od i v i d et h el a y e r sa n ds e tt h et h r e s h o l di sd e c i d e db yt h em o v i n go b j e c t sa n dm o t i o n E x p e r i m e n t a lr e s u l ts h o w st h ep r o p o s e da l g o r i t h mi sb e t t e rt h a nt h et r a d i t i o n a lB M Ao b v i o u s l ya to p e r a t i o ns p
11、e e da n de f f e c t T h em o t i o ns e g m e n t a t i o na l g o r i t h mW eu s e di sc o m p o s e do ft w op a r t s，t h a ti sB M Am o t i o ne s t i m a t i o na n dt h ec h a n g ed e t e c t i o n F i r s t l yw eu s ea 毋o b a lt h r e s h o l da n dm a t h e m a t i c a lm o r p h o l o
12、g yf i l t e rt od e t e r m i n et h ec h a n g i n gr e g i o n T h e na c c o r d i n gt Ot h er e s u l to fm o t i o ne s t i m a t i o n，w ej u d g et h em o v i n go b j e c tr e g i o ni n c l u d i n gp i x e l sw h o s em o t i o nj u m p i n g o f fp o i n ta n de n d p o i n tb o t hb e
13、l o n gt ot h ec h a n g i n gr e g i o n E x p e r i m e n tr e s u l tp r o v e st h a tt h ea l g o r i t h mc a ns e g m e n tt h em o v i n gv e h i c l ef r o mt h ei m a g es e q u e n c es u c c e s s f u l l y F i n a l l yas i m p l em o t i o no b j e c tt r a c k i n ga l g o r i t h mi
14、sp r o p o s e d W eu s et h ec h a n g ed e t e c t i o nr e s u l to ft h ei m a g es e q u e n c et or e c o v e rt h eb a c k g r o u n di m a g e T h e nt h es e g m e n t e dm o v i n go b j e c ti sc a s tt ot h eb a c k g r o u n dd e p e n d so nt h ev e l o c i t y,w h i c hc a nb ec a l c
15、 u l a t e db ym o t i o ne s t i m a t i o n W et r a c kt w oo rm o r em o v i n go b j e c t ss u c c e s s f u l l yb yt h ep r o p o s e dm e t h o d K e yw o r d sM o t i o ns e g m e n t a t i o n；G l o b a lm o t i o ne s t i m a t i o n；B l o c k m a t c h i n gC h a n g ed e t e c t i o nn
16、华南理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特I I I I 以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：獬日期；矽年乡月如日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或
17、扫描等复制手段保存和汇编本学位论文。保密口，在年解密后适用本授权书。本学位论文属于不保密匦。(请在以上相应方框内打“”)作者签名：遮瓠地日期：t 仁年6 月如日导师签名：a r l 每年日期：矽哆年否月刀日一一星=至笪笙1 1 研究背景和意义第一章绪论视频序列中的运动对象分害q，是指按照一定的标准从视频序列图像中提取具有运动一致性的语义实体的组合。由于目前还没有一种通用的分割方法能适用于大多数应用场合，所以这是一个极具挑战性的课题，也是数字视频领域中一个经久不衰的研究热点“。运动分割技术的发展与数字视频技术尤其是视频编码技术的发展息息相关，因此我们先简单地回顾一下视频编码技术的发展历程。1 1
18、 数字视频编码技术的发展历程上世纪八十年代以来，全世界经历着一场数字化革命，视频技术也从模拟时代逐渐走向数字时代。视频是指连续运动的图像序列，每幅图像称为一帧。由于人眼的视觉惰性，通常以每秒2 4 帧播放图像，于是在视觉上就形成了具有连续活动影像感觉的视频。从九十年代中期开始，视频逐渐成为可被微型计算机处理的一种重要的媒体类型。C D D V D-R O M 等存储设备的出现，使大容量的光盘使得视频数据可以被有效地存储并分发。同时在摩尔定律的支配下微机的C P U 处理能力已经可以对数字视频光盘进行完全的软件解压平滑播放。另外，I n t e r n e t 在这一时期也得到空前的发展，有线电
19、视网在中国趋于普及。各种因素有效地推动了视频数据量的快速增长。因此，随着计算机技术和通信技术的发展，数字视频技术早已普及到人们的生活，成为多媒体技术的重要组成部分。第一代视频编码方案最基本的思想是降低图像数据中的信息冗余，以便在有限带宽内传递尽可能高的图像质量，或者在有限的存储空间内存储尽可能长的视频内容。一般把视频序列按时间先后分为一系列的帧图像，每帧图像又划分为宏块进行运动补偿和编码，通常采取变换编码、预测编码、向量量化和子带编码等技术。目前被广泛采用的国际标准包括用于电视电话会议电视的H 2 6 1 标准，用于甚低码率可视电话的H 2 6 3 标准，以及用于运动视频图像压缩的M P E
20、G 一1”和M P E G 2 m 等等。数据压缩是通过在时间和空间上的处理得到的，在时间上使用运动估计和补偿技术以降低信息的冗余，而在空间上使用基于D C T 的解相关加量化编码技术。虽然第一代视频编码技术获得了较大的成功，但仍存在一些主要的问题“。5 1：华南理工大学硕士论文(1)由于其核心是基于块的离散变换以及块运动估计和补偿，所以图像不可避免的产生方块效应，特别在低码率和高压缩比的时候，会导致视觉质量的下降。(2)在编码过程中没有考虑到图像的具体结构和内容，与真实中物体的真实运动相关性不大。(3)人眼视觉系统(H u m a nV i s u a lS y s t e m，H V S)
21、是视频编码系统中一个重要的部分，但是第一代编码系统对此考虑有限，如子带编码和小波变换是一种H V S 的频率特征的方法，但是其仍建立在像素级别上，实际上H V S 是建立在图像特征上的，如边缘、轮廓及纹理等特征。上面所提到的问题构成了第一代编码技术所能提高的上限，对其应用范围也带来直接的限制，如不能支持用户的交互，不能对图像的内容进行查询、编辑、回放等操作。为了克服第一代编码方法所固有的问题，特别是在甚低码率(v e r yl o wb i t r a t e)的应用中，K u n t 在1 9 8 5 年首先提出了“第二代图像编码”豹概念n，。这种方法利用人眼视觉特性，用轮廓、纹理等特征及其
22、定义的区域来表征视觉数据，实现基于轮廓或基于区域的图像表征及编码。近年来，人们将该方法的思想推广到了视频编码中，提出了第二代视频编码方法u m。与第代方法中基于像素的表征方法相比，第二代视频编码方法采用基于区域和对象的表征，即它不是将每帧图像划分为固定大小的块，而是其根据某种均匀性准则划分为任意形状的区域，每个区域具有一定的语义含义，对应于场景中的不同对象或者对象的一部分，然后利用得到的区域之间的高层连续性以获得更高的编码效率。在此，区域定义为一幅图像中具有相同特性的像素集合，对象定义为一幅图像中表征具有具体语义的区域集合。采用基于区域和对象的表征方法，更为符合人眼视觉系统特性，既可以获得更高
23、的压缩效率，同时也为实现基于对象、区域的一些新功能提供了可能。从编码效率上来说，可以在相同比特率的条件下，对感知重要的部分分配多的比特数，而对感知不重要的部分分配少的比特数，从而达到更好的压缩质量，尤其适合于需要高压缩比高质量的环境和应用。从功能扩展上来说。由于对象概念具有与人眼感知相符合的高层语义特征，所以采用基于对象的表征可以很方便的支持基于图像内容的功能和用户的交互操作，以各种新的应用需求，如多媒体移动通信，视频点播，可扩缩的数据库浏览和存取，交互性家庭购物等等。第二代视频编码技术包括基于分割的编码n 1“(S e g m e n t a t i o n B a s e dc o d i
24、 n g)、基于模型的编码(m o d e l b a s e dc o d i n g)以及基于对象的编码“”“1(o b j e c t b a s e dc o d i n g)等几个方面的研究。其中基于对象的编码概念已被人们广泛的接受，并且已经成为新的视频编码标准一一M P E G 一4 标准的基础。第一章绪论1 1 2 视频运动对象分割的研究意义由于M P E G 一4 中采用了基于分割、基于对象和基于模型的编码方法，提出了V O P(V i d e oO b j e c tP l a n e)的概念，这意味着视频对象分割已经成为M P E G 一4 编码过程的一部分，其中运动对象分
25、割技术更是当前视频领域的研究热点。运动对象分割，就是将视频图像序列划分成若干的运动对象，并在时间轴上对这些运动对象进行跟踪，属于视频分割的研究范围。视频分割从其目标来说分为两类。第一类是基于对象或内容的分割m，用于支持基于内容的功能。这种分割要依靠视频图像的高层次对象特征，根据其特定的语义定义完成分割，如在体育比赛视频序列中跑动的运动员或者滚动的球都可以作为一个单独的对象。第二类是基于编码目的的分割m，适用于M P E G-4 标准中，支持其极低码率压缩的功能。这种方法是根据某些准则识别出序列中的具有特定属性的区域的。这里，需对前面已识别并分割的物体进行重新分割，得到均匀区域、运动区域、静止区
26、域等等，然后采用基于区域的编码方法，以提高编码效率。本文研究的运动对象分割属于第一类视频分割的范畴。由于图像分割的局限性，运动对象分割仍然是计算机视觉中的一个极具挑战性的课题。因为图像分割是一个不确定的病态问题。虽然人们已经研究了几十年，至今尚无统一的理论和评判准则，现有的分割算法大都是针对具体问题的。因为要获得视频对象的分割，首先要求对视频对象的属性有明确的规定，即通过其纹理信息，运动信息，形状信息甚至是模型和高层语义信息划分为满足某种均匀一致性的组成区域。而这些信息，如局部统计量、形状参数和运动参数等，需要反过来利用分割的结果来精确获取，这样就陷入了一个循环。而且在自然图像序列中，物体没有
27、一个固定的形状与结构信息，不仅灰度信息不足以对图像进行分割，就算是高层次的形状和运动等几何信息也不足以得出正确的分割结果，需要更高的物理和概念层次上的语义知识。而目前还没有哪种通用算法能够精确地表达出适用于分割的语义概念，所以在各个标准中并没有制定视频分割的通用算法，而是将这部分工作留给了针对具体应用需要的人们去研究。1 1 3 智能交通系统智能交通系统(I n t e l l i g e n tT r a n s p o r t a t i o nS y s t e m，简称I T S)是将先进的信息技术、数据通信传输技术、电子控制技术以及计算机处理技术等有效地综合运用于整个运输管理体系，使
28、人、车、路和谐地统一，从而建立起一个大范围、全方位的实时、准确、高效的运输综合管理系统m 1。例如一个路段的自动电子收3华南理工大学硕士论文费系统和一个运输公司的G P S 车辆定位和监控系统都是I T S 的一个典型例子。近年来各国不惜投入巨资发展智能交通系统，并认定I T S 是未来的交通新体系。其中如何将计算机视觉技术应用于交通管理系统中，是当今I T S 研究的热点之一。这类研究大致集中在车载处理系统(O n b o a r dP r o c e s s i n gS y s t e m)和路边处理系统(R o a d s i d eP r o c e s s i n gS y s t
29、 e m)两个方面”w。在车载处理系统中，摄像机被固定在车辆上，系统识别的目标是车道、前方其他车辆或障碍物、道路旁设立的各种交通标志或交通信号、司机的疲劳程度等由于识别的目标差别性和随机性较大，因此车载处理系统仍处于研究状态。在路边处理系统中，摄像机被固定在道路两旁或上方，系统检测与收集的信息包括交通流量、平均车速等有关实时交通状况的信息、停车车辆和车牌牌照等。交通阻塞或事故可通过监视车辆行驶状态予以及时发现。图像处理技术可提供有关道路交叉路口或公路的二维交通流量参数。车牌识别则可用于动态估计某道路区间的行车时间。本文针对路边处理系统进行一些初期的研究工作，主要的工作是通过计算机图像处理从一段
30、路边拍摄的视频流中把其中运动的车辆分割出来。这实质上是一个视频运动对象分割的问题。1 2 国内外的研究状况视频对象的运动分割建立在对静止图像分割研究的基础上，跟后者最主要的区别是利用了物体在帧间的运动信息，一般同时结合其它诸如颜色、边缘、纹理、区域等信息把前景对象从背景中分离出来。主要的运动对象分割方法有：基于光流场计算的分割方法和基于变化区域检测的分割方法。最新的研究中也有人提出时空混合分割方法或基于其它图像特征的运动分割算法。1 2 1 基于光流场计算的分割方法基于光流场计算的分割方法是指根据运动信息的一致性来划分区域。一般的做法是先估算出图像的光流场(运动场)，然后将具有相似运动的区域进
31、行聚类，从而得到最终的运动对象。对运动一致性好的对象，可以采用运动仿射模型n”“。如文献m，提出的分层视频映射方法，以及文献n 叫，提出的优化方案，充分利用了主运动估计和仿射变换模型的优点，得到了较好的分割效果。另一种常用方法是贝叶斯概率统计方法n”。贝叶斯法可以同时完成运动场的计算和对象的分割，但运算量也较大。贝叶斯方法的关键是选用合适的特征并建立较好的对象特征概率分布模型。但是，有些对象(非刚体对象)不同部分可能具有不同的运动特征，此时运4第一章绪论动信息不能作为有效的对象分割依据，常常需要采用后处理技术来得到实际的对象区域。而且，由于受到噪声的影响以及运动场估计的孔径和遮挡效应，运动场的
32、估计可能并不准确。此外，计算运动场所需的运算量很大。近年来研究人员不断地提出了大量优化算法以增加估计的准确性和减少运算的复杂度m，。1 2 2 基于变化区域检测的分割方法为了避免计算光流场，可以通过计算帧间差分来得到当前帧变化区域，然后再进行分割得到运动对象。通常认为差分图像服从高斯分布或拉普拉颠分布，根据统计特性的不同，可以区分出运动对象和静止背景。该方法计算简单，但由于噪声的影响，简单的帧问差分图像的统计特性不能有效地区分运动对象和静止背景。为了提高算法对噪声的鲁棒性，通常采用空问连通区域、多帧差分、差分图像光滑滤波、时空三维张量等方法m，。时空三维张量法实际上是用时空梯度构成的矩阵的最小
33、本征值表征帧间光滑程度，对于噪声较高和低对比度的图像有较好的分割效果。也可以对差分图像采用小波变换，但是由于要在各个方向上进行滤波，计算量通常较大。1 2 3 其他运动分割方法利用对象的三维模型来分割多个对象更有利于对象的恢复“”。首先利用前两帧得到对象的初始模型，并在随后的处理中不断更新模型。根据二维图像序列恢复出对象的三维形状模型和位置深度信息。在随后的分割与跟踪中可以通过简单的纹理映射等完成多个对象的分割。尽管这种方法的分割效果有一定的改进，但是即使每次只计算几帧，计算量也相当大。尽管利用三维模型来分割对象运算复杂，但是有利于对象的分割和编码，以及解码端的恢复，关键是对象模型的建立。同时
34、利用时域和空域信息的时空联合分割是近年来的研究热点，这种方法是为了准确的提取运动物体的边缘而提出的。它对每帧图像分别进行空间分割和时闯轴上的分割然后融合其结果。如通过空间分割来修正时域的分割和跟踪结果，或是对空间分割的结果进行运动估计后合并具有相同运动的区域。此类方法中空间分割经常采用形态分割中的分水岭算法，对象边缘的定位可以很准确。但运算复杂度也要相对较大。基于轮廓的对象分割方法是最近研究的一个重要方向。由于语义级的对象通常包含多个不同颜色、纹理，甚至不同的运动区域(对非刚体运动对象)，因此形状信息成为一个重要的分割特征。通常可以采用基于H a u s d o r f f 距离匹配法、广义H
35、 o u g h 变换、变形模板、l e v e ls e t 等方法n“。使用空间变换的网格(m e s h)模型也是目前一个主要的研究方向，由于采用网格的运动估计较准确，而且网格结构可以华南理工大学硕士论文较好的反映对象的结构特性n”。为了提高视频对象的分割效率，可以充分利用当前帧中已分割对象的特性，采用基于帧问跟踪的方式对下一帧进行分割。常用的方法有基于H a u s d o r f f 距离的跟踪m，、基于区域的跟踪m，、基于s n a k e 模型的边缘跟踪方法m，、基于网格的匹配跟踪m，、基于变形模板的跟踪“”等。1 2 4 自动分割和半自动分割视频运动对象分割方法还可以根据人工参
36、与的程度来划分成两种方式：自动方式和半自动方式。自动分割难度大，分割效果随图像和视频的内容复杂程度变化很大。主要特点是面向特定应用，预先调整好参数，可完成实时处理任务，如车辆检测系统、大厅监测系统、可视电话和电视会议等；半自动分割方式则适用于复杂场景下对象的分割，虽然分割质量较好，但不具有实时性。其主要特点是依赖于人工的交互确定语义级对象并干预分割和跟踪结果，可用于任意对象的分割、操作和高效压缩。从视频对象分割课题的提出到上世纪末，大部分研究都集中于自动分割方法。1 9 9 7 年，M P E G 专家组还专门组织了关于“自动视频分割技术”的讨论，并提交了若干方案。但是从研究成果来看，到目前为
37、止，还没有一种真正能够完全自动地实现精确的通用视频分割方法。这是因为自动分割技术是根据运动对象在空间和运动方面的低层次信息聚类而进行分割的，但视频对象包含了高级语义概念，如何将其与低层的特征联系起来，还需要结合人工智能、模式识别、图像分析与理解等多方面的知识。而人们现有的研究水平还不足以直接应用这些知识来指导分割。所以，在分割过程中根据应用背景引入用户交互信息的半自动方法显得更加灵活。从上世纪末开始，人们开始把研究的重点转向半自动分割方法。1 9 9 8 年，M P E G组织采纳了一些半自动分割方案。在半自动分割中，常见的用户交互方式包括：在初始空间分割之前，由用户标出待分割的区域范围n 气
38、在分割过程中对结果进行细化和调整m-；在分割的最后，用户对分割结果进行区域合并、边界调整。“等等。在实际应用中，应综合考虑应用背景、对分割速度和分割质量的要求来设计具体的分割方法。比如本文主要是针对智能交通系统中的运动对象分割模块进行一些前期研究和实验工作，所以主要采用半自动分割的方法。我们在分割过程中通过用户交互对中间结果加入了必要的人工处理，以求找到最合适交通图像序列的优化算法。另外，我们也十分注重算法在实时化和工程化方面的可扩展性，希望将来能够改进为自动分割方法并应用于实际的智能交通系统中。第一章绪论1 3 论文的内容结构第一章是绪论，介绍了课题的研究背景、研究意义及目前国内外的研究状况
39、。第二章主要介绍了与视频运动对象分割密切相关的一些基础知识，其中包括：M P E G 一4 的原理和新特点；视频运动对象分割系统的常见结构；实验图像的获取、预处理技术以及数学形态滤波技术；运动对象分割的评价标准。在介绍的同时，还对实验视频序列进行了初步的处理，包括分帧和去噪滤波。第三章我们详细分析了视频运动对象分割的第一步一一全局运动补偿。首先介绍了全局运动估计的基本概念；然后根据交通车辆图像序列的特点采用一个四参数的全局运动估计模型，并提出一种快速优化算法计算出四个参数；最后用双线性插值的方法得到补偿图像。第四章深入讨论了运动分割中最关键的光流场估计技术。首先是介绍二维运动估计的数学模型，接
40、着介绍了二维运动估计的主要方法。通过分析这些方法的优缺点和适用场合，我们决定采用块运动模型来对实验图像进行运动估计。然后我们详细介绍了传统块匹配算法的原理。最后我们提出了一种改进的分层多阈值块匹配算法来进行光流场估计，并通过实验仿真比较了优化算法和传统算法所得到的光流图。第五章我们根据得到的光流场，进步结合变化区域检测，实现了运动对象分割与跟踪。首先介绍了变化区域检测的技术，并采用全局阈值和数学形态滤波的方法得到当前梭的变化区域。然后提出一种结合运动估计和变化区域检测的分割算法，成功分割出实验序列图像中的运动目标。然后我们又提出一种简单的运动目标跟踪算法，利用连续多帧图像的变化区域检测进行背景
41、恢复，并利用运动估计结果计算运动目标的运动轨迹，然后把运动目标映射到背景图像中。在仿真实验中我们顺利实现了两个不同的运动目标的跟踪。最后我们总结了论文的研究成果和不足之处，并对下一步的研究工作提出了合理的意见和建议。1 4 本章小结本章扼要介绍了本课题的研究背景、研究意义以及目前国内外的研究状况，然后介绍了本文的内容和结构安排。华南理工大学硕士论文第二章视频运动对象分割基础2 1M P E 6-4 简介继M P E G 一1 和M P E G 一2 标准之后，M P E G(M o v i n gP i c t u r e sE x p e r t SG r o u p)工作组于1 9 9 9
42、 年颁布了第二代视频压缩编码标准M P E G 一4“”“。在制定初期，M P E G 一4 的主要目的是实现“超低比特率”的压缩编码。但随着视听技术的飞速发展，工作组逐步调整了工作计划以适应新的变化，并彻底改变了最初的目标。现今颁布的新标准具有广泛的应用前景：它主要是用来满足当今世界越来越多的视昕材料要以数字形式进行相互交换而产生的种种需求。这比以往在第一代视频编码标准只注重高压缩比、低比特率的开发更有意义。2 1 1M P E G-4 的新功能M P E G-4 不仅兼容M P E G 一1 2 标准，而且还扩展了以下新的功能；(1)基于内容的交互性M P E G 一4 提供基于内容的操作
43、，比特流编辑和多媒体数据存储工具，采取自然与合成数据混合编码，并增强时间域的随机存取。另外，M P E G 一4 所支持的用户交换功能广泛应用于多媒体数据库的存取和管理，w 胛网络视频数据的访问，家庭影院的制作等需要交互功能的场合。(2)极低码率下的高数据压缩率主要针对现有的或正在制定的标准，在极低码率(2 5)式中S 为点)，)领域中点的坐标(不包括Y)的集合)，M 为S 内坐标点的总数。邻域平均法在去噪音的同时，对图像的边缘和细节会造成模糊效应，当邻域半径增大时，去噪音同时所产生的模糊效应愈加严重。采用式(2-6)的准则产生的g(x，Y)可克服上述缺点：贴劝=舞肋寥 影叶7 纶6，H：上I
44、 口一l 口一5 口一1 I(2 7)(d+1 l 一。a t 1 一口lI 一口一一l模糊对比增强滤波可以有效地加强模糊图像的对比度，突出图像的纹理、边维纳滤波将信号和噪声都视为随机信号，在对这些随机信号进行统计分析的基华南理T 大学硕士论文础上设计出符合最优准则的滤波器。假设信号x(f)是由有用信号s(f)和噪声信号，l(t)构成的，设计滤波器的目的就是使输出信号y()尽可能地降低噪声信号n O)，同时恢复有用信号s(f)。定义误差信号：已0)=J(f)y(，)那么均方误差就是平均误差的度量：(2-8)栅=岳2(f)=e 2(f)d t(2 9)维纳滤波以最小M S E 作为最优准则，来对
45、S(t)作出估计。这是因为对误差进行平方运算将使得大的误差分量远远大于小的误差分量，选择最小均方误差就可以限制滤波器输出的主要误差。也可以使用其他的最优准则进行分析(例如，平均误差等)，但是这些准则将会使得分析过程变得较为复杂。2 3 4 数学形态学滤波数学形态学(M a t h e m a t i c a lM o r p h o l o g y)是分析几何形状和结构的数学方法，是建立在几何代数基础上，用集合论方法定量描述几何结构的科学。数学形态学是由一组形态学的代数运算子组成的。最基本的形态学运算子有：腐蚀(E r o s i o n)、膨胀(D i l a t i o n)、开启(O p
46、 e n i n g O 和闭合(C l o s i n g)。用这些运算子及其组合可以对图像进行形状和结构的分析和处理，包括图像分割、特征提取、边界检测、图像滤波、图像增强和恢复等工作。本文在实验过程中，多次利用数学形态学的方法对图像分割的中间结果进行处理，所以下面我们对几种运算子作简要的介绍。膨胀的运算符为“o”，图像集合A 用结构元素占来膨胀，记作A 0 8。用曰对A 进行膨胀的过程是这样的：首先对口作关于原点的映射，再将其映射像平移耳，当A 与B 映像的交集不为空集时，B 的原点就是膨胀集合的像素。也就是说，用B来膨胀A 得到的集合是四的位移与A 至少有一个非零元素相交是口的原点的位置
47、集合。因而膨胀可以表示为：r 广1A o 口=卅I p)。n A l A(2 一l o)LLJJ腐蚀的运算符是“0”，A 用B 来腐蚀记作，其定义为A O B=纠(口)；A(2 一1 1)l4第二章视频运动对象分割基础式(2 一1 1)表明，A 用日腐蚀的结果是所有满足将丑平移戈后，口仍全部包含在A 中的算的集合，从直观上看就是丑经过平移后全部包含在A 中的原点组成的集合。膨胀和腐蚀这两种操作有着密切的关系：使用结构元素对图像进行腐蚀操作相当于使用结构元素的映像对图像背景进行膨胀操作，反之亦然。也就是说：(A o 曰r=A O B。(2 1 2)A。o B。=(A O B)。(2-1 3)使用
48、同一个结构元素对图像先进行腐蚀然后再进行膨胀的运算称为开启，先进行膨胀然后进行腐蚀的运算称为闭合。开启的运算符为“o”，A 用曰来开启记为A。B，其定义如下：Ao B=(A o 曰 o B(2-1 4)闭合的运算符为“”，A 用8 来闭合记为A B=(A 毋四)0 曰(2-1 5)开启和闭合都不受原点位置的影响，无论原点是否包含在结构元素中，开启和闭合的结果都是一定的。2 4 分割的评价标准如何评价分割一个难以解决的问题，主要是通过人的观察进行主观定性评价，法可分为两大类：目前这方面还没有一个统一的评价准则，缺乏客观性和定量证据。已经提出的方(1)不使用参考图像的评价方法，评价测度一般与区域、
49、轮廓特征有关。例如：文献m，提出了一种评价过分割(分割区域过多)与欠分割(分割区域过少)程度的客观测度。(2)将分割结果与人工分割的参考图像进行对比评价。例如：文献n“提出的一种综合评价测度：最终测量精度(u M A)，取决于对参考图和实际分割图中各种目标特征的测量值的差。使用的目标特征有：目标的面积、圆形性、离心率、形状参数、局长等。上述方法虽然有一定的理论根据，对于人工合成的图像，获得正确的标记图不成问题。然而对于真实世界成像形成的图像就非常困难。在现实世界中，图像分割质量的好坏最终还是以人的主观视觉效果的好坏来评价的。目前来说，主观评价仍然是最主要的评价方法，为大多数研究者所采用。所以，
50、本文的分割结果仍然采用了人的主观视觉的评价方法。华南理工大学硕士论文2 5 本章小结本章主要介绍了视频运动对象分割的一些基础知识和准备工作。首先介绍了第二代视频编码标准一一M P E G 一4 的新特点和基本原理，基于分割的编码技术。然后我们给出了一个常见的视频运动对象分割系统结构框图。接着我们从采集的交通车辆视频流分出连续的1 0 帧图像，然后再分成两组相似的图像，每组分别有5帧，作为下一步运动分割的实验图像序列。再接着介绍了我们在实验中所采用的一些计算机图像处理技术，包括灰度化、平滑去噪滤波和数学形态学滤波等。最后还讨论了分割的评价标准问题。16第三章全局运动估计与补偿第三章全局运动估计与