《运动目标检测与跟踪研究17934140612.docx》由会员分享，可在线阅读，更多相关《运动目标检测与跟踪研究17934140612.docx（86页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、硕 士 学 位 论论 文论文题目 运动目标标检测与跟跟踪的研究究与实现 作者姓名 郑志洵洵 指导教师 杨杨建刚教授授 学科(专业业) 计算机机应用技术术 所在学院 计算机机学院 提交日期 20006年55月15日日 摘 要在道路交通通管理中，为为了获得车车辆的运动动数据，早早期经常采采用的是感感应线圈等等硬件测量量的方法。而而如果采用用摄像头拍拍摄的道路路视频，再再用计算机机软件处理理的方法，则则可以极大大的增加方方便性和灵灵活性。本本文运动目目标检测与与跟踪研究究如何让计计算机从视视频图像序序列中获得得物体运动动数据。运动目标检检测与跟踪踪分为背景景提取、运运动点团提提取、运动动点团位置置提
2、取、运运动物体跟跟踪这几个个步骤，本本文对每一一个步骤的的各种算法法做了实验验分析比较较研究，并并提出了改改进算法。在在背景提取取步骤提出出了改进的的基于均值的背景景提取算法法以及减少少图像像素素的兴趣区区提取算法法。在运动动点团提取取的阴影处处理步骤提提出了改进进的基于RRGB空间间的阴影处处理算法。在在运动点团团位置提取取步骤提出出了改进的的线段编码码算法。在在运动物体体跟踪步骤骤提出了基基于预测的的运动跟踪踪算法。实实验与分析析说明本文文提出的算算法优于原原算法。本文还通过过实验分析析比较了基基于灰度图图像序列的的运动目标标检测与跟跟踪、基于于边缘图像像序列的运运动目标检检测与跟踪踪，它
3、们都都没有基于于彩色图像像序列的运运动目标检检测与跟踪踪效果好。最后，本文文得到了一一整套运动动目标检测测与跟踪的的方法，它它们的健壮壮性和实时时性都符合合实际运用用的要求。关键词：背景提取、阴阴影处理、运动目标检测、运动跟踪、彩色图像、灰度图像、彩色边缘检测AbstrractIn a trafffic conttrol systtem, in oorderr to achiieve the dataa of moviing vvehiccles, harrdwarre iss insstallled tto diirecttly mmeasuure tthem in tthe eearlyy
4、 dayys. IIf wee usee commputeer sooftwaare tto caalcullate the dataa froom trraffiic viideo, we can gainn morre coonvenniencce annd fllexibbilitty. TThis thessis iis foocuseed onn thee ressearcch off thee metthodss of achiievinng thhe daata oof moovingg vehhiclees frrom ttrafffic vvideoo by comppute
5、rr.Movinng obbjectt dettectiion aand ttrackking can be ddividded iinto thesse stteps: bacckgroound extrractiion, moviing bblob extrractiion, moviing bblobs poositiion aachieevingg andd movving objeect ttrackking. Thiis thhesiss shoows oour eexperrimennts aand aanalyysis on mmany algoorithhms iin eaa
6、ch oof thhe stteps. It alsoo shoows tthe iimproovemeent oof thhe allgoriithmss madde byy us. Thee expperimmentss andd anaalysiis deemonsstratte thhat tthe iimprooved algoorithhms aare bbetteer thhen tthe oorigiinal oness.Experrimennts aand aanalyysis alsoo demmonsttratee thaat moovingg objject detee
7、ctioon annd trrackiing bbasedd on coloor immagess is bettter tthan baseed onn thee graay immagess or edgee imaages.In thhe ennd wee obttain a whhole methhod oof moovingg objject deteectioon annd trrackiing. The robuustneess aand rreal-timee proopertty off thee metthod can reacch thhe accquirremennt
8、off thee reaal apppliccatioon. Keywoords:Backggrounnd Exxtracctionn, Shhadoww Eliiminaationn, Moovingg Objject Deteectioon, MMovinng Obbjectt Traackinng, CColorr Imaage, Grayy Imaage, Coloor Eddge DDetecctor目 录摘 要IAbstrractII目 录III第一章 引引言1第二章 运运动目标检检测和跟踪踪的流程2第三章 背背景提取73.1 彩彩色图像的的背景提取取73.1.11 基于均均值的彩
9、色色图像背景景提取83.1.22 改进的的基于均值值的彩色图图像背景提提取93.1.33 基于中中值滤波的的彩色背景景图像提取取113.1.44 基于共共同区域的的彩色图像像背景提取取133.1.55 彩色图图像背景提提取的实验验分析163.2 灰灰度图像的的背景提取取243.2.11 彩色图图像转换成成灰度图像像243.2.22 灰度图图像的背景景提取253.3 边边缘图像的的背景提取取263.3.11 彩色图图像的边缘缘提取273.3.22 边缘图图像的背景景提取28第四章 运运动点团提提取和背景景更新314.1 彩彩色图像的的运动点团团提取314.1.11 基于马马氏距离的的运动点团团提
10、取324.1.22 基于欧欧氏距离的的运动点团团提取354.2 阴阴影处理384.2.11 基于RGBB空间的阴阴影处理394.2.22 改进的的基于RGGB空间的的阴影处理理404.2.33 基于HSII空间的阴阴影处理424.3 灰灰度图像的的运动点团团提取444.4 边边缘图像的的运动点团团提取474.5 基基于帧间差差的运动点点团提取及及其与背景景差法比较较494.6 背背景更新50第五章 兴兴趣区提取取515.1 兴兴趣区的提提取和实验验515.2 道道路繁忙度度获取53第六章 运运动点团的的位置提取取546.1 数数学形态学学处理546.2 轮轮廓追踪566.3 线线段编码576.
11、4 改改进的线段段编码586.5 运运动点团层层运动跟踪踪59第七章 运运动跟踪627.1 卡卡尔曼滤波波627.2 基基于预测的的运动跟踪踪647.3 运运动跟踪算算法的计算算复杂性分分析与改进进687.4 基基于边缘图图像的运动动跟踪结果果697.5 基基于预测的的运动跟踪踪算法在不不同采样率率下的健壮壮性707.6 运运动跟踪的的最终结果果74第八章 总总结与展望望75参考文献76致 谢78第一章 引引言在道路交通通控制管理理领域，管管理部门需需要掌握道道路上车辆辆的速度、车车辆的数量量等等数据据以控制红红绿灯平衡衡道路车流流量、对超超速和闯红红灯的车辆辆进行处罚罚。早期，人人们一般采采
12、用感应线线圈的方式式获得车辆辆的速度、车车辆的数量量等数据。这这种方法，需需要在检测测路段埋入入感应线圈圈，这需要要对道路施施工，会影影响交通，严重影响道路寿命，并且感应线圈设备容易被重型车辆压坏，维护起来又要对道路施工，非常麻烦1。随着计算机机技术的发发展，道路路交通数据据获取不再再需要复杂杂的线圈设设备了。只只需在检测测路段固定定摄像头，摄摄像头拍摄摄的道路数数字化视频频压缩后通通过传输线线路（如光光纤）传输输到监控中中心，监控控中心的计计算机采用用数字图像处处理的方法法将道路交交通的数据据计算出来来2。与早期的方法相比，这种方法利用了软件算法通过计算机的强大计算能力得到我们需要的数据，而
13、不是复杂的硬件设备（如感应线圈）对数据直接测量。这极大的增加了方便性和灵活性。如何让计算机从视频图像序列中获得道路交通数据，例如车辆的速度等，近年来很多人对此展开了研究。从视频图像像序列中获获得运动物物体的数据据的方法除除了能运用用在道路交交通外，也也能运用于于各种监控控领域，例例如小区防防盗、银行行监控等等等，用以检检测和跟踪踪进入场景景的人或物物体，应用用范围非常常广泛。本文就是研研究如何让让计算机从从视频图像像序列中获获得物体运运动数据视频图图像序列中中运动物体体的检测和跟踪踪。研究以道路路交通作为为实验场景景，单摄像像头且摄像像头固定的的情况。输输入是RGBB色彩空间间的视频图图像序列
14、，目标是实现对视频图像序列中运动物体的跟踪，获得其在图像坐标下的速度。而多摄像头的情况和摄像头跟随物体运动的情况，比单摄像头且摄像头固定的情况复杂，例如多摄像头的多个二维图像序列中如何重构三维场景等。单摄像头且摄像头固定的情况是最基本的情况，因此本文集中精力研究单摄像头且摄像头固定情况下的运动目标检测和跟踪。第二章 运运动目标检检测和跟踪的流程在道路视频频图像序列列中获得车车辆的速度度，可以使使用简单的的方法，就就是在图像像中的道路路位置设置置虚拟检测测线，模拟拟感应线圈圈，根据虚拟检检测线上的的像素颜色色的变化得得到经过虚拟检检测线的车车辆的速度度，同时也也可以对经经过虚拟检检测线的车车辆计
15、数3。这这种方法有有很大的局局限性。首首先，它需需要人工标标定虚拟检检测线，摄摄像头一旦旦换位置，就就需要重新新设定一次次虚拟检测测线，很不不方便；其其次，它只只能检测通通过虚拟检检测线的车车辆，而对对图像其他他区域的车车辆一无所所知，图像像的大量信信息丢失掉掉了。因此此，本文不不采取虚拟拟检测线的的方法，而而以运动物物体（车辆辆）为目标标，跟踪每个运运动物体在在视频图像像序列中的的位置，进进而得到每每个物体的的运动速度度和运动物物体总数。运动目标检检测与跟踪踪的流程有有三个层次次，如图一一4。每每个层次再再细分，可可以得到图图二的几个步步骤。图像像素层运动点团层运动物体层图一 运动动目标检测
16、测与跟踪的的层次 视频图像序列 边缘检测 背景提取 运动点团提取 运动点团位置提取 数学形态学处理 物体运动跟踪 兴趣区获取 灰度转换 道路繁忙度 车型车牌识别 道路事件检测 摄像头标定物体真实速度获取 背景更新 图二 运动动目标检测测和跟踪的的步骤系统的输入入是彩色视频图图像序列。检测运动物体需要无运动物体的背景图像，而视频图像序列中的每帧图像一般都有运动物体，因此需要提取背景。背景图像提取出来后，将每一帧图像与背景图像作差，然后二值化，得到前景像素构成的运动点团图像，这就是背景差法。背景提取有有很多种算算法，第三三章将详述述与比较各各种背景提提取算法，并并提出一种种改进的算算法，实验验证明
17、改进进的算法有有更好的效效果。除了了直接将视视频图像序序列做处理理外，还可可以先将视视频图像序序列转换成成灰度图像像序列，然然后在灰度度图像序列列上做运动动目标检测测和跟踪；或者，因因为前景、背背景分离的的最重要的的信息是边边缘信息，可先将视频图像序列转换成边缘图像序列，然后在边缘图像序列上做运动目标检测和跟踪5。第三章也讲述了彩色图像转变成灰度图像的方法以及提取彩色图像的边缘图像的方法。第四章讲述述并比较了了每一帧图图像与背景景图像作差差的不同方方法。由于于阴影的存存在，背景景差法会把把阴影作为为运动物体体的一部分分，而阴影影会把不同同的运动物物体连成一一片，影响响之后的处处理，因此此需要对
18、阴阴影做特别别处理。第第四章讲述述和比较了阴影处理理的不同方方法，并提提出一种改改进的算法法，实验分分析其优于于其他算法法。第四章章也指出了了基于灰度度图像的运运动点团提提取无法解解决阴影的的问题，因因此基于灰灰度图像的的运动目标标检测与跟跟踪方法没没有基于彩彩色图像的的方法好。提取运动前景像素除了上面所述背景差法外，还可以采用相邻两帧图像作差的帧间差法6，第四章接着讲述帧间差法，并将其与背景差法比较。图像会随时间而变化，得到前景和背景像素后，就可以对背景图像做更新，第四章最后讲述背景更新的策略。并不是图像像的每一个个像素都会会出现运动动物体，关关注区是图图像中可能能会出现运运动物体的的部分。
19、在在背景提取取的时候可可以同时获获取关注区区，之后的的处理就集集中在关注注区中，这这是减少图图像像素数数，减少处处理时间的的好方法。第第五章讲述述了关注区区的提取方方法和利用用关注区数据据计算道路路繁忙度的的方法。前面讲述的的处理方法法都是基于于图像像素素的，属于于图一中的图像像像素层，这这一层处理理的结果是是运动点团团二值图像像，1代表表运动前景景像素，00代表背景景像素。接接下来到了了运动点团团层处理。第第六章讲述述运动点团团层的处理理。首先是对运运动点团二二值图像做做数学形态态学处理，去去除微小的的噪声物体体。然后提提取运动点点团的位置置和大小。提提取运动点点团的位置置和大小有有多种算法
20、法，第六章章比较了不不同的算法法，并且提提出了改进进算法，改改进算法更更适合运动动目标检测测和跟踪。第第六章还讲讲述了运动动点团层的的运动跟踪踪，并指出出了其存在在的几个问问题，为解解决这些问问题，必须须在运动点点团层上增增加运动物物体层（见见图一），从从而引出了了第七章。另外，在运动跟踪时，我们是先确定一帧图像中所有运动点团的位置，然后和前一帧图像中的运动点团位置关系判断是否为同一运动物体。还有一种运动跟踪的方法7：在当前运动点团邻域搜索匹配下一帧中的运动点团，这种方法不需要提取运动点团的位置和大小，可以称之为基于像素的运动跟踪，然而图像的像素数量是很大的，这种像素点搜索匹配的方法所需的时间
21、远远多于我们的方法，因此我们没有采用这种像素点搜索匹配的方法。第七章讲述述运动物体体层的运动动跟踪。首首先，介绍绍了卡尔曼曼滤波器，其其可以用于于运动跟踪踪4，但但其存在一一些问题，由由卡尔曼滤滤波器启发发，本文提提出了一种种基于预测测的运动跟跟踪方法，其其实质是一一种简化的的卡尔曼滤滤波器，很很好的解决决了卡尔曼曼滤波器存存在的问题题。我们做做了很多实实验验证了了此算法的的健壮性。这这一章还比比较了基于于边缘图像像的运动跟跟踪与基于于原始的彩彩色图像的的运动跟踪踪的效果，指指出了基于于边缘图像像的运动跟跟踪差于基基于原始彩彩色图像的的运动跟踪踪的原因。图二中虚线线框的步骤骤，是物体体运动跟踪
22、踪之后可以以继续进行行的后续步步骤，本文文把精力集集中放在运运动目标检检测和跟踪踪的研究上，没没有对这些些后续步骤骤做更多研研究，在这这里做简单单说明：运动物体体真实速度度获取的目目的是把运动跟踪踪得到的物体体在图像二二维坐标下下的速度转转换成真实实空间三维维坐标下的的速度，其其涉及到摄摄像头标定定；车型车牌牌识别、道道路事件检检测是将运运动跟踪得得到的车辆辆和道路数数据作进一一步的处理理，以得到到诸如车型型、车牌、车车辆是否闯闯红灯、车车辆是否超超速等等，其其涉及到很很多研究方方向，如模模式识别等等。我们研究运运动目标检检测和跟踪使用用道路交通通作为实验验场景。我我们对多组组实验数据据进行实
23、验，每组组实验数据据是一段彩彩色的视频频图像序列列，所有实验视视频数据的的分辨率都都归一到77203552像素。下文文所说的“实验数据据一”是交通管管理部门摄摄制的155秒道路视视频，图三是其中的的一帧；“实验数据据二”是我们用用数码相机机到天桥上上摄制的223秒道路路视频，图图四是其中的的一帧。图三 实验验数据一的的一帧图像像图四 实验验数据二的的一帧图像像第三章 背背景提取背景提取是是在视频图图像序列中中提取出背背景。背景景就是场景景中静止不不动的景物物。因为摄摄像机不动动，因此图图像中的每每个像素点点都有一个个对应的背背景值，在在一段时间间内这个值值比较固定定。背景提提取的目标标就是根据
24、据视频图像像序列，找找出图像中中每一点的的背景值。这这是下一步步运动点团团提取的基基础。在运运动点团提提取中，背背景提取这这一步提取取出来的背背景图像将将作为参考考图像，每每一帧图像像都要与背背景图像作作差，把背背景去除，以以得到运动动点团前景景。因此，这这一步提取取出的背景景图像的好好坏将直接接影响到之之后每一帧帧的运动点点团提取的的质量。背背景会随着着时间的变变化而发生生变化，例例如光照变变化导致背背景亮度、色色度变化；运动物体体停止运动动成为背景景的一部分分；又如背背景的一部部分运动起起来成为运运动前景等等。因此背背景需要不不断更新，而而背景的更更新一般需需要运动前前景的信息息，所以背背
25、景的更新新将在第四章讲述。本章章讲述背景景初始化的的方法，即在没有运运动前景的的任何信息息的情况下下提取背景景图像，输输入是视频频图像序列列，每帧图图像都包括括运动物体体和静止景景物，输出出是只含静静止景物的的背景图像像。第3.1节讲述述原始彩色图像的的背景提取取，处理对对象是彩色色图像序列；第3.22节讲述灰灰度图像的的背景提取取先把彩彩色图像序序列转换成成灰度图像像序列，再再对灰度图图像序列提提取背景；第3.3节讲述边缘图图像的背景景提取先对彩色图像提提取边缘，再再对边缘图图像序列提提取背景，这这是考虑到到为将运动前前景和静止止背景分离离，边缘信信息起到的的重要作用。3.1 彩彩色图像的的
26、背景提取取原始彩色图图像的背景景提取，基基本思想是是，图像中中的某个像像素按时间间抽样，其其作为背景景像素的时时间比作为为运动前景景的时间长长，即其作作为背景的的概率比作作为前景的的概率大，而而且背景和和前景在颜颜色上和亮亮度上都有有很大不同同。这是因因为，对于于固定场景景，运动物物体在运动动，其转瞬瞬即逝，大大多数时间间我们看到的的都是静止止背景，因因此图像上上某个像素素点作为前前景的时间间相对作为为背景的时时间短得多多；而且，运运动物体和和静止背景景在色彩上上有明显区区别，人能能轻易分辨辨出前景物物体，即使使在一张静静止图像上上。不论何何种方法，都都是基于这这个思想。下下面分别讲讲述不同方
27、方法。各个个方法的实实验对比分分析在第33.1.55节。3.1.11 基于均均值的彩色色图像背景景提取这是背景提提取的最简简单的方法法。因为视视频中的某某个像素对对时间采样样，背景出出现的次数数比前景多多，因此，将将一定的时时间段中的的视频序列列采样，比比如2.55帧/秒，对对每一个像像素，将这这一段时间间中的所有有图像帧取取平均，那那么这个平平均值会接接近背景，背背景出现的的次数比前前景越多，则则这个平均均值就越接接近背景。前前面已经说说过，运动动前景是转转瞬即逝的的。就以这这个平均值作为为这个像素素的背景值。同同时，求取取平均值还可可以在一定定程度上抑抑制噪声。具具体算法如如下：1)在某时
28、时间段采样样得到N个个图像帧FFi, i=1,2N；2)对每一一个像素点点(x,yy)，背景景设图像的总总像素数为为M，对每每一个像素素都要遍历历N个图像像帧，因此此这个算法法的时间复复杂度是OO(MN)。实验数据一一2.5帧帧/秒采样样10秒得得到的背景景如图五，实实验数据二二2.5帧帧/秒采样样10秒得得到的背景景如图六。从从图中我们们可以看到到前景的痕痕迹，特别别在车辆较较密的车道道。此方法法和其他方方法的实验验对比分析析见第3.1.5节节。图五 实验验数据一基基于均值的的背景图像像图六 实验验数据二基基于均值的的背景图像像3.1.22 改进的的基于均值值的彩色图图像背景提提取在第3.1
29、1.1节我我们只是简简单的使用用了平均值求取取背景。在在求平均值之前前，如果能能去除不大大可能是背背景的像素素，那么求求出来的平平均值会更更加接近背背景。然而而，这个时时候前景还还没不知道道，用什么么方法可以以简单有效效的得到不不大可能是是背景的像像素呢？根根据背景出出现的次数数比前景多多，且前景景颜色和背背景不同，可可以知道，对对于某个像像素点，其其对时间的的采样点在在彩色RGGB空间中中会以背景点为中心点聚集集在一起，而前景点会会离中心点点比较远。可可以认为，像素颜色矢量的一个分量离中心点的距离超过这个分量的标准差的点不大可能是背景，即使是背景，也叠加了比较大的噪声。标准差计算公式为，c=
30、r,g,b表示矢量的红、绿、蓝三种颜色分量，X0是样本的平均值。因此，可以对基于均值的彩色图像背景提取算法做改进：在求平均值之后求标准差，然后把与均值大于标准差的采样点去除，最后再求余下的点的平均值，把此值作为背景值。改进的算法如下：1)在某时时间段采样样得到N个个图像帧FFi, i=1,2N；2)对每一一个像素点点(x,yy)：a)求中心心点；b)求标准准差，c=r,g,b；c)求集合合中所有元元素的平均均值，这个个值就是所所求背景BB(x,yy)。设图像的总总像素数为为M，则对对每一个像像素都要遍遍历3次NN个图像帧帧求中心点点一次，求求标准差一一次，最后后再求均值值一次，因因此这个算算法
31、的时间间复杂度是是O(3MMN)=OO(MN)，比原来来的单纯求求平均值的的算法费时时。实验数据一一2.5帧帧/秒采样样10秒得得到的背景景如图七；实验数据据二2.55帧/秒采采样10秒秒得到的背背景如图八八。可以看看到，此方方法得到的的背景图像像比单纯求求平均值的的算法好，单单纯求平均均值的方法法得到的背背景图像留留有不少运运动前景的的痕迹，而而此改进算算法得到的的背景图像像中运动前前景痕迹就就少多了。此此方法和其其他方法的的实验对比比分析见第第3.1.5节。图七 实验验数据一改改进的基于于均值的背背景图像图八 实验验数据二改改进的基于于均值的背背景图像3.1.33 基于中中值滤波的的彩色背
32、景景图像提取取中值滤波器器能有效的的去除图像像的噪声。它它的一般算算法为88：遍历图像的的每一个像像素，将它它和与它相邻的的八个像素素的灰度排排序，取排排在中间的的像素的灰灰度值作为为输出图像像的这个像像素的灰度度。因为噪声点点的灰度与与非噪声点点差别大，而而且图像有有空间局部部性，也就就是说，对对于没有被被噪声污染染的图像，里里面的每一一个像素和和它相邻的的像素的灰灰度差别不不大。我们们将这个像像素和它相相邻的像素素排序，噪噪声点将被被排到两边边，排在中中间的像素素就是没被被噪声污染染的像素，把把它作为滤滤波结果。这这就是中值值滤波器能能有效去除除图像噪声声的原因。上面说的是是灰度图像像的中
33、值滤滤波，如何何将其扩展展到彩色图图像呢？彩彩色图像一一般使用RRGB空间间表示，每每个像素点点是一三维维矢量，各各个分量分分别代表红红、绿、蓝蓝三个颜色色的灰度。可可以分别将将这三种颜颜色的灰度度图做中值滤波波，然后合合成。然而而这种方法法将导致滤滤波后一个个像素的三三个分量来来自不同的的像素点，合合成后的颜颜色不可避避免的被扭曲。可可以采取另另外一种方方法。考虑虑到噪声点点的颜色与与非噪声点点差别大，在在滤波时的的排序中排排到两边，可可以将彩色色图像转换换成灰度图图像，在转转换后的灰灰度图像中中噪声点和和非噪声点点也会有较大的差差别，排序序后，取排排在中间的的像素对应应的原始彩彩色图像的的
34、像素矢量量作为滤波结果果。这样滤滤波结果的的每一个像像素都是原原始彩色图图像中真实实存在的像像素，避免免了同一个个像素的三三个颜色分分量来源于于不同的像像素导致的的颜色扭曲曲。彩色图图像转换成成灰度图像像的方法详详见第3.2.1节。将将中值滤波波扩展到彩彩色图像的的算法如下下：将彩色图像像转换成灰灰度图像，遍遍历灰度图图像的每一一个像素，将将它和与它相邻的的八个像素素的灰度排排序，取排排在中间的的像素对应应的原始彩彩色图像的的像素矢量量作为输出图像像的这个像像素。中值滤波是是对单幅图图像在空间间采样点上上的滤波，不不能直接用用于背景提提取。对于于背景提取取，我们需需要将此算算法扩展。视频中的某
35、个像素对时间采样，背景出现的次数比前景多，可以认为前景是“噪声”，这样我们就可以对一个像素在时间上采样得到的样本进行滤波对它们排序，噪声将排在两边，即前景排在两边，排在中部的是背景，取排在中间的像素作为背景结果9。我们处理的是彩色图像序列，因此如前所述，将彩色图像转换成灰度图像，然后在滤波的排序后，选择排在中间的像素对应的原始彩色图像的像素矢量作为滤波结果。具体算法如下：1)在某时时间段采样样得到N个个图像帧FFi, i=1,2N；2)对每一一个像素点点(x,yy):a)将彩色色像素矢量量Fi(x,yy)转换成成灰度Gii(x,yy)，i=1,2N;b)将集合合Gi(x,yy)|i=1,2N中
36、的的元素排序序；c)设排在在中间的是是Gk(x,y)，则像素素矢量Fkk(x,yy)作为滤滤波结果。对n个元素素排序的时时间复杂度度是O(nnlognn)或者OO(n2)，取决决于算法，其不是线性的，随着n的增大迅速增大。设图像的像素数是M，对每个像素都要对采样的N个样本进行排序，因此此算法的时间复杂度是O(MNlogN)或者O(MN2)，是比较耗时的算法。实验数据一一2.5帧帧/秒采样样10秒得得到的背景景如图九，实实验数据二二2.5帧帧/秒采样样10秒得得到的背景景如图十。此此方法和其其他方法的的实验对比比分析见第第3.1.5节。图九 实验验数据一基基于中值滤滤波的背景景图像图十 实验验数
37、据一基基于中值滤滤波的背景景图像3.1.44 基于共共同区域的的彩色图像像背景提取取在一个像素素的所有随随时间采样样的样本中中，在求均均值之前，如如果能去除除不大可能能是背景的的样本，那那么求出来来的平均值值会更加接接近背景。关关键问题是是在不知道道前景的情情况下，如如何决定哪哪些样本不不大可能是是背景。第第3.1.2节讲了了一种基于于标准差的的方法：认认为离中心心点距离大于于标准差的的点不大可可能是背景景点。有没没有不用计计算标准差差的方法呢呢？考虑前前后相隔一一定时间的的两图像帧帧，因为前前景在运动动，其转瞬瞬即逝，因因此同一个个像素在有有一定时间间间隔的两两帧中如果果差别不大大，则它很大
38、大可能是背背景前景在在这段时间间中必然运运动变化了了；如果这这个像素在在这两图像像帧中差别别很大，则则至少有一一帧中的这这个像素不不是背景。称称在有一定定时间间隔隔的两图像像帧中差别别不大的像像素点的集集合为共同同区域，认认为共同区区域就是背背景区域。在在一定的时时间段中，采采样得到若若干有一定定时间间隔隔的图像对对，每个图图像对找共共同区域，然然后对共同同区域求平平均值得到到最后的背背景图像10。这时还还要考虑某某些像素不不在任何背背景区域中中的情况如果前前景运动变变化过于频频繁，某像像素在任何何图像对中中都有很大大差别，这这种情况将将出现。这这时，这个个像素的背背景值采用用所有采样样图像帧
39、求求均值的方方法得到。像素在图像像对中的差差别用像素素矢量（彩彩色图像，像像素是RGGB空间的的矢量）的的欧氏距离离来量度，如如果其大于于一阈值，则则认为差别别大，否则则认为差别别小。这个个阈值可以以和第四章章运动点团团前景提取取的二值化化阈值相同同，因为它它们的内涵涵都是前景景和背景差差别的量度度。这个阈值值如何确定定将在第四四章详细讲讲述。另外外，考虑阈阈值的极端端情况，如如果这个阈阈值很小，任任何像素在在图像对中中的差别都都大于这个个阈值，则则找不到任任何共同区区域，这时时每一个像像素的背景景都是单纯纯用所有采采样图像帧帧的平均值值得到；如如果这个阈阈值很大，任任何像素在在图像对中中的差
40、别都都小于这个个阈值，则则每个图像像对中的所所有像素都都是共同区区域，这时时每一个像像素的背景景也是由所所有采样图图像帧的均均值得到。在在这两种极极端情况下下，这个方方法都蜕变变成第3.1.1节节的基于均均值的图像像背景提取取算法，所所以基于均均值的图像像背景提取取算法是基基于共同区区域的图像像背景提取取算法的特特殊情况。详详细算法如如下：1)在某时时间段采样样得到N个个图像帧FFi, i=1,2N；2)对每一一个像素点点(x,yy): aa)集合AA=； bb)对每一一个图像对对Fi(x,yy)和Fii+N/22(x,yy)，i=1,2N/2 如如果，则将将Fi(x,yy)和Fii+N/22
41、(x,yy)加入集集合A，其其中Ta是阈值； cc)计算集集合A中所所有元素的的均值作为为像素点(x,y)的背景值值。设图像的总总像素数为为M，则对对每一个像像素都要遍遍历2次NN个图像帧帧产生集集合A的点点一次，求求平均值一一次，因此此这个算法法的时间复复杂度是OO(2MNN)=O(MN)。实验数据一一2.5帧帧/秒采样样10秒得得到的背景景如图十一一；实验数数据二2.5帧/秒秒采样100秒得到的的背景如图图十二。从从图中可以以看到，提提取出的背背景并不平平滑，这是是因为每个个像素计算算均值的集集合的大小小不一样所所致。此算算法每个像像素计算均均值的集合合（即上述述集合A）的的大小的变变化范
42、围要要比改进的的基于均值值的方法大大得多，这这导致了其其提取出的的背景图像像在这几种种方法中最最不平滑。此此方法和其其他方法的的实验对比比分析见第第3.1.5节。图十一 实实验数据一一基于共同同区域的背背景图像图十二 实实验数据二二基于共同同区域的背背景图像3.1.55 彩色图图像背景提提取的实验验分析实验采用110秒道路路交通视频频数据，在在上面做均匀采样样，例如采采样率是11帧/秒（11f/s），就就是每秒取取1帧，总总共在100秒中均匀匀取10帧帧；采样率率5帧/秒秒（5f/s），就就是每秒取取5帧，总总共在100秒中均匀匀取50帧帧。实验在在赛扬1.0G CCPU、3384兆内内存的计
43、算算机上进行行。表一是是前述四种种方法在不不同采样率率下处理完完毕实际所需的的时间，只只包括处理理时间，不不包括图像像序列读取取和背景图图像输出的的时间。不不同采样率率意味着处处理的总图图像数不同同，采样率率与时间（这这里10秒秒）之积就是总总图像数。采采样率越高高，处理的的时间越长长，见表一一。采样率(ff/s)122.556.2512.525基于均值(s)0.75 0.93 1.10 1.72 2.16 3.82 7.13 改进的基于于均值(ss)1.56 2.97 3.50 6.44 8.28 17.722 34.377 基于中值滤滤波(s)0.57 1.10 1.28 3.28 4.6
44、9 14.900 47.855 基于共同区区域(s)0.57 0.84 0.97 1.53 1.69 3.25 6.03 表一 不同同方法提取取背景实际际所需处理理时间我们可以由由表一作出出不同算法法处理时间间与采样率率的关系图图。基于均均值的背景景提取方法法的时间与与采样率关关系图见图图十三；改改进的基于于均值的背背景提取方方法的时间间与采样率率关系图见见图十四；基于中中值滤波的的背景提取取方法的时时间与采样样率关系图图见图十五五；基于共共同区域的的背景提取取方法的时时间与采样样率关系图图见图十六六。图十三 基基于均值的的彩色图像像背景提取取时间与采采样率关系系图图十四 改改进的基于于均值的
45、彩彩色图像背背景提取时时间与采样样率关系图图图十五 基基于中值滤滤波的彩色色图像背景景提取时间间与采样率率关系图图十六 基基于共同区区域的彩色色图像背景景提取时间间与采样率率关系图从表一和图图十三至图十十六可以看到到，背景提提取所需时时间随采样样率的增加加而增加；除了基于于中值滤波波的背景提提取方法外外，其他方方法处理时时间随采样样率增加线线性增加；而基于中中值滤波的的背景提取取方法，处处理时间随随采样率增增加显著增增长；基于于均值的背背景提取方方法和基于于共同区域域的背景提提取方法所所需时间差差别不大；改进的基基于均值的的背景提取取方法比基基于均值和和基于共同同区域的方方法需要时时间多。这这
46、个和前面面每种方法法的时间复复杂度分析析是一致的的。为了比较不不同算法求求得的背景景图像的效效果，需要要获得标准准背景作为为比较标准准。标准背背景采用同同一场景尽尽可能多的的图像帧使用第33.1.22节的改进进的基于均均值的背景景提取算法法取得。这这是因为此此算法根据据标准差先先将不大可可能是背景景的像素去去除了，比比单纯用平平均值准确确，同时在在一定程度度上抑制了了噪声，并并且由于使用了了尽可能多多的图像，比比只使用110秒的图图像有更多多信息。实实验数据一一所有3776帧图像像得到的标标准图像见见图十七；实验数数据二所有有576帧帧图像得到到的标准图图像见图十十八。图十七 实实验数据一一的标准背背景图像图十八 实实验数据二二的标准背背景图像确定了标准准图像后，考考虑比较标标准。越接接近标准图图像的背景景图像越好好。如何比比较两幅图图像是否接接近？我们们使用峰值值信噪比PPSNR来来衡量图像像的接近程程度。峰值值信噪比的的计算公式式如下：其中，对数数中分子的的255表表示像素灰灰度最大的的差值，在在256级级灰度中，这这个最大差差值是2555（2555-0=255）；对数中分分母的M是是图像的像像素总数，FF1(i)、FF2(i)表表