《目的跟踪算法综述_1.docx》由会员分享，可在线阅读，更多相关《目的跟踪算法综述_1.docx（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、目的跟踪算法综述。目的跟踪算法综述大连理工大学卢湖川一、引言目的跟踪是计算机视觉领域的一个重要问题，在运动分析、视频压缩、行为识别、视频监控、智能交通和机器人导航等很多研究方向上都有着广泛的应用。目的跟踪的主要任务是给定目的物体在第一帧视频图像中的位置，通过外观模型和运动模型估计目的在接下来的视频图像中的状态。如图1所示。目的跟踪主要能够分为5部分，分别是运动模型、特征提取、外观模型、目的定位和模型更新。运动模型可以根据上一帧目的的位置来预测在当前帧目的可能出现的区域，如今大部分算法采用的是粒子滤波或相关滤波的方法来建模目的运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是
2、被跟踪目的的可能性，进行目的定位。由于跟踪物体先验信息的缺乏，需要在跟踪经过中实时进行模型更新，使得跟踪器能够适应目的外观和环境的变化。尽管在线目的跟踪的研究在过去几十年里有很大进展，但是由被跟踪目的外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对近期几年本领域相关算法进行综述。二、目的跟踪研究现状1.基于相关滤波的目的跟踪算法在相关滤波目的跟踪算法出现之前，大部分目的跟踪算法采用粒子滤波框架来进行目的跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了一种新颖的循环采样方法，并利用循环样本构建循环矩阵。利用循环矩阵时域频域转换的特殊性
3、质，将运算转换到频域内进行计算，大大加快的分类器的训练。同时，在目的检测阶段，分类器能够同时得到所有循环样本得分组成的响应图像，根据最大值位置进行目的定位。相关滤波用于目标跟踪最早是在MOSSE算法1中提出的。发展至今，很多基于相关滤波的改良工作在目的跟踪领域已经获得很多可喜的成果。1.1.特征部分改良MOSSE1算法及在此基础上引入循环矩阵快速计算的CSK2算法均采用简单灰度特征，这种特征很容易遭到外界环境的干扰，导致跟踪不准确。为了提升算法性能，CN算法3对特征部分进行了优化，提出CNColorName空间，该空间通道数为11包括黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄，颜色空间的引入大
4、大提升了算法的精度。与此类似，KCF算法4采用方向梯度直方图HOG特征与相关滤波算法结合，同时提出一种将多通道特征融入相关滤波的方法。这种特征对于能够提取物体的边缘信息，对于光照和颜色变化等比拟鲁棒。方向梯度直方图HOG特征对于运动模糊、光照变化及颜色变化等鲁棒性良好，但对于形变的鲁棒性较差；颜色特征对于形变鲁棒性较好，但对于光照变化不够鲁棒。STAPLE算法5将两种特征进行有效地结合，使用方向直方图特征得到相关滤波的响应图，使用颜色直方图得到的统计得分，两者融合得到最后的响应图像并估计目的位置，提高了跟踪算法的准确度，但也使得计算略微复杂了一些。图1目的跟踪算法流程图。深度特征能够有效地建模
5、物体语义信息，对于物体外观及周围环境变化具有很好的适应能力。Ma等人提出HCFT6算法，将深度特征与相关滤波算法相结合，获得了很好的效果。算法指出深度神经网络不同层的特征具有不同的特点，浅层特征包含更多的位置信息，但语义信息不明显；深层特征包含更多的语义信息，抗干扰能力较强，但位置信息弱化。如图2，算法利用VGG网络的三层输出特征分别训练三个相关滤波器，将得到的响应图按权重相加进行最终定位。1.2.引入尺度估计尺度变化是目的跟踪中一个比拟常见的问题。SAMF7和DSST8算法在KCF4的基础上引入了尺度估计。前者使用7个比拟粗的尺度，使用平移滤波器在多尺度图像块上进行检测，选取响应值最大处所对
6、应的平移位置和目的尺度；后者分别训练平移滤波器和尺度滤波器，使用33个比拟精细的尺度，先用平移滤波器进行位置估计，然后在该位置处使用尺度滤波器进行尺度估计。这两种尺度估计的算法也是后来算法中经常使用的两种方法。1.3.基于分块算法此外，跟踪经过中的物体通常用一个矩形框选取，由于跟踪的物体一般不为矩形，目的图像块不可避免地引入背景信息，导致跟踪不准确。为解决这一问题，能够采用分割算法或关键点算法来表示目的。基于分割的物体表示固然能够很好地表示目的形状，但计算量过大，会影响跟踪算法的速度；而基于关键点的目的表示难以获取跟踪目的的整体特征，也不是一个很好的方法。为解决这一问题，Li9等人提出选取有效
7、局部图像块来表示物体构造，利用每个局部图像块的响应图像来计算其置信度，这些响应图像按一定方法组合之后能够大致表示出图中物体的形状。算法采用霍夫投票的方法融合多个响应图像，估计目的位置和尺度。1.4.边界效应改良边界效应也是影响滤波器性能提升的一个主要问题。在训练阶段，由于密集样本是经过中心图像块循环移位得到的，只有中心样本是准确的，其他的样本都会存在位移边界，导致训练的分类器在物体快速移动时不能准确地跟踪。大部分算法的解决方案是在图像上加上余弦窗，弱化图像边界对于结果的影响，这样只要保证移位后图像中心部分是合理的就能够。固然增加了合理样本的数量，但仍不能保证所有训练样本的有效性；另外，参加余弦
8、窗也会使得跟踪器屏蔽了背景信息，只接受部分有效信息，降低了分类器的判别能力。为了克制边界效应，SRDCF10采用大的检测区域，并且在滤波器系数上参加权重约束，越靠近边缘权重越大，越靠近中心权重越小，这样能够使得滤波器系数主要集中在中心区域。由于滤波器在整个搜索区域内移动来检测图像块的相关性，因而在克制边界效应的同时不会忽略边缘物体的检测。2.基于深度学习的目的跟踪算法2.1.基于判别模型的算法基于判别模型的深度学习算法的出发点是训练分类器用来区分前景和背景。分类器性能的好坏决定了跟踪器的性能。深度学习最早应用于目的跟踪领域的DLT12算法就是基于判别模型实现的。先使用4个堆叠的栈式降噪自编码器
9、在大规模自然图像数据集上进行无监督训练获得物体表征能力，然后在解码器后面参加分类层用于目的和背景图像块。由于训练数据缺乏，网络并没有获得很好的表征能力，算法精度不高，但是它提出的“离线预训练+在线微调的方法为深度学习在目的跟踪中的应用提供了一个可行的方向，之后很多算法都采用这种方法来进行目的跟踪。近几年来，随着大规模图像分类比赛的流行，很多典型卷积网络被应用到图像处理领域，也出现了很多基于这些网络的目的跟踪算法。2021年，王立君等人提出的FCNT13算法就利用了VGG-16网络。算法提出深度神经网络不同层的特征具有不同的特点，浅层特征含有较多位置信息，深层特征含有更多语义信息，而且深度特征存
10、在大量冗余。因而，算法针对Conv4-3和Conv5-3两层输出的特征图谱，训练特征选择网络分别提取有效的特征,然后将选好的特征输送到各自的定位网络中得到热力图，综合两个热力图得到最终的热力图用于目的定位。算法利用不同层特征相互补充，到达有效抑制跟踪器漂移，同时对目的本身形变愈加鲁棒的效果。为了扩展CNN在目的跟踪领域的能力，需要大量的训练数据，但这在目的跟踪中是很难做到的。MDNet14算法提出了一种解决该问题的思路。算法采用VGG-M作为网络初始化模型，后接多个全连接层用作分类器。训练时，每一个跟踪视频对应一个全连接层，学习普遍的特征表示用来跟踪。跟踪时，去掉训练时的全连接层，使用第一帧样
11、本初始化一个全连接层，新的全连接层在跟踪的经过中继续图2HCFT算法流程图微调，来适应新的目的变化。这种方法使得特征更合适于目的跟踪，效果大大提升。由此能够看出，通过视频训练的网络更合适目的跟踪这一任务。2.1.基于生成模型的算法基于生成模型的深度目的跟踪算法主要通过神经网络来学习模板与候选样本之间的类似程度。除了与传统的相关滤波算法结合之外，大部分算法都采用粒子滤波框架。基于粒子滤波框架的深度学习算法，由于需要提取多个图像块的深度特征，算法速度难以到达实时性要求。为提升算法速度，DavidHeld等人提出GOTURN15算法，如图3所示，将上一帧的目的和当前帧的搜索区域同时经过CNN的卷积层
12、，级联特征输出通过全连接层，回归当前帧目的的位置，由于没有模板更新，算法速度可达每秒100多帧。与此类似，YCNN16算法构建孪生网络输出目的概率图，得到目的状态。这种基于模板匹配的目的跟踪算法，用一条支路保存模板信息，为目的跟踪提供先验信息，取代了全连接层在线更新，算法速度一般较快。三、目的跟踪的最新研究进展1强化学习成功应用近几年，强化学习方法遭到广泛关注，作为一种介于半监督与无监督之间的训练方法，非常适用于目的跟踪这个缺乏训练样本的领域。ADNet17算法是强化学习在目的跟踪领域的一个成功应用。算法通过强化学习得到一个智能体来预测目的框的移动方位及尺度变化，在当前帧中，以前一帧的目的位置
13、为初始点，经太多次方位估计、位移和尺度变化，得到最后的目标位置。与此不同，算法18利用策略学习得到智能体用于模板选择。无监督或弱监督学习是目的跟踪领域的一个新兴方向，具有宏大的潜力。2速度方面有效改良固然深度特征具有传统特征无法比较的抗干扰能力，但是一般提取速度较慢，而且特征中存在大量冗余。当算法精度达到一定标准之后，很多方法开场着力解决算法速度问题。孪生网络19是其中的一个典型例子，采用两路神经网络分别输入目标模板和搜索图像块，用来进行模板匹配或候选样本分类。其中一路神经网络对于模板信息的保存能够提供跟踪物体先验信息，取代网络在线更新，大大节省了速度。另外，对深度特征进行降维或自适应选择也是
14、加速算法的有效途径。3传统跟踪算法的网络化深度学习方法具有优秀的特征建模能力，相关滤波算法利用循环矩阵的性质进行计算，速度很快。很多算法着眼于将相关滤波的思路应用到网络中去。CFNet20算法将滤波器系数转换为神经网络的一层，推导出前向与后向传播的公式，实现了网络的端到端训练，算法速度可达每秒几十帧,知足了实时性的要求。传统算法发展至今，有很多能够借鉴的巧妙方法，如果能将其应用到神经网络中去，将对算法效果有较大的提升。四、将来发展方向目的跟踪的将来发展方向可总结为下面三个方面：1无监督或弱监督方向。限制深度目标跟踪算法发展的一个主要原因是训练样本的缺乏，没有像图像分类任务那样的大规模训练样本，
15、而且在线跟踪时只能给定第一帧的信息，难以训练一个合适当前跟踪物体的网络模型。近几年来，无监督或弱监督方法遭到人们的广泛关注。也有一些算法开场尝试将强化学习应用到目的跟踪领域。对抗网络能够生成迷惑机器的负样本加强分类器判别能力。这些无监督和弱监督的方法能够有效地解决目的跟踪领域样本缺乏的问题。2速度改良方向。速度是评价在线目标跟踪算法的一个重要指标。由于深度神经网络复杂的计算及模型更新时繁琐的系数，现存大部分深度目的跟踪算法速度都比拟慢。很多深度目的跟踪算法采用小型神经网络如VGG-M来提特征。另外，跟踪中只给定第一帧目的位置，缺少跟踪物体先验信息，这就要求模型实时更新来确保跟踪精度，而这在深度
16、目的跟踪算法中往往非常耗时。一些算法采用孪生网络构造来保存先验信息，代替模型在线更新，使得算法速度得以提高。深度特征的高维度也会影响跟踪算法的速度，假如能够提出有效的特征压缩方法，不管对算法速度还是精度都会有所帮助。只要高速且有效地算法才具有实际的应用价值。3有效网络构造探索。影响深度神经网络效果的两个主要因素是网络构造和训练数据。现存大部分深度目的跟踪算法均采用CNN构造，固然CNN构造具有很好的特征提取能力，但是难以建模视频帧中的时间连续性信息。一些算法采用RNN结构构建目的跟踪模型，但效果并不是很突出，仍需探索发展。还有一些新型的网络架构如ResNet和DenseNet等，在图像分类领域
17、获得很好的效果，这些网络架构能否能在目的跟踪领域成功应用也是令人等待的方向。参考文献：1HenriquesJF,RuiC,MartinsP,et图3GOTURN算法流程图al.ExploitingtheCirculantStructureofTracking-by-DetectionwithKernels,InProc.oftheECCV,2021:702-715.2RuiC,MartinsP,BatistaJ.Exploitingthecirculantstructureoftracking-by-detectionwithkernels,InProc.oftheECCV,2021:702-
18、715.3DanelljanM,KhanFS,FelsbergM,etal.AdaptiveColorAttributesforReal-TimeVisualTracking,InProc.oftheCVPR,2021:1090-1097.4HenriquesJF,RuiC,MartinsP,etal.High-SpeedTrackingwithKernelizedCorrelationFilters.TPAMI,2021,37(3):583-596.5BertinettoL,ValmadreJ,GolodetzS,etal.Staple:ComplementaryLearnersforRea
19、l-TimeTracking.2021,38(2):1401-1409.6C.Ma,J.Huang,X.Yang,M.Yang,Hierarchicalconvolutionalfeaturesforvisualtracking,InProc.oftheICCV,2021:30743082.7LiY,ZhuJ.AScaleAdaptiveKernelCorrelationFilterTrackerwithFeatureIntegration,InProc.oftheECCVW,2021:254-265.8DanelljanM,H?gerG,KhanFS.Accuratescaleestimat
20、ionforrobustvisualtracking,BMVC,2021.9LiY,ZhuJ,HoiSCH.ReliablePatchTrackers:Robustvisualtrackingbyexploitingreliablepatches,InProc.oftheCVPR,2021:353-361.10M.Danelljan,G.Hager,F.S.Khan,M.Felsberg,Learningspatiallyregularizedcorrelationfiltersforvisualtracking,InProc.oftheICCV,2021:43104318.11Mueller
21、M,SmithN,GhanemB.Context-AwareCorrelationFilterTracking.InProc.oftheCVPR,2021.12N.Wang,D.Yeung,Learningadeepcompactimagerepresentationforvisualtracking,inProc.oftheAdvancesinNeuralInformationProcessingSystems,2021:809817.13L.Wang,W.Ouyang,X.Wang,H.Lu,Visualtrackingwithfullyconvolutionalnetworks,InPr
22、oc.oftheICCV,2021:31193127.14H.Nam,B.Han,Learningmulti-domainconvolutionalneuralnetworksforvisualtracking,InProc.oftheCVPR,2021:42934302.15D.Held,S.Thrun,S.Savarese,Lear-ningtotrackat100FPSwithdeepregressionnetworks,inProc.oftheECCV,2021:749765.16J.Redmon,S.K.Divvala,R.B.Girshick,A.Farhadi,Youonlylo
23、okonce:Unified,real-timeobjectdetection,InProc.oftheCVPR,2021:779788.17S.Yun,J.Choi,Y.Yoo,K.Yun,J.Y.Choi,Action-decisionnetworksforvisualtrackingwithdeepreinforcementlearning,InProc.oftheCVPR,2021.18ChoiJ,KwonJ,LeeKM.VisualTrackingbyReinforcedDecisionMaking.arXivabs/1702.06291.19L.Bertinetto,J.Valma
24、dre,J.F.Henriques,A.Vedaldi,P.H.S.Torr,Fully-convolutionalsiamesenetworksforobjecttracking,inProc.oftheECCV,2021:85086520J.Valmadre,L.Bertinetto,J.F.Henriques,A.Vedaldi,P.H.S.Torr,End-to-endrepresentationlearningforcorrelationfilterbasedtracking,InProc.oftheCVPR,2021.责任编辑：王金甲卢湖川，IEEE和CCF高级会员、大连理工大学电
25、子信息与电气工程学部副部长、教授。研究方向计算机视觉、形式识别。目前担任IEEETransactiononCybernetics编委。近五年,发表CCFA类论文40余篇，GoogleScholar总引用近7000次，以第一完成人获得教育部自然科学二等奖1项。获得多项国际学术论文奖，包括ICCV2020MostRememberedPoster，IETImageProcessing2021BestPaperAward，ICIP2021BestStudentPaperAwardFinalist.Email:lhchuan文档视界2022/dd56c34033b765ce0508763231126edb6f1a76d1mjal1dz1sk4.htmlTHANKS!致力为企业和个人提供合同协议，策划案计划书，学习课件等等打造全网一站式需求欢迎您的下载，资料仅供参考