《(完整版)目标检测综述_1.docx》由会员分享，可在线阅读，更多相关《(完整版)目标检测综述_1.docx（14页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、(完整版)目标检测综述，、传统目的检测方法如上图所示，传统目的检测的方法一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。下面我们对这三个阶段分别进行介绍。(1)区域选择这一步是为了对目的的位置进行定位。由于目的可能出如今图像的任何位置，而且目的的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽比。这种穷举的策略固然包含了目的所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口过多，这也严重影响后续特征提取和分类的速度和性能。(实际上由于遭到时间复杂度的问题，
2、滑动窗口的长宽比一般都是固定的设置几个，所以对于长宽比浮动较大的多类别目的检测，即使是滑动窗口遍历也不能得到很好的区域)(2)特征提取由于目的的形态多样性，光照变化多样性，背景多样性等因素使得设计一个鲁棒的特征并不是那么容易。然而提取特征的好坏直接影响到分类的准确性。(这个阶段常用的特征有SIFTHOG等)(3)分类器主要有SVM,Adaboost等。总结：传统目的检测存在的两个主要问题：一是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。1、基于RegionProposaI的深度学习目的检测算法对于传统目的检测任务存在的两个
3、主要问题，我们该怎样解决呢？对于滑动窗口存在的问题，regionproposal提供了很好的解决方案。regionproposal候选区域是预先找出图中目的可能出现的位置。但由于regionproposal利用了图像中的纹理、边缘、颜色等信息，能够保证在选取较少窗口几千个甚至几百个的情况下保持较高的召回率。这大大降低了后续操作的时间复杂度，并且获取的候选窗口要比滑动窗口的质量更高滑动窗口固定长宽比。比拟常用的regionproposal算法有selectiveSearch和edgeBoxes假如想详细了解regionproposal能够看一下PAMI2021的“Whatmakesforeffe
4、ctivedetectionproposals？有了候选区域，剩下的工作实际就是对候选区域进行图像分类的工作特征提取+分类。对于图像分类，不得不提的是2021年ImageNet大规模视觉识别挑战赛ILSVRC上，机器学习泰斗GeoffreyHinton教授带领学生Krizhevsky使用卷积神经网络将ILSVRC类任务的Top-5error降低到了15.3%,而使用传统方法的第二名top-5error高达26.2%。此后，卷积神经网络占据了图像分类任务的绝对统治地位，微软最新的ResNet和谷歌的InceptionV4模型的top-5error降到了4%以内多，这已经超越人在这个特定任务上的能
5、力。所以目的检测得到候选区域后使用CNN对其进行图像分类是一个不错的选择。2021年，RBGRossB.Girshick大神使用regionproposal+CNN代替传统目的检测使用的滑动窗口+手工设计特征，设计了R-CNN框架，使得目的检测获得宏大突破，并开启了基于深度学习目的检测的热潮。1.R-CNN(CVPR2021,TPAMI2021)(Region-basedConvolutionNetworksforAccurateObjectdetectionandSegmentation)R-CNN:Region-basedConvolutionalNetworktVTOCiiitor?no
6、.2.Extractregion3*Compute4.Classifyproposals卜2kCNNfeaturesregions上面的框架图明晰的给出了R-CNN的目的检测流程：(1)输入测试图像(2)利用selectivesearch算法在图像中提取2000个左右的regionproposal。(3)将每个regionproposal缩放(warp)成227x227的大小并输入到CNN,将CNN的fc7层的输出作为特征。(4)将每个regionproposal提取到的CNN特征输入到SVM进行分类。上面的框架图是测试的流程图,要进行测试我们首先要训练好提取特征的CNN模型，以及用于分类的S
7、VM：使用在ImageNet上预训练的模型(AlexNet/VGG16进行微调得到用于特征提取的CNN模型，然后利用CNN模型对训练集提特征训练SVM。对每个regionproposal缩放到同一尺度是由于CNN全连接层输入需要保证维度固定。上图少画了一个经过对于SVM分好类的regionproposal做边框回归(bounding-boxregression),边框回归是对regionproposal进行纠正的线性回归算法，为了让regionproposal提取到的窗口跟目的真实窗口更吻合。由于regionproposal提取到的窗口不可能跟人手工标记那么准，假如regionproposal
8、跟目的位置偏移较大，即使是分类正确了，但是由于loU(regionproposal与GroundTruth的窗口的交集比并集的比值)低于0.5，那么相当于目的还是没有检测到。小结：R-CNN在PASCALVOC200上的检测结果从DPMHSC的34.3%直接提升到了66%(mAP如此大的提升使我们看到了regionproposal+CNN的宏大优势。但是R-CNN框架也存在着很多问题：(1)训练分为多个阶段，步骤繁琐：微调网络+训练SVM+训练边框回归器(2)训练耗时，占用磁盘空间大：5000张图像产生几百G的特征文件(3)速度慢：使用GPU,VGG16模型处理一张图像需要47s。针对速度慢的
9、这个问题，SPPNET给出了很好的解决方案。LInputiniaiic22.SPF-NET(ECCV2021,TPAMI2021)(SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition)先看一下R-CNN为什么检测速度这么慢，一张图都需要47s!仔细看下R-CNN框架发现，对图像提完regionproposal2000个左右之后将每个proposal当成一张图像进行后续处理CNN提特征+SVM分类，实际上对一张图像进行了2000次提特征和分类的经过！有没有方法提速呢？好似是有的，这2000个regionprop
10、osal不都是图像的一部分吗，那么我们完全能够对图像提一次卷积层特征，然后只需要将regionproposal在原图的位置映射到卷积层特征图上，这样对于一张图像我们只需要提一次卷积层特征，然后将每个regionproposal的卷积层特征输入到全连接层做后续操作。对于CNN来讲，大部分运算都耗在卷积操作上，这样做能够节省大量时间。如今的问题是每个regionproposal的尺度不一样，直接这样输入全连接层肯定是不行的，由于全连接层输入必须是固定的长度。SPPNET恰好能够解决这个问题:fulh-c*winec(edlayers(ft?)上图对应的就是SPPNET的网络构造图，任意给一张图像输
11、入到CNN,经过卷积操作我们能够得到卷积特征比方VGG16最后的卷积层为conv5_3,共产生512张特征图。图中的window是就是原图一个regionproposal对应到特征图的区域，只需要将这些不同大小window的特征映射到同样的维度，将其作为全连接的输入，就能保证只对图像提取一次卷积层特征。SPPNET使用了空间金字塔ureniupsof11xv采样(spatialpyramidpooling)：将每个window划分为4*4,2*2,1*1的块，然后每个块使用max-pooling下采样，这样对于每个window经过SPP层之后都得到了一个长度为(4*4+2*2+1)*512维度
12、的特征向量，将这个作为全连接层的输入进行后续操作。小结：使用SPPNET相比于R-CNN能够大大加快目的检测的速度，但是仍然存在着很多问题：(1)训练分为多个阶段，步骤繁琐：微调网络+训练SVM+训练训练边框回归器SPPNET在微调网络的时候固定了卷积层，只对全连接层进行微调，而对于一个新的任务，有必要对卷积层也进行微调。(分类的模型提取的特征更注重高层语义，而目的检测任务除了语义信息还需要目的的位置信息)针对这两个问题，RBG又提出FastRCNN,个精简而快速的目的检测框架。3.FastR-CNN(ICCV2021)有了前边R-CNN和SPPNET的介绍，我们直接看FastRCNN的框架图
13、:与R-CNN框架图比照，能够发现主要有两处不同：一是最后一个卷积层后加了一个ROIpoolinglaye，二是损失函数使用了多任务损失函数(multi-taskloss),将边框回归直接参加到CNN网络中训练。(1)ROIpoolinglayer实际上是SPPNET的一个精简版，SPPNET对每个proposal使用了不同大小的金字塔映射，而ROIpoolinglayer只需要下采样到一Deeo-ConvNetproject!oriVComxfeaturemapsoftmaxRolfeature个7x7的特征图。对于VGG16网络conv5_3有512个特征图，这样所有regionpropo
14、sal对应了一个7*7*512维度的特征向量作为全连接层的输入。2R-CNN训练经过分为了三个阶段，而FastR-CNN直接使用softmax替代SVM分类，同时利用多任务损失函数边框回归也参加到了网络中，这样整个的训练经过是端到端的除去regionproposal提取阶段。3FastR-CNN在网络微调的经过中，将部分卷积层也进行了微调，获得了更好的检测效果。小结：FastR-CNN融合了R-CNN和SPPNET的精华，并且引入多任务损失函数，使整个网络的训练和测试变得特别方便。在PascalVOC2007训练集上训练，在VOC2007测试的结果为66.9%mAP假如使用VOC2007+20
15、21训练集训练，在VOC2007上测试结果为70%数据集的扩大能大幅提高目的检测性能。使用VGG16每张图像总共需要3s左右。缺点：regionproposal的提取使用selectivesearch,目的检测时间大多消耗在这上面提regionproposal23s,而提特征分类只需0.32s，无法知足实时应用，而且并没有实现真正意义上的端到端训练测试regionproposal使用selectivesearch先提取处来。那么有没有可能直接使用CNN直接产生regionproposal并对其分类？FasterR-CNN框架就是符合这样需要的目的检测框架。4.FasterR-CNNNIPS20
16、21FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks在regionproposal+CNN分类的这种目的检测框架中，regionproposal质量好坏直接影响到目的检测任务的精度。假如找到一种方法只提取几百个或者更少的高质量的预选窗口，而且召回率很高，这不但能加快目的检测速度，还能提高目的检测的性能假阳例少RPNRegionProposalNetwork网络应运而生。RPN的核心思想是使用卷积神经网络直接产生regionproposal，使用的方法本质上就是滑动窗口。RPN的设计比拟巧妙，RPN只需在最
17、后的卷积层上滑动一遍，由于anchor机制和边框回归能够得到多尺度多长宽比的regionproposal。256-dintennediiitelaxei-V-我们直接看上边的RPN网络构造图使用了ZF模型，给定输入图像假设分辨率为600*1000，经过卷积操作得到最后一层的卷积特征图大小约为40*60。在这个特征图上使用3*3的卷积核滑动窗口与特征图进行卷积，最后一层卷积层共有256个featuremap，那么这个3*3的区域卷积后能够获得一个256维的特征向量，后边接cislayer和reglayer分别用于分类和边框回归跟FastRCNN类似，只不过这里的类别只要目的和背景两个类别。3*3
18、滑窗对应的每个特征区域同时预测输入图像3种尺度128,256,512,3种长宽比1:1,1:2,2:1的regionproposal，这种映射的机制称为anchor。所以对于这个40*60的featuremap，总共有约2000040*60*9个anchor，也就是预测20000个regionproposal0这样设计的好处是什么呢？固然如今也是用的滑动窗口策略，但是：滑动窗口操作是在卷积层特征图上进行的，维度较原始图像降低了16*16倍中间经过了4次2*2的pooling操作；多尺度采用了9种anchor,对应了三种尺度和三种长宽比，加上后边接了边框回归，所以即使是这9种anchor外的窗口
19、也能得到一个跟目标比拟接近的regionproposaloNIPS2021版本的FasterRCNN使用的检测框架是RPN网络+FastRCNN网络分离进行的目的检测，整体流程跟FastRCNN样，只是regionproposal如今是用RPN网络提取的代替原来的selectivesearcho同时作者为了让RPN的网络和FastRCNN网络实现卷积层的权值分享，训练RPN和FastRCNN的时候用了4阶段的训练方法：使用在ImageNet上预训练的模型初始化网络参数，微调RPN网络；(2)使用中RPN网络提取regionproposal训练FastRCNN网络；(3)使用的FastRCNN网络重新初始化RPN,固定卷积层进行微调；f￥scores4coordinateskanchorbo?ces/neglayerC/Jlayer#