《目标检测课程学习.pptx》由会员分享，可在线阅读，更多相关《目标检测课程学习.pptx（110页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、会计学1目标目标(mbio)检测检测第一页，共110页。目标目标(mbio)(mbio)检测和识别检测和识别n n怎样检测和识别(shbi)图像中物体，如汽车、牛等？第1页/共110页第二页，共110页。目标目标(mbio)(mbio)识别的应用识别的应用第2页/共110页第三页，共110页。难点难点(ndin)(ndin)之一之一:如何鲁棒如何鲁棒识别？识别？第3页/共110页第四页，共110页。类内差异类内差异(chy)(chy)（intra-intra-class variabilityclass variability）第4页/共110页第五页，共110页。类间相似性类间相似性（int
2、er-class similarity）第5页/共110页第六页，共110页。难点难点(ndin)(ndin)之二：计算量大之二：计算量大 一幅图像中像素个数多，目前每秒约产生一幅图像中像素个数多，目前每秒约产生300G300G像素的像素的图像图像/视频数据。视频数据。-Google-Google图片搜索中已有几十亿幅图像图片搜索中已有几十亿幅图像-全球数字照相机一年产生全球数字照相机一年产生180180亿张以上的图片亿张以上的图片（20042004年）年）-全球一年销售约全球一年销售约3 3亿部照相手机（亿部照相手机（20052005）人的物体识别人的物体识别(shbi)(shbi)能力是强
3、大的能力是强大的-灵长类动物约使用大脑皮层的一半来处理视觉灵长类动物约使用大脑皮层的一半来处理视觉信息信息 Felleman and van Essen 1991 Felleman and van Essen 1991-可以识别可以识别(shbi)3,000-30,000(shbi)3,000-30,000种物体种物体-物体姿态可允许物体姿态可允许3030度以上的自由度。度以上的自由度。第6页/共110页第七页，共110页。难点难点(ndin)(ndin)之三：如何在小之三：如何在小样本条件下学习样本条件下学习第7页/共110页第八页，共110页。物体物体(wt)(wt)识别方法识别方法 检测
4、检测(detection)vs.(detection)vs.不检测不检测 表示表示(representation)(representation)-颜色、纹理、边缘、梯度、局部特征颜色、纹理、边缘、梯度、局部特征(tzhng)(tzhng)、深度、运动等等。、深度、运动等等。分类分类(classification or categorization)(classification or categorization)-K-K近邻（近邻（KNNKNN）-神经网络（神经网络（NNNN）-支持向量机（支持向量机（SVMSVM）-Boosting(Adaboost-Boosting(Adaboost等
5、等)-隐马尔科夫模型（隐马尔科夫模型（HMMHMM）-其他其他生成学习(xux)（Generative learning）vs.判别学习(xux)（discriminative learning）第8页/共110页第九页，共110页。生成生成(shn chn)(shn chn)学习学习 vs.vs.判别学习判别学习n n两种分类器学习模式两种分类器学习模式n n生成学习生成学习n n-目标是学习到符合训练数据的类别目标是学习到符合训练数据的类别(libi)(libi)模型模型n n-如如EMEM算法算法(Maximum Likelihood)(Maximum Likelihood)n n判别学
6、习判别学习n n在训练阶段即考虑类别在训练阶段即考虑类别(libi)(libi)之间之间的判别信息的判别信息n n包括包括Support Vector Machines(SVMs),Support Vector Machines(SVMs),Boosting,Minimum Classification Error Boosting,Minimum Classification Error(MCE),Maximum Mutual Information(MCE),Maximum Mutual Information(MMI),Lager Margin(LM),and etc.(MMI),Lag
7、er Margin(LM),and etc.n n判别学习算法比生成学习算法表现出判别学习算法比生成学习算法表现出更好的分类性能。更好的分类性能。第9页/共110页第十页，共110页。判别学习判别学习(xux)(xux)方法方法第10页/共110页第十一页，共110页。第二节第二节 人脸检测人脸检测(jin c)(jin c)与与识别识别第11页/共110页第十二页，共110页。131.1.物体物体(wt)(wt)检测检测Car/non-car ClassifierYes,car.No,not a car.基于(jy)二分类器第12页/共110页第十三页，共110页。14物体物体(wt)(wt
8、)检测检测Car/non-car Classifier在复杂(fz)背景下，通过滑动窗口（sliding windows）搜索感兴趣的物体。第13页/共110页第十四页，共110页。物体物体(wt)(wt)检测检测Step1.获取训练数据(shj)Step2.提取特征Step3.训练分类器Step4.利用分类器进行检测第14页/共110页第十五页，共110页。人脸检测人脸检测(jin c)(jin c)（Face Face detectiondetection）n nViola-Jones人脸检测(jin c)算法（基于AdaBoost）第15页/共110页第十六页，共110页。Viola-J
9、ones人脸检测人脸检测(jin c)算法算法(2004)第16页/共110页第十七页，共110页。滤波器设计滤波器设计(shj)(shj)第17页/共110页第十八页，共110页。Adaboost AdaboostAdaboost是一种迭代算法是一种迭代算法(sun f(sun f)，其核心思想是针对同，其核心思想是针对同一个训练集训练不同的分类器一个训练集训练不同的分类器(弱分类器弱分类器)，然后把这些，然后把这些弱分类器集合起来，构成一个更强的最终分类器弱分类器集合起来，构成一个更强的最终分类器(强分强分类器类器)。其算法其算法(sun f(sun f)本身是通过改变数据分布来实现的，它
10、本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策每次训练得到的分类器最后融合起来，作为最后的决策分类器。分类器。使用使用adaboostadaboost分类器可以排除一些不必要的训练数据特分类器可以排除一些不必要的训练数据特徵，并将关键放在关键的训练数据上面。徵，并将关键放在关
11、键的训练数据上面。第18页/共110页第十九页，共110页。Boosting Example第19页/共110页第二十页，共110页。Boosting Example第20页/共110页第二十一页，共110页。Boosting Example第21页/共110页第二十二页，共110页。Boosting Example第22页/共110页第二十三页，共110页。Boosting Example第23页/共110页第二十四页，共110页。Boosting Example第24页/共110页第二十五页，共110页。Adaboost学习目标：选择能够最有效(yuxio)地区分人脸与非人脸的矩形特征及其
12、阈值第25页/共110页第二十六页，共110页。Adaboost组合弱分类器（weak learners），得到更为精确的集成分类器（ensemble classifier）。弱分类器：性能仅比随机分类稍好根据矩形特征(tzhng)定义弱分类器:第26页/共110页第二十七页，共110页。Adaboost算法算法(sun f)步骤步骤初始给每个训练样本以同等权重循环执行以下步骤：根据当前加权训练集，选择最佳(zu ji)弱分类器提升被当前弱分类器错分的训练样本的权重按照各弱分类器分类精度对其加权，然后将各个弱分类器形成线性组合，得到最终分类器。第27页/共110页第二十八页，共110页。Vio
13、la-Jones算法算法(sun f)中的中的AdaBoost每一次boosting迭代如下:评价每一个样本上的每一种矩形特征 为每一种矩形特征选择最佳分类阈值选择最优的矩形特征及其阈值组合(zh)改变样本权重计算复杂度:O(MNT)M：特征数，N：样本数,T：阈值数第28页/共110页第二十九页，共110页。第29页/共110页第三十页，共110页。级联分类器级联分类器（Cascading Classifiers）第30页/共110页第三十一页，共110页。训练训练(xnlin)级联分类器级联分类器第31页/共110页第三十二页，共110页。Viola-Jones检测算法检测算法(sun f
14、)-总总体流程体流程用5K正样本，350M反样本学习(xux)得到38层（共使用6060个特征）级联分类获得实时性第32页/共110页第三十三页，共110页。Viola-Jones人脸检测人脸检测(jin c)结果结果第33页/共110页第三十四页，共110页。Viola-Jones人脸检测人脸检测(jin c)结果结果第34页/共110页第三十五页，共110页。Viola-Jones人脸检测人脸检测(jin c)结果结果第35页/共110页第三十六页，共110页。2.人脸识别人脸识别（face recogntion）Zhao et al.,Face Recogniton:a literatu
15、re survey.ACM Computing survey,2003第36页/共110页第三十七页，共110页。Face Recognition:2-D and 3-D 第37页/共110页第三十八页，共110页。图像图像(t xin)=像素的集合像素的集合将由n个像素(xin s)构成的图像视为n维空间中的点第38页/共110页第三十九页，共110页。最近最近(zujn)邻分类器邻分类器第39页/共110页第四十页，共110页。Eigenfaces使用主成分分析(fnx)技术（Principle Component Analysis,PCA)减少维数第40页/共110页第四十一页，共110
16、页。主成分主成分(chng fn)分析分析(PCA,K-L变换变换)降低(jingd)特征向量的维数获得最主要特征分量，减少相关性；避免维数灾难第41页/共110页第四十二页，共110页。主成分主成分(chng fn)分析分析(PCA,K-L变换变换)第42页/共110页第四十三页，共110页。主成分分析主成分分析(fnx)(PCA,K-L变变换换)第43页/共110页第四十四页，共110页。Eigenfaces学习(xux)1.计算训练图像的均值和协方差矩阵.2.计算协方差矩阵的特征值，取前k个最大特 征值对应的特征矢量.3.将图像投影到k-维特征空间（Eigenspace）。识别1.将测试
17、图像投影到Eigenspace.2.在特征图像上执行分类.第44页/共110页第四十五页，共110页。Eigenfaces:训练训练(xnlin)图像图像第45页/共110页第四十六页，共110页。Eigenfaces第46页/共110页第四十七页，共110页。PCA方法方法(fngf)的不足的不足可能损失重要的细节信息(xnx)方差最小的方向也可能是重要的没有考虑判别任务希望得到最具判别能力的特征但判别能力最佳并不等同于方差最大第47页/共110页第四十八页，共110页。Fisherfaces：类特定：类特定(tdng)的线的线性投影性投影第48页/共110页第四十九页，共110页。PCA&
18、Fisher的线性判别函数的线性判别函数第49页/共110页第五十页，共110页。PCA&Fisher的线性判别函数的线性判别函数第50页/共110页第五十一页，共110页。Fisherfaces示例示例(shl)（ORL Database）第51页/共110页第五十二页，共110页。基于基于(jy)eigenfaces/fisherfaces的识别的识别训练：-根据训练图像，利用PCA或Fisher方法确定投 影矩阵(j zhn)-将每个训练图像投影到子空间（eigenspace或fisherspace）。识别：-将测试图像投影到eigenspace或fisherspace。-子空间中距离测
19、试图像最近的训练图像对应的类别为识别结果。第52页/共110页第五十三页，共110页。Project5：人脸合成：人脸合成(hchng)平均(pngjn)人脸平均(pngjn)就是美第53页/共110页第五十四页，共110页。Project5：人脸合成：人脸合成(hchng)第54页/共110页第五十五页，共110页。Project5：人脸合成：人脸合成(hchng)第55页/共110页第五十六页，共110页。Project5：人脸合成：人脸合成(hchng)第56页/共110页第五十七页，共110页。Project5：人脸合成：人脸合成(hchng)第57页/共110页第五十八页，共110页
20、。Project5：人脸合成：人脸合成(hchng)FantaMorph，人脸合成(hchng)软件第58页/共110页第五十九页，共110页。Project5：人脸合成：人脸合成(hchng)FantaMorph，人脸合成(hchng)软件手动标定(bio dn)人脸第59页/共110页第六十页，共110页。Project5：人脸合成：人脸合成(hchng)FantaMorph，人脸合成(hchng)软件手动标定(bio dn)人脸第60页/共110页第六十一页，共110页。Project5：人脸合成：人脸合成(hchng)FantaMorph，人脸合成(hchng)软件产生(chnshng
21、)多张合成图像，随机或者平均输出第61页/共110页第六十二页，共110页。Project5：人脸合成：人脸合成(hchng)Task：利用人脸检测(jin c)算法，将上述过程改为自动完成，实现自动人类合成。第62页/共110页第六十三页，共110页。第三节第三节 深度深度(shnd)(shnd)学习导学习导引引第63页/共110页第六十四页，共110页。第三节第三节 深度学习深度学习(xux)(xux)导引导引第64页/共110页第六十五页，共110页。第三节第三节 深度学习深度学习(xux)(xux)导引导引第65页/共110页第六十六页，共110页。第三节第三节 深度深度(shnd)(
22、shnd)学习导学习导引引第66页/共110页第六十七页，共110页。第三节第三节 深度深度(shnd)(shnd)学习导学习导引引第67页/共110页第六十八页，共110页。第三节第三节 深度学习深度学习(xux)(xux)导引导引第68页/共110页第六十九页，共110页。第三节第三节 深度深度(shnd)(shnd)学习导学习导引引第69页/共110页第七十页，共110页。第三节第三节 深度学习深度学习(xux)(xux)导引导引第70页/共110页第七十一页，共110页。神经网络的基本神经网络的基本(jbn)(jbn)结构结构第71页/共110页第七十二页，共110页。神经网络的大量神
23、经网络的大量(dling)(dling)参参数数第72页/共110页第七十三页，共110页。神经网络的表现神经网络的表现(bioxin)(bioxin)能能力力第73页/共110页第七十四页，共110页。神经网络的表现神经网络的表现(bioxin)(bioxin)能能力力第74页/共110页第七十五页，共110页。神经网络的表现神经网络的表现(bioxin)(bioxin)能能力力第75页/共110页第七十六页，共110页。神经网络的表现神经网络的表现(bioxin)(bioxin)能能力力第76页/共110页第七十七页，共110页。卷积神经网络卷积神经网络第77页/共110页第七十八页，共1
24、10页。卷积神经网络卷积神经网络第78页/共110页第七十九页，共110页。卷积神经网络卷积神经网络第79页/共110页第八十页，共110页。卷积神经网络卷积神经网络第80页/共110页第八十一页，共110页。卷积神经网络卷积神经网络第81页/共110页第八十二页，共110页。卷积神经网络卷积神经网络卷积层的作用卷积层的作用(zuyng)(zuyng)第82页/共110页第八十三页，共110页。卷积神经网络卷积神经网络第83页/共110页第八十四页，共110页。卷积神经网络卷积神经网络第84页/共110页第八十五页，共110页。卷积神经网络卷积神经网络池化层的作用池化层的作用(zuyng)(z
25、uyng)第85页/共110页第八十六页，共110页。卷积神经网络卷积神经网络第86页/共110页第八十七页，共110页。卷积神经网络卷积神经网络激活激活(j hu)(j hu)函数函数第87页/共110页第八十八页，共110页。卷积神经网络卷积神经网络第88页/共110页第八十九页，共110页。卷积神经网络卷积神经网络第89页/共110页第九十页，共110页。卷积神经网络卷积神经网络第90页/共110页第九十一页，共110页。卷积神经网络卷积神经网络SoftmaxSoftmax层的作用层的作用(zuyng)(zuyng)第91页/共110页第九十二页，共110页。卷积神经网络卷积神经网络第9
26、2页/共110页第九十三页，共110页。卷积神经网络卷积神经网络网络网络(wnglu)(wnglu)的预处理的预处理第93页/共110页第九十四页，共110页。卷积神经网络的实例卷积神经网络的实例(shl)(shl)AlexnetAlexnet第94页/共110页第九十五页，共110页。卷积神经网络的实例卷积神经网络的实例(shl)(shl)AlexnetAlexnet第95页/共110页第九十六页，共110页。卷积神经网络的实例卷积神经网络的实例(shl)(shl)FCNFCN网络网络(wnglu)(wnglu)第96页/共110页第九十七页，共110页。卷积神经网络的实例卷积神经网络的实例
27、(shl)(shl)FCNFCN网络网络(wnglu)(wnglu)第97页/共110页第九十八页，共110页。卷积神经网络的实例卷积神经网络的实例(shl)(shl)FCNFCN网络网络(wnglu)(wnglu)第98页/共110页第九十九页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第99页/共110页第一百页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第100页/共110页第一百零一页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第101页/共110页第一百零二页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第102页/共110页第一
28、百零三页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第103页/共110页第一百零四页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第104页/共110页第一百零五页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第105页/共110页第一百零六页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第106页/共110页第一百零七页，共110页。卷积神经网络的训练方法卷积神经网络的训练方法第107页/共110页第一百零八页，共110页。递归神经网络递归神经网络Recurrent Neural Networks第108页/共110页第一百零九页，共110页。递归神经网络递归神经网络LSTM第109页/共110页第一百一十页，共110页。