《物体识别中的特征-基于SIFT特征提取、描述、匹配.ppt》由会员分享，可在线阅读，更多相关《物体识别中的特征-基于SIFT特征提取、描述、匹配.ppt（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、物体识别中的局部特征提取基于SIFT算法的检测、描述和匹配基于图像进行物体识别的过程特征提取特征匹配图像特征l全局特征l大小、灰度分布、颜色、全局边缘l局部特征l点、线l角点l区域内的边缘l局部极值特征提取中的常见问题物体所在环境复杂l光照l对比度l杂散背景l目标被遮挡物体运动导致的识别困难l平移、旋转l尺度变化l彷射变换l视点变化（例如站在立体物体不同侧面，看到的图像可能大不相同）局部特征用于识别的要求局部特征：l重复性l可区分性l准确性l数量以及效率l不变性图像变化对应特征不变性亮度亮度不变性对比度对比度不变性平移平移不变性旋转旋转不变性尺度变化尺度不变性仿射变换仿射不变性视角变化立体物体
2、多角度建模传统的局部特征提取l成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。l传统的匹配算法往往是直接提取角点、线或边缘，对环境的适应能力较差。l需要一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。19991999年年British ColumbiaBritish Columbia大学大学David G.LoweDavid G.Lowe教授总结了现有的基于不变量技术教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋
3、转甚至仿射变换保持不变性的图像局部特征描述算子仿射变换保持不变性的图像局部特征描述算子SIFTSIFT（scale-invariant scale-invariant feature transformfeature transform），这种算法在），这种算法在20042004年被加以完善。年被加以完善。David G.LoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver,B.C.,V6T1Z4,CanadaE-mail:lowecs.ubc.caSIFT算法7SIFT算法的主要特点lSIF
4、T特征是图像的局部特征，其对平移、旋转、尺度缩放、亮度变化保持不变性。l对视角变化、仿射变换、噪声也保持一定程度的稳定性。l独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。l多量性，即使少数的几个物体也可以产生大量SIFT特征向量。l可扩展性，可以很方便的与其他形式的特征向量进行联合。例如旋转不变性OriginalimagecourtesyofDavidLowe9尺度空间l我们我们要精确表示的物体都是通过一定的尺度来反映的。现实世要精确表示的物体都是通过一定的尺度来反映的。现实世界界的物体的物体也总是通过不同尺度的观察而得到不同的变化。也总是通过不同尺度的观察而得到不同的变
5、化。l尺度尺度空间理论最早在空间理论最早在19621962年提出，其主要思想是通过对原始图年提出，其主要思想是通过对原始图像像进行进行尺度变换，获得图像多尺度下的尺度空间表示序列，对尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列这些序列进行尺度进行尺度空间主轮廓的提取，并以该主轮廓作为一种空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘特征向量，实现边缘、角、角点检测和不同分辨率上的特征提取等。点检测和不同分辨率上的特征提取等。l尺度尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离离目标目标由近到远时目标在视网膜上的形
6、成过程由近到远时目标在视网膜上的形成过程。尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式尺度空间l尺度空间就是将要处理的维函数（计算机视觉中为维），嵌入到一族单参数函数族中。这个单参数函数族就叫做尺度空间。l单参数函数族的生成方法就是将要处理的函数与核函数进行卷积。l核函数选择的核心原则是保证在生成的单参数函数族中，局部极值的稳定性和数目随单参数的增加的递减性。l由于几个条件的约束导致，对连续函数必须使用高斯函数做为卷积核。对离散函数要使用高斯函数的某种离散近似。图像多尺度表示 根据尺度理论，高斯卷积核是实现尺度变换的唯一变换核，也是唯一的线性核：一幅二维图像，在不同尺度
7、下的尺度空间表示可由图像与高斯核卷积得到：图像多尺度表示 称为尺度空间因子，其值越小则表征该图像被平滑的越少相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。SIFT算法步骤所谓关键点，就是在不同所谓关键点，就是在不同尺度空间尺度空间的图像下检测出的具有方向信息的局部的图像下检测出的具有方向信息的局部极值点。极值点。根据归纳，特征点具有的三个特征：根据归纳，特征点具有的三个特征：尺度尺度 方向方向 大小大小1.1.哪些点是哪些点是SIFTSIFT中要查找的关键点（特征点）？中要查找的关键点（特征点）？这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、这些点
8、是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。点。关键点检测相关问题15关键点检测相关问题2.2.高斯模糊高斯模糊 高斯模糊是在高斯模糊是在Adobe PhotoshopAdobe Photoshop等图像处理软件中广泛使用的处理等图像处理软件中广泛使用的处理效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成
9、效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成的图像的视觉效果是好像经过一个半透明的屏幕观察图像。的图像的视觉效果是好像经过一个半透明的屏幕观察图像。关键点检测相关问题17在实际应用中，在计算高斯函数的离散近似时，在大概在实际应用中，在计算高斯函数的离散近似时，在大概33距离之外的距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。像素都可以看作不起作用，这些像素的计算也就可以忽略。通常，图像处理程序只需要计算通常，图像处理程序只需要计算3.高斯模板大小的选择高斯模板大小的选择关键点检测相关问题18l高斯金子塔的构建过程可分为两步：高斯金子塔的构建过程可分为两步：（1
10、 1）对图像做高斯平滑；）对图像做高斯平滑；（2 2）对图像做降采样。）对图像做降采样。为了让尺度体现其连续性，在简单为了让尺度体现其连续性，在简单降降采样采样的基础上加上了高斯滤波。的基础上加上了高斯滤波。一幅图像可以产生几组（一幅图像可以产生几组（octaveoctave）图像，一组图像包括几层图像，一组图像包括几层（intervalinterval）图像。）图像。4.4.高斯金字塔高斯金字塔关键点检测相关问题19高斯图像金字塔共高斯图像金字塔共o o组、组、s s层，层，则有：则有：尺度空间坐标；尺度空间坐标；s ssub-levelsub-level层坐标；层坐标；0 0初始尺度；初始
11、尺度；S S每组层数每组层数关键点检测相关问题20高斯金字塔的组内尺度与组间尺度高斯金字塔的组内尺度与组间尺度组内尺度是指同一组（组内尺度是指同一组（octave）内的）内的尺度关系，组内相邻层尺度化简为：尺度关系，组内相邻层尺度化简为：组间尺度是指不同组直接的尺度关组间尺度是指不同组直接的尺度关系，相邻组的尺度可化为：系，相邻组的尺度可化为：由此可见，相邻两组的同一层尺度为由此可见，相邻两组的同一层尺度为2倍的关系倍的关系关键点检测相关问题21最后可将组内和组间尺度归为：最后可将组内和组间尺度归为：i i金字塔组数金字塔组数n n每一组的层数每一组的层数关键点检测相关问题22上一组图像的底层
12、是由前一上一组图像的底层是由前一组图像的倒数第二层图像组图像的倒数第二层图像隔点采样生成的。隔点采样生成的。这样可以保持尺度的连续性。这样可以保持尺度的连续性。关键点检测相关问题23对应对应DOGDOG算子，我们要构建算子，我们要构建DOGDOG金字塔金字塔我们可以通过高斯差分图我们可以通过高斯差分图像看出图像上的像素值变像看出图像上的像素值变化情况。（如果没有变化，化情况。（如果没有变化，也就没有特征。特征必须也就没有特征。特征必须是变化尽可能多的点。）是变化尽可能多的点。）DOGDOG图像描绘的是目标的图像描绘的是目标的轮廓。轮廓。关键点检测相关问题5.5.高斯差分（高斯差分（DOGDOG
13、）金字塔）金字塔24中间的检测点和它同尺度的中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的个相邻点和上下相邻尺度对应的92个个点共点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。个点比较，以确保在尺度空间和二维图像空间都检测到极值点。l DoG的局部极值点的局部极值点 关键点是由关键点是由DOGDOG空间的局部极值点组成的。空间的局部极值点组成的。为了寻找为了寻找DoGDoG函数的极值点，函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。的相邻点大或者小。关键点
14、检测25精确确定极值点位置26去除低对比度极值点：27边缘响应处的极值点的去除DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。获取特征点处的Hessian矩阵，D的主曲率和H的特征值成正比，通过一个2x2的Hessian矩阵H的特征值表示：H的特征值和为特征值。假设是较大的特征值，而是较小的特征值，令，则两个特征值相等时最小，随着的增大而增大。让该比值小于一定的阈值。为了检测主曲率是否在某域值r下，只需检测成立时将关键点保留，反之剔除。在Lowe的文章中，取r10。28关键点方向分配通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键通过尺度不变性求极值点，可以使其具有缩放
15、不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，向，从而使描述子对图像旋转具有不变性。从而使描述子对图像旋转具有不变性。l 像素点的梯度表示像素点的梯度表示梯度幅值：梯度方向：我们通过求每个极值点的梯度来为极值点赋予方向。我们通过求每个极值点的梯度来为极值点赋予方向。29关键点方向分配l方向方向直方图的生成直方图的生成确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。一定区域内
16、的图像像素点对关键点方向生成所作的贡献。30关键点方向分配关键点主方向：极值点周围区域梯度直方图的关键点主方向：极值点周围区域梯度直方图的主主峰值峰值,也是特征点方向也是特征点方向关键点辅方向：关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰值在梯度方向直方图中，当存在另一个相当于主峰值 当当某方向某方向80%能量的峰值时，则能量的峰值时，则将将该该方向方向认为是该关键点的辅认为是该关键点的辅方向方向，生成，生成一个新的特征向量一个新的特征向量。l关键点的主方向与辅方向关键点的主方向与辅方向31特征检测图像的关键点和特征已检测完毕，每个关键点有三个信图像的关键点和特征已检测完毕，每个关
17、键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。和旋转不变性。32关键点描述l描述的目的l描述的目的是在计算关键点后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、3D视点变化等。l描述的思路l通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。33关键点描述下图是一个下图是一个SIFT描述子事例。其中描述子由描述子事例。其中描
18、述子由228维向量表征，也即是维向量表征，也即是22个个8方向的方向方向的方向直方图组成。直方图组成。左图的种子点由左图的种子点由88单元组成。每一个小格都代表单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在头长度代表该像素的幅值。然后在44的窗口内计算的窗口内计算8个方向的梯度方向直方图。个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点由绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点由4个个种子点
19、的信息所组成。种子点的信息所组成。34关键点描述 LoweLowe实验结果实验结果表明表明：描述子描述子采用采用448448128128维向量表征维向量表征，综合效果最优综合效果最优（不变性与独（不变性与独特性）。特性）。35关键点描述是关键点所在组（是关键点所在组（octave）的组内尺度，）的组内尺度，1.确定确定计算计算描述子所需的图像区域描述子所需的图像区域描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像区域的半径通过下式计算区域的半径通过下式计算：l 128维关键点描述子生成步骤维关键点描述子生成步骤36关键点描
20、述2.将坐标移至关键点主方向将坐标移至关键点主方向那么旋转角度后新坐标为：那么旋转角度后新坐标为：373.3.将产生的图像区域划分成将产生的图像区域划分成4*44*4的小块，对每个小块统计其每个像素的梯的小块，对每个小块统计其每个像素的梯度值和方向，形成梯度直方图。整个图像块就表示为度值和方向，形成梯度直方图。整个图像块就表示为4 4*4 4*8=1288=128为的特为的特征向量。征向量。4.4.描述子向量元素门限化及门限化后的描述子向量规范化。描述子向量元素门限化及门限化后的描述子向量规范化。描述子向量元素规范化：描述子向量元素规范化：为得到的为得到的128128描述子向量描述子向量,为规范化后的向量为规范化后的向量关键点描述关键点关键点描述子向量的规范化正是可去除描述子向量的规范化正是可去除满足此模型的光照满足此模型的光照影响影响。对对于图像灰度值整体漂移于图像灰度值整体漂移 ，图像各点的梯度是邻域像素相减得到，所，图像各点的梯度是邻域像素相减得到，所以也能去除。以也能去除。38谢谢！