《局部不变性特征描述子PPT课件.ppt》由会员分享，可在线阅读，更多相关《局部不变性特征描述子PPT课件.ppt（98页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、关于局部不变性特征描述子第一张，PPT共九十八页，创作于2022年6月1.图像分析的目的图像分析的目的从图像中获取待研究目标的有用信息，让计算机机具有认识、理解、识别图像的能力图像描述：用一组数字量或符号(描述子)来表征图像中被描述物体的某些特征 3.1 基本概念基本概念第二张，PPT共九十八页，创作于2022年6月图像中的区域(目标)，可用其内部(如组成区域的象素集合)表示，也可用其外部(如组成区域边界的象素集合)表示关心区域的反射性质如灰度、颜色、纹理等关心区域的形状等选定了表达方法，还需要对目标进行描述，使计算机能充分利用所能获得的分割或者其他结果表达是直接具体的表示目标。好的表达方法应
2、具有节省存储空间、易于特征计算等优点描述是较抽象的表示目标。好的描述应在尽可能区别不同目标的基础上对目标的尺度、平移、旋转等不敏感第三张，PPT共九十八页，创作于2022年6月2.特征提取的广义定义特征提取的广义定义根据待识别的图像的特点，通过计算机的计算产生的一组原始特征来表示原始图像，称之为特征形成，一般称为特征提取。3.狭义定义狭义定义特征提取：在原始特征基础上选择一些主要特征作为判别用的特征，以达到降低特征空间维数的目的。可区别性、可靠性、独立性好、数量少特征选择：原始样本处于一个高维空间中，采用某种变换技术，将高维特征变换或映射到低维空间，得到最具代表性的较少的综合低维特征。第四张，
3、PPT共九十八页，创作于2022年6月色色图像图像特征特征形形颜色特征颜色特征亮度信息特征亮度信息特征（光谱）（光谱）几何形状几何形状边缘特征边缘特征纹理特征纹理特征空间关系空间关系色调、颜色、阴影、反差色调、颜色、阴影、反差形状、大小、空间布局、纹理形状、大小、空间布局、纹理 图像特征图像特征第五张，PPT共九十八页，创作于2022年6月特征类别特征类别像素级特征：从每一个像素点计算的特征，如颜色、位置局部特征：从局部的区域计算的特征，如关键点（兴趣点）、局部区域，等全局特征：从整个图像级提取的特征形态特征 vs.纹理特征第六张，PPT共九十八页，创作于2022年6月纹理特征纹理特征纹理是一
4、个模糊的概念，无统一的定义由许多互相接近的、互相编织的元素构成，并常富有周期性，如小成分构造，最典型的如纺织品纤维的结构纹理描述很少用到边缘检测特点：不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算局部区域中像素位置之间的相关性第七张，PPT共九十八页，创作于2022年6月局部特征不是关键，其若干不变性（旋转不变性、尺度不变性、仿射不变性、灰度不变性等）才是局部特征研究发展的关键！熵、能量、部分矩具有旋转不变性，还具有尺度不变性不不变变性性：假设有一个函数f(x)和变换G，如果满足f(G(x)=f(x)，也就是作用在自变量x上的变换并不改变函数的值，则称f具有G不变性。协协变变
5、性性：如果f和G满足交换律，即f(G(x)=G(f(x)，则f对于变换 G具有协变性。3.2 局部特征局部特征第八张，PPT共九十八页，创作于2022年6月几何变形几何变形包括5部分：平移，Euclidean（平移+旋转），相似（平移+旋转+缩放），仿射变换，透视变换图像几何变换的实质实质：改变像素的空间位置或估算新空间位置上的像素值图像几何变换的一般表达式其中，u,v为变换后图像像素的笛卡尔坐标，x,y为原始图像中像素的笛卡尔坐标。第九张，PPT共九十八页，创作于2022年6月1）平移变换）平移变换 若图像像素点 平移到 ，则变换函数为 写成矩阵表达式为：其中，和 分别为 x 和 y 的坐标
6、平移量。注意：平移后的景物与原图像相同，但“画布”一定是扩大了。否则就会丢失信息。第十张，PPT共九十八页，创作于2022年6月2）比例缩放）比例缩放 若图像坐标 缩放到()倍，则变换函数为：其中,分别 x 和 y坐标的缩放因子，其大于1表示放大，小于1表示缩小。第十一张，PPT共九十八页，创作于2022年6月3）旋转变换）旋转变换 将输入图像绕笛卡尔坐标系的原点逆时针旋转角度，则变换后图像坐标为：这个计算公式计算出的值为小数，而坐标值为正整数 这个计算公式计算的结果值所在范围与原来的值所在的范围不同因此需要前期处理：扩大画布，取整处理，平移处理旋转后处理：插值 第十二张，PPT共九十八页，创
7、作于2022年6月4）仿射变换）仿射变换 图像仿射变换提出的意义是采用通用的数学影射变换公式，来表示前面给出的几何变换。平移、比例缩放和旋转变换都是一种称为仿射变换的特殊情况。第十三张，PPT共九十八页，创作于2022年6月仿射变换性质仿射变换性质仿射变换有6个自由度（对应变换中的6个系数），因此，仿射变换后互相平行直线仍然为平行直线，三角形映射后仍是三角形。但却不能保证将四边形以上的多边形映射为等边数的多边形。仿射变换的乘积和逆变换仍是仿射变换。仿射变换能够实现平移、旋转、缩放等几何变换。第十四张，PPT共九十八页，创作于2022年6月5）透视变换）透视变换 把物体的三维图像表示转变为二维表
8、示的过程，称为透视变换，也称为投影映射，其表达式为:透视变换也是一种平面映射，并且可以保证任意方向上的直线经过透视变换后仍然保持是直线。透视变换具有9个自由度（其变换系数为9个），故可以实现平面四边形到四边形的映射。第十五张，PPT共九十八页，创作于2022年6月局部特征性质局部特征性质局部图像特征描述的核心问题是不变性、鲁棒性和可区分性。不变性不变性：指局部特征不随图像大的变形而改变。对于大的图像变形往往需要先对这些变形进行建模，然后再设计不受这些变形影响的特征检测算法。鲁棒性鲁棒性：指局部特征对于小的变形应该不敏感。这类变形包括图像噪声、离散化效应、压缩、图像模糊等，以及由于数学建模而引入
9、的小的几何或成像形变等。可区分性可区分性：特征具有区别不同类别的能力。可区分性的强弱往往和其不变性是矛盾的。一个具有众多不变性的特征描述子，其区分局部图像内容的能力就稍弱；而如果一个非常容易区分不同局部图像内容的特征描述子，它的鲁棒性往往比较低。第十六张，PPT共九十八页，创作于2022年6月局部特征应用举例局部特征应用举例图像配准图像表示目标识别全景图像拼接。局部特征的发展趋势局部特征的发展趋势快速、低存储第十七张，PPT共九十八页，创作于2022年6月SIFT里程碑式的工作SURF 3.3 典型算法典型算法第十八张，PPT共九十八页，创作于2022年6月尺度尺度 3.3.1 尺度空间理论尺
10、度空间理论广义尺度广义尺度制图尺度制图尺度地图比例尺地图比例尺图上距离与实际距离之比大比例尺小范围、详细信息地理尺度地理尺度观测尺度观测尺度研究的空间范围或大小如：大尺度覆盖大的研究区域分辨率分辨率测量尺度测量尺度区分目标的最小可分辨单元(如：像元)运行尺度运行尺度有效尺度有效尺度地学现象发生的空间范围一定环境中发挥效应的尺度如：森林比树的运行尺度大空间尺度空间尺度时间尺度时间尺度语义尺度语义尺度第十九张，PPT共九十八页，创作于2022年6月尺度空间方法的基基本本思思想想：在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些
11、信息以深入地挖掘图像的本质特征。尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质特征。图像的尺度空间表达指的是图像在所有尺度下的描述。3.3.1 尺度空间理论尺度空间理论第二十张，PPT共九十八页，创作于2022年6月尺度空间理论是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。尺度空间表示是一种基于区域而不是基于边缘的表达，它无需关于图像的先验知识。尺度空间理论属于CV中图像的多分辨率分析。3.3.1 尺度空间理论
12、尺度空间理论第二十一张，PPT共九十八页，创作于2022年6月金字塔多分辨率金字塔多分辨率一个金字塔表达，通常结合滤波和二次抽样连续地减少图像尺寸减少图像尺寸来生成。常用的金字塔结构有Gaussian金字塔、Laplacian金字塔、小波金字塔等。金字塔影像是一种较老的尺度表示方法，结合了降采样操作和平滑处理，它的一个很大的好处是：自下而上每一层的像素数都不断减少，这会大大减少计算量，而缺点是这种自下而上的金字塔在尺度量化方向显得较为粗糙。粗糙。第二十二张，PPT共九十八页，创作于2022年6月 金字塔影像金字塔影像图像金字塔是以多分辨率多分辨率来解释图像的一种结构。一般按照2n(n=0,1,
13、2)取平均得到。最底层的影像对应原始影像。通过每2x2=4个像素平均，即可构成2级影像级，如此类推，即可构成多级金字塔影像。每一级(2i)影像的像素总数对于前一级(2i-1)影像以4的倍数缩小的倍数缩小(也可通过3x3=9个平均像素来建立影像级)。常采用的是高斯金字塔影像高斯金字塔影像生成算法，构成金字塔的层数，应当根据影像的分辨率、影像可能的噪声、影像的大小及相关计算速度来确定。第二十三张，PPT共九十八页，创作于2022年6月图像的多尺度空间表达图像的多尺度空间表达尺度空间表示是一种基于区域基于区域而不是边缘的表达 对于一个N维信号 ，它的尺度空间 定义为:L(x:t)=K*f(x,t)其
14、中 t 为尺度参数，K 为尺度空间核。第二十四张，PPT共九十八页，创作于2022年6月图像的多尺度空间表达图像的多尺度空间表达尺度空间表示通过平滑获得，可描述为 空间，分别为位置参数和尺度参数。尺度参数可以是离散的，也可以是连续的。所有尺度上空间采样点个数是相同的(尺度空间表示法在各个尺度上图像的分辨率都是一样的)。应该具有尺度伸缩等不变性。第二十五张，PPT共九十八页，创作于2022年6月高斯尺度空间高斯尺度空间高斯函数作为卷积核生成的尺度空间是目前最完善的尺度空间之一，根据Koendrink和Lindeber的研究表明，在多种合理假设前提下，唯一可能的尺度空间核是Gaussian核核。因
15、此，一幅二维图像的尺度空间可表示为：第二十六张，PPT共九十八页，创作于2022年6月高斯尺度空间高斯尺度空间当采用不同尺度的平滑函数对同一图像进行滤波时，得到的一簇图像就是原始图像相对于该平滑函数的尺度空间，为尺度空间坐标。构建高斯尺度空间的主主要要思思想想是在精精细细尺尺度度上的信息随着尺度参数值的增加而逐渐地被抑制，尺度从粗到细的变化过程中，不会产生新的结构。在高斯尺度空间下，只是对图像作了卷卷积积，图像的分辨率和像素仍然没有改变，只是细节平滑了，而传统的影像金字塔关键在降采样，显然分辨率降底了。第二十七张，PPT共九十八页，创作于2022年6月不同尺度因子下的图像第二十八张，PPT共九
16、十八页，创作于2022年6月高斯尺度空间高斯尺度空间通过高斯滤波得到的尺度空间表示了图像在不同尺度下的低低频频信信号号，而代表边缘以及角点等特征的高高频频信信号号丢丢失失。可以在不同分辨率层上通过在不同的尺度上应用合适的函数来表示一个特特征征（如边缘和角点）。在高斯尺度空间，同一类型特征点和边缘在不同的尺度上具有因果性，即当尺度变化时，新的特征点可能出现，而老的特征点可能移位或消失。这种因果性带来的含糊性是固有的，不可避免的，不能企求消除，但可以减小。第二十九张，PPT共九十八页，创作于2022年6月3.3.2 尺度不变特征变换尺度不变特征变换Scale Invariant Feature T
17、ransform（SIFT）1999年British Columbia大学的大卫.劳伊（David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT（尺度不变特征变换），这种算法在2004年被加以完善。David G.LoweComputer Science Department2366 Main MallUniversity of British ColumbiaVancouver,B.C.,V6T 1Z4,Canada E-mail:lowecs.ubc.ca第三十张，PPT共九
18、十八页，创作于2022年6月SIFT简介简介将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。Original image courtesy of David Lowe第三十一张，PPT共九十八页，创作于2022年6月SIFT特点特点SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对于视角变化、仿射变换、噪声也保持一定程度的稳定性。独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。多量性，即使少数的几个物体也可以产生大量SIFT特征向量。经过优化
19、的SIFT算法可满足一定的速度需求。可扩展性，可以很方便的与其他形式的特征向量进行联合。第三十二张，PPT共九十八页，创作于2022年6月SIFT算法可以解决的问题算法可以解决的问题目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。SIFT算法在一定程度上可解决目标的旋转、缩放、平移（RST）图像仿射/投影变换（视点viewpoint）光照影响（illumination）目标遮挡（occlusion）杂物场景（clutter）噪声第三十三张，PPT共九十八页，创作于2022年6月SIFT算法实现步骤简述算法实现步骤简述SIFT实质可以归为在不同尺度空间上
20、查找特征点（关键点）的问题。第三十四张，PPT共九十八页，创作于2022年6月SIFT算法实现步骤算法实现步骤1.检测尺度空间极值点2.精确定位极值点3.为每个关键点指定方向参数4.关键点描述子的生成第三十五张，PPT共九十八页，创作于2022年6月关键点检测关键点检测哪些是关键点（特征点）？这些点是一些十分突出的点，不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。所谓关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。特征点具有的三个特征：尺度，方向，
21、大小第三十六张，PPT共九十八页，创作于2022年6月高斯金字塔高斯金字塔高斯金字塔的构建过程可分为两步：1）对图像做高斯平滑；2）对图像做降采样。为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。一幅图像可以产生几组组（octave）图像，一组图像包括几层层（interval）图像。上一组图像的底层是由前一组图像的倒数第二层图像隔点采样生成的。这样可以保持尺度的连续性。第三十七张，PPT共九十八页，创作于2022年6月第三十八张，PPT共九十八页，创作于2022年6月高斯差分尺度函数高斯差分尺度函数为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分（Difference of
22、Gaussian，DOG）尺度空间DOG在计算上只需相邻尺度高斯平滑后图像相减，因此简化了计算！第三十九张，PPT共九十八页，创作于2022年6月高斯差分金字塔高斯差分金字塔可以通过高斯差分图像观察图像上的像素值变化情况。如果没有变化，也就没有特征。特征必须是变化尽可能多的点。DOG图像描绘的是目标的轮廓。第四十张，PPT共九十八页，创作于2022年6月第四十一张，PPT共九十八页，创作于2022年6月1）DOG的局部极值点的局部极值点关键点是由DOG空间的局部极值点组成的。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测
23、点和它同尺度的8个相邻点和上下相邻尺度对应的92个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个邻域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。第四十二张，PPT共九十八页，创作于2022年6月2）精确定位）精确定位极值点极值点通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点（因为DOG算子会产生较强的边缘响应），以增强匹配稳定性、提高抗噪声能力。第四十三张，PPT共九十八页，创作于2022年6月2）精确定位）精确定位极值点极值点位置位置1）在检测
24、到极值点后，对差分算子进行二阶泰勒展开，求泰勒公式的极大偏移量，精确定位检测到的极值点。求导，并令其为0，所得精确位置为：在求出极大偏移量后，若其值大于0.5则表示极值点更靠近相邻的点；若小于0.5则不动。第四十四张，PPT共九十八页，创作于2022年6月去除低对比度极值点去除低对比度极值点2）由于线性尺度空间不能保证对比度不变性，因此在精确定位好后，通过上面求得的式子，要去除低对比度点。计算公式如下：在Lowe的论文中提到当D(X)小于0.3时就定义此极值点为低对比度点，此点将被去除掉。第四十五张，PPT共九十八页，创作于2022年6月边缘响应的去除边缘响应的去除3）一个定义不好的高斯差分算
25、子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。由于这样的边缘点容易受到图像噪声的影响，因此也要去除这些不稳定的边缘点。主曲率通过一个2x2的Hessian矩阵H求出，在Hessian特征点检测中有提到如何通过Hessian矩阵求边缘点的方法。第四十六张，PPT共九十八页，创作于2022年6月3）为每个关键点指定方向参数为每个关键点指定方向参数通过尺度不变性求极值点，可以使其具有缩放不变的性质。利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。像素的梯度表示：梯度幅值：梯度方向：第四十七张，PPT共九十八页，创作于2022年6月方向直
26、方图的生成方向直方图的生成 以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0360度，其中每10度一个柱，总共36个柱。随着距中心点越远的邻域其对直方图的贡献也响应减小。Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。第四十八张，PPT共九十八页，创作于2022年6月关键点的主方向与辅方向关键点的主方向与辅方向关键点主方向：极值点周围区域梯度直方图的主峰值，也是特征点方向。关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。第四十九张，PPT共九十八页，创作于2022年6月关
27、键点检测完毕关键点检测完毕图像的关键点已检测完毕，每个关键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。第五十张，PPT共九十八页，创作于2022年6月4）关键点描述子的生成）关键点描述子的生成在局部特征的设计中最关键的一步就是特征描述符的设计，而判断一个特征描述符好坏的重要依据就是其高可区分性。在关键点计算后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。思路：通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。第五十一张，PPT共九十八页，创作
28、于2022年6月SIFT关键点描述子生成步骤关键点描述子生成步骤旋转主方向：将坐标轴旋转为关键点的方向，以确保旋转不变性。生成描述子：对于一个关键点产生128个数据，即最终形成128维的SIFT特征向量。归一化处理：将特征向量的长度归一化，则可以进一步去除光照变化的影响。第五十二张，PPT共九十八页，创作于2022年6月关键点描述子生成举例关键点描述子生成举例以关键点为中心取1616的窗口。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在每44的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。如
29、下图所示：一个特征点由4个种子点的信息所组成。第五十三张，PPT共九十八页，创作于2022年6月Lowe实验结果表明：描述子采用448128维向量表征，综合效果最优（不变性与独特性）。第五十四张，PPT共九十八页，创作于2022年6月归一化处理归一化处理在求出448的128维特征向量后，此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响。而图像的对比度变化相当于每个像素点乘上一个因子，光照变化是每个像素点加上一个值，但这些对图像归一化的梯度没有影响。因此将特征向量的长度归一化，则可以进一步去除光照变化的影响。对于一些非线性的光照变化，SIFT并不具备不变性，但由于这类变化影响的主
30、要是梯度的幅值变化，对梯度的方向影响较小，因此作者通过限制梯度幅值的值来减少这类变化造成的影响。第五十五张，PPT共九十八页，创作于2022年6月描述子具体计算描述子具体计算1）确定计算描述子所需的图像区域 描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像区域的半径通过下式计算：是关键点所在组（octave）的组内尺度，第五十六张，PPT共九十八页，创作于2022年6月描述子具体计算描述子具体计算2）将坐标移至关键点主方向 那么旋转角度后新坐标为：第五十七张，PPT共九十八页，创作于2022年6月描述子具体计算描述子具体计算3）将产生的图像区域划分成44的小块，对每个小块统计其每个
31、像素的梯度值和方向，形成梯度直方图。整个图像块就表示为4 4 8=128为的特征向量。4）描述子向量元素门限化及门限化后的描述子向量规范化。第五十八张，PPT共九十八页，创作于2022年6月实验结果实验结果第五十九张，PPT共九十八页，创作于2022年6月原图平滑后图像实验结果实验结果不同尺度不同尺度第六十张，PPT共九十八页，创作于2022年6月实验结果实验结果旋转不变性旋转不变性第六十一张，PPT共九十八页，创作于2022年6月关键点匹配关键点匹配分别对模板图（参考图，reference image）和实时图（观测图，observation image）建立关键点描述子集合。目标的识别是通
32、过两点集内关键点描述子的比对来完成。具有128维的关键点描述子的相似性度量采用欧式距离。第六十二张，PPT共九十八页，创作于2022年6月关键点匹配关键点匹配穷举匹配原图像目标图像第六十三张，PPT共九十八页，创作于2022年6月关键点匹配关键点匹配模板图中关键点描述子：实时图中关键点描述子：任意两描述子相似性度量：要得到配对的关键点描述子，需满足：第六十四张，PPT共九十八页，创作于2022年6月关键点匹配关键点匹配关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多。一般都采用一种叫kd树的数据结构来完成搜索。搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特
33、征点和次邻近的原图像特征点。Kd树是一个平衡二叉树。第六十五张，PPT共九十八页，创作于2022年6月实验结果实验结果第六十六张，PPT共九十八页，创作于2022年6月SIFT应用应用物体识别物体识别第六十七张，PPT共九十八页，创作于2022年6月SIFT应用应用图像拼接图像拼接第六十八张，PPT共九十八页，创作于2022年6月SIFT应用应用笔迹鉴定笔迹鉴定第六十九张，PPT共九十八页，创作于2022年6月SIFT应用应用匹配匹配 来自网友的创意周正龙的老虎图1周正龙的华南虎照片与年画上的华南虎照片12点匹配图2周正龙的华南虎照片与真实的华南虎照片0点匹配第七十张，PPT共九十八页，创作于
34、2022年6月改进改进PCA-SIFTASIFTAffine SIFTLPP-SIFT。第七十一张，PPT共九十八页，创作于2022年6月PCA-SIFTPCA-SIFT与标准SIFT有相同的亚像素位置，尺度和主方向。但在第4步计算描述子的设计，采用了主成分分析的技术。用特征点周围的4141的像素计算它的主元，并用PCA-SIFT将原来的23939维的向量降成20维，以达到更精确的表示方式。它的主要步骤为：对每一个关键点，在关键点周围提取一个4141的像素于给定的尺度，旋转到它的主方向；计算3939水平和垂直的梯度，形成一个大小为3042的矢量；用预先计算好的投影矩阵n3042与此矢量相乘；这
35、样生成一个大小为n的PCA-SIFT描述子。第七十二张，PPT共九十八页，创作于2022年6月3.3.3 加速稳健特征加速稳健特征Speeded-Up Robust Features（SURF）2006年由Herbert Bay et al.在ECCV会议提出，是一种稳健的图像识别和描述算法。SURF是SIFT的改进，SURF标准版本比SIFT要快数倍积分图像Haar求导，并且其作者声称在不同图像变换方面比SIFT更稳健。特点：使用积分图像完成图像卷积（相关）操作;使用Hessian矩阵检测特征值；使用基于分布的描述符（局部信息）。第七十三张，PPT共九十八页，创作于2022年6月SURF步骤
36、步骤搜寻图像关键点采用Hessian矩阵的行列式在尺度空间搜寻主要的关键点非极大值抑制设置特征点的方向生成特征向量第七十四张，PPT共九十八页，创作于2022年6月Hessian矩阵矩阵二维空间函数f(x,y)的Hessian矩阵为函数的偏导数组成：为对称矩阵每一个像素点都可以求出一个Hessian矩阵第七十五张，PPT共九十八页，创作于2022年6月Hessian矩阵矩阵Hessian矩阵的行列式为：行列式的值是H矩阵的特征值的乘积，可以利用判定结果的符号将所有点分类，根据行列式式取值的正负，来判别该点是或不是极值点：正数为极值点！可以通过设置行列式值的阈值来检测主要的特征点。第七十六张，P
37、PT共九十八页，创作于2022年6月Hessian矩阵矩阵由于特征点需要具备尺度无关性，所以在进行Hessian矩阵构造前，需要对其进行高斯滤波。经过滤波后再进行Hessian的计算，H(x,)在x方向尺度为的定义为：其中，Lxx(x,)是高斯二阶偏导数在x处与图像I的卷积。第七十七张，PPT共九十八页，创作于2022年6月变换图像变换图像特征点是在原图像的变换图像上寻找，然后将其位置反映射到原图中。在SURF中，是由原图每个像素的Hessian矩阵行列式的近似值构成。其行列式近似公式如下：其中，0.9是作者给出的一个经验值，也称为斑状（Blob）响应。第七十八张，PPT共九十八页，创作于20
38、22年6月变换图像变换图像求Hessian时要先高斯平滑，然后求二阶导数，这在离散的像素点是用模板卷积完成。两种操作可以合在一起用一个模板代替。高斯拉普拉斯（Laplace of Gaussian，LoG）模版示例：LxxLyyLxy第七十九张，PPT共九十八页，创作于2022年6月DxxDyyDxyLoG近似近似为了加速卷积运算，从SIFT中用DoG近似LoG的做法得到启示，用盒子型滤波器（box filters）代替二阶高斯差分模板进行近似因为可以采用积分图快速算法！第八十张，PPT共九十八页，创作于2022年6月积分图像积分图像积分图像：指当前像素点所在位置距原点（0,0）所包围面的所有
39、灰度之和。绿色的部分为当前像素点，红色为积分区域第八十一张，PPT共九十八页，创作于2022年6月积分图像积分图像计算图像中任意一块矩形区域的灰度之和S只需要利用矩形4个顶点（A，B，C，D）的积分值Si即可：优点：任何一个垂直矩形区域的面积只需要进行3次+/-法就能计算。卷积可以用积分图实现快速计算。只需要在函数定义之前计算各个坐标点的积分图像，然后就能方便的求出hessian的特征值。第八十二张，PPT共九十八页，创作于2022年6月Blob响应实验结果响应实验结果第八十三张，PPT共九十八页，创作于2022年6月在尺度空间搜寻主要的关键点在尺度空间搜寻主要的关键点SIFT：同一个组（oc
40、tave）的层中的图片尺寸(即大小)相同，但是尺度(即模糊程度)不同，而不同的octave中的图片尺寸大小也不相同。即：高斯平滑+降采样。每层图像依赖于前一层图像，并且图像需要重设尺寸，因此，这种计算方法运算量较大。SURF：申请增加图像核的尺寸，这也是SIFT算法与SURF算法在使用金字塔原理方面的不同。允许尺度空间多层图像同时被处理，不需对图像进行二次抽样，从而提高算法性能。第八十四张，PPT共九十八页，创作于2022年6月SIFT：在进行高斯模糊时，高斯模板大小是始终不变的，只是在不同的octave之间改变图片的大小。SURF：图片的大小是一直不变的，不同的octave得到的待检测图片是
41、改变高斯模糊尺寸大小（即对bob filter进行尺度变换）得到的。当然，同一个octave中个的图片用到的高斯模板尺度也不同。SURF采用这种方法节省了降采样过程，其处理速度自然也就提上去了。构建尺度空间构建尺度空间第八十五张，PPT共九十八页，创作于2022年6月说明：假定初始模版大小为99，尺度为1.2，对应于高斯核中的=1.2（第一层）。之后，不断增加模版的大小，得到下一层。优点：提高效率（可以利用积分图有关的快速计算）。由于没有对图像进行降采样，所以不存在混叠现象。构建尺度空间构建尺度空间第八十六张，PPT共九十八页，创作于2022年6月建立高斯金字塔，金字塔分为多个Octaves，
42、每个Octave分为4个Scale levels。第一级的Octave的模块大小为9、15、21、27（相差6），第二级为15、27、39、51（相差12），第三级为27、51、75、99（相差24）。每一级第一个level的大小为上一级第二个level的大小。继续建立高斯金字塔，直到filter的大小大于原图像的大小为止。构建尺度空间具体步骤构建尺度空间具体步骤第八十七张，PPT共九十八页，创作于2022年6月精确定位极值点精确定位极值点对于每一个Octave，对计算出行列式的值设一个阈值，大于该阈值的列为候选兴趣点。增加阈值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来。对候
43、选极值点进行非极大抑制：对于该level的周围8个点以及上下scale level相应位置的92个点，一共26个点进行比较行列式的大小，若该点是周围26个点中行列式最大的，则保留。采用3维线性插值法得到亚像素级的特征点精确定位。第八十八张，PPT共九十八页，创作于2022年6月Haar变换变换用Haar变换来寻找特征的主要方向，Haar小波特征是一些简单的box filter。实际应用中指选取前两个Haar小波特征。第八十九张，PPT共九十八页，创作于2022年6月设定特征点的方向设定特征点的方向SIFT：选取特征点主方向是采用在特征点邻域内统计其梯度直方图，取直方图bin值最大的以及超过最大
44、bin值80%的那些方向做为特征点的主方向。SURF：不统计其梯度直方图，而是统计特征点邻域内的harr小波特征。第九十张，PPT共九十八页，创作于2022年6月设定特征点的方向设定特征点的方向在特征点的邻域(半径为6的圆内，为该点所在的尺度)内，统计60扇形内所有点的水平Haar小波特征和垂直Haar小波特征总和，Haar小波的尺寸变长为4，这样一个扇形得到了一个值。然后60扇形以一定间隔进行旋转，最后将最大值那个扇形的方向作为该特征点的主方向。第九十一张，PPT共九十八页，创作于2022年6月生成特征向量生成特征向量SIFT：在特征点周围取1616的邻域，并把该邻域化为44个的小区域，每个
45、小区域统计8个方向梯度，最后得到448=128维的向量，该向量作为该点的sift描述子。SURF：在特征点周围取一个正方形框，框的边长为20(是所检测到该特征点所在的尺度)。该框带方向，方向就是第4步检测出来的主方向了。然后把该框分为16个子区域，每个子区域统计55个像素的水平方向和垂直方向的Haar小波响应（dx和dy），这里的水平和垂直方向都是相对主方向而言。每个子区域计算4个参量：dx，dy，|dx|，|dy|第九十二张，PPT共九十八页，创作于2022年6月生成特征向量生成特征向量每个小区域就有4个值，所以每个特征点就是164=64维的向量。相比SIFT而言，少了一半，这在特征匹配过程
46、中会大大加快匹配速度。第九十三张，PPT共九十八页，创作于2022年6月生成特征向量生成特征向量第九十四张，PPT共九十八页，创作于2022年6月性能比较性能比较第九十五张，PPT共九十八页，创作于2022年6月总结总结SIFT与与SURF的不同的不同第九十六张，PPT共九十八页，创作于2022年6月其他特征算子其他特征算子HOG：Histogram of Oriented Gradients GLOH：Gradient Location and Orientation HistogramBRISK：Binary Robust Invariant Scalable KeypointsORB：ORiented BriefBRIEF：Binary Robust Independent Elementary Features。第九十七张，PPT共九十八页，创作于2022年6月感感谢谢大大家家观观看看第九十八张，PPT共九十八页，创作于2022年6月