《多摄像头机场监控图像拼接系统设计--毕业(完整版)资料.doc》由会员分享，可在线阅读，更多相关《多摄像头机场监控图像拼接系统设计--毕业(完整版)资料.doc（58页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多摄像头机场监控图像拼接系统设计-毕业（完整版）资料(可以直接使用，可编辑 优秀版资料，欢迎下载）【答案】B?0-999中该数的值等于该数中各位数字的立方和：,i【答案】Cparameters rm=pi()*r235. 下列关于查询设计器的说法中错误的是_。22、既可应用于局域网又可应用于广域网的以太网技术是【答案】AA. 更新规则 B. 查询规则 C. 删除规则 D. 插入规则?无此学号，请重新输入。毕业设计说明书多摄像头机场监控图像拼接系统设计学生姓名： 学号： 学 院： 专 业： 指导教师： 2021年06月多摄像头机场监控图像拼接系统设计摘要图像拼接技术是将一组相互间重叠部分的图像序
2、列进行空间匹配对准，经采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接的过程由图像获取、图像配准、图像合成三个步骤组成。其中图像配准是整个图像拼接的基础。本文研究了基于特征图像配准算法。利用基于特征Harris角点检测算法提取出初始特征点对，实现特征点对的精准匹配。最后用加权平均对实现图像融合。实验证明该算法适应性较强，在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。同时该算法准确率较高，具有较高的使用价值。关键字：图像拼接，图像配准，特征点，图像合成Multiple cameras monitoring image mosai
3、cing system design at the airportAbstractImage splicing technology is a set of overlap between image sequence space matching alignment, after sampling the synthesis forming a wide perspective of containing the image sequence information new scene, complete, high-definition image technology.Image sti
4、tching process consists of image acquisition, image registration, image synthesis of three steps.The image registration is the foundation of the whole image mosaicing.In this paper, based on the characteristics of image registration algorithm is studied.Based on the characteristics of the Harris cor
5、ner detection algorithm to extract the initial feature points on, realize the feature points on the precision of matching.Image fusion is realized by using the weighted average.Experiments prove that the algorithm has strong adaptability, in the repetitive texture, rotation Angle is bigger and more
6、difficult to automatically match occasions can still achieve accurate image registration.At the same time the algorithm accuracy is higher, has the high use value.Keywords: Image matching, image registration, feature points, the image synthesis目录1 绪论11.1 图像拼接技术的应用背景及意义11.2 图像拼接技术的研究现状21.3 本课题的研究内容41
7、.4 论文内容安排42 图像拼接理论62.1 图像基础知识6数字图像概念6像素6像素的邻域62.2 图像拼接原理72.3 图像拼接的应用82.4 本章小结83图像预处理93.1图像增强93.2 图像平滑10图像噪声10均值滤波12高斯滤波12中值滤波133.3 本章小结144 图像配准154.1 基于区域的图像配准15逐一比较法15分层比较法174.2 基于特征的图像配准19角点特征19特征204.3特征点匹配234.4本章小结245 图像融合255.1图像融合技术基本概念255.2 图像融合常用算法26平均值法26多分辨样条法26加权平滑法275.3 本章小结286 软件设计与实现296.1
8、 Visual Studio简介296.2 opencv296.3 系统流程及实现316.4 实验结果及分析317 论文总结及系统展望347.1总结347.2展望34参考文献35致谢381 绪论1.1 图像拼接技术的应用背景及意义随着科技的进步，人们越来越倾向于使用视频监控代替人工监视，无论是公共场所的重点区域还是私人隐秘场所，都遍布各种视频监控系统1。然而由于监控摄像头多数是固定的，所获取的画面视野比较有限，如果只用一个摄像头常常会在一个区域内存在盲区，留下安全隐患2。但是现有的摄像头还是无法满足人们全景捕捉的需求，摄像头较窄的视角给视频监控的发展带来了不小的阻碍，主要体现在以下两方面:（1
9、）监控遗漏，由于摄像头视角较小，一般采用多摄像头同时监控，可是多摄像头得到的视频资源相对独立，视频信息分散，一般会造成监控死角，而且监控起来较为困难，最终造成监控遗漏。（2）冗余资源，在多摄像头的分散监控的情况下，为了减少监控死角，一般会增加摄像头的数量，这样必定会造成视频资源的冗余3。图像拼接的发展对于视频监控是一个福音，我们可以通过多个摄像头拼接形成具有广角视野的监控系统。 图像拼接，即Image-stitching或者Image-mosaic，是指把含有重叠内容的一系列图像进行配准融合，形成具有更宽广视域、更高分辨率的全景图像，给人以更加完整、直观的场景信息4。图像融合是信息融合系统中以
10、图像匹准为目的的技术,能对不同传感器获得的图像进行有效的综合和集成, 为不同波段的探测跟踪对象的特征提供精确的信息5。图像配准是图像融合技术的基本环节,只有经过配准后的图像才能进行有效的融合。对于图像配准技术,主要包括以下四个内容:特征空间、搜索空间、搜索策略、相似度测量6。特征空间指的是从图像中提取出来的用来匹配的信息;搜索空间则是指用来校准图像的图像变换集;搜索策略决 定如何在这个空间中选择下一个变换,如何测试并搜索出最优的变换;相似度测量则决定了每一个配准测试中的相关特性7。图像的配准和融合方法较多,主要分为三类:基于像素的配准方法, 基于特征的配准方法和基于模型的配准方法8。基于像素的
11、配准方法多用于图像的初步配准, 计算量小;基于特征的配准方法定位准确，计算量较大且要首先进行特征提取;基于模型的配准方法多用于图像的精细配准 ,但只适合图像中的对象之间的局部的非线性的非刚性的变形的校正。对于像素相关性大的图像, 可利用图像间相同位置的特征点进行配准;对于像素相似性小的图像 ,需要先对图像进行特征提取,通过提取的特征点进行配准9。图像拼接技术的前期发展中，主要是针对静态图像的，静态图像的拼接技术得到了不断发展10。但是在现实生活中，基于动态视频的拼接技术的应用场景很多，需要保证在一定精度范围内，能够快速有效地进行实施画面的拼接11。这些年来，动态视频拼接技术也得到了很大的进步，
12、现今己有许多研究成果，但是这些研究成果大部分是在假定场景静态的基础上。而实际生活中，机场环境并不是静态且一成不变的，机场环境有很多外力因素的干扰，如摄像机的抖动，雨雪天气的干扰甚至随风摇曳的树枝也是有可能对监控造成很大的干扰12。视频拼接就是将获取的具有重叠内容的视频序列按照一定的规则拼接起来，形成具有更大视野范围的视频图像，当拥有足够多的摄像头时，就可以达到视频全景的效果，显示全范围全景的视频信息13。视频拼接一般是建立在图像融合的基础上，但是视频拼接的对象是视频流，相对与静态图像而言，其具有时间和空间的上下文，难度更大，一般有两种策略14:一是对视频每一帧图像进行融合;二是抽取一幅图像，获
13、取融合参数，进行作为以后每一帧图像融合的参数。第一种鲁棒性更高，能够适应各种环境，但是图像分析时间较长，会造成视频严重失帧。1.2 图像拼接技术的研究现状图像拼接的关键技术是图像配准，因此图像拼接技术的发展状况从来都是与图像配准技术的发展状况息息相关15。图像配准技术自从开始研究以来衍生出来很多的算法，大致可以归纳为三类:基于区域的配准方法;基于变换域的配准算法;基于特征点的配准算法。基于区域的配准方法又名基于基于图像灰度的配准方法，其常用配准算法主要有块匹配法、比值匹配法、和网格匹配法16。这类方法一般是直接利用图像的灰度信息来建立图像间的相似性，根据相似性度量值(最大值或者最小值)通过某种
14、搜索算法寻找两幅图像间的对应区域，从而建立两幅图像之间的变换关系。由于这种配准算法是直接利用了图像的灰度信息，因此配准的精度较高，鲁棒性较强，但是由于考虑了整幅图像的灰度信息，计算量较大，速度非常慢17。微软研究院的Szeliski R采用特征点像素的亮度误差确定优化函数，进而估计图像间的变换关系18。由于确定优化函数时利用了特征点像素的亮度误差，因此该方法对光照变化特别敏感。基于变换域的配准算法以Kuglin C.D提出相位相关法为代表，此后又有学者提出了扩展相位相关法，此类方法首先对待配准图像进行傅里叶变换，然后根据傅里叶变换的性质，在频域内求解图像间发生的平移以及旋转的角度，从而找到两幅
15、图像间的重叠区域，实现最终的配准19。在图像配准中，常常使用的基于变换域的配准技术还有小波变换。文献采用FFT，降低了运算量，并且可以实现发生旋转、缩放、多尺度等变化的图像配准。文献和文献提出的多尺度分析理论基于小波变换，通过确定小波变换中模的局部极大值点来确定图像的边缘特征点20。尽管变换域方法处理图像配准十分有效，但是由于图像的离散性，在采样时必须采用较高的采样频率，另外，图像的有界性会引起频域中各频率分量的失真，因此，图像的离散和有界增加了变换域方法的局限性，对于待配准的图像，如果它们的灰度属性不满足线性正相关或者不满足给定的变换关系，变换域方法不再适用21。基于特征点的配准算法是目前图
16、像配准技术中最为常用的算法。这类方法主要是利用图像中的不变特征(特征点、轮廓、统计特征、边缘等)作为图像间配准的依据。它的优点是提取的图像特征的数量远远小于图像像素点的数量，大大降低了算法的时间复杂度和空间复杂度。由于没有直接利用图像灰度信息，对图像的灰度变化有一定的鲁棒性。并且匹配时利用了特征本身的固有属性，这可以使图像的配准精度有一定程度的提高22。Chang S.H等人提出了联合直线段与特征点作为特征的多特征图像配准方法23。这种方法建立“特征一致性”函数，并通过此函数曲线上获取的峰值来求解空间变换模型的参数值。该方法比较适用于图像中包含较多人造目标的场合，因为对于人造目标来说，通常可以
17、提取较多的直线段与特征点。张迁等人提出基于SUSAN角点的配准算法24。这种方法分粗级匹配和细级匹配等二级匹配，但是对于航空影像，由于只存在很小的区域重叠的(即图像的“外点”大于50% )，因此难以配准，并且SUSAN角点算法对噪声十分敏感，定位的特征点精确度较低。文献采用Harris角点，利用最小中值法去除“外点”，并实现图像拼接。相对于随机采样法，最小中值法计算复杂度高，而且不能处理“外点”超过50%的情况，并且提取的特征点为像素级，定位精度有待提高25。文献采用SIFT算子，配准精度高，并且可以完全自动拼接，但是仍然存在明显的缺点，主要为SIFT算子要在多阶、层的尺度空间的各个尺度上进行
18、计算，计算复杂度和时间复杂度高，并且文献对重叠区出现大的运动物体的情况缺乏考虑，容易导致所谓的运动“鬼影”现象26。近几年，SIFT算子成为了基于特征配准技术的新的研究热潮。浙江大学的方贤勇提取SIFT特征，并采用近似最近邻算法进行搜索以及RANSAC算法进行匹配，减少了匹配的误差累计，有效提高了配准的稳定性27。1.3 本课题的研究内容给定某个场景的一组互相有重叠的局部图像，如何生成包含着这组局部图像的新的较大的视图，称为图像拼接。图像拼接技术的研究是在现实应用的需求下逐渐发展起来的，现已称为计算机视觉和计算机图形学的研究焦点。本文以飞机场场景为例，采集多个摄像头下的飞机场图像，由于机场场地
19、大，需要的图片取自不同的摄像头，所以必须进行拼接，所以本文研究如何将多幅图像拼接成一幅图像，最终形成一幅大的完整的飞机场场景图像。本设计自行构建系统，利用一系列图像预处理算法和图像拼接算法实现飞机场场景多摄像头图像的拼接。1.4 论文内容安排本篇文论主要分为四个章节，论文的章节排版已经列了出来：第一部分主要说明了图像拼接技术的应用背景和研究现状，及基于本课题的技术需要现存的问题。第二部分整体介绍了图像拼接流程。第三部分详细的介绍了图形预处理方法及方案选取。第四部分详细的介绍了图像配准的处理方法及方案选择。第五部分详细的介绍了图像融合的处理方法和方案选择。第六部分为程序设计与实现。介绍了程序设计
20、的思路。第七部分为结束语。对之前做过的工作进行反思，并阐明之后需要做的工作。2 图像拼接理论2.1 图像基础知识 数字图像概念数字图像是由模拟图像数字化得到的、以像素为基本元素的、可以用数字计算机或数字电路存储和处理的图像。像素数字图像的基本元素是像素，图像的每个像素都有固定的坐标以及灰度值。例如，如果一幅图像的大小为，那么我们有这样的表示：AM,N=，其中，AM,N是一个二维数组，而数组的每一个值则表示位于坐标(x,y)处的像素的灰度值或颜色值为。2.1.3 像素的邻域如图2.1（a）所示，图像中位于（x，y）处的像素p有4个相邻的像素，分为在其水平和垂直方向分布，四点位置分别为：（x+1,
21、y）、（x-1,y）、（x,y+1）、（x,y-1），称该像素集为p的4邻域，用表示。而如图2.1（b）所示的坐标分别为（x+1,y+1）、（x+1,y-1）、（x-1,y+1）、（x-1,y-1）的4个像素点集,称为像素p的对角线邻域，记为。而如图2.1（c）所示，四邻域和对角线邻域包含的所有像素点合称为像素p的8-邻域，记为。 (a) (b) (c) 图2.1 像素的邻域（a）像素p的4-邻域；（b）像素p的对角邻域；（c）像素p的8-邻域2.2 图像拼接原理图像拼接技术就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术。使用普通相机获取视野的场景图像时，因为相机的分辨率一定，
22、拍摄的场景越大，得到的图像分辨率就越低；而全景相机、广角镜头等不仅非常昂贵，而且失真也比较严重。为了在不降低分辨率的条件下获取超宽视角甚至360的全景图，利用计算机进行图像拼接被提出并逐步发展起来。现在图像拼接技术已经成为计算机图像学的研究焦点，被广泛应用与空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟显示技术、超高分辨率重构等领域。图像拼接过程由拼接预处理、图像配准、图像融合三步骤组成。图像预处理是为了保证图像配准的精度对原始图像做一些折叠或坐标变换，例如直方图操作或图像平滑滤波、建立图像的匹配模板、傅里叶变换或小波变换以及提取图像特征集合等。图像配准的核心是寻找一个变换。即找到
23、待拼接图像中模板或特征点在参考图像中的位置，然后根据模板或图像特征之间的对应关系从而建立两幅图像的数学模型，使图像间重叠部分对准，将待拼接图像转换到参考图像的坐标系中构成完整图像。图像融合是最后一步。当准确计算出图像间转换参数后，需要根据参数把多张图像合成一张全景图。此时图像配准的结果存在误差，不可能每一点都精确匹配。图像融合的策略是要尽可能减少遗留的变形和图像之间的差异。主要的方式有光度调整混合、确定重叠区域和消除拼缝等等。2.3 图像拼接的应用图像拼接是指将多幅来自同一场景的具有一定重叠区域的小尺寸图像合成为一幅大尺寸,具有大视角的图像。图像拼接技术可以突破镜头拍摄角度的局限性,被广泛应用
24、于遥感图像处理、医学图像分析、绘图学、计算机视觉、视频监控、虚拟现实和超分辨率重构等领域,是当前图像处理的一个重要分支。2.4 本章小结本章主要对图像拼接技术作了整体的概述，介绍了图像的基础内容和图像拼接的研究背景和应用前景，以及图像拼接技术的大致过程、图像拼接算法的分类和其技术难点。3图像预处理图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。3.1图像增强图像增强是将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果
25、的图像处理方法。图像增强常用方法有对比度拉升、Gamma校正、直方图均衡化，具体内容如下：（1）对比度拉升对比度拉升是对直方图进行调整，从而扩大前景和背景灰度的差别，以达到增强对比度的目的。本文采用了线性函数对图像的灰度值进行变换（2）Gamma校正Gamma源于CRT的相应曲线，即其亮度与输入电压的非线性关系。采用了非线性函数（指数函数）对图像的灰度值进行变换，这两种方式的实质是对感兴趣的图像区域进行展宽，对不感兴趣的背景区域进行压缩，从而达到图像增强的效果（3） 直方图均衡化直方图的均衡化就是用一定的算法使直方图大致平和。其实图像的像素灰度变化是随机的，直方图的图形高低不齐，采用直方图均衡
26、化能很好的解决这个问题。直方图的将原始图像的直方图通过积分概率密度函数转化为概率密度为1（理想情况）的图像，从而达到提高对比度的作用。直方图均衡化的实质也是一种特定区域的展宽，但是会导致整个图像向亮的区域变换。当原始图像给定时，对应的直方图均衡化的效果也相应的确定了。如图3.1就是采用直方图均衡化效果图，以及处理前后的直方图对比示意图： （1）原图像 （2）原图像的直方图 （3）均衡化的图像 （4）均衡化图像的直方图图3.1 原始图像及直方图均衡化后效果图3.2 图像平滑图像噪声可以理解为妨碍人的视觉感知，或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素，也可以理解成真实信号与理想信
27、号之间存在的偏差。一般来说，噪声是不可预测的随机信号，通常采用概率统计的方法对其进行分析。噪声对图像处理十分重要，它影响图像处理的各个环节，特别在图像的输入、采集中的噪声抑制是十分关键的问题。若输入伴有较大的噪声，必然影响图像拼接的全过程及输出的结果。根据噪声的来源，大致可以分为外部噪声和内部噪声；从统计数学的观点来定义噪声，可以分为平稳噪声和非平稳噪声。各种类型的噪声反映在图像画面上，大致可以分为两种类型。一是噪声的幅值基本相同，但是噪声出现的位置是随机的，一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值大小的分布统计来看，其密度函数有高斯型、瑞利型，
28、分别成为高斯噪声和瑞利噪声，又如频谱均匀分布的噪声称为白噪声等。一般地，对噪声的描述采用统计意义上的均值与方差。设图像信号的二维灰度分布为f(x，y)，则噪声可以看作是对亮度的干扰，以n(x，y)来表示。噪声的均值表明了图像中噪声的总体强度，计算公式如下： (3-1)噪声的方差表明了图像中噪声分布的强弱差异，计算公式如下： (3-2) 其中，M、N分别为图像的行数和列数。噪声的模型按照对信号的影响可分为加性噪声模型和乘性噪声模型两大类。设f(x，Y)为信号，n(x，y)为噪声，在噪声n(x，y）的影响下的输出为g（x，y），则有加性噪声模型为： (3-3)乘性噪声模型为： (3-4)乘性噪声作
29、用下的输出是两部分的叠加，第二个噪声项信号受了f（x，y）的影响，f（x，y）越大，则第二项越大，即噪声项受信号的调制。乘性噪声模型和它的分析计算都比较复杂，通常信号变化很小的时，第二项近似不变，此时可以用加性噪声模型来处理。图像平滑主要是用来突出图像的宽大区域、低频成分、主干部分或者抑制图像和干扰高频成分，使图像亮度平缓渐变，减小突变梯度，改善图像质量的一种图像处理方法。图像的平滑出路一般用于模糊处理和减小噪声，常常作为更高级应用的预处理1。常用的平滑处理操作有均值滤波、中值滤波和高斯滤波。下面简单的介绍一下这三种滤波算法。3.2.2 均值滤波所谓均值滤波实际上就是用均值替代原图像中的各个像
30、素值。均值滤波的方法是，对将处理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来替代原像素的值。如图所示，序号为0是当前像素，序号为1至8是邻近像素。求模板中所有像素的均值，再把该均值赋予当前像素点(x，y），作为处理后图像在该点上的灰度g(x，y），即 (3-5)其中，s为模板，M为该模扳中包含像素的总个数。以图3.2（1）为例，进行处理后，下图3.2（2）是效果示意图： （1）原始图像 （2）均值滤波图 图3.2 原始图像及均值滤波图3.2.3 高斯滤波高斯平滑与图像的简单平滑不同的是，它在对邻域内像素灰度进行平均时，给予了不同位置像素不同的权值。图显示的是33
31、邻域的高斯模板，模板上越是靠近邻域中心的位置，其权值就越高。如此安排权值的意义在于用此模板进行图像平滑时，在对图像细节进行模糊的同时，可以更多地保留图像总体的灰度分布特征。相比图像的简单平滑，高斯平滑对高对比度图像的平滑效率较低，在离散型杂点的消除方面，高斯平滑的效果并不理想。然而如果需要在平滑过程中保留源图像的总体特征，高斯平滑就具有很大的优势。图对比了图像的简单平滑和高斯平滑的处理差异，图中a表示一个55邻域内的像素灰度，从图中可以看出此邻域内有两处灰度较高的亮点，b为对a进行33邻域简单平滑的结果，从b中可以看出，源图像中的两处亮点被连接在一起，失去了源图像的特征，c为对a进行33邻域高
32、斯平滑的结果，可以发现c中依然保留着源图像的特征。以图3.2（1）为例，进行处理后得到如图3.3的效果图： 图3.3 高斯滤波图 3.2.4 中值滤波 虽然，均值滤波器对噪声有抑制作用，并且算法简单，但是导致图像变得模糊是采用该方法无法避免的。经过分析画面中噪声出现时所表现的形态可知，噪声点上的像素通常比周围非噪声点的像素要亮或暗。因此，可以设想，如果在噪声点像素周围寻找一个合理的值对它进行替代，在一定程度上应该可以获得较理想的滤波结果。基于上述考虑，中值滤波就是一种有效的方法。中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从
33、而消除孤立的噪声点。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。它的核心算法是将模板中的数据进行排序，这样，如果一个亮点(暗点)的噪声，就会在排序过程中被排在数据序列的最右侧或者最左侧，因此，最终选择的数据序列中见位置上的值一般不是噪声点值，由此便可以达到抑制噪声的目的。取某种结构的二维滑动模板，将模板内像素按照像素值的大小进行排序，生成单调上升(或下降)的二维数据序列。二维德中值滤波输出为 (3-6)其中，f(x，y)，g(x，y)分别为原图像和处理后的图像，W为二维模板，k，l为模板的长宽，Med为取中间值操作，模板通常为33、55区域，也可以有不同形状，如线状、圆
34、形、十字形、圆环形。同样以图3.2（1）为例，3.4是采用中值滤波方法进行处理后的效果图： 图3.4 中值滤波效果图本文采用的是中值滤波方法。3.3 本章小结本章主要介绍了图像增强和噪声抑制两种图像预处理，重点介绍了图像平滑的三种具体方法：均值滤波，高斯滤波，中值滤波。4 图像配准图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：
35、最后由坐标变换参数进行图像配准。4.1 基于区域的图像配准基于区域的图像匹配应用特定的算法选择候选特征区域，用特定的矩阵表征该区域的特性，建立图像的匹配框架并实现图像的配准，这中方法能有效地提取图像的特征点并能准确地进行特征点匹配，整个配准过程能完全自动化进行。逐一比较法设搜索图为s，待配准模板为r，如图41所示，s大小为，T大小为，如图4-1所示。ST 搜索图S 模版图T图4.1搜索图S与模版图T示意图逐一比较法的配准思想是：在搜索图S中以某点为基点(i，j)，截取一个与模板T大小一样的分块图像，这样的基点有(M-U+1)x(N-V+1)个，配准的目标就是在(M-U+1)(N-V+1）个分块
36、图像中找一个与待配准图像最相似的图像，这样得到的基准点就是最佳配准点。设模板T在搜索图S上移动，模板覆盖下的那块搜索图叫子图S(i，j)为这块子图的左上角点在S图中的坐标，叫做参考点。然后比较T和S的内容。若两者一致，则T和S之差为零。在现实图像中，两幅图像完全一致是很少见的，一般的判断是在满足一定条件下，T和S之差最小。根据以上原理，可采用下列两种测度之一来衡量T和S的相似程度。D(i，j）的值越小，则该窗口越匹配。 (4-1)或 (4-2)或者利用归一化相关函数。将式(4-1)展开可得： (4-3)式中等号右边第三项表示模板总能量，是一常数，与（i，j）无关；第一项是与模板匹配区域的能量，
37、它随(i，j）的改变而改变，当T和S匹配时的取最大值。因此相关函数为： (4-4)当R(i,j)越大时，D(i,j)越小。归一化后为： (4-5)该算法的优点：(1)算法思路比较简单，容易理解，易于编程实现。(2)选用的模板越大，包含的信息就越多，匹配结果的可信度也会提高，同时能够对参考图像进行全面的扫描。该算法的缺点：(1)很难选择待配准图像分块。因为一个如果分块选择的不正确，缺少信息量，则不容易正确的匹配，即发生伪匹配嘲。同时，如果分块过大则降低匹配速度，如果分块过小则容易降低匹配精度。(2)对图像的旋转变形不能很好的处理。算法本身只是把待配准图像分块在标准参考图像中移动比较，选择一个最相
38、似的匹配块，但是并不能够对图像的旋转变形进行处理，因此对照片的拍摄有严格的要求。4.1.2 分层比较法图像处理的塔形(或称金字塔：Pyramid)分解方法是由Burt和Adelson首先提出的，其早期主要用于图像的压缩处理及机器人的视觉特性研究。该方法把原始图像分解成许多不同空间分辨率的子图像，高分辨率(尺寸较大)的子图像放在下层，低分辨率(尺寸较小)的图像放在上层，从而形成一个金字塔形状。在逐一比较法的思想上，为减少运算量，引入了塔形处理的思想，提出了分层比较法。利用图像的塔形分解，可以分析图像中不同大小的物体。同时，通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率
39、、尺寸较大的下层进行分析，从而大大简化分析和计算。在搜索过程中，首先进行粗略匹配，每次水平或垂直移动一个步长，计算对应像素点灰度差的平方和，记录最小值的网格位置。其次，以此位置为中心进行精确匹配。每次步长减半，搜索当前最小值，循环这个过程，直到步长为零，最后确定出最佳匹配位置。算法的具体实现步骤如下：(1)将待匹配的两幅图像中22邻域内的像素点的像素值分别取平均，作为这一区域(2X2)像素值，得到分辨率低一级的图像。然后，将此分辨率低一级的图像再作同样的处理，也就是将低一级的图像4X4邻域内的像素点的像素值分别取平均，作为这一区域(4x4)点的像素值，得到分辨率更低一级的图像。依次处理，得到一
40、组分辨率依次降低的图像。(2)从待匹配的两幅图像中分辨率最低的开始进行匹配搜索，由于这两幅图像像素点的数目少，图像信息也被消除一部分，因此，此匹配位置是不精确的。所以，在分辨率更高一级的图像中搜索时，应该在上一次匹配位置的附近进行搜索。依次进行下去，直到在原始图像中寻找到精确的匹配位置。算法的优点：(1)该算法思路简单，容易理解，易于编程实现。(2)该算法的搜索空间比逐一比较要少，在运算速度较逐一比较法有所提高。算法的缺点：(1)算法的精度不高。在是在粗略匹配过程中，移动的步长较大，很有可能将第一幅图像上所取的网格划分开，这样将造成匹配中无法取出与第一幅图像网格完全匹配的最佳网格，很难达到精确
41、匹配(2)对图像的旋转变形仍然不能很好的处理。与逐一比较法一样，该算法只是对其运算速度有所改进，让搜索空间变小，并无本质变化，因此对图像的旋转变形并不能进行相应处理。分层比较法和逐一比较法原理相同，拼接实验的结果表明，在同样大小的分块情况下，分层比较法的配准速度明显快于逐一比较法。分层比较法的配准成功率和逐一比较法一样，与分块的选取有着密切的关系，一般来说，逐一比较法中能够成功的分块，在分层比较法中也能够适用。4.2 基于特征的图像配准 Harris角点特征Harris角点检测算法是在Moravec算法基础之上发展起来的。Harris角点检测算法（又称为Plessey角点检测算法）是Harri
42、s和Stephens在1988年提出的角点特征提取算法，它是Moravec算法的改进。它这种算法受信号处理中自相关的函数的启发，用一阶导数来描述亮度变化，并给出自相关函数相联系的矩阵M。M阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点特征。Harris算子是一种有效的特征点提取算子，其优点有：（1） 由于Harris算子只用到灰度的一阶差分，计算简单，自动化程度高。（2） Harris算子遍历图像中的每个像素点，然后才在领域中选取最优点为特征点，所以其提取的点即均匀又合理。（3） Harris算子在存在图像旋转、灰度变化、噪声影响和视点变化的时候是一种较稳定的特征点
43、提取算子。在进行Harris角点检测算法时，需要考虑的情况有：（1）若两个特征值都是小的，则局部自相关函数是平的，那么图像中窗口区域为近似不变的亮度；（2）若两个特征值一个是高的，一个是低的，则局部自相关函数呈现山脊状，那么这显示的是边；（3）若两个特征值都是高的，则局部自相关函数是突变的山峰形状，那么这显示的是一个角点。矩阵求解过程运算量大，实际求解时一般不直接计算特征值，而是根据矩阵对角线元素和行列式之间的关系来进行判定。其求解步骤大致如下：计算灰度图像各点的梯度；构造自相关矩阵；提取特征点。SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或者拍摄视角，仍然能够得到最好的检测效果
44、。由于SIFT算法有很多操作，会令人不解，这里将整个算法分为多个部分：A.构建尺度空间这是一个初始化操作，通过生成尺度空间来创建原始图像的多层表示以保证尺度不变性，尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： (4-6) (4-7)其中 G(x,y,)是尺度可变高斯函数，（x，y）是空间坐标，是尺度坐标。大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。 (4-8)B.LoG近似使用Laplacian of Gaussian能够很好地找到找到图像中的兴趣点，但是需要大量的计算量，所以使用创建更容易的表示来近似它。为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。C.找到关键点利用很快的近似，我们可以找到特征点，它们是Difference of Gussian图像的极大极小值。D