文献综述报告(增强现实技术在校园上的应用与实现).pdf

《文献综述报告(增强现实技术在校园上的应用与实现).pdf》由会员分享，可在线阅读，更多相关《文献综述报告(增强现实技术在校园上的应用与实现).pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、杭州电子科技大学硕士研究生文献综述报告 姓名 杨超杰 学号 131050005 年级 2013 级 学院 计算机 专业 软件与理论 研究方向 视频图像处理 文献综述报告名称 增强现实技术在校园上的应用与实现 文献综述报告内容：（可另加页）1、引言 增强现实是近年来很热门的一种虚拟现实技术，是与实际应用需要而出现的一 种将真实世界信息和虚拟物体信息融合的新技术，可以把计算机产生的图形、文字 注释等虚拟信息融合到用户所看到的真实世界景象中，对人的视觉感官进行景象增 强或扩张，国外在大部分领域已经有着广泛的应用，而目前国内对于增强现实技术 的研究还处于一个起步阶段，增强现实技术主要包括匹配算法、三维

2、注册、实时交 互这3方面的内容。本文概述了增强现实的发展历史、研究现状、主要方法及目前 存在的主要问题。2、增强现实的应用背景 增强现实系统有着广泛的应用背景，如人机交互、教育领域、旅游、古迹复原 和数字化文化遗产保护等等。增强现实技术还可以开发游戏，能够使用户在真实背 景下进行游戏，以此增加游戏的真实性和娱乐性，例如苹果系统中的一款增强现实 游戏AR Zombie Invasion，这款游戏时使用摄像头实时获取真实世界的背景，给游 戏玩家一种强烈的真实感。增强现实系统还广泛运用于军事训练、商业等领域，在 商业中的应用主要是用于广告业，例如在体育比赛转播中插入广告等。华盛顿大学 将增强现实技术

3、运用于远程会议系统，Daniela Hall 等人还研制出了一种用于办 公室环境的增强现实系统 Magicboard。德国 DML（数字媒体实验室）利用增强现 实技术扩展了原来基于蓝影技术制作天气预报节目的方法，用虚拟的三维场景替换 了原来的平面背景，使得节目效果更好。英国 Fraunhofer 学院开发了适用于城 市规划的增强现实系统，使得建筑设计人员能够在现场预视方案的效果，与应用于 该领域的虚拟现实系统而言，增强现实系统可以让设计人员更真实地体验设计方案 与周围环境是否和谐。在国内有很多高校，可是新生刚到学校不了解校园情况，如 果有更好的校园知识，这时增强现实起到了很大作用，上课时可以通

4、过增强现实吸 引学生注意，能提供很重要的信息及趣味性，这也是校园很大的需求，增强现实的 研究正可以满足在校园里了解信息迫切需求。3、增强现实的发展历史 增强现实技术开始于二十世纪六十年代，美国哈佛大学 IvanSutherland 教授发 明了光学透明头盔，通过显示器显示计算机生成的 3D图形1。到了 20世纪90年代，增强现实的发展较为成熟，一些外国公司和高校也不断研制出更完善的增强现实系 统，Tom Caudell 和他的同事在波音公司设计了一款辅助布线系统，并且在这个系 统中提出了“增强现实”这个名词。在他们设计的系统中，应用 S-HMD把由简单线 条绘制的布线路径和文字提示信息实时地叠

5、加在机械式的视野中，而这些信息则可 以帮助机械师一步一步地完成一个拆卸过程，以减少在日常工作中出错的机会。接 下来又相继出现了多种增强现实应用系统，主要集中在医疗、制造与维修、机器人 动作路径的规划、娱乐和军事等几个方面。但是由于设备和精度等方面的原因，所 有这些系统都没有真正投入实际应用，Azuma在 1997年曾对这些系统和其使用的基 本技术给出过一个详尽的综述。2002年，新加坡城市大学额华盛顿大学的 Adrian David Check 等人提出交互式剧院体验系统，这套系统集成了可穿戴计算机头盔，配备了GPS定位、惯性传感器和数字压力系统，可以让人有实时交互，因而真实感 很强 2。20

6、08年，J.Talbot 等人对增强现实在放射性治疗应用进行研究，开发了一 种能帮助定位接受放疗患者病患部位的增强现实系统，将三维图像实时告诉医生，帮助病人接受治疗。4、增强现实的研究现状 20世纪90年代末，增强现实领域的研究者们开始集会在一系列每年召开的和增 强现实相关的国际研讨会和工作会议上，其中包括国际增强现实工作会议(IWAR)、国际增强现实研讨会(ISAR)和国际混合与增强现实会议(IsMAR)等，这些会议很大 程度上促进了增强现实研究的发展。现在国外研究增强现实系统的主要单位有德国 SIEMENSA、G美国微软公司、美国 MIT大学、美国哥伦比亚大学、澳大利亚 Vienna 大学

7、、日本 Nara协会等，这些单位已经在增强现实系统的摄像机校正算法、增强现 实头盔显示器的设计、硬件平台的应用、视觉跟踪技术等方面取得了进一步的成果。目前，国内研究增强现实系统的单位有北京理工大学、浙江大学、中国科学院计算 机研究所、国防科技大学、西安石油学院、电子科技大学、华中科技大学、上海大 学等，国内对增强现实技术的研究处于起步阶段 3。据统计，从1995年至今，涉及增强现实系统的国际专利多达一百多篇，新近公 开的一篇德国专利述及的增强现实系统，用视频或音频信息进行综合视觉跟踪，探 测用户三维信息并报告其位置，其中的图像记录单元、记录图像并转换格式、合成 位置数据、存档数据，生成实时的增

8、强现实环境 4。美国公开的专利也涉及了增强 现实显示技术，他们用摄像机定位物体位置并报告给连通的计算机以呈现图像，同 时让计算机模拟出天气、险情等三维场景，经过增强现实技术处理后的画面将真实 场景与虚拟场景进行无缝融合让观众有深深的身临其境的感觉.5、增强现实匹配算法 增强现实匹配算法最基本的问题是特征点的提取，把特征点与相机的参数结合 在一起，以便实现三维注册方法。匹配算法需要一个实时处理的识别问题，用于解 决这类问题的常用方法有两种，一类是基于标识算法，一类是基于自然特征算法。5.1、基于标识算法 在增强现实中，基于标识的三维注册技术目前正在不断完善中,日本广岛城市 大学和美国华盛顿大学联

9、合开发的 ARToolkit 和加拿大国家研究院的 MarkFiala 开 发的ARTag是目前广泛应用于基于标识的三维注册技术中两个重要的开发包 5.被 国内外学者广泛应用于各种场合,例如MarkFiala 发明了 ARTag，利用ARTag的可自动 校正的投影设备,华中科技大学任波设计的基于 AR-ToolKit 的样板房展示系统。ARToolkit 首先将图像进行灰度二值化处理,之后设定一固定阈值分割图像,在 得出的黑白图像中搜索连通域轮廓.ARTag和ARToolkit 刚开始一样,首先将图像二 值化,并从中提取四边形,但是在后面的部分不同步骤，与 ARToolkit 采用的识别联 通

10、域不同,ARTag采用基于边界的算法.该方法首先提取目标图像中的所有直线段,并提取出那些可以组成四边形的线段,作为备选目标区域的轮廓。ARToolkit 和 ARTag已经广泛地应用于各类多媒体展示系统，增强现实系统开发将越来越高效，越来越普及。5.2、基于自然特征算法 增强现实对实时性要求比较高，最影响其实时发展的主要是特征点检测与匹配 算法，目前了解 SIFT算法和 SURF算法最适合自然特征算法的特点。Sift(Scale-invariant feature transform)算法是 David Lowe6 于1999年 提出的局部特征描述子，并于 2004年进行了更深入的发展和完善。

11、Sift 特征匹配算 法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强 的匹配能力，是一种计算机视觉的算法，用来侦测与描述影像中的局部性特征，它 在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SURF(speeded up robust feature)算法是一种高鲁棒性的局部特征点检测，是Herbert Bay 7在2006年提取，SURF特征提取算法，在运动中提取摄像头图像中 的特征点，并进行跟踪匹配，以此估计运动状态，SURF特征提取算法，简化了计算 量，保持了较高的性能。标识匹配算法计算相对简单，但是有很大的局限性，处理简单的图像解码行为，但是不可以

12、在复杂的环境做匹配算法；基于自然特征算法可以主要是对特征点提取 的问题，但是系统对视频图像全部检测计算特征点，这使得特征点检测所耗时间很 大，另外对成对立体图像的特征点匹配过程较为耗时，计算复杂，难以达到实时性 的要求。6、增强现实三维注册描述方法 三维注册技术是通过给定的一幅或者多幅图像来确定摄像机和真实世界中目 标的相对位置和方向。首先需要对相机定标，对获取的图像进行分析，计算相机的 位置，相机定标就是获取相机的内部参数和外部参数然后根据这些参数和获取的图 像来计算相机的位置和方向，这实际上是一个从三维场景到二维成像平面的转换过 程。通常关心的相机参数包括镜头的焦距以及传感器像元的高度、宽

13、度、高宽比等。国内也有研究人员从事动态注册的研究，介绍了相机定标以及跟踪的算法。就目前 的研究情况来看基于视觉的注册主要有两种情况，一种是基于标识物的注册；另外 一种是通过仿射变换来实现注册。基于标识物的注册跟踪方法(Marker-based Method)是室内增强现实应用中 最为常用的跟踪定位技术。由于该方法基于视频检测，不需要复杂的硬件设备，在 室内小范围环境下一般可以取得符合要求的定位精度，并且达到实时性的要求。基 于标识物的视频检测中通过事先定义好的各种平板标识物来标记基准位置和各个 物体。系统通过模板匹配来找到视频中的对应标识物，通过图像分析处理计算虚拟 空间与真实空间的坐标变换矩

14、阵。为降低计算量，满足实时性需求，一般都采用正 方形平板，上有黑色封闭矩形框和简单的标记，这样只需简单的边缘检测和模板匹 配，提高识别和计算的效率。通过仿射变换注册实际上是计算机图形学和计算机视觉技术在增强现实系统 设计中的一个运用。Konenderink 8 等人曾提出，给定三维空间中任何至少四个不 共面的点空间中任何一个点的投影变换都可以用这四个点的变换结果的线性组合 来表示。其中基于自然特征(natural feature)的注册跟踪方法就是通过仿射变换 注册，它就是根据实际场景的视频图像寻找特征点，进而计算虚实坐标系变换关系 的计算方法。现实场景中的物体角点大致分为两种：低曲率点和高曲

15、率点。低曲率 点一般数量较多，信息相似，不容易检测。然而高曲率点，也就是自然特征点比较 明显，可以通过简单的角点检测方法来计算，如采用 Harris and Stephens9在1998 年提出的方法。将视频帧和原有数据的图像通过单应性的特点，在旋转和平移中提 取单应性矩阵。目前许多学者提出了针对自然特征的注册跟踪方法。其中是一种经 典的算法 Tomasi and Kanade10 在卡内基梅隆大学的技术报告中提出的 KLT特征 跟踪法(Kanade LucasTomasi Feature Tracker)。它是一个完全基予变换模 型的计算特征匹配的方法。Shi and Tomasi在 199

16、4年又利用仿射变换模型改进了 KLT跟踪法。在 2005年提出了一个基于透视投影重建原理的方法来完成注册，系统 只需通过两幅匹配的控制图片(control images)来检测四个初始控翻点，用以表 示世界坐标系。这些点将作为系统参考点，系统将实时根据上一帧计算结果和当前 的特征点信息更新当前的投影矩阵，进两实现实时注册跟踪。这种方法基于投影重 建，不需要复杂的矩阵计算，有较快的计算速度和较好的鲁棒性。还有一些学者利 用仿射变换理论解决注册问题，根据Koenderink and Ullman11 在1991年给出的结 论，如果已知至少四个非共面的三维点，对任何投影变换，其中每个点的变换结果 都

17、可以由这四个点的线性组合来表示。将该理论弓|入到增强现实系统中，在 2007 年进一步研究了基于立体图像数据的仿射变换算法。7、实时交互描述 现实增强的实现一般需要在运动对象分割、跟踪的基础上，提取计算机内部参 数以及外部参数，不仅仅是通过外部参数计算出位移和旋转信息，提取三维信息根 据三维信息来绘制虚拟场景。在三维注册之后，相机画面需要一个虚拟物体来描述 与人实时交互，这可以利用 opengl 等工具来实现，使用 opengl 进行绘制虚拟场景 然后把 opencv 中得到的视频图像转化为 opengl 的图像，方便虚拟场景和现实场景 融合在一起，以达到实时交互效果。8、增强现实中存在的问题

18、 近年来，增强现实在各个层次上都取得了很大的研究进展，但是增强现实还是 存在问题有待解决，特征点检测的稳定性主要包括视角问题、遮挡问题，这也是以 后处理的重要解决问题。1)视角问题 增强现实在视角的问题还是比较复杂的，如果远距离观察找出物体特征点需要 考虑分辨率和复杂的算法，这时所需要运算量和存储量非常大，如果近距离观察角 度很小，那么就找不到特征点匹配，无论在哪类描述方法，都需要特征点，如何更 有效地提取特征点仍然是增强现实分析发展的一个重要问题。这个问题的解决一般 采用更好的匹配算法或者预先提取 3维信息方法。2)遮挡问题 在虚拟模型同真实环境中的物体产生正确的遮挡关系的处理过程中。如果在

19、检 测过程中特征点的某个部分被遮挡，当遮挡程度非常严重时，就会导致特征点失去 可用性，从而导致特征点的检测失败，进而使三维注册无法进行，影响增强现实系 统运行的稳定性。文献参考 1 吴洪飞,增强现实中标记设计与识别方法研究 C,2010:9-15 2 Cheok,A,Interactive theatre experience in Embodied and Wearble Mixed Reality Space,IEEE and ACM International Symposium on Mixed and Augmented Reality C,USA,2002:50-68 3 朱淼良,

20、增强现实综述 J,中国图象图形学报,JOURNAL OF IMAGE AND GRAPHICS,2004,9(7)：4-5 4 范苑竹,增强现实的应用技术研究 C，2009:7-20 5 任波.基于 ARToolKit 的增强现实系统开发与应用 J.计算机系统应用,2006,1(1):81-84.6 Lowe D G.Distinctive image features from scale-invariant keypointsJ.International Journal of Computer Vision,2004,60(2):91-11O.7 BAY H,ESS A,TUYTELAA

21、RS T.SURF:speeded Up robust featuresA.GRAZ,2006:2-13.8 陈伟雄,基于增强现实的城市小区规划系统研究与设计 c,2007:20-25.9 C.HarrisandM.J.Stephens.AcombinedcornerandedgedetectorA.In Alvey Vision Conference,1988:147 152.10 王余涛,基于增强现实的协同式装配系统研究 C,2010:27-30 11 明德烈,仿射变换在增强现实中的应用 J,全国虚拟现实与可视化学术会议,2001:287-290.12 林倞,移动增强现实系统的关键技术研究

22、 J,中国图象图形学报,2009,14(3):56-60.13 范利君,移动增强现实中视觉三维注册方法的实现 J,计算机与数字工程,2011,39(12).14 朱江,增强现实与增强虚境中若干关键技术的研究 C,2009:5-10.15 贾立兵,关于增强现实中虚实融合技术的研究 C,2013:5-22.16 蒋钦云,增强现实中的三维注册算法研究 J,计算机与数字工程,2006,34(9):120-123.17 徐维鹏,增强现实中的虚实遮挡处理综述 J,计算机辅助设计与图形学学报,2013,25(11):63-67.18 高宇,基于增强现实的虚拟实景空间的研究与实现 J,小型微型计算机系统,20

23、06,27(9):93-97.19 Behringer,Registration for outdoor augment realityJ,Proceedings of IEEE,1999,13(9):244-251.20 Kirchbach,K.Runde,C.Augmented Reality for Construction ControlJ,Information Visualisation,International Conference on,2012,10(3):440-444.21 Bower,M.Augmented reality in EducationJ,Conferen

24、ce International Council,2013,10(1):1-11.22 Chouyin Hsu,The Feasibility of Augmented Reality on Virtual Tourism WebsiteJ,on International Conference,2011,32(12):253-256.23 Han Kyu Yoo,Mobile augmented reality system for in-situ 3D modeling and authoringJ,Big Data and Smart Computing,2014,23(15):282-

25、285.24 Bajura,M.Dynamic registration correction in augmented reality system,on Proceedings of IEEE,1995,27(15):189-196 25 Jaeyoung Kim,Implementation of image processing and augmented reality programs for smart mobile deviceJ,on International Forum,2011,22(3):1070-1073.26 Jaewon Ha,Real-time scalable recognition and tracking based on the server-client model for mobile Augmented RealityJ,on International Symposium,2011,23(16):267-272.学生（签字）：年月