《基于全景图的虚拟现实系统研究.docx》由会员分享，可在线阅读，更多相关《基于全景图的虚拟现实系统研究.docx（9页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、基于全景图的虚拟现实系统研究摘要全景图(PanoramicImage)是近来出如今Internet上的另一种新的交互式的虚拟场景表示方式,它基于图像绘制IBRImage-BasedRender的方式再现了三维场景,可用阅读器实现虚拟场景的遨游,同时也具体介绍了这种全景图阅读器的实现原理。本文在总结已有技术的基础上，提出一个基于全景图的虚拟现实系统模型，并改良算法实现了高效的拼接。关键词全景图;基于图像绘制IBR;虚拟现实;图像拼接1概述全景图是基于图形绘制IBRImage-BasedRender的关键技术。现有的IBR技术大概能够分为四类：基于全景图PanoramicImage的方法，基于图像
2、深度信息的方法，基于光场LightField信息和基于Morphing的方法。现阶段，相对成熟的技术是第一种基于全景图的方法,而且它实现方便处理量易于在Internet实现。目前，业界对全景图的基本制作方法是：在固定的视点用照相机或者摄像机根据一定的方式通常是根据均匀角度绕轴旋转360度收集图像，收集之后的图像输入计算机进行图像拼接、整合等处理，生成无缝全景图像，最后再用计算机经过投影展示出来，并且提供局部的有限的遨游功能。固然全景视图有其本身的局限性，比方视点单一，只能在场景内部实现遨游等，但是由于该技术具有极强的可操作性，而且技术也相对成熟，已经成为应用最为普遍的IBR技术之一。目前全景视
3、图主要应用在：虚拟环境、游戏设计、电影特技效果、虚拟博物馆等等。在商用领域比拟著名的有Apple的QuickTimeVR、IPIXViewer、LivePicture、IBM的HotMedia等系统。2全景图的制作流程全景图制作流程包括全景模型选择，图像收集，图像拼接，图像缝合以及全景图展示阅读五个步骤，如图1。1全景模型选择：根据全景图投影展示方式的不同，主要能够分为3种形式：立方体形式、圆柱形式、球面形式。这三种形式就是分别把已经拼接好的全景图投影到立方体/圆柱体/球体的内外表。此外还有其他展示形式，如采用正多面体去逼近球面的方法。2图像收集：一般有两种方法，用全景拍摄器材进行拍摄或者通过
4、普通相机拍摄再进行图像拼接。前一种方式比拟容易收集图像，但是这种方法往往意味着购买昂贵的摄影器材，因而影响了其通用性。而后一种方式，用普通相机在固定点拍摄图片然后拼接生成全景图的研究就显得比拟活跃了，而全景图生成的核心技术图像拼接算法正是研究的重点。3图像拼接与缝合：现有的全景图像拼接生成算法主要能够分为三类：基于特征的方法、基于流的方法和基于相位相关的方法。在得到拼接好的图像后，还需要对图像重叠部分进行处理，以实现图像的无缝拼接。目前经常采用的一种简单的图像缝合技术就是线性插值法LinearInterpolation。4全景图展示：得到360度的全景图像后，还要把该图像投影到所选择模型的内外
5、表展示，并提供简单的阅读功能。5运动物体生成和全景图生成一样，同样能够用以上3种方法生成。在用照相机拍摄物体时，假如对物体的水平方向和垂直方向各拍摄一圈，就能够对物体进行二维的交互控制。链接是指：把得到的全景图按一定方式组织起来，供交互式显示用；把运动物体嵌入到全景图中去，成为热门，使用户能够对它进行交互式控制。图全景图制作流程3全景图像拼接技术的研究3.1全景图生成的经典算法自全景图的概念提出到目前，有很多学者都对全景图的生成算法做过深化的研究，其中McMillan和Szeliski等人的工作尤其突出。McMillan和Bishop提出了全景函数模型，该算法根据摄像机绕轴旋转360度所拍摄的
6、图像序列求解每个相机的参数，由此进行全景图拼接，但是该算法不太合适于照相机，由于它要求两幅图像之间要有超过2/3的重叠，这样对一个场景如用照相机去收集图像就需要拍摄大量的图片，而这显然增大了图像收集的难度，也增加了计算量和误差量。而且McMillan试图通过柱面极几何约束实现匹配点自动匹配，但是极几何约束核心基础矩阵对误差过分敏感，也因而导致匹配结果无法实用。Szeliski和Shum3在他们的一系列的文章中提出了用8参数的二维2D投影模型求解投影矩阵M。该模型的数学表达如下所示：(1)23.2全景图像拼接算法归类及其比拟现有的全景图像拼接生成算法主要能够分为三类：基于相位的方法、基于流的方法
7、和基于特征的方法。1基于相位的方法：该方法利用傅立叶变换、小波变换等等先对图像进行变换，再利用变换后的图像的某些特征进行匹配。但是假如存在空间上的局部变化，就会导致该方法产生较大误差。2基于流的方法：也叫做基于面积的方法。该方法是通过比拟两幅图像亮度或颜色差异，并使之最小化来寻找最佳匹配点的。上文描绘的两种经典算法就是属于该方法，采用这种方法的还有：Duffin4和Barrett在Szeliski研究的基础上提出的一种恢复6个参数模型的算法。基于面积方法的缺点就是它的计算量明显偏大。3基于特征的方法：该方法的主要思想就是从一幅图像中提取一定的特征，如：点、线、边缘等等，并用此特征为匹配模板，在
8、第二幅图像中搜索。该方法能够提高计算速度，但是提取适宜的图像特征比拟困难。5怎样提取适宜的图像特征，很多学者在这个方面做了讨论，其中Kim6等人利用抽取物体轮廓作为特征，而钟力7等人利用重叠图像两列象素的亮度或颜色比或者亮度或颜色作为特征模板，张鹏8等人利用象素灰度值信息提取某一矩形区域作为特征模板进行匹配。需要注意的另一个问题就是收集的图像中重叠部分并不是单纯的平面位移变换，还存在伸缩变形等，所以这也增大了特征提取的难度。4算法的选择与改良以上三种算法都有其本身的特点，当然也有各自的局限性，应该根据全景模型的不同和图像收集方式的差异选择适宜的算法。下面根据全景图生成经过具体描绘对算法的选择和
9、改良。4.1全景模型选择本文提出的方法中采用圆柱形式，这种形式相对简单，同时又不影响全景图像阅读的真实性。由于立方体形式过于简单，该形式在展示全景图时存在明显的边界痕迹，降低了全景图像真实性；球面形式固然相对扩大了全景图阅读的视野，可是也相应增加了算法复杂度和图像收集的难度。4.2图像收集为了提高图像拼接算法的复杂度处理能力以及能够自适应抖动、光照差、扭曲等。本文对图像收集方式未做太多限制：不用三角架固定相机，绕摄影者中心360度旋转相机拍摄图像，每次拍摄相机旋转的角度为，不固定相机的焦距，这样做的目的是进一步提高算法自适应校准图像拼接能力。4.3图像拼接首先，抽取适宜的图像特征来定位拼接，为
10、了尽可能多的保留图像的特征，利用数字图像处理中的Laplace算子边缘检测算法，再加上二值化处理和平滑滤波3*3模板的噪音消除抽取出图像的特征图。图2特征提取后图象的二值化图图象经过变换之后，得到了具有重叠类似区域的两幅图象，对于类似区域的寻找，一般的算法都是根据人体视觉特征定义1个模板矢量(PatternVector)，对两幅图象分别运算类似距离，根据类似距离来寻找图象的类似部分。本文提出了一种新的重叠区域的搜索方法，它基于差值图象的极值点搜索，能够方便地提取两幅图象之间的类似部分，不需要频域上的任何运算。设有两个矩形区域A和B，已知B中包含一个区域A2，A与A2是一样的模块，求B中A2的位
11、置。典型的算法是从的左下角起，把每一块与A大小一样的区域C与A相比拟，得出评价函数，其值最小的区域就是A2。评价函数一般定义为:对于A和C中每一对对应点p和q，(1)考虑到两幅图象的亮度不一样，即便是同一模块，由于亮度不同，评价函数的值也很大，把评价函数定义为：(2)4.4图像缝合图像缝合分两个步骤。拼接处会有明显的一条缝。可用颜色拟合的方法来调和相邻图象的亮度,生成无缝的合成图象。以合成图象的拼接线为中心,两边各取10个象素点的距离,此区域为矫正区。第一步是图像经过矩阵投影生成新的图像需要用到双性插值。第二步是两幅图像重叠区域之间的线性插值。4.5柱面投影柱面投影变换及其反变换算法的核心是投影变换公式,为此建立坐标系,如图4所示。原始图象I、投影柱面图象J和柱面K,原点为观察点(投影中心)。设柱面半径为,投影宽度角为,图象宽度为,高度为。能很容易得到柱面图象的宽度为rsin(/2),高度仍为。对图象I上的任意一点,假设它在图象上的坐标为(,),P在柱面图象J上的对应点Q,假设Q在J上的坐标是(,)。5