《第3章虚拟现实的相关技术及软件3814804.pptx》由会员分享，可在线阅读，更多相关《第3章虚拟现实的相关技术及软件3814804.pptx（38页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、虚拟现实技术天津天狮学院黄金栋3-2第3 章 虚拟现实的相关技术及软件 3.1 三维建模技术及软件3.2 视觉实时动态绘制技术3.3 三维虚拟声音技术3.4 人机自然交互技术3.5 物理仿真技术3.6 三维全景技术3.7 虚拟现实开发软件工具集3-33.1 三维建模技术及软件3.1.1 几何建模技术3.1.2 行为建模技术3.1.3 虚拟现实的建模软件基于物体的几何和形状等信息的表示，研究图形数据结构等问题。处理对物体的运动和行为的描述，通常称之为动画。3-43.1 三维建模技术及软件3.1.1 几何建模技术1、技术指标 几何建模技术的研究对象是对物体几何信息的表示与处理。它涉及表示几何信息的
2、数据结构及相关的构造与操纵数据结构的算法。评价一个虚拟环境建模技术水平的三个常用指标是：交互式显示能力、交互式操纵能力和易于构造的能力。图像必须每秒更新20 次以上才能使用户产生连续的视觉，因此模型的表示还必须便于快速构造和显示，这同时也是对行为建模技术的要求。3-53.1 三维建模技术及软件3.1.1 几何建模技术2、建模方法 层次建模法利用树形结构来表示物体的各个组成部分，不仅提供了一种简便自然的分割复杂物体的方法，而且对模型的修改也十分有利。属主建模法 让同一种对象拥有同一个属主，属主包含了该类对象的详细结构。当要建立某个属主的一个实例时，只要复制指向属主的指针即可。体素：用来构造物体的
3、原子单位，体素的选取决定了建模系统所能构造的对象范围。结构：用来决定体素如何组合以构成新的对象。优点：简单高效、易于修改、一致性好3-63.1 三维建模技术及软件3.1.2 行为建模技术 1、运动学法 通过几何变换如平移和旋转等来描述运动。在运动控制中，无需知道物体的物理属性。在关键帧动画中，运动是通过显示指定几何变换来实施的，内插帧可用各种插值技术来完成，如线性插值、三次样条插值等。2、动力学仿真法 运用物理定律而非几何变换来描述物体的运动，通过物体的质量和惯性、力和力矩以及其他物理作用计算出来。更适于物体间交互作用较多的虚拟环境建模。3-73.1 三维建模技术及软件3.1.3 虚拟现实的建
4、模软件1、3ds Max 美国Autodesk 公司推出的功能强大的三维设计软件包，它集三维建模、材质制作、灯光设定、摄像机使用、动画设置及渲染输出于一身，提供了三维动画及静态效果图全面完整的解决方案。2、MAYA 也是由Autodesk 公司出品的一款顶级建模、动画、特效和渲染软件，相对于3ds Max，Maya 在电影、大型游戏、数字出版、广播电视节目制作等方面更胜一筹。3、Creator MultiGen-Paradigm 公司出品的交互式三维建模软件，拥有多边形建模、矢量建模、大面积地形精确生成等功能，不仅能够创建三维地形和模型，而且可以高效、最优化地生成实时三维数据库。3-83.2
5、视觉实时动态绘制技术 3.2.1 实时动态绘制技术的基本原理3.2.2 基于图形的实时动态绘制技术3.2.3 基于图像的实时动态绘制技术3-93.2 视觉实时动态绘制技术 3.2.1 实时动态绘制技术的基本原理 实时动态绘制技术是指利用计算机为用户提供一个能从任意视点及方向实时观察三维场景的手段，所期望的是图像帧速高而等待时间短。当生成虚拟环境的视图时，必须要设计出好的数据空间和视频图像，使计算机系统尽快运行，每秒生成足够数量的新帧，从而保证系统刷新频率不低于20 30 帧/秒。等待时间是实时动态绘制技术的另一个关键指标，它指用户动作的开始与在显示器上出现对这一动作的响应反馈之间的时长。3-1
6、03.2 视觉实时动态绘制技术 3.2.2 基于图形的实时动态绘制技术1、场景分块（World Subdivision）指把一个复杂的场景划分为多个相互之间几乎或完全不可见的子场景。这样系统就能大量地减少在某一时刻需要显示的多边形数目，从而有效降低可视场景的复杂度。2、可见消隐（Visibility Culling）基于给定的视点和视线方向，决定场景中哪些物体的表面是可见的，哪些是被遮挡而不可见的。使用此方法能使系统仅显示用户当前能“看见”的场景，与用户的视点关系密切。3、细节选择（Level of Detail）为每个物体建立多个相似的模型，不同模型对物体的细节描述不同。对物体细节的选择越精
7、确，模型也就越复杂。3-113.2 视觉实时动态绘制技术 3.2.3 基于图像的实时动态绘制技术 用图像合成代替几何建模来创建复杂的场景，不但真实感强，而且整个过程都可以在二维空间中进行，其绘制时间不取决于场景的复杂度，而只与显示分辨率有关。3-123.3 三维虚拟声音技术 三维虚拟声音与人们熟悉的立体声音有所不同。所谓的立体声虽然有左右声道之分，但就整体效果而言，立体声来自听者面前的某个平面，而三维虚拟声音则是来自围绕听者双耳的一个球形中的任何地方，即声音出现在头的上方、后方或前方。3-133.3 三维虚拟声音技术3.3.1 三维虚拟声音的特征3.3.2 头部相关传递函数3.3.3 语音合成
8、技术3-143.3 三维虚拟声音技术3.3.1 三维虚拟声音的特征 全向三维定位特性（3D Steering）指在三维虚拟环境中把实际声音信号定位到特定虚拟声源的能力。它能使用户准确地判断出声源的精确位置，从而符合人们在真实世界中的听觉方式。三维实时跟踪特性（3D Real-Time Localization）：指在三维虚拟环境中实时跟踪虚拟声源位置变化或虚拟影像变化的能力。只有声音效果与实时变化的视觉相一致，才可能产生视觉与听觉的叠加和同步效应。3-153.3 三维虚拟声音技术3.3.2 头部相关传递函数 首先通过测量外界声音与鼓膜上声音的频谱差异，获得了声音在耳部附近发生的频谱成形，随后利
9、用这些数据对声波与人耳的交互方式进行编码，得出相关的一组传递函数，并确定出两耳的信号传播延迟特点，以此对声源进行定位。通常在VR 系统中，当无回声的信号由这组传递函数处理后，再通过与声源缠绕在一起的滤波器驱动一组耳机，就可以在传统的耳机上形成有真实感的三维声音了。由于这组传递函数与头部有关，故被称为头部相关传递函数（Head-Related Transfer Function，HRTF）。3-163.3 三维虚拟声音技术3.3.3 语音合成技术 语音合成技术是从语音参数出发，先通过A/D 转换将语音数字化，经过数字处理和运算，然后再通过D/A 转换而输出语音的。将语音合成与语音识别技术结合起来
10、，还可以使用户与计算机所创建的虚拟环境进行简单的语音交流，这在VR 环境中具有突出的应用价值。3-173.4 人机自然交互技术 3.4.1 手势识别技术3.4.2 面部表情识别技术3.4.3 眼动跟踪技术3-183.4 人机自然交互技术3.4.1 手势识别技术（Gesture Recognition）将虚拟世界中常用的指令定义出了一系列的手势集合，利用这些手势，参与者可以执行诸如导航、拾取物体、释放物体等操作。手势语言使用户可以自始至终地采用同一种输入设备（通常是数据手套）与虚拟世界进行交互，将用户的注意力主要集中于虚拟世界，降低对输入设备的额外关注。3-193.4 人机自然交互技术3.4.2
11、 面部表情识别技术（Face Detection&Recognition）计算机面部表情的识别技术的三个步骤：1、面部表情的跟踪 为了识别表情，首先要将表情信息从外界摄取回来。现阶段，跟踪面部表情的装置和方法不一。典型的例子为Sim-Graphics 开发的虚拟演员系统（VActor）。此外，有的系统还能通过摄像机拍摄用户的面部表情，然后利用图像分析和识别技术进行表情识别3-203.4 人机自然交互技术3.4.2 面部表情识别技术（Face Detection&Recognition）计算机面部表情的识别技术的三个步骤：2、面部表情的编码 要使计算机识别表情，就要将表情信息以计算机所能理解的形
12、式表示出来，即对面部表情进行编码。科研人员Ekman 和Friesen 提出了一个描述所有视觉上可区分的面部运动的系统，叫做面部动作编码系统（FACS），它是基于对所有引起面部动作的脸的“动作单元 的枚举编制而成的。3-213.4 人机自然交互技术3.4.2 面部表情识别技术（Face Detection&Recognition）计算机面部表情的识别技术的三个步骤：3、面部表情的识别 根据分析人的眉、眼、口等面部器官在不同表情时产生的变化，对表情的识别采用了图示二叉树分类器方案。3-223.4 人机自然交互技术3.4.2 面部表情识别技术（Face Detection&Recognition）
13、计算机面部表情的识别技术的三个步骤：3、面部表情的识别 表情识别的系统流程如图。3-233.4 人机自然交互技术3.4.3 眼动跟踪技术（Eye Movement-based Interaction）视线追踪的基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄像机，通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录视线变化，从而记录和分析视线追踪过程。视觉追踪方法 技 术 特 点眼电图（EOG）高带宽，精度低，对人干扰大虹膜-巩膜边缘 高带宽，垂直精度低，对人干扰大，误差大角膜反射 高带宽，误差大瞳孔-角膜反射 低带宽，精度高，对人无干扰，误差小接触镜 高带宽，精度最高，对人干扰大，不舒适3
14、-243.4 人机自然交互技术3.4.3 眼动跟踪技术（Eye Movement-based Interaction）从视线跟踪装置得到的原始数据必须经过进一步的处理才能用于人机交互，目的就是从中提取出用于人机交互所必需的眼睛定位坐标。由于人眼存在固有的抖动，而眼睛眨动也将造成数据的中断，所以如何有效地滤除干扰信号，提取有意眼动的数据时仍需解决的问题之一。将视线应用于人机交互必须克服的另一个困难是避免所谓的“米达斯接触（Midas Touch）”问题，在理想情况下，系统应当在用户希望发出控制时，及时地处理其视线输入，而在相反的情况下则忽略其视线的移动。3-253.5 物理仿真技术 1、设计数学
15、模型 数学模型即描述虚拟对象行为和运动的一组方程式，用来建立虚拟对象的视觉属性（如大小、形状、颜色等）、物理属性（如质量、硬度等）和物理规则（如引力、阻力等）。2、创建物理属性 首先确定物理过程，即作用在虚拟对象上的物理现象，接着利用软件仿真算法描述上述物理过程，最后通过计算机程序语言实现上述仿真算法，由此表达出模型质量、密度等物理属性和力的概念。3、实现碰撞检测 碰撞检测技术也是VR 系统中不可缺少的、极其关键的技术之一。不仅要能检测是否有碰撞的发生、碰撞发生的位置，还要计算出碰撞发生后的反应。目前较成熟的碰撞检测算法有层次包围盒法和空间分解法等。3-263.5 物理仿真技术 碰撞检测算法：
16、层次包围盒法 利用体积略大而形状简单的包围盒把复杂的几何对象包裹起来，在进行碰撞检测时，首先进行包围盒之间的相交测试，若包围盒不相交，则排除碰撞可能性；若相交，则接着进行几何对象之间精确的碰撞检测。空间分解法 将虚拟空间分解为体积相等的小单元格，所有对象都被分配在一个或多个单元格之中，系统只对占据同一单元格或相邻单元格的对象进行相交测试。3-273.6 三维全景技术（Panorama）3.6.1 三维全景技术的基本概念3.6.2 全景图的制作技术3-283.6 三维全景技术（Panorama）3.6.1 三维全景技术的基本概念 三维全景技术是一种基于图像绘制技术生成真实感图形的VR实现技术。首
17、先使用照相机拍摄获取图像序列，然后将序列样本折叠变换并投影至观察表面如柱面、球面、立方体表面等，并将图像局部对准，最后由相关软件进行图像拼接融合生成可供浏览和交互的三维全景图。工具软件有QuickTime VR、IPIX、Ulead Cool360 以及杰图造景师等3-293.6 三维全景技术（Panorama）3.6.2 全景图的制作技术 1、图像拍摄技术 原始资料获取方式：其一是使用特殊摄像设备拍摄，如全景照相机、附带鱼眼镜头（Fisheyes Adapter）和全景头（Panohead）相机等；其二是使用普通照相机拍摄。拍摄方法：其一是定点拍摄，即将相机固定在三脚架上并围绕相机光心旋转向
18、不同方向拍摄；其二是多视点拍摄，相机可在不同位置拍摄，但一般只能进行水平移动。3-303.6 三维全景技术（Panorama）3.6.2 全景图的制作技术 图像拼接技术 根据采集照片序列类型的不同，图像拼接技术主要涉及以下两方面：若图像序列取自同一视点不同视角，重叠画面无缩放，则图像拼接时只需确定重叠区域，将相临图像中对应的像素点对准，再进行平滑拼接即可。若图像序列取自不同视点，重叠画面有缩放，则图像拼接时需确定重叠区域和缩放比例，可以交互给出或自动求出每两幅图像之间的对应点，再用图像插值或视图变换的方法求出该物体对应于其他观察点的图像。3-313.6 三维全景技术（Panorama）3.6.
19、2 全景图的制作技术 图像融合技术 图像融合技术解决的主要问题是如何使拼接的两幅图像不出现明显的拼接缝，并在亮度、色度、对比度上没有明显的差别。通常，重叠区域的边界上，两幅图像灰度上的细微差别一般都会导致很明显的拼缝，一般可在两幅图像的重叠区域采用渐入渐出的方法，将两帧图像的像素值按一定的比例合成到新图，由前一幅图像慢慢过渡到下一幅图像。3-323.7 虚拟现实开发软件工具集 3.7.1 Vega Prime3.7.2 Virtools3.7.3 VRP3.7.4 Web3D 技术及相关软件3-333.7 虚拟现实开发软件工具集3.7.1 Vega Prime Vega Prime（简称VP）
20、由MultiGen-Paradigm公司出品，构建在VSG（Vega Scene Graph）框架之上，包括图形用户界面Lynx Prime 和一系列可调用的、用C+实现的库文件、头文件。基于VP 视景仿真主要包括视景模型的预处理、LynX 图形界面设计和视景仿真程序设计等三部分。3-343.7 虚拟现实开发软件工具集3.7.2 Virtools Virtools 由法国达索集团（Dassault Systemes）出品，是一套具备丰富的互动行为模块的实时3D 环境编辑软件，可以将现有常用的档案格式整合在一起，如3D 的模型、2D 图形或音效等，这使得用户能够快速地熟悉各种功能，包括从简单的变
21、形到复杂的力学功能等。3-353.7 虚拟现实开发软件工具集3.7.3 VRP VRP 系列软件由中视典数字科技有限公司研制出品，以VR-Platform 引擎为核心，衍生出VRP-IE（VRP 三维网络浏览器）、VRP-BUILDER（VRP虚拟现实编辑器）、VRP-PHYSICS（VRP 物理系统）、VRP-DIGICITY（VRP 数字城市平台）和VRP-SDK（VRP 二次开发工具包）等5 个相关产品。3-363.7 虚拟现实开发软件工具集3.7.4 Web3D 技术及相关软件 Web3D 技术是基于Internet 的桌面级虚拟现实技术，是在互联网上实现的交互式三维技术，其本质特征是
22、网络性、三维性和交互性。VRML/X3D：VRML（虚拟现实建模语言）是用于创建基于浏览器的、具有实时交互特性虚拟现实场景的建模语言。X3D（eXtensible 3D）是新一代具有扩展性三维图形标准，它基于XML（可扩展标记语言），表达对VRML 几何造型和实体行为的描述能力，并通过扩展的接口延伸了VRML 的功能。3-373.7 虚拟现实开发软件工具集3.7.4 Web3D 技术及相关软件 Cult3D：由Cycore 出品，可为3D 模型添加交互性动作。Cult3D 作品可在大多数操作系统平台下和多数网络浏览器上流畅地显示，并可嵌入到Office、Acrobat 等软件中。Shockwave3D：由Macromedia 公司出品，主要通过Director实现，Director为Shockwave3D 加入了几百条Lingo 控制脚本，使Shockwave3D 在交互能力上具有强大的优势。Java3D：由SUN 公司出品，是Java 在三维领域的扩展，是一种高级的交互式三维图形编程API，综合了OpenGL 和Direct3D 的优点，对底层API 进行了高效的封装，是一套纯面向对象的开发工具。3-38本 章 结 束谢 谢 大 家