运动捕捉舞谱技术方案.docx

《运动捕捉舞谱技术方案.docx》由会员分享，可在线阅读，更多相关《运动捕捉舞谱技术方案.docx（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、基于运动捕捉数据的拉班舞谱生成科研分析 学 院 音乐系 工 号 教 师 完成日期 2021.3.8 目 录前言5一、行业开展现状5二、运动捕捉系统5三、BVH文件9四、基于BVH文件的拉班舞谱自动生成算法10五、运动数据转换为舞谱10六、系统功能实现13前言工程主要目的是通过使用运动捕捉数据BVH (Biovision Hierarchical Data)文件作为原始数据，通过解析BVH文件的骨架层次构造，量化运动方向与时间，自动地生成与其相对应的拉班舞谱。工程流程图：采购运动捕捉系统国外设备或国内设备舞蹈教师运动捕捉BVH文件骨架数据分析欧角拉数据转化生成拉丁舞谱一、行业开展现状随着创意产业

2、的开展，人体运动捕捉技术成为了研究的热点。它为动画和游戏的制作提供了新的途径。同时，这种技术也产生了更广泛的应用，不仅仅可以捕捉人体的运动，还可以捕捉动物设置机器设备的运动情况。目前业界没有舞谱自动生成系统，只有学术性的研究，没有实质的科研。运动捕捉系统二、运动捕捉系统1、全身动作捕捉系统 随着计算机软硬件技术的飞速开展和动画制作要求的提高，在兴旺国家，运动捕捉已经进入了实用化阶段，有多家厂商相继推出了多种商品化的运动捕捉设备，如 MotionAnalysis 、 Polhemus 、 Sega Interactive 、 MAC 、 X-Ist 、 FilmBox 等，成功地用于虚拟现实、游

3、戏、人体工程学研究、模拟训练、生物力学研究等许多方面。 从技术的角度来说，运动捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹。典型的运动捕捉设备一般由以下几个局部组成： 传感器。所谓传感器是固定在运动物体特定部位的跟踪装置，它将向 Motion capture 系统提供运动物体运动的位置信息，一般会随着捕捉的细致程度确定跟踪器的数目。 信号捕捉设备。这种设备会因 Motion capture 系统的类型不同而有所区别，它们负责位置信号的捕捉。对于机械系统来说是一块捕捉电信号的线路板，对于光学 Motion capture 系统那么是高分辨率红外摄像机。 数据传输设备。 Motion

4、 capture 系统，特别是需要实时效果的 Motion capture 系统需要将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进展处理，而数据传输设备就是用来完成此项工作的。 数据处理设备。经过 Motion capture 系统捕捉到的数据需要修正、处理后还要有三维模型向结合才能完成计算机动画制作的工作，这就需要我们应用数据处理软件或硬件来完成此项工作。软件也好硬件也罢它们都是借助计算机对数据高速的运算能力来完成数据的处理，使三维模型真正、自然地运动起来。全身动作捕捉系列是实用光学式运动捕捉产品。系统采用多台近红外线高感度摄像机及相关设备，实现高精度实时三维运动数据的采集，支持

5、实时在线或者离线的运动捕捉及分析。在国际上拥有同类产品最高性价比，可广泛的应用于虚拟现实、军事模拟、工程测量、医学研究中的运动机能评价和康复医疗、体育运动分析和体育训练指导、影视、动画和游戏制作等诸多领域。取相摄像头1、数据采集 精度更高全身动捕系列光学被动式摄像机，对于细微动作都可实现精细捕捉。相机前端特有的处理芯片具有FPGA编成功能，实现海量数据的高速处理。相机采用圆形拟合算法的标识点Marker中心演算功能实现独立的标识点高精度识别。相机采用144个LED照明，在保证亮度前提下效率更高。2、系统更加稳定可靠系统采用标准TCP/IP协议网络数据传输方式，构成简单，无需专用采集设备，一台计

6、算机控制所有相机。集成为一根的摄像机专用综合电缆具有采样同步控制信号传输；LED照明同步控制信号传输；摄像机和LED照明供电传输多种功能的同时，极大地简化了系统布线构造同时，使系统数据传输更稳定，克制了USB等方式的连接距离短、级联台数受限等问题。3、系统功能更强大高性能自动识别功能，根据人体模板自动进展标识点匹配，免除繁杂的操作。强大的后期数据自动插值、滤波和手动修改等编辑功能以及CSM、BVH、FBX、BIP、DRS、TRC、C3D等通用数据格式转换功能，完全满足动漫、体育、医疗等不同领域的应用需求。全面支持第三方软件相结合使用接口如MotionBuilder、3DMax、Maya、Del

7、t3D或测力平台、肌电仪以及客户自主开发平台软件等，进展数据的实时、定时传送及各种同步触发控制接口。4、系统操作更简洁便利系统根据中国用户设计，在保证完美实现功能的前提下极大的简化了系统操作中繁琐的人机交互模块，使整个系统操作流程更加方便快捷。系统架设灵活，可以根据环境和使用者意愿来搭建捕捉系统，捕捉范围可根据房间大小和用途随时调整。相机独立的LED编号显示，使架设和调整操作更方便。同等捕捉空间标识点更精小3mm、5mm、10mm、15mm、20mm、25mm规格，被测者运动更自如。5、光学被动式运动捕捉系统，拥有业界高性价比系统独特的软硬件系统构成，在实现同等运动捕捉性能时，在价格上具有更大

8、优势，整体系统具有更高性价比。应用虚拟现实领域：可应用于高端装备的虚拟装配；高等教育的虚拟教学及科学研究；国防军队的军事训练；医疗领域：1、对患者进展步态分析、动作分析、运动失调程度评价等；2、动物药理反响实验。体育领域：体育训练、体育教学、步态分析、田径工程的运动分析、冬季体育工程的运动分析、球技动作分析、舞蹈动作分析、帆板动作分析、自行车竞技分析、打斗技巧分析等。影视动画：现代影视特技制作、三维电影、三维动画和游戏制作。其它领域：系统可广泛应用于：人体工学研究、机器人研究、感性工学研究、高精度振动计测、福祉工学领域、灵活性能评价、碰撞试验、飞行测试、心理分析、刚性测试、实用性能评价。测试软

9、件Fig.Testsoftware除了运动捕捉系统还需要结合用交互追踪系统：2、G-Motion交互追踪系统这是是一套高精度光学位置追踪产品，能实时准确的捕捉目标物体6自由度姿态位置和方向信息。可作为虚拟现实人机交互外设，也可应用于人体动作捕捉、结合半实物仿真设备进展姿态捕捉和运动实物的空间位置信息实时获取等方向。 红外光学追踪，无电、磁和声音干扰 可支持2-12个红外摄像头，用户可根据追踪范围需求选择摄像头的个数 支持眼镜和手持式交互设备追踪，有6个按钮可以进展交互功能设计开发 高度准确的6自由度姿态位置、方向追踪 位置追踪精度，角度追踪精度 60/120 Hz刷新率可调 支持12路同步处理

10、，并可级联扩展，同步延迟可调 支持简捷快速自定义跟踪目标 灵活方便的场地校准和相机校准 支持追踪数据记录与回放 直观的2D/3D数据显示 集成VRPN接口，可以结合系统选用的CAE后处理软件和虚拟设计辅助软件 用户追踪界面与系统算法处理器可别离，利于部署1可以作为交互外设与虚拟现实类软件DVS3D、Unity等结合，实现虚拟展示、虚拟装配等人机交互；2可以应用于半实物仿真训练，如半实物的消防演练、军事虚拟射击等；3可应用于运动物体的空间位置高精度姿态定位，比方机器人路径规划中运动信息的实时捕获；4应用于人体动作捕捉，进展步态分析和虚拟人动作模拟。三、BVH文件工程所使用运动捕捉数据格式为BVH

11、 (Biovision Hierarchical Data)文件，它主要由骨架层级构造局部和欧拉角运动数据两大局部组成三维人体骨架模型2Fig.3dhumanskeletonmodel2四、基于BVH文件的拉班舞谱自动生成算法本章将对拉班舞谱的生成算法进展详细探讨，这也是本次论文的核心内容。通过对BVH文件进展解析和转换，并利用拉班舞谱的规律和特点，找出运动捕捉数据与拉班舞谱的对应关系，并最终在图形界面显示下自动生成拉班舞谱，其过程如下: (1)读取BVH文件，按照BVH文件中所描述的骨骼层级构造读取数据，并将运动数据分组存储。 (2)欧拉角数据的转换。由于BVH文件中所存储的运动数据为欧拉角

12、数据，因此我们需要将其转换为惯性坐标系下的位置数据，进而进展接下来的关于水平运动方向和垂直程度的分析。 (3)判断运动方向。首先，将人体分为5个主要的身体部位(Body Part ) 即头、左臂、右臂、左腿和右腿。然后根据这5个身体部位的空间位置关系来判断他们的水平运动方向和垂直程度。(4)生成最初的拉班舞谱数据。将其中过于琐碎和重复的数据进展适当的删减和合并。(5)生成最终的拉班舞谱数据。(6)绘制拉班舞谱。五、运动数据转换为舞谱我们知道，存储在BVH文件当中的运动捕捉数据都是以欧拉角的形式存储的三维旋转数据，为了方便以后对身体各部位的运动方向和运动趋势进展判断，我们需要将欧拉角旋转数据转换

13、为惯性坐标系下的空间位置数据31-32。因为，如果直接使用欧拉角作为判断依据，所得到的结果十分不理想。下面首先简要介绍一下几种常用的坐标系30J0数据转换为了计算出子节点在其父竹点惯性坐标空间卜的位置，我们需要将运动数据中的欧拉角组合成一个旋转矩阵。前面曾经提到，关于欧拉角最为常用的约定为heading-pitch-bank，这是从惯性坐标系到物体坐标系的旋转。设H, P, B分别为绕Y轴，x轴和z轴旋转的旋转矩阵，我们将其旋转角依次设为h, p, b，那么那么我们可以得出从惯性坐标系到物体坐标系旋转的公式如下:但是，我们需要使用的BVH文件的欧拉角旋转顺序为“roll-pitch-yaw，它

14、与heading-pitch-bank的旋转顺序正好相反，因而我们需要通过求惯性到物体旋转矩阵的逆获取由物体坐标系到惯性坐标系的旋转矩阵。 上图可以看作是一次的旋转矩阵，如果将其乘以当前节点的OFFSET，就可运动分析我们将人体分为5个主要的身体部位(BODY PART包括左腿、右腿、左臂、右臂、和头部。针对每一个身体部位，我们要判断在每一帧数据中其末端所处的方向和高度空问。也就是判断子节点在以父节点为原点的惯性坐标系下所处少27个子空间中的哪一个。这里的子节点与父节点并不是指的在BVH文件树一形构造中直接意义上的父子节点，而是具有拉班舞谱意义的父子节点。例如，对于右臂来说，右腕关节Right

15、 Wrist在树形构造中的直接意义上的父节点为右肘关节Right Elbow，但它在拉班舞谱意义上的父节点实际上为右肩关节Right Shoulde:节点。也就是说，拉班舞谱意义上的父子节点并不一定与骨架构造中直接意义上的父子节点一样。如下图，显示了拉班舞谱意义上的父子节点的例如。当然，拉班舞谱意义上的父子节点也有可能与直接意义上的父子节点一样。例如，考虑头部的动作，Head节点在树形构造中直接意义上的父节点就是Neck节点，与拉班舞谱意义上的父子节点相一致。为了要对每一个身体部位所处的空间和方向做出判断，我们需要求得每一个身体部位拉班舞谱意义上父子节点的相对位置关系。即在拉班舞谱意义上，子节

16、点在以父节点为原点的惯性坐标空间下的相对位置。由式我们可以很方便的求出子节点在其直接意义上的父节点惯性坐标空间下的位置数据。为了求得子节点在其拉班舞谱意义上的父节点惯性坐标空间中的坐标，我们还需要进展进一步的运算。假设拉班舞谱意义上的父节点为JOINT PARENT,拉班舞谱意义上的子节点为JOINT CHILD，当它们在运动数据中相邻接时(即它们同时为直接意义上的父子几点)可以直接通过式求得惯性坐标系下的位置数据。而当JOINT PARENT和JOINT CHILD在树形构造中并不相邻时，那么我们需要先求出JOINT PAPRENT的实际的子节点(设为JOINT MIDDLE)的旋转矩阵，再

17、通过乘以JOINT MIDDLE的OFFSET信息获取JOINT MIDDLE相对于JOINT PARENT的位置偏移p1，而这个实际的子节点JOINT MIDDLE又是JOINT CHILD的直接意义上的父节点，这时，再根据式求得JOINT CHILD相对于中间节点JOINT MIDDLE的位置偏移p2。同时，p1和p2都是以惯性空间为参考，并且p2的原点为中间节点JOINMIDDLE的位置，因而p1+p2获得的新的位置偏移p3就是拉班意义上的子节点JOINT CHILD相对于其父节点JOINT PARENT的位置偏移。正如下列图显示了不相邻父子节点的情况。支撑栏动作分析通过前面对拉班舞谱的

18、介绍，我们知道支撑栏在拉班舞谱的3线11栏中属于最为重要和特殊的一栏，它是用来记录人体支撑部位的动作，即人体的哪一个或是哪几个部位起支撑人体重心的作用，那么它或它们的动作就会被记录在支撑栏里。一般来讲，人体各个部位都可以起到支撑人体重心的作用，因此它们都可以看作支撑部位。例如，在现代街舞中，许多头转的动作都是头部作为支撑点，支撑整个人体的重量;还有许多舞蹈中用手作为支撑做一些倒立的舞蹈动作。但是，绝大多数的舞蹈动作还是以腿部作为主要支撑的。为了便于分类，我们把能起支撑作用的部位分为12类，他们依次是左脚和右脚，左膝和右膝，左手和右手，左肘和右肘，左肩和右肩，还有躯干和头部。表对着12个身体部位

19、进展了整理和归类。根据式我们可以求出当前节点在其直接意义上的父节点的惯性坐标空间下的坐标，那么再加上其父节点的世界坐标，我们可以很方便的求得当前节点的世界坐标Child.xyz二 x C 六、系统功能实现 在基于以上的讨论和研究的根底之上，该系统平台实现的功能主要有: (1)读取并解析BVH文件; (2)播放BVH文件(通过调用BVH player程序来播放; (3)完成BVH文件向拉班舞谱的转化。 这些功能通过构造几个主要的类来实现，下列图显示了拉班舞谱的生成过程及主要类的功能。界面及结果展示首先，我们:,.iii要读取一个rv文件，如下所示，通过点击“浏览按钮 点击“确定按钮之后，进入舞谱

20、设置界面 通过bvhplayer，我们就能够以人体节点模型的形式播放我们读取的BVH文州了，显示了BVH文件的播放。对应的舞谱及人像比照： 上图(1)为原始数据的开场阶段，由于在前100多帧中各节点并没有发生任何运动，我们对各身体部位参加了速度判断，不发生运动的部位是不会被记录的，所以在(1)的位置并没有舞谱符号;在(2)中，人体慢慢向前移动，右脚迈出，带动人体前进，从而产生了右腿在前左腿在后的情况，正如左侧(2)局部所示，生成的拉班舞谱符号与人体在这段时间内的运动相一致;在(3)中，人体继续运动，该时间段内人体各部位的动作分别为左腿向前，右腿向后，左手向左，右手向右，头部有一个比拟明显向前的

21、动作，与其生成的舞谱符号相一致:(4)中，人体各部位的动作分别为左腿向后，右腿向前，左手臂向左前，右手臂向右，与其生成的舞谱符号根本一样。由于在人体运动过程中，人体的朝向在不断发生着变化，而我们目前所使用的判断身体各部位动作的方法还没有将人体朝向的判断参加其中，因而导致了一些不恰当的舞谱符号的产生，这也是我们接下来要进展研究的方向。通过上面的结果比照图，我们可以看出，在运动不是很复杂的情况下，或是在人体朝向相对于初始位置没有发生很大变化的情况下，生成的拉班舞谱结果与运动捕捉数据中的记录根本一致，还是比拟令人满意的。在接下来的研究工作中，我们首先会参加人体朝向的判断，并将其作为判断身体各部位运动方向的前提，进而提高我们所生成的拉班舞谱的准确率。