《基于kinect v2的实时精确三维重建系统-李诗锐.pdf》由会员分享,可在线阅读,更多相关《基于kinect v2的实时精确三维重建系统-李诗锐.pdf(11页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、软件学报ISSN 1000-9825,CODEN RUXUEWJournal ofsqftM,are,2016,27(10):2519-2529doi:1013328,jcnkijos005089】dd国科学院软件研究所版权所有基于Kinect v2的实时精确三维重建系统+李诗锐1,2,李琪1,2李海洋1,2,侯沛宏1,2曹伟国1,王向东3,李华1,2(中国科学院计算技术研究所智能信息处理重点实验室,北京 100190)2(中国科学院大学,北京 100190)3(IN家体育总局体育科学研究所,北京 100061)通讯作者:李诗锐,E-mail:lishiruincicaccaEmail:jOS
2、iscasaccnhttp:wwwjosorgcaTel:+86一l 062562563摘要: 快速、低成本、精确的三维扫描技术一直是计算机视觉领域研究的热点首先,分析了新一代Kinect v2(Kinect for Windows v2 sensor)酐J技术参数、测量原理设计实验测得其深度精度与测量距离呈线性变换关系其次,Kinect v2深度数据含有大量的噪声,尤其是在物体边缘,常用的双边滤波器等去噪算法不能很好地去除这些噪声,对此设计了一种有效的去噪算法,以提高重建质量最后,实现了一套基于新一代Kinect v2的重建系统实验结果表明,该重建系统能够实时、精确地重建物体,可以广泛应用于
3、低成本的快速三维成型关键词:ToF;Kinect;三维重建;点云去噪;点云配准中图法分类号:TP39l中文引用格式:李诗锐,李琪,李海洋,侯沛宏,曹伟国,王向东,李华基于Kinect v2的实时精确三维重建系统软件学报,2016,27(10):25 19-2529http:wwwjosorgcn100098255089htm英文引用格式:Li SR,Li Q,Li HY,Hou PH,Cao WG,Wang XD,Li HRealTime accurate 3D reconstruction based on Kinectv2Ruan Jian Xue BaoJournal ofSoRware
4、,2016,27(10):2519-2529(in Chinese)http:wwwjosorgcn1000-98255089htmRealTime Accurate 3D Reconstruction Based on Kinect v2LI ShiRuil一,LI Qil一,LI HaiYan91一,HOU PeiHon91一,CAO WeiGu01,WANG XiangDon93,LI Hual,21(Key Laboratory of Intelligent Information Processing(Institute of Computing Technology,The Chi
5、nese Academy of Sciences,Beijing100190,China)二(University ofChinese Academy of Sciences,Beijing 100190,China)3(China Institute of Sport Science,General Administration of Sport,Beijing 100061,China)Abstract:Fast,lowcost,and accurate threedimensional scanning technology is a hot research topic in comp
6、uter visionFirst,thispaper introduces the technical parameters and measurement principle of the Kinect v2(Kinect for windows v2 sensor)and analyzes theadvantages and disadvantages of Kinect v2 comparing to the first generation Kinect(Kinect v 1)Secondly,considering the characteristicsof Kinect v2 de
7、pth data noise,it designes a denoising method for depth data,and applies this method to the 3D reconstruction systemFinally,it implementes a realtime accurate 3D reconstruction system based on Kinect v2Experimental results show that the proposed 3Dreconstruction system can acquire an accurate 3D obj
8、ect model in realtimeKey words:ToF;Kinect;3D reconstruction;point cloud denoising;point cloud registration基金项目:国家自然科学基金(61227802,61379082);国家体育总局体育科学研究所合作项目(20145030);国家财政部基本科研业务费(基本1402)Foundation item:National Natural Science Foundation ofChina(61227802,61 379082);Project Funded by China Institute
9、 ofSponScience(20145030);Basic Research Funding from Ministry ofFinance ofthe PeopleS Republic ofChina(Basic 14-02)收稿时间:2016-012l:修改时fnJ:2016-0325;采用时间:2016-0509;iOS在线出版时间:2016-0808CNKI刚络优先出版:20160809 15:38:17,http:wwwcnkinetkcmsdetail112560TP201608091538018html万方数据2520 Journal of Software软件学报V0127,
10、No1 0,October 20 1 6快速、低成本、精确、方便地获取物体三维模型一直以来都是计算机视觉与图形学领域的研究热点基于图片的被动式的三维重建虽然能够方便、低成本地获取到物体的三维模型,但其特征提取和匹配依赖于光照环境和物体表面的纹理特征,且重建点云大多较为稀疏Kinect v2的全称是Kinect for Windows v2 sensor,是微软第二代Kinect外设,采用了与第一代完全不同的ToF(timeof-flight)澳O量技术Kinect v2和第一代Kinect vl都是作为微软游戏机Xbox深度传感器硬件的外设,主要设计用于获取、分析用户的动作和语音由于它能够实时
11、、精确地获取物体的深度和彩色图像信息,Kinect系列产品也可以作为一种理想的三维重建外设,虽然重建精度不能达到工业制造水平,但是利用它重建出来的三维模型依然可以广泛应用于机器人定位导航、虚拟现实、产品展示、影视游戏等等且Kinect用于三维扫描,具有快速、低成本、精确、方便等优点基于Kinect vl三维重建已有大量优秀的工作参考文献综述1-31,Newcombe提出的KinectFusion41算法利用Kinect vl能够实时地对任意复杂室内场景在任意光照条件下进行精确重建该算法在深度图预处理阶段只使用了双边滤波器Roth5】,Whelan61,ChenE7将kinectFusion算法
12、扩展到适用于更大场景的重建Henry8,91同时利用Kinect vl的彩色和深度信息实现了室内场景的稠密三维建模,该算法虽能得到带纹理的三维模型,但得到的最后三维模型比较粗糙,不适用于重建少纹理结构的物体,也不能实时重建刘鑫【10】基于Kinect vl搭建了一套快速物体重建系统,该系统需要一个能自动控制转速的旋转平台,离线的全局优化操作,需要旋转平台给定摄像机外参数周瑾【11使用4个Kinect vl构建了一套快速三维人体重建系统该系统内置了一个通用人体三维模型,此方法不能用于重建除人体以外的其他物体Tong121利用4个Kinect同步采集人体数据重建人体表面,利用简易人体模板进行最后的
13、全局优化达到了很好的人体重建效果不同于第一代Kinect采用的结构光深度测量技术,Kinect v2采用了ToF深度测量技术Kinect v2提供了更高的数据获取速度,达到了每秒60帧,拥有更高的深度数据保真度,更大的视角,其彩色相机也更为出色实验结果显示其深度精度随距离呈线性函数变化而Kinect vl采用的结构光技术深度精度随距离呈二次多项式函数变化实验结果显示,在更大深度有效范围内,Kinect v2的精度优于Kinect v1基于此,研究使用基于Kinect v2进行物体三维重建有重要的意义本文搭建了一套基于Kinect v2的三维重建系统首先详细分析新一代Kinect v2的技术参数
14、、测量原理、深度数据精度以及相对于第一代产品的优缺点;其次,针对于Kinectv2的深度数据噪声的特点,设计一套深度图去噪声流程,并将此去噪声方法应用于三维重建系统中,以提高重建精度;最后,实现一套基于新一代Kinect v2三维重建系统实验结果表明,本文中的系统能够实时、精确、方便地对物体进行三维重建1 Kinectv2介绍Kinect v2是微软第二代Kinect,搭载于微软新一代游戏机Xbox one上,用于感知3D图像和音频,Kinect v2的ToF处理器芯片是TSMC 013 IP5M1 3,14Kinect v2,如图l所示,包含一个彩色相机、深度相机、红外光发射器通过Kinec
15、t v2可以获取场景的深度、彩色、红外图像信息z蚌叫一: 一:1,rFig1 Hardware and raw data of Kinect v2图l Kinect v2硬件结构图和原始数据h1、“I、; ?L一、Fig2 Depth images of two generation Kinect图2两代Kinect深度图比较万方数据李诗锐等:基于Kinect v2的实时精确三维重建系统 252l11 Kinect v2技术参数表1是两代Kinect的技术参数对比相比于Kinectvl,Kinect v2拥有更出色的彩色相机,彩色相机分辨率为1920x1080,高于第一代的1280x960,且
16、色彩的保真度更高Kinect v2视角更大,其水平视角为700,垂直视角为600;Kinect v2有更高的数据传输速度,最大支持深度每秒60帧的深度数据获取Kinect v2有3倍于Kinect vl的深度保真度,使得Kinect v2能够更容易获取物体更多的细节,如图2所示,可以看出,Kinect v2深度图更精细Kinect v2深度数据还有运动模糊小、高动态范围等优点但是,Kinect v2的深度分辨率为512x424,小于Kinect vl的640x480,且深度数据含有更多的噪声数据,关于Kinect v2的噪声在下文中会有详细介绍Table 1 Technology specif
17、ication of Kinect v l and v2表1 Kinect vl与Kinect v2的技术参数对比12 Kinect v2测量原理Kinect v2采用ToF测距,利用方波调制相机光源,光源的平均频率为80MHz通过相位检测来得到发射光和经过物体反射后的光的相位偏移和衰减。从而计算光从光源到物体表面然后再回到传感器的总的飞行时间,根据光的往返飞行时间进而可以求得物体到传感器的距离通过以下公式(1)计算深度 2dphaseC(1)27【 d为深度,phase是调制信号相位偏移,C为光速,光在空中的飞行速度约为c=3x108msf为传感器的调制频率2 Kinect v2深度图去噪本
18、文针对目标物体和大规模复杂场景进行三维建模对于目标物体的重建,我们利用直通滤波器选择出特定视场内的物体进行重建,这样既可以避免不必要物体的干扰,又能去除Kinect v2质量较差的视场边缘数据,最后选择最为理想的深度数据进行特定物体三维重建假设深度图表示为(“,v,西,其中,U,v表示深度图的像素坐标,d表示深度直通滤波器选择满足条件的深度值进行重建假设深度图中心点的坐标为(“o,vo),深度图的长为W,宽为,则我们可以通过式(2)选择深度图像中心周围处的深度值Uo一(w2)。r“+(w2)。7 f21I vo一(h2)rvVo+(h2), 一其中,r表示保留的比率值,F1表示保留整个深度值还
19、可以设置深度范围阈值,假设用max表示允许的深度的最大值,min表示最小值,则通过mindmax可以选择有效的深度值范围如图3(c)所示,即为原始深度图3(d)经过直通滤波器处理后的结果如图3(c)、图3(d)所示,Kinect v2包含较多的噪声数据,尤其是在物体边缘处类似于Rusu15】利用物体表面具有平滑性特征,我们可以通过统计物体表面的形状特征,去除引起表面突变的噪声点不同点在于,Rusu”只利用单一点云数据的统计特征处理自身噪声我们在利用历史数据流进行统计物体表面特征后再对当前帧进行去噪声处理本文基于KinectFusion算法加权融合数据流,可以从多个噪声点云加权融合得到低噪声表面
20、虽然没有从根本上去除噪声误差累计的影响,但是我们可以利用这个光滑表面作为物体表里平滑程度的先验知识,从而修正后面数据流中的噪声,从根本上解决误差累计的问题假设当前输入为第k帧数据流,我们统计利用前扣l帧重建的物体模型的表面光滑程度,如图3(a)所示基于时间效率上的考虑,我们不直接在重建表面上进行统计,而是利用光线追踪算法将已经构建好的表面重新投影到扣1帧相机深度图上,如图3(b)所示,利用深度图统计此时物体表面的光滑程度显然,肛1帧融合的数据比当前帧数据更能表示物体表面扛l帧和k帧之间只有细微的移动,这样利万方数据2522 Journal of Software软件学报V0127,No1 0,
21、October 20 1 6用扛1帧摄像机位置获取的物体表面就能很好地代表k帧物体表面的光滑特征,从而有效地去除噪声以重投影的深度图中每个深度值(“,v。讲)为窗口中心,选取窗口大小为winSizexwinSize的窗口区域,计算此窗口区域中所有深度d分布的方差西设n=winSizexwinSizeq:j1窆(略一旷五J备州叫厂 (3)如表示以矾为中心的窗口中的相邻元素的深度值。为窗口中深度值的平均值将所有的方差组成方差集合J=a,cr2,仉),此时,每个深度值对应一个研计算此方差集合的平局值和方差胁,呸保留满足公式(6)方差对应的深度值,其中,t为一个浮点数阈值如图3(e)所示为滤波之后的效
22、果以2二nt=oq (4)1厅一铲寿荟(q喘)2 (5)一t仃O-+fO- (6)在经过以上两种方法滤波之后,可能还包含一些孤立的噪声点,如图3(e)所示以深度图中每个深度值(“。v。西)为窗口中心,选取窗口大小为winSizexwinSize的窗口区域,计数此窗口区域中有效的深度值数,2,当n小于某个阈值时,我们认为这个点为孤立的一个点,可以将此孤立点过滤,如图3(f)所示为我们最后得到的效果(d)直通滤波器 (e)统计滤波器 (D去除孤立由于只用到了深度图重建物体的三维形状,本系统可以在任意室内光照条件下工作我们对Kinect v2的深度相机进行标定针对Kinect v2的深度相机,采用张
23、正友161标定法,并利用标定工具171进行标定使用20个不同角度的深度相机获取的红外图片进行标定表2是标定得到的深度相机内参系数Table 2 Intrinsic parameters of depth camera表2深度相机内参数fx 36666ram焦距(focal length) fy 36663mmu 26196主点(principal point) V 20761k1 0082 67k2 0205 45畸变系数(distortion) k3 0000 46k4 0000 30k5 O33瞰图定标2VtCen瞄3万方数据李诗锐等:基于Kinect v2的实时精确三维重建系统4 Kin
24、ect v2三维重建2523本文在构建基于Kinect v2的重建系统时,整体的三维重建算法遵循了KinectFusion4的算法框架在此基础上,本系统的主要贡献是:第一,利用Kinect v2 SDK提供的基本的API驱动,构建了重建系统的深度数据获取模块第二,增加了深度数据噪声处理、深度摄像机标定模块第三,实现了一套完整的低成本实时精确三维扫描解决方案41 KinectFusion算法简介KinectFusion4】基于Kinect vl,能够实时地对任意复杂室内场景在变化的光照条件下进行精确重建整个KinectFusion算法框架包含3个主要模块首先,物体表面测量根据深度相机返回的深度图
25、和深度传感器的内参得到物体表面顶点坐标和法线信息,第二相机姿态估计整个姿态估计是一个点到平面(pointtoplane)l拘ICP算法框架1引采用帧与模型(frametomodel)的点云选取策略将当前帧点云与整个融合模型在前一帧位置的光线投影侧面点云进行配准,而不是将当前帧与前一帧点云进行配准这种策略在一定程度上能够解决闭合环路(100p closure)问题由于Kinect能够提供每秒30帧的深度数据,那么相邻两帧之间运动很小,在点与点匹配的选取上,采用了投影数据结合(projective data association)19】算法第3个主要模块是场景表示整个物理场景利用一个全局三维体【
26、2 0】表示,每个体素单元中包含一个距离值和一个权值距离值采用截断符号距离函数(TSDF)表示空间某点与物体表面的距离,当TSDF值为0时表示物体表面,TSDF值为负表示物体内部,TSDF值为正表示物体到传感器之间的可见空间当新一帧的测量数据产生时,根据姿态估计将当前帧的数据TSDF值和权值加权融合到全局三维体中,最后利用移动立方体(marching cubes)算法得到最终的三维网格模型KinectFusion算法能够实时、精确地获得物体的三维模型,这在业界引起了广泛的研究与应用目前,KinectFusion算法集成到了微软Kinect的SDK中,但是源代码并没有公开,PCL(Point C
27、loud Library)2l】提供了基于Kinect vl的KinectFusion算法开源实现,但其目前并不支持Kinect v2的数据读取据我们所知,现在还没有看到基于Kinect v2的物体重建开源系统42 Kinect v2物体重建系统Kinect v2对平台硬件软件要求比较苛刻,操作系统需Win 8Win 81,软件开发平台为Visual Studio 2012以上,显卡支持DXll,内置的USB 30,内存最好在4G以上,CPU要求64位,最好是i7 25GHz以上本文系统构建的环境是,Win 81Visual Studio 2012GeForce GTX 660USB308Gi
28、74770k 35G图4是整个重建系统的算法框架在PCL21】开源KinectFusion算法的基础上修改构建而成,修改了数据获取模块,增加了深度图滤波和摄像机标定模块PCL及其PCL依赖的开源库(vtk,boost,qull,flann,eigen)都要在Visual Studio 2012环境下编译使用以下是各个步骤的详细介绍1)获取深度数据模块,PCL在实现KinectFusion算法数据获取时采用了OpenNI,OpenNI现在不支持Kinectv2,且目前OpenNl网站已经关闭我们使用Kinect for Windows SDK 20提供的接口函数来构建数据获取模块将此模块替换原有
29、的OpenNl深度数据获取模块2)深度图滤波模块,主要实现了本文设计的去噪算法3)摄像机标定,采用张正友标定算法对深度相机进行标定,获得摄像机标定参数,用于将深度图转化为点云4)测量表面获取,根据深度数据和标定参数,计算获取表面顶点和顶点的法线信息5)姿态估计,根据对全局模型做光线投射得到的预测表面与新输入的测量表面进行点到平面的ICP算法,得到当前摄像机的位置6)融合,将当前帧的数据和摄像机的位置信息结合,从而将当前数据帧融合到全局模型中7)表面预测,根据前一帧摄像机的位置,投影全局的TSDF模型得到模型的前一帧位置的一个侧面整个算法实时运行,能够达到每秒25帧左右,最后对全局模型使用移动立
30、方体算法得到最终的三维网格模型万方数据2524 Journal of Software软件学报V0127,No10,October 20165实验结果_摄像#L鞠;定Fig4 The framework of Kinect v2 reconstruction system图4基于Kinect v2的重建系统算法框图51 Kinect v2深度测量精度分析为了确定Kinect v2的随机误差与距离的关系,我们采用平面拟合22,23来进行测试选取办公室墙面作为被采集的平面,将传感器垂直于墙面放置虽然Kinect v2有效空间最小可以在05m以内,但是这个距离拍摄的墙面含有较大的空洞(即没有深度数据
31、),实验从07m到49m向后移动Kinect v2深度传感器,间隔O6m获取一次墙面点云,总共采集8次,如图5(a)所示对于获取到的点云数据,我们选取特定区域采用Geomagic进行平面最佳拟合,得到点云到拟合平面距离分布的标准差,也就是残差的分布情况,如图5(b)所示 霉零眄(a)墙面在不同距离的点云图 (b)特定区域平面拟合残差图 (c)在视场边缘有较大的残差_距离19m 距离4 9m(d)不同距离选择的特定区域Fig5图5对于特定区域的选取,前两次选择视角中间区域合适大小的区域,后面6次选择墙面的同一个区域,如图5(d)所示这样选择的原因是,第一,我们选取的墙面区域比较大,这样就使得选取
32、的墙面区域在传感器距离比较远时仍然能够占据视场较大的区域第二,实验发现,在视场边缘处有较大的残差,如图5(c)所示,这个残差由于在ToF发射的红外光在视场边缘位置反射回来的光振幅较小【24】和深度相机的畸变系数所致选取视场中间部分可去除视场边缘点云的影响,图7是我们最后得到的Kinect v2标准差与距离的关系为了与第一代Kinect相对比,我们采用相同的方式得到了Kinectvl平面标准差与距离的关系,如图6所示实验结果表明,Kinect v2标准方差与距离基本呈线性变化,而Kinect vl标准方差与距离呈二次多项式变化这是由设计原理所致,Kinect vl原理本质上体现为立体视觉原理,其
33、深度分辨率与距离呈二次曲线变化关系而Kinect v2采用的是ToF技术,精度依赖于光源频率和信噪比在更大深度范围内,Kinect v2的精度大大优于Kinect vl,这表明,Kinect v2比第一代更适合远距离大场景重建,如图8所示,将两代Kinect固定于同一位置,对距离2m的人脸模型进行重建,Kinect v2重建出来的模型明显比Kinect vl重建出来的模型更为精细万方数据李诗锐等:基于Kinectv2的实时精确三维重建系统传感器到平面的距离mFig6 Relationship between standard deivationand deviation for Kinect
34、v l图6 Kinect vl标准差与距离的关系2525传感器到平面的距离mFig7 Relationship between standarddeviation and distance for Kinect v2图7 Kinect v2标准差与距离的关系Fig8 Reconstruet far away object,the left one is reconstructed by Kinect v2 and the right one is reconstructed byKinect vl,the distance between object and sensor is 2m aro
35、und图8对远处物体的重建,左图是Kinect v2,右图是Kinect vl,物体距离传感器为2m左右52物体重建对特定物体实时高精度重建,我们的这个系统支持两种方式,一种是手持Kinect传感器绕着固定物体旋转,另一种是将特定物体置于旋转平台上,将Kinect传感器固定,对旋转平台进行旋转我们选择整个场景表示的三维体物理大小1l1m3,体素分辨率为512x512x512,将物体置于传感器1m左右的位置图9所示为实验结果其结果表明,对于第1种方式,能够从更多的视角在不同的深度上扫描被重建的物体,相较于第2种方法,重建结果包含更多的细节信息但是,由于运动的不规则性,鲁棒性不如第2种方法,且在方
36、便性上也不如第2种方法Kinect v2与Kinect vl重建的结果相比较,在这种近距离下没有明显的不同通过本系统可以方便地对物体进行快速、精确的三维重建,选取了有代表性的常见物体进行重建,包括:具有简单表面的抱枕和花盆,具有复杂表面的玩具老虎,还有具有现代设计感的电风扇,以及应用广泛的人脸和人脚模型,如图12(a)所示为这些物体的彩色图片,图12(b)是这些物体重建后的结果我们采用旋转台的方式,手动驱动旋转台,旋转一周所花时间大概在1540s之间本系统所有算法都采用GPU并行加速实现,重建的速度能够达到每秒25帧左右,能够做到实时重建所以,对于特定物体重建的时间也在15-40s这个区间内,
37、亦即旋转一周转台所花费的时间,表3统计了每个物体的实际物理尺寸、重建模型的点个数和重建时间接下来的实验对比了增加去噪声算法后的结果如图10(a)、图10(b)所示,边缘噪声对场景重建结果有很大的影响,在物体边缘部分明显有错误重建的地方实验结果显示,去噪算法能够有效地去除这种噪声如图lO(c)、图10(d)所示,去噪算法能够有效地减少表面噪声将本系统的重建结果与微软提供的Kinect v2 KinectFusion SDK算法进行比较利用Kinect Studio采集数据,以相同的数据流作为输入,如图11(a)、图ll(c)所示为微软KinectFusion SDK重建结果,图ll(b)、图1l
38、(d)万方数据2526 Journal of Software软件学报V0127,No1 0,October 20 1 6是本系统的重建结果由图1l(a)、图11(b)对比可以看出,在旋转一圈重建整个物体时,微软SDK含有较为严重的误差累计由图11(c)、图1l(d)可以看出,微软SDK不能重建较为精细、复杂的物体,而本系统成功地对此物体进行了重建Kinect v2旋转台Kinect VI旋转台Fig9 Reconstrut object on rotating platformor by handheld Kinect图9物体置于旋转台与手持Kinect重建(b)c) (d)Fig 0a)(
39、c)Rcconstluctionvithout denoise(b)(d)Reconstruction with denoise图10去噪声后重建的效果,(a)和(c)是未经去噪处理的重建结果,(b)和(d)是经过去噪处理的结果(r1) (b) (c) (Li)Fig1 1(a)(c)Reconstruction by Microsoft KinectFusion SDK(b)(d)Reconstruction by our method图11 (a)和(c)为微软KinectFusion SDK重建结果,(b)和(d)是本系统的重建结果Table 3 Object reconstructio
40、n表3重建物体物体 尺寸(长宽高cm3) 重建点个数 重建时间(s)万方数据李诗锐等:基于Kinect v2的实时精确三维重建系统 2527致生建物_I一;竺。“磬 lb J i建;。粜。:Fig12图12对于重建好的模型,选取一些测量对象进行测量,如图13所示,以花盆为例的测量过程,将测量结果与真实测量值进行比较,统计测量的相对误差见表4最后得到的平均相对误差为18最后,我们将本系统用于重建办公桌场景和人体,如图14所示此时,选择场景三维体的物理尺寸为3x3x3m3,物体的体素分辨率为512x512512手持Kinect进行场景扫描从实验结果可以看出,Kinect v2在某些区域有较大的误差
41、,分析发现,Kinect v2对于电脑屏幕、黑色物体,平面法线与Kinect v2视线近垂直时有较大误差Kinect v2应用于复杂场景的重建鲁棒性存在问题我们还将本系统用于重建人体,人坐在旋转椅子上,对旋转椅子进行重建,如图14所示Fig1 3 Measure the high of flowerpot using 3D model图13 利用三维模型测量花盆的高度Tahie 4 Object measurement表4物体测量编号 待测物体 真实值(mm) 测量值(mm) 绝对误差(mm) 相对误差()(平均值为l 97)1 书本厚度 330 327 0 3 09l2 正方体边长 1580
42、 152 3 5 7 3613 花盆宽度 2855 2766 89 3 114 花盆高度 2500 2526 2 6 1045 脚模型长度 2500 2439 61 2 446 脚模型高度 1268 1275 07 O557 脸模型高度 5200 5282 82 1588 脸模型宽度 3342 3382 40 119翮一攀黉一案基_万方数据2528 Journal of Software软件学报V0127,No1 0,October 20 1 66结论Fig1 4 Kinect v2 scene and human body reconstruction图14 Kinect v2场景与人体重建
43、结果通过分析,Kinect v2深度精度随距离变化呈线性变化,且在较大深度范围内具有较高的精度本文实现的物体重建系统能够方便地对物体进行实时、精确的重建针对Kinect v2深度图进行设计去噪流程提高了重建的鲁棒性和准确性我们的系统利用单台Kinect v2对物体重建,既支持使用简易旋转平台,义支持手持Kinect v2重建物体,且适用于对各种物体重建,包括人体下一步的工作将重点解决Kinect v2在重建复杂大场景时的鲁棒性问题References:1Berger K,Meister S,Nair R,Kondermann DA state of the art report on Kine
44、ct sensor setups in computer visionIn:Timeof-Flight and Depth ImagingSensors,Algorithms,and ApplicationsBerlin,Heidelberg:Springer-Verlag,2013 257272【doi:1010079783642-44964-212】2345】【67】8】9101213】Han J,Shao L,Xu D,Shotton J Enhanced computer vision with microsoft Kinect sensor:A reviewIEEE Transon
45、Cybernetics2013,43(5):13181334doi:101109TCYB20132265378Li SR,Tao KL,Wang SY,Li H YCao WG Li H3D reconstruction by Kinect sensor a brief reviewComputer Aided DrafitingDesign and Manufacturing,2014,24(1):1-1 1Newcombe RA,Davison AJ,Izadi S,Molyneaux DKinectFusion:RealTime dense surface mapping and tra
46、ckingIn:Procof the10thIEEEInt1 SymponMixed andAugmentedReality(ISMAR)IEEE,2011127136doi:101109ISMAR 20116092378】Roth H,Vona M Moving volume KinectFusionIn:Procofthe BMVC20121一11http:bmvc2012surreyacukWhelan TKaess M,Fallon M,Johannsson H,Leonard JKintinuous:Spatially extended KinectFusion20 1 2https
47、:wwwresearchgateneVpublication279843674一Kintinuous_SpatiallyExtended_KinectFusionChen J,Bautembach D,Izadi SScalable rea-time volumetric surface reconstructionACM TransOil Graphics(TOG),2013,32(4):113【doi:10114524619122461940】Henry P,Krainin M,Herbst E,Ren X,Fox DRGBD mapping:Using depth cameras for
48、 dense 3D modeling of indoorenvironmentsIn:Procofthe 12th Int1 Sympon Experimental Robotics ISER2010doi:101007978-3-64228572-133Henry PKrainin M,Herbst E,Ren X,Fox DRGB-D mapping:Using Kinect-style depth cameras for dense 3D modeling of indoorenvironmentsTheInt1 Journal ofRoboticsResearch,2012,31(5):647-663doi:10117