《机器人_22.docx》由会员分享，可在线阅读，更多相关《机器人_22.docx（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、机器人MEMS导语：近年来，机器人自动化领域越来越多地应用3D视觉技术对目的物体进展定位。本文主要研究3D视觉技术在机器人抓取作业中的应用，总结了3D视觉技术在识别近年来，机器人自动化领域越来越多地应用3D对目的物体进展定位。本文主要研究3D视觉技术在机器人抓取作业中的应用，总结了3D视觉技术在识别、定位物体时面临的挑战，给出了抓取作业机器人3D视觉系统的设计方法，归纳了现有的3D外表成像方法和视觉处理算法，最后给出一个结合3D视觉技术对白色抽屉纸盒进展抓取分拣的实际应用案例。1引言随着经济的开展与科技的进步，人们越来越多地将自动化技术应用到消费与生活中，与此同时，也对自动化技术提出了更高的要
2、求。近十年来，工业机器人的普及使得机器人自动化得到了更广泛的应用和关注。很多机器人系统已经集成了视觉系统，利用机器视觉技术实现检测、识别、定位等功能，为后续的机器人运动提供必要的信息。在很多自动化应用场合中，如自动化分拣、装配、拆垛、码垛、上料等经过中，工业机器人经常被用来进展抓取作业。要完成抓取操纵，机器人系统可能需要完成目的感悟、运动规划、抓取规划等一系列任务。视觉系统在机器人抓取作业中的作用就是识别、定位目的物体，为机器人提供目的物体的类型与位姿信息。其中，位姿估计的精度关系到抓取的成功率与精度，是非常重要的技术参数。3D视觉技术作为新兴的技术领域还存在很多亟待解决的问题，但2D视觉已不
3、能知足空间抓取的应用要求。与2D视觉相比，3D视觉技术的优点有：13D视觉可以提供目的物体6DOF的位姿数据，而2D视觉仅能提供平面内3DOF的位姿数据；23D视觉能给出目的物体的深度信息或者物体外表的点云信息。但与此同时，3D视觉技术在机器人抓取应用中仍然面临很多挑战：1点云空洞：用3D相机捕捉反光、透明、网状物体外表的点云信息，经常会出现数据的丧失，丧失的点云数据形成了点云空洞；2点云粘连：多个物体杂乱堆放或两个物体外表靠近摆放时，不同物体外表的点云会粘连在一起，这就涉及到怎样稳定、准确地进展点云分割；3点云密度不一致：物体外表与3D相机之间的相对位姿、物体外表的颜色均会影响点云的密度，使
4、得目的场景的点云密度不一致，这在一定程度上给点云处理算法带来了困难；4视野局限：有限的相机视角、遮挡和阴影效果，都会阻碍3D相机获得抓取目的的外表全貌，进而阻碍对抓取目的的识别；5速度：3D视觉的原理要求其处理的数据量较大。3D相机的分辨率越高，所收集的点云质量越好，越能表征物体外表更细微的几何特征，但相应地带来的数据量就越大。为了适应实际应用需要，怎样进步3D相机获取目的场景点云的速度、点云处理算法的速度还是需要研究的课题。此外，相机传感器的噪声，点云分割噪声，光照条件的变化，物体的颜色等众多因素都是3D视觉技术所面临的问题。本文主要研究3D视觉技术在机器人抓取作业中的应用。文章第二局部介绍
5、抓取作业机器人3D视觉系统的设计，包括视觉设备的选择、与机械设计的关系；第三局部介绍几种3D外表成像技术；第四局部介绍3D视觉处理算法，包括点云分割、3D匹配等；第五局部给出一个实际应用案例：工业机器人结合3D视觉分拣白色抽屉纸盒；第六局部为总结。2抓取作业机器人3D视觉系统的设计2.13D相机的选择图13D相机的选择选择3D相机时需要考虑相机与目的场景之间的间隔以及目的场景的尺寸。目的场景最好位于相机的中间视场附近，不超出近视场和远视场的边界，即目的场景的高度不超出测量范围。3D相机的成像精度需要知足应用场景的抓取精度要求。通常，工作间隔越大，3D相机的视场越大，但成像的精度越低。此外，相机
6、的分辨率、点云的获取速度也是评价3D成像系统的重要指标。其中，相机的分辨率决定了点云数据量的大小及其对物体细节的表征程度，关系到点云处理算法的设计。点云的获取时间加上点云处理算法的执行时间必须知足抓取应用的节拍要求。此外，相机的性价比、系统的可靠性也是选择相机时需要考量的因素。2.2光源、遮光板的选择为了防止外界环境光对视觉系统的影响、保证视觉系统的稳定性，有时需要外加光源和遮光板。外加的光源不能影响3D相机成像。2.3视觉系统对机械设计的要求当相机固定安装时，机器人需要手持标定板做手眼标定。为了方便进展手眼标定，可设计专门的Tool抓持标定板，留出足够的空间以保证标定板在手眼标定经过中不会与
7、机器人发生干预。相机固定安装的优点是，对Tool位姿进展变更后，无需再做机器人手眼标定。当机器人手持相机拍照时，一般要求抓取作业Tool夹具、吸盘不遮挡相机的视野。33D外表成像技术3D外表成像/重构/测量技术，可用于测量物体外表上点的x，y，z坐标，测量结果可表示为深度图zij=xi，yj，i=1，2，L，j=1，2，M。除了测量三维坐标，3D外表成像系统也可输出物体外表空间点的其他光学特征值，如反射率、颜色等。这时的点云测量结果可一般表示为Pi=xi，yi，zi，fj，i=1，2，N，其中，fi为一向量，代表第i个点的光学特征值。如常见的RGB-D红绿蓝-深度测量数据可表示为Pi=xi，y
8、i，zi，ri，gi，bi，i=1，2，N。目前，常见的3D外表成像技术有：双目立体视觉binocularstereovision，多目立体视觉multi-viewstereovision，线构造光三角测量lasertriangulationwithsheetoflight，编码构造光三角测量encodedstructuredlight，飞行时间深度测量timeofflight，聚焦深度测量depthfromfocus，光度立体视觉photometricstereovision。3.1双目立体视觉binocularstereovision使用两个相机拍摄同一个目的场景，通过匹配场景内同一物理目
9、的点投影到两幅图像中的像点同源点，测量得到该点的空间三维坐标。双目立体视觉的主要任务是双目系统的标定和同源点的匹配。其中，同源点的匹配立体匹配，stereomatching方法有相关法、多重网格法和多扫描线法。这些方法都依靠于目的场景的纹理、构造等特征，因此假设能主动制造特征，如投射随机分布的散斑图案、编码构造光等图案，那么能变被动为主动，通过增强匹配的鲁棒性，使方法具有普适性。图2双目立体视觉原理示意图3.2线构造光三角测量lasertriangulationwithsheetoflight线激光器投射出的光平面照射到物体外表上会形成表征其轮廓的亮线，这些窄亮的细线通常被称为光条。线构造光三
10、角测量的根本思想是：通过相机拍摄线构造光发射器所照射的目的物体，得到物体外表上光条中心位置的一系列3D坐标。因此，目的物体与线构造光成像系统之间做相对运动并在多个不同位置进展拍照测量，才能获得目的物体完好的3D外表轮廓。线构造光三角测量的主要任务是：标定相机及其与光平面之间的相对位姿，标定目的物体与成像系统之间的相对运动，提取光条的中心点。图3线构造光三角测量原理示意图3.3编码构造光三角测量encodedstructuredlight编码构造光激光器向目的物体投射经过特殊设计的编码图案，基于不同的图案编码方法，相机可能需要拍摄一幅或者多幅被激光器照射的目的物体外表图像，通过比照图像上经过物体
11、外表调制的编码光图案与未调制的编码光图案可以测量获得目的外表的3D形貌。与线构造光三角测量相比，只要编码光可以照射到整个物体外表，物体与成像系统之间无需做相对运动即可获取物体外表的几何全貌。图4编码构造光原理示意图3.4飞行时间深度测量timeofflight传感器向目的物体发射经过调制的近红外光脉冲，然后再接收从物体外表反射回来的光脉冲，通过计算返回脉冲与发射脉冲之间的相位差即可测出目的物体的深度。3.5聚焦深度测量depthfromfocus由于相机的景深有限，在某物距下，目的物体外表上只有一局部点可以在成像平面上明晰成像。聚焦深度测量利用这一原理，通过拍摄不同物距下同一物体的多幅图像，提
12、取图像上明晰成像的像点位置，计算得到物体外表上各点的深度坐标。聚焦深度测量技术的精度一般高于双目立体视觉和线构造光三角测量，但因其需要配合远心镜头或者显微镜头使用，只适于对小尺寸物体进展测量。3.6光度立体视觉photometricstereovision物体外表反射光量的多少取决于该外表与光源和观察者之间的相对姿态。采用不同的角度对静止目的物体进展照明，在每个照明角度下，使用同一台相机在同一个固定视角下拍摄一幅图像，光度立体视觉技术使用这组图像估计出目的物体外表的法向量。目前，机器人抓取应用中使用的3D相机主要采用3.13.4中的成像原理。43D视觉处理算法按照不同的功能，3D视觉处理算法可
13、分为：4.1点云滤波点云的滤波filter算法主要用于点云数据的预处理，可实现去噪、平滑、采样、特征提取等功能。滤波方法有：双边滤波、高斯滤波、条件滤波、随机采样一致性滤波等。4.2点云特征估计4.2.1点云部分特征估计点云的部分特征localfeature估计算法用于估计点云中一点或者一点四周数个邻近点的特征值。这些特征包括法向量、曲率、边界、点特征直方图PFH、快速点特征直方图FPFH、视角特征直方图VFH、NARF描绘子、旋转投影统计特征RotationalProjectionStatistics等。4.2.2点云整体特征估计点云的整体特征globalfeature估计算法用于估计某个点
14、云集合的特征，如点云的外表积、最小外接盒、最大直径、截面曲线等。4.3点云关键点提取关键点keypoint，也称为兴趣点，由于具有某种特点，可按照预先定义的标准被稳定地识别出来。点云关键点的提取算法有：Harris3D、ISS3D、NARF、SIFT、SUSAN、Trajkovic3D。4.4点云配准由于遮挡等原因，为了获得完好的目的外表3D点云，经常需要从不同的视角对同一目的物体进展扫描。点云配准registration技术是将这些点云数据两两进展匹配，计算它们之间相互重叠的局部，将它们拼接在一起，获得更全面的目的物体外表点云。点云配准算法有最近点迭代法ICP。4.5点云分割点云分割segm
15、entation算法用于将点云数据分割成不同的子集。根据应用需求，可采用不同的分割方法，如平面分割、柱面分割、欧几里得聚类提取、超体聚类分割、区域生长分割、基于最小割的点云分割、基于法向量差的点云分割等。除了上述的3D点云分割方法，点云的分割也可结合2D图像进展。先在2D图像上应用边沿提取、深度学习等算法，然后再对点云进展分割。4.6三维匹配三维匹配3Dmatching算法的功能是在搜索数据中找到目的物体并确定它的3D位姿，其中，搜索数据可以是3D点云或者2D图像。三维匹配算法可分为基于外形的3D匹配、基于外表的3D匹配和可变形外表的3D匹配。4.7点云拟合假如某个点云子集为已知的几何外形，如
16、平面、柱面、球面，可利用点云拟合算法进展拟合求出相应的位姿和几何参数信息。此外，点云处理算法还包括k维树、八叉树等方法。在机器人抓取作业中，视觉的重要任务之一是目的物体位姿的估计。要估计位姿，正确地分割点云是前提。通常，综合利用4.14.4中的方法，然后再对点云进展分割，最后利用三维匹配或者点云拟合估计出目的物体的位姿。5实际案例研究5.1白色抽屉纸盒机器人3D视觉分拣任务描绘：料框内杂乱堆放着不同型号的白色抽屉纸盒，并且这些纸盒的各个外表的长宽尺寸各不一样。3D视觉系统通过识别纸盒外表的尺寸将不同型号的纸盒区分开来，再由机器人将它们分别分拣到不同的料框中。5.1.1视觉系统设计长方形铁质料框
17、的尺寸为500X385X180mm，壁厚为1.5mm，为防止反光并增加视觉比照度，在料框外表喷涂哑光黑漆。3D相机采用固定安装，在长方形料框的正上方进展拍摄。考虑到ABB2600机器人的工作范围，3D相机间隔料框底部的高度需大于1000mm并尽可能取小值。综合考虑各种因素，这里选用EnsensoN20-1202-16-BL相机，该相机的工作原理是投射散斑纹理的双目立体视觉技术，其分辨率为1280X1024像素，最小、最大和最正确工作间隔分别为1100mm、2200mm、1400mm。料框底部间隔相机的间隔设计为1400mm，在该间隔下3D相机的Z向分辨率为1.037mm，可以知足四个真空吸盘的
18、抓取精度要求；纸盒的最大堆叠高度不超过230mm，EnsensoN20-1202-16-BL在1150mm工作间隔下的视野范围为572.90X497.96mm，可以知足视野要求。为防止环境光的影响，在相机顶部上方安装遮光板，在相机旁边加设白色光源。图5白色抽屉盒分拣场景示意图5.1.2视觉方法描绘为了识别纸盒外表的长宽尺寸、估计纸盒外表的位姿，就需要对纸盒外表的3D点云进展正确分割。这里将2D图像处理技术与3D点云处理技术相结合：首先，相机接收到触发信号，翻开散斑投影仪拍摄一幅3D点云图像；然后，关闭散斑投影仪，拍摄一幅左相机矫正灰度图像。Ensenso通过计算左相机矫正图像上各像素点的空间3
19、D坐标，生成一幅3D点云图像。因此，Ensenso所拍摄的3D点云图像有三个通道，其像素值分别代表X，Y，Z坐标上各点的像素值与左相机矫正图像上同一位置的像素值是逐一对应的，可通过分割左相机矫正图像来实现纸盒外表3D点云的分割。视觉程序设计思路：首先，利用边沿提取、边沿连接、腐蚀、膨胀等算法在左相机矫正图像上分割出不同的纸盒外表区域；然后，取每个区域所对应的3D点云，估计这片点云的厚度，假设厚度小于阈值t，那么以为这片点云代表了一个纸盒外表的几何形貌，计算这片点云的3D最小外接盒区域，即可估算得到纸盒外表的长宽尺寸、中心位置与姿态；假设厚度大于阈值t，那么以为2D图像分割失败，这片点云至少代表
20、两个纸盒外表的几何形貌，这时先根据点云的法向量、曲率等特征对其进展3D分割，然后再进入上述的厚度判定与尺寸、位姿的计算程序。为了缩短程序执行时间，对点云做3D分割之前，预先对其进展采样以减少数据量。检查纸盒外表上方是否有遮挡，过滤掉上方有遮挡的结果，防止抓取经过中发生碰撞或者损坏。最后，将处理结果按照外表中心高度、姿态方向和外表尺寸进展综合排序，输出到机器人抓取途径规划程序当中。途径规划程序根据视觉输出的结果引导机器人运动并控制夹具动作。5.1.3视觉算法处理结果如图6左上所示，料框中散乱堆放着三种型号的白色抽屉纸盒，由视觉程序输出的纸盒外表尺寸与位姿的排序结果如表1所示。可以看出，视觉程序没
21、有给出被遮挡纸盒外表的计算结果。图6左上：Ensenso左相机矫正灰度图；右上：3D点云渲染效果图；左下：排序输出结果；右下：5#纸盒外表点云图表1白抽屉盒视觉算法输出结果经过测试，在该视觉系统下，纸盒外表尺寸的测量误差小于5mm，外表中心定位误差小于2mm，外表姿态估计误差小于5度。使用inteli7-6820HQCPU、主频2.7GHz的LenovoP50笔记本计算机，视觉处理时间为35s。6总结本文主要研究3D视觉技术在机器人抓取作业中的应用，归纳了3D视觉技术在机器人抓取作业中面临的挑战，对机器人抓取视觉系统的设计方法进展了总结，搜集了当前主要的3D成像技术及3D视觉算法，最后给出了应用案例。声明：本文为转载类文章，如涉及版权问题，请及时联络我们删除2737591964，不便之处，敬请谅解！0