《空间科学实验机器人辅助遥操作系统.pdf》由会员分享，可在线阅读，更多相关《空间科学实验机器人辅助遥操作系统.pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、空间科学实验机器人辅助遥操作系统丑武胜 孟(北京航空航天大学机器人研究所,北京 100083)陈建新 李晟(北京控制工程研究所,北京 100080)摘要 建立了一个面向空间舱内晶体生长科学实验的地面模拟机器人遥操作系统。该系统通过基于虚拟现实的预测仿真来克服通讯时延的影响,并通过仿真图形和实际视频图像的叠加来对虚似仿真环境进行校准,以提高预测仿真的保真性。操作员利用空间鼠标等人机交互工具实时控制仿真机器人系统的运动,通过遥控与自主相结合的方式,并借助全局和局部视觉信息,完成了在空间晶体生长科学实验中更换晶体炉料棒的作业任务。主题词 机器人 遥控操作器 空间科学 实验1 引言空间机器人在探索、开
2、发和利用宇宙资源方面起着重要的作用 1。空间机器人的应用领域之一是科学实验照料,科学载荷机器人服务系统可以在可控环境中,完成科学实验操作任务。天地间大的通讯时延和有限带宽的限制,给空间机器人的稳定性遥操作控制带来了很大的困难。地面操作者在控制空间机器人时一般采用/运动-等待0 的方式来保证操作的可靠性和安全性,这就造成系统整体效率的降低2。许多学者从不同的角度出发,针对如何克服时延影响提出了许多方法,这些方法大体上可以分为三类:双边控制 3、预测显示/控制4和遥编程5。双边控制主要是针对主从遥操作系统中的力反馈控制问题提出的6,只适合于小时延的场合;而对于空间或水下环境这些大时延的场合,双边控
3、制方法的应用就受到很大的限制。遥编程是监控控制的一种表现方式,在操作端和远端之间传递的不是关节空间或操作空间的伺服控制指令,而是具有一定抽象程度的符号命令程序段,但是它要求远端机器人具有较高的局部自主能力,该方法存在控制不灵活,难以适应复杂多变的环境,在遇到差错、意外情况时,很难依靠自身进行误差恢复等缺点。预测显示/控制采用虚拟现实技术,在计算机屏幕上生成与远端机器人相同的虚拟机器人及工作环境的 3维虚拟场景,操作者根据现场的情况和操作任务要求,通过人机交互设备发送出控制指令,用这些指令操纵虚拟机器人,再将虚拟机器人的操作信息发送给远端机器人,由远端机器人实现这些操作。预测显示/控制应用最为广
4、泛,如德国的 ROTEX 空间机器人实验系统7、美国 NASA 的舱内机器人系统 8以及日本的工程实验卫星 ETS-上的机器人系统9等。预测显示方法由于要对远端环境进行虚拟三维建模,这就要求环境是已知的,或至少是部分已知的,因此它仅适用于结构化或半结构化的环境,不能很好地处理未建模环境的动态变化。有些学者试图利用视觉或触觉信息对环境进行在线重建,但目前方法还很不成熟。本文在建立面向空间舱内晶体生长科学实验的地面模拟机器人遥操作系统的基础上,不仅在 OpenGL 环境下设计并实现了一个虚拟预测仿真环境,而且同时将实际视频图像引入虚拟仿真环境,通过虚拟仿真图形和实际视频图像的叠加来消除地面仿真模型
5、和空间模型的不匹配,提高仿真的保真性;在机器人接近操作对收稿日期:2003-04-10。收修改稿日期:2003-06-2072003年 12 月 中 国 空 间 科 学 技 术 第 6期 CHINESE SPACE SCIENCE AND TECHNOLOGY 象时,实现了图像的多分辨率显示,在不增加空间硬件载荷的情况下,方便操作者进行操作。2 系统结构机器人辅助空间科学实验地面模拟系统由客户端(操作端)和服务器端两大部分组成,两者通过100Mbit/s 高速局域网相连接,通过软件可模拟 28s 的通讯时延,如图 1 所示。客户端包括人机交互图 1 空间科学实验照料机器人遥操作系统结构设备(手
6、控器、键盘、空间鼠标)和一台用于预测仿真和人机交互的PC 机。在服务器端,由 PUMA260和两指电动夹持器组成的机器人系统被安装在可移动的导轨上。为简化系统软硬件结构,提高系统的集成度和可靠性,用一台高性能 PC 机完成低层对 PUMA260和电动夹持器集成系统及导轨的交互控制任务和远端视频图像采集、压缩与传输任务。在服务器端通过彩色摄像头输入视频信号到 DH-VRT-CG200 图 像 采集 卡,然后把RGB 像素格式的视频图像读入内存,运用 Intel 公司开发的Intel JPEG Library 库函数,把每帧 24 位 BMP 格式的图像压缩成 JPEG 格式,最后调用 Winso
7、ck 进行图像的传输,并在客户端进行解压缩和显示。3 预测仿真子系统利用 OpenGL 生成了在PC 机Windows 操作系统下遥操作机器人及其工作环境的预测仿真图形。图 2 预测仿真子系统的功能结构操作员在客户端面对机器人及其工作环境的仿真图形,借助于手控器、空间鼠标、以及键盘等人机交互设备对机器人的仿真图形进行运动控制与规划,仿真系统再将模型的数据通过通讯传给服务器,从而控制遥机器人完成相应指令任务。图 2 为预测仿真子系统的功能结构。其中,网络接口模块的作用是建立TCP/IP 网络连接;用户接口模块初始化并管理有关的输入输出设备和显示设备;消息处理模块接收本地或网络的控制消息和数据消息
8、,对消息进行初步翻译和分类,通过消息机制将消息发送到系统核心仿真模块和视频叠加仿真模块;视频显示模块接收远端传来的视频数据流,在屏幕上显示活动图像;主核心仿真模块用于维护仿真环境中各对象类,接收消息控制模块的命令,改变相应的数据,并控制图形渲染8中国空间科学技术2003年 12 月模块刷新显示;仿真数据管理模块用来管理所有仿真环境的数据,包括所有物体位姿、关节数据、物体从属关系以及所有仿真参数,在系统初始化时通过读取仿真数据文件建立仿真数据,在运行过程中维护仿真数据;三维图形渲染模块则通过 WTK/OpenGL 提供的 API 实现虚拟现实的仿真环境,并且通过与核心仿真模块的数据交互实现对仿真
9、环境显示的更新。4 虚拟环境的校准通过将实际视频图像和仿真环境进行重叠显示,即对虚拟环境进行校准,可消除仿真模型和实图 3 虚拟环境和真实环境中的坐标系际环境间的不匹配,提高操作者的操作可信度,并可有效集中操作者的注意力,便于操作者及时发现和处理现场的情况。为进行虚拟环境的校准,需要建立图 3 中虚拟摄像机坐标系和真实摄像机坐标系间的映射关系。从技术实现角度看由三部分组成:坐标系转换与摄像机标定、图形与图像的共同显示以及校准重叠。(1)坐标系转换空间点 P 在图像上的成像位置可以用针孔模型来近似表示,即任意点 P 在图像上的投影位置p.,为光心 O 与P 的连线与图像平面的交点。这种关系多称为
10、透视投影,该关系式表示如下u.=fxzv.=fyz(1)式中(u.,v.)为 P 点在图像上的坐标,(x,y,z)为 P 点在摄像机坐标系中的坐标,表示为齐次矩阵的形式如下zu.v.1=f0000f000010 xyz1(2)一副 M N 灰度图像在计算机内都以一个M N 的一维数组进行存储,也可以把该一维数组看成是 M N 的二维数组,为与前面的图像坐标系区别,把数组化后的图像坐标系 Oc-uv 称为屏幕坐标系(数组中各个数与屏幕上的像素是一一映射的),该坐标系的原点取在图像的左上角,u,v轴分别与u.,v.轴平行。屏幕上的每一个像素的坐标(u,v)分别是该像素在数组中的行数和列数,该坐标并
11、没有明确的物理意义,因而首先要将屏幕坐标的单位转化为以物理单位(mm)表示的形式。在图像坐标系中,坐标原点 o 定义为光轴与图像平面的交点,该点一般在图像中心。但是由于摄像机制造的原因,有时会有一些偏离,假设该交点在屏幕坐标中的坐标为(u0,v0),单位像素对应的实际物理尺寸为 dx,dy,则从图像坐标到屏幕坐标的转换关系为u=u.dx+u0v=v.dy+v0(3)92003 年 12 月中国空间科学技术写成齐次矩阵的形式为uv1=1dx0u001dyv0001u.v.1(4)设从世界坐标系到摄像机坐标系的变换矩阵为 R,即R=r11r12r13txr21r22r23tyr31r32r33tz
12、0001(5)由式(2)、式(4)和式(5),可得到世界坐标系到屏幕坐标系的转换关系为zuv1=fdx0u000fdyv000010RXYZ1(6)(f,dx,dy,u0,v0)只与摄像机的内部结构有关,称为摄像机的内部参数。而在实际计算中往往把k1=f/dx,k2=f/dy看做两个参数,因而摄像机的内部参数为(k1,k2,u0,v0),则式(6)可以记为zuv1=k10u00k2v0001r11r12r13txr21r22r23tyr31r32r33tz0001XYZ1(7)(2)摄像机标定首先在实际机器人上选择 6 个以上的特征点作为标定点,并测得这些点在世界坐标系中的空间坐标,然后利用鼠
13、标在视频图像上选取对应点的像点,并取得这些点在图像坐标系中的 2 维坐标。根据 PUMA 机器人的外观,选取六个点,所有的点均为棱角点,比较容易分辨,而且相对转轴的位置能够精确的测量。标定点拾取的误差对将要求解的摄像机标定矩阵影响很大,所以在进行标定点拾取时,应保证包含六个点的平面与摄像机的主光轴基本垂直,而对于机器人的姿态,可以任意选取,由摄像机几何成像模型,物点、焦点和像点满足三点一线关系,由此可得到关于数字图像平面像点坐标(ui,vi)和三维物体空间坐标(Xi,Yi,Xi)的方程组。利用摄像机标定算法10可求出式(7)中待定参数,得到摄像机的标定矩阵,该矩阵包含与摄像机有关的旋转、平移及
14、焦距信息。(3)图形与图像的同时显示为使图形与图像在同一窗口中重叠显示,首先将实际视频图像作为动态纹理背景调入虚拟仿真环境,其次以线框的方式显示虚拟仿真机器人。(4)静态校准将摄像机标定矩阵左乘仿真模型各点,得到经透视投影后的二维图形,把该二维图形正投影到图像平面上,即进行图形与图像的叠加。根据叠加结果,操作者可对虚拟环境的视点进行微调,以进一步提高叠加的精度。图 4为叠加后的结果,其中虚拟机器人用线框方式进行显示,背景为实际的机器人系统。图 5 为真实机器人在一定时延后跟随虚拟机器人的运动情况。10中国空间科学技术2003年 12 月图 4 虚拟环境校准结果图 5 真实机器人跟随虚拟机器人运
15、动 (5)图像多分辨率显示当机器人系统接近操作对象时,全局视觉已不能满足安全操作的需要。由于增加空间载荷的成本很大,传统的采用变焦镜头和云台来进行放大图像的方法显然不太适用于空间环境。在这里,采用软件处理的方法来对全局图像中操作者感兴趣的部分进行局部放大,实现多分辨率显示。图像采集卡所能采集的一幅图像的最大分辨率为:PAL)768 576;而要求显示的图像大小是 352 288。为了实现双分辨率显示,而又不影响视野的大小,同时保证图像清晰,在服务器端采集大小为 768 576 的一幅图像,然后对它进行双线性压缩,压缩后大小为 384 288。根据客户端发出的请求命令不同,可以把整幅图像和压缩后
16、的图像发送到客户端。当在大小为 384 288 的图像上选择一矩形区域进行二倍放大时,由于图像数据格式为由左往右、由下至上、每像素三个字节的顺序排列,首先计算出所选择的矩形左下角相对于图像的左下角的相对坐标(tx,ty),则相对原图(768 576)的相对坐标为(2 tx,2 ty),于是可得相对原图左下角平移的字节数 TByte=2 ty xMax 3+2 tx 3,其中 xMax=768;然后根据矩形的长宽计算所需传输的像素。5 实验研究基于本文的方法,建立了面向空间科学实验照料的机器人遥操作地面模拟实验系统,并针对空图6 机器人更换晶体生长炉料棒间晶体生长科学实验中更换晶体炉料棒的作业任
17、务进行了实验研究。操作者利用空间鼠标和预测仿真环境进行交互,经过虚拟环境校准后,在预测仿真的导引下,借助于全局视觉和局部视觉信息,同时结合主从遥控和局部自主控制技术,实现了料棒的更换,如图 6 所示,其所要抓取的料棒长 40cm 直径为 3cm。整个操作过程是:操作者依靠视频融合,主从操作式地移动机器人到料棒附近,然后,发送自主命令。机器人接收到自主抓棒命令后,即开始基于视觉的自主抓棒。同时,仿真端机器人也开始自主抓棒,抓取完成后手爪上抬。操作者发送移动导轨命令,机器人通过导轨移动到晶体炉附112003 年 12 月中国空间科学技术近,并进行姿态调整,旋转手爪使料棒与晶体炉支架平行。之后,操作
18、者发送放棒命令,实际机器人、仿真机器人分别完成自主放棒动作。远端放棒动作为:机器人到支架上方的固定位置,手爪下移,将料棒放到水平支撑槽上,接着手爪进行水平移动,将料棒推入水平支撑孔内,打开手爪。仿真端做相应的仿真动作,并等待远端任务完成信号,接收到反馈后,发送复位命令,真实、仿真端机器人回到初始位置。6 结论机器人遥操作是空间机器人完成作业任务的一种重要的操作方式。为了对面向空间科学实验照料的机器人遥操作系统的关键技术进行研究,我们通过网络模拟通讯时延,在地面上建立了一个机器人遥操作模拟实验系统。在系统的操作端,开发了基于 OpenGL 的预测仿真系统,有效克服了通讯时延的影响。同时为了减小仿
19、真模型的误差,通过将远端反馈的视频图像和仿真图形进行动态的融合,对虚拟环境进行校准,提高了仿真的准确性,并有利于操作者安全、可靠地完成空间晶体生长科学实验中更换晶体炉料棒的作业任务。该系统不仅可直接服务于中国未来的空间舱内科学实验照料,而且为空间机器人遥操作技术的研究提供一个良好的实验平台。参 考 文 献1 Toru Kasai.Results of the ETS-7Mission RendezvousDocking and Space Robotics Experiments.Proc Fifth Int Sympon ArtificialIntelligence,Robotics and
20、 Automation in Space,1999:2993062 Kim W S,Schenker P S,Bejczy A K,et al.Advanced Graphics Interfaces for Telerobotic Servicing and Inspection.Proceedingsof the IEEE/RSJ International Conference on Intelligent Robots and Systems,Yokohama,Japan,1993:3033093 Lawrence D A.Stability and Transparency in B
21、ilateralTeleoperation.IEEE Transactions on Robotics and Automation,1993,9(5):6246374 Bejczy A K,Kim W.S and Venema S.The Phantom robot:Predictive Display for TeleoperationWith Time Delay.IEEE Inter-national Conference on Robotics and Automation,1990:5465515 Blackmon T,Stark L.Mode-l based Supervisor
22、y Control in Telerobotics.Presence-Teleoperation andVirtual Environment,1996,5(2):2052236 Penin,et al.Force Reflection for Time-DelayedTeleoperation of Space Robots.Proc IEEE International Conference on RoboticsandAutomation,2000:312031257 Brunne R B,Hirzinger G.Multisensory SharedAutonomy andTelese
23、nsor Programming-Key Issue inthe Space Technology Exper-iment ROTEX.IEEE/RSJ International Conferece on Intelligent Robots and Systems,1993:212321398 Kim W S,Bejczy A K.Demonstration of a High-Fidelity Predictive/Preview Display Technique for Telerobotic Servicing inSpace.IEEE Transaction on Robotic
24、s and Automations,1993,9(5):6987019 Oda M,Kibe K,Yamagata F,ETS-,Space Robot In-Orbit Example Satellite.IEEE International Conference on Robotics andAutomations,1996:73974410 袁立行,郑南宁,王爱群1 基于空间透视不变量的摄像机标定方法1 机器人,1997,19(3):197201作者简介丑武胜 1969年生,1998 年毕业于天津大学机械工程系,获博士学位,现为北京航空航天大学机器人研究所副教授。主要研究方向为机器人远程
25、遥操作技术。12中国空间科学技术2003年 12 月Robot Assisted Teleoperation of Space Scientific ExperimentChou Wusheng Meng Cai(Robotics Institute,Beijing University of Aeronautics and Astronantics,Beijing 100083)Chen Jianxin Li Cheng(Beijing Institute of Control Engineering,Beijing 100080)Abstract A telerobotic system
26、is set up for the simulation of the operation of experiment space in cabin.The negative effect of time delay isovercome by using predictive display based on virtual reality.Virtual environ-ment is calibrated by superimposing the real video over virtual display to improve the accuracy of the predicti
27、vedisplay.Combining the master-slave mode and autonomous mode with the global and local vision,the operatorcan interactively control the virtual robot and the real robotic system by space mouse and successfully perform thetask of changing the material rod of crystal growth stove.Subject Term Robot T
28、elemanipulator Space science Experimentation中国首次载人航天飞行获得圆满成功2003年 10 月 15日 9 时整,中国自主研制的/神舟五号0 载人飞船在酒泉卫星发射中心用/长征二号F0 运载火箭发射升空。9 时9 分 50 秒,飞船准确进入预定轨道,将中国第一名航天员杨利伟成功送上太空。/神舟五号0 载人飞船的发射成功是伟大祖国的荣耀,标志着我国在攀登世界科技高峰的征程上又迈出了具有重大历史意义的一步。此次发射的/神舟五号0 载人飞船,包括推进舱、返回舱、轨道舱和附加段四个部分,由中国航天科技集团公司所属的中国空间技术研究院和上海航天技术研究院为主
29、研制。发射飞船的/长征二号0 型运载火箭,由中国航天科技集团公司所属的中国运载火箭技术研究院为主研制。飞船上进行空间科学和技术试验的载人航天应用系统由中国科学院、信息产业部等部门的有关单位研制。此次发射是长征系列运载火箭第 71 次飞行,也是继 1996年 10 月以来,我国航天发射连续第 29 次获得成功。飞船在轨运行期间,在北京航天指挥控制中心的统一调度和指挥下,中国西安卫星测控中心,国内外有关测控站和/远望0 号远洋航天测量船队,对飞船进行持续跟踪、测量与控制,通过航天员生理遥测参数和回传图像及话音通信,了解航天员的身体、生活和工作状态,载人航天应用系统在飞船上进行空间科学和技术试验。按照预定计划,/神舟五号0 载人飞船绕地球飞行 14 圈,随后,航天员杨利伟乘坐飞船返回舱于10 月 16 日 6 时 23 分在内蒙古主着陆场成功着陆,返回舱完好无损,航天员杨利伟自主出舱。中国首次载人航天飞行获得圆满成功!132003 年 12 月中国空间科学技术