在危险环境中，机器人被广泛应用于执行任务，以减少人类暴露于潜在危险之中。然而，当机器人在半结构化或非结构化环境中无人类直接监督时，其效用发挥会受到严重限制。因此，如何将人类软件与机器人硬件有效结合，实现远程机器人遥控操作，已成为行业内的热点话题。
目前，实现机器人遥控操作的突破主要包括两大关键点：一是开发直观控制系统，让用户能够化身为机器人并有效操控，确保用户能够轻松上手，实现精准控制。二是能让机器人化身克隆版人类，在机动性、力量和灵活性等方面达到或接近人类的水平以满足遥控操作的需求。
此前，已有许多研究人员已针对机器人遥控操作进行了广泛研究，但在复杂且不可预测的灾难环境中，遥操作仍面临诸多挑战。环境的快速变化、碎片和障碍物需要机器人不断适应，以确保有效运行。同时，受损的通信基础设施可能导致控制不可靠和精度降低，进一步增加了任务的复杂性。因此，开发一个强大且适应性强的机器人系统对于机器人在逆境中保持稳定性能并完成任务至关重要。
▍设计远程机器人操控系统，实现有效人为控制的新突破
前不久，来自意大利理工学院的研究团队与INAIL合作，针对机器人遥控操作的难题进行了深入研究，并以将人类的能力扩展到机器人上，使操作员能在危险和非结构化环境中远程执行复杂任务从而降低安全风险为目标，开发了一个远程机器人操控系统。
具体来说，研究团队通过整合四足机器人的强大移动能力与新开发的双臂机器人系统的精度和强度，构建了一种先进的远程机器人操控系统。该系统在遥控运动、遥控操作和远程人机交互方面采用了前沿技术，专为苛刻环境设计。
该系统的核心特点是实现了直观和沉浸式的控制方式。它不仅突破了远程机器人能力的极限，还显著增强了操作员的控制精度和潜力。特别是在非结构化和崎岖地形中，该系统确保了有效的人为控制，为在复杂和危险环境中进行远程交互提供了一种更自然、更有效的方式。
这一研究成果的相关论文，已以“ROBOT TELEOPERATIVO: Collaborative Cybernetic Systems for Immersive Remote Teleoperation”为题在2024 IEEE Conference on Telepresence上进行了公开发布。
▍远程机器人操控系统的构成与设计
据机器人大讲堂了解，该项目采用先进的遥操作系统架构，由操作员站点（MASTER）和远程机器人站点（FIELD）两大核心子系统紧密协同，共同实现高效、精准的远程操控。
“机器人遥操作” 的高层和低层通信架构
-
FIELD站点：四足机器人与双臂机械手的协同作业
在FIELD站点，研究团队核心部署了以HyQReal液压四足机器人为基础的RT-Nav腿式机器人系统。该系统凭借先进的软件和硬件架构，能够轻松穿越斜坡、楼梯或碎片等复杂地形，展现出超越传统轮式或履带式车辆的卓越机动性。机器人周身策略性布置的多个摄像头，支持单声道和立体观看，为远程场景观察、环境3D映射及运动规划提供了有力支持。此外，还配备了LiDAR传感器用于测绘和定位，并可根据需求安装麦克风和热传感器等，以增强环境感知能力。
RT-Nav系统不仅具备强大的运动性能，其集成的先进传感器和计算单元也确保了精确的运动跟踪。嵌入式Nvidia Jetson AGX Xavier计算机，以多核处理芯片和强大GPU为后盾，为实时处理和高效数据采集、传输提供了坚实的计算能力。
与RT-Nav紧密协同的是RT-Man双臂操作系统。该系统基于IIT-INAIL TeleOp Arm设计，拥有6个自由度，双臂安装在RT-Nav平台前半部分，定位优化以增强操纵能力。这种配置不仅允许手臂向上伸展或有效接触地面，还在两臂之间提供了充足的重叠工作空间，极大地提升了双手灵活性。RT-Man系统支持工具和末端执行器的轻松连接/拆卸，目前已配备HERI-II手和定制设计的末端执行器钻孔工具，以满足不同任务需求。
在控制架构方面，RT-Man系统采用XBot2实时控制架构、OpenSoT控制库和CartesI/O框架，实现笛卡尔和低级控制的精准管理。系统支持关节层面的位置和扭矩控制，以及笛卡尔层面的独立或协作遥操作，为操作员提供了直接、全面的三维控制体验。
-
MASTER站点：触觉臂与沉浸式可视化系统的完美融合
在MASTER站点，RT-Hap双臂触觉遥控界面扮演着FIELD机器人的主要控制器角色。该系统集成了HEXOTrAc-Plus手外骨骼和REMOTArm桌面安装的6自由度触觉遥操作设备，为操作员提供了实时、精准的力反馈和手势跟踪体验。
RT-Hap子系统由遥操作主站（TOM）软件控制，该软件由设备层、控制器层和状态机层三大主要层组成，负责集成所有操作员输入和触觉反馈设备、管理从属机器人的操纵以及实施遥操作控制方法。
与此同时，RT-UI基于VR的用户界面为操作员带来了沉浸式的视觉体验。该系统利用FIELD站点收集的视觉和传感器数据，通过试点站的处理和VR、AR模块的支持，提供了完全沉浸式的VR环境。操作员可以在此环境中自由选择、启动或停止视频流，调整传感器参数，更改视点以增强远程可视化效果。此外，RT-UI还支持多用户同时访问、体验和交互，为协作遥控任务提供了有力支持。
为了解决密集3D地图带来的网络延迟和吞吐量挑战，RT-UI系统采用了一个受人类视觉敏锐度启发的框架，在VR中采样、处理、流式传输和渲染3D场景，增强了沉浸式可视化效果。同时，机器人控制命令通过Rosbridge和UDP套接字进行通信，确保了操作的高效性。
▍进行扩展测试，验证系统多功能性与实用性
目前，该“遥控机器人”项目已顺利进入扩展测试阶段，通过一系列实验演示，研究团队成功展示了机器人在地形导航、灵巧操作、触觉远程操作以及数据传输和沉浸式可视化系统方面的显著优势，就提出系统的多功能性与实用性进行了充分验证。
-
安全处理危险物体：机器人能够准确拾起危险物体，并将其安全转移至指定区域，有效降低了人员直接暴露于风险环境中的可能性。
-
复杂地形穿越：面对随机排列、尺寸各异的岩石和砖块，机器人展现出了出色的地形适应能力，轻松越过障碍，继续执行任务。
-
智能门体操作：机器人成功打开了定制设计的木门（尺寸：105厘米x205厘米，把手高度100厘米），展示了其在执行精细操作时的准确性和可靠性。
-
实时状态反馈：机器人能够向管理人员实时显示重要的状态信息，确保了远程操作的透明度和可控性。
-
高级钻孔与窥探技术：利用新设计的钻孔工具，机器人完成了钻孔作业，并通过远程操控的内窥镜摄像机对孔内情况进行了细致观察，随后小心谨慎地打开了门体（见图2）。这一系列操作充分展示了机器人在复杂任务中的灵活性和精确度。
在数据传输方面，项目团队面临了带宽和延迟的双重挑战，尤其是在网络传输点云和视频数据时。为了准确评估端到端延迟，团队采用了延迟测量技术，对图像/点云采集、数据压缩、流式传输、数据解码和显示渲染等各个阶段进行了详细的时间分析。
在测试设置中，视频流被设定为高清分辨率（1280×720）30fps，点云数据则设置为（640×480）。测量结果显示，从现场到主站的单向端到端延迟中，视频流平均达到了180毫秒，而原始点云流则平均为500毫秒。通过进一步优化数据传输效率，团队成功将点云延迟降低了50%，达到了240毫秒的显著提升。
参考文章
https://ieeexplore.ieee.org/document/10841491/authors#authors
（文：机器人大讲堂）