深圳技术大学马淦团队揭秘:如何让具身智能机器人“听懂”指令,征服复杂地形?

在机器人技术领域,实现机器人在复杂且负载环境中自主移动一直是一项极具挑战性的任务。这一过程中涉及诸多关键技术难题,包括环境感知、路径规划、动态避障以及精准控制等。


针对以上难题,来自深圳技术大学中德智能制造学院机器人自主移动与操作实验室的马淦团队,经过深入研究和自主研发,成功推出了一款基于大模型的具身智能机器人系统。

该系统凭借其先进的技术架构和智能算法,能够准确理解并执行人所发出的指令。在移动过程中,机器人展现出了极高的灵活性和精准度,无论是转向还是其他移动动作,都流畅自然。

那么,这款具身智能机器人系统究竟具备哪些独特之处?其技术原理和实现方式又是怎样的?接下来,和机器人大讲堂一起来深入了解~

灵动穿梭,移动无阻新境界


为了使机器人能适应复杂多变的现实需求,马淦团队打造了多形态通用移动平台,并运用多传感器融合感知规控技术,从而实现机器人在多地形、多场景的应用。

多形态通用移动平台,就如同为机器人配备了 “百变金刚” 般的移动底座,无论是平坦的室内地面、崎岖的户外山地,还是狭窄的楼道等各种地形,它都能灵活适配,让机器人可以自如通行。

▲多形态移动平台展示

多传感器融合感知规控技术,则是机器人在复杂环境中 “明辨方向” 的关键所在。通过采用兼容任意移动形态的多传感器融合感知与规划控制算法,它能够综合各个传感器收集到的信息,精准判断周围环境状况,进而规划出合理的移动路径,保障机器人在多地形、多场景下稳定且高效地移动。


▲多传感器融合实现机器人环境感知与规控

在实际应用场景中,比如场景重建方面,这项技术能够帮助机器人快速且精准地构建所处环境的模型,为后续的行动提供清晰的参照。而在自主巡检任务方面,机器人可以依据预设路线,依靠自身强大的自主移动能力,对目标区域进行全面、细致的巡检,及时发现异常情况并反馈,大大提高了巡检效率和准确性,降低了人力成本。

▲多传感器融合感知规控技术在场景重建中的应用


语义导航,理解交互新维度  

在具身智能机器人的自主移动技术领域,语义导航是一项极具创新性和前瞻性的技术,为机器人在复杂环境中的自主移动增添了新的能力维度。马淦团队成功实现了让机器人在复杂环境中基于语义理解进行自主导航与智能交互的能力。这意味着机器人不再仅仅依赖于传统的指令模式,而是能够像人类一样理解自然语言所表达的意图,从而更加精准、高效地执行任务。

具体而言,机器人可以流畅地理解诸如 “去桌子那看看电脑在不在桌子上” “去看看门关上了没”等复杂多样的自然语言指令,迅速规划出最优路径并准确导航至目标地点。到达目标后,它能够通过视觉感知和语言模型的协同作用,准确描述现场情况,如“是的,电脑显示器,键盘和鼠标都在桌子上”“是的,这扇带窗户的门是关着的”,并以拟人化的方式与用户进行交互,极大地提升了人机协作的效率和便捷性。

 

 

▲具身智能机器人实现自然语言指令理解与交互

无论是在室内结构化环境还是户外复杂场景,语义导航都让机器人的巡检工作更加智能、高效,为保障各行业的安全稳定运行提供了有力支持。

语义导航技术依赖多环节协同。感知阶段,利用激光雷达、相机、IMU获取环境信息,生成三维语义地图并编码为纯文本。导航时,借助受初始提示的大语言模型(LLM)将自然语言指令解码为导航指令,指导机器人移动,到达目标后,用视觉语言模型(VLM)描述场景,再由LLM简化回答反馈给用户,实现智能交互闭环。

▲语义导航技术路线

科技集成,自主移行基梁柱  


具身智能机器人强大的自主移动技术背后,有着多项核心技术作为坚实支撑。

全景感知技术,让机器人拥有了 “全方位视野”。它能够利用多种传感器收集周围环境全方位的信息,无论是物体的位置、形状,还是环境的细微变化等,都能被机器人敏锐捕捉到,仿佛给机器人装上了一双 “火眼金睛”,使其可以清晰洞察所处的世界。

▲全景感知技术赋予机器人全方位环境洞察能力

决策规划技术,则像是机器人的 “智慧大脑”。基于全景感知所获取的信息,它能够迅速做出合理的决策,规划出最优的移动路线,避开障碍物,朝着目标稳步前行,确保机器人在复杂环境中也不会迷失方向,有条不紊地完成各项任务。

▲决策规划技术保障机器人复杂环境中的移动

精心打造的结构确保机器人在不同地形上有着良好的通过性和稳定性,而精准的运动控制算法能让机器人的每一个移动动作都恰到好处,实现平稳、高效的移动,使其可以应对各种复杂的移动需求。

 

▲自研双轮足平台实现户外上下坡与蹲转动作

马淦团队研发的算法具备完整的非结构化场景全景感知、自主决策规划、本体运动控制等功能,具有可靠性和先进性,全方位保障机器人自主移动能力的实现。

实战检验,广域应用展实力  


当下,马淦团队的具身智能机器人自主移动技术已展现出强大的实力和广阔的应用前景,取得了显著的应用成果。

细节展示方面,以停车场入口为例,机器人能够凭借此项技术,在停车场这样复杂且车辆人员往来频繁的区域,精准地进行移动、识别车辆信息等操作,为停车场管理提供了智能化的解决方案。

▲自主移动技术在停车场管理中的应用

全地形巡检上,已经实现了演示验证,机器人可以在不同地形,如山地、草地、室内外不同场地等进行无人巡检,全面监测区域内的状况,及时发现潜在安全隐患或者设备故障等问题,为相关场所的安全保障和运维工作提供有力支持。

▲自主移动技术在教学楼中的应用

从复杂的停车场管理到多样地形的巡检任务,都彰显了具身智能巡检机器人自主移动技术在实际场景中的价值。这不仅是技术团队不懈努力与创新的成果,更为各行业的发展注入了新的活力。

展望未来,马淦团队在机器人自主移动技术领域已奠定了良好基础。其技术成果为具身智能机器人在多个领域的应用提供了可能性,有望在未来推动相关行业的智能化发展进程。

团队已针对此技术完成全面专利布局,构建起坚实的知识产权壁垒。这在一定程度上保障了技术优势,使其在商业合作与市场拓展中拥有一定优势,但也需应对未来挑战以保持竞争力。

本文内容和展示技术皆为机器人自主移动与操作实验室原创。Shenzhen Technology University, China. All Rights Reserved


来源:机器人自主移动与操作实验室

(文:机器人大讲堂)

欢迎分享

发表评论