针对人形机器人行业当前仍然面临的硬件门槛高以及软件算法难、软硬解耦难、知识积累难、人才聚集难、安全应用难等“一高五难”的挑战,机器人产业想要快速落地并形成规模化效应,开源是切实有效的环节。
开放原子开源基金会是我国在开源领域的首个基金会,致力于推动全球开源事业发展的非营利机构,成功孵化了OpenHarmony,OpenEuler等知名项目,依托基金会辅导与多方指导单位的大力支持,国家地方共建人形机器人创新中心率先通过了开放原子开源基金会技术监督委员会(TOC)答辩评审,业内首个全栈、全尺寸、全自由度人形机器人开源项目OpenLoong正式进入了国家级开源平台,该项目被誉为人形机器人领域的“ROS”,标志着中国在人形机器人技术开源、开放技术合作、根技术突破方面迈出了重要一步。这一成果不仅提升了中国在国际机器人开源社区的竞争力,还为未来人形机器人软硬件技术突破、标准形成、产业化应用奠定了坚实基础。
目前全球范围内,机器人领域开源项目并不在少数,如ROS(Robot Operating System)通过开源软件库和工具,帮助软件开发人员创建机器人应用程序。Robot Virtual World则基于虚拟仿真的在线编程平台,提供模拟机器人编程的环境。国内来看,如AgiBot World由智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思共同构建的全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目。但聚焦在人形机器人领域上,目前全球范围内形成一定规模和影响力的开源项目并不多见。
▍“青龙”机器人全栈开源 ,“人人”都可以制造人形机器人
OpenLoong项目开放了“青龙”机器人的全部硬件设计(包含全身各部件的硬件图纸、驱动等设计),全身动力学控制软件系统(包括算法模型、仿真与部署框架工具链),以及基于“青龙”机器人训练产生的数据集(包含本体行走、桌面分拣、场景作业等训练所产生的数据)。是目前全球唯一的全尺寸人形机器人的开源项目,开源内容即面向人形机器人主机厂提供开源开发控制框架与数据,也面向核心部组件供应商提供硬件设计标准,同时还支撑新兴企业快速加入人形开发序列、降低行业准入门槛,依托OpenLoong社区和项目的发展未来“人人”都可以制造人形机器人。
▍“青龙”全尺寸开源公版机,聚力突破行业“根技术”
区别于其他中小尺寸人形机器人为主的开源项目,“青龙”人形机器人以“强对标”人的设计作为项目始终的发展目标与愿景,其身高超过185cm,体重超过80kg,全身关节(含五指灵巧手)共43个自由度,开源项目聚焦行业关注的全身动力学控制、标准化数据采集、us级响应的操作系统、多轴同步驱动控制,创新中心将持续为行业提供人形机器人“根技术”,依托社区聚集行业力量在五指操作、具身作业、动作生成、行为模仿等关键技术快速突破,加速中国人形机器人在国际的技术竞争力。
▍OpenLoong社区加速推动人形机器人软硬件“适时标准”
目前人形机器人缺少行业标准,在全身自由度、构型配置、总线协议、传感器布置等方面难以统一,难以支撑未来人形机器人规模化数据,难以解决异构平台模型泛化与数据迁移的问题,依托Openloong社区将围绕人形机器人技术体系建立完善的SIG组,并依托开源社区与开源模式加速在硬件接口、电气标准、总线协议、中间件、数据采集等方面形成社区的“适时标准”,加速人形机器人生态建设中的标准化进程,快速形成一系列具有国际影响力的人形机器人开源lisense、开源开放框架与技术开源协议。
2024年12月19日,OpenLoong项目正式通过了开放原子开源基金会技术监督委员会(TOC)评审。这标志着OpenLoong项目在技术实力、发展潜力和社区活跃度等方面获得了行业的高度认可,在未来,OpenLoong社区将加速推动技术创新,优化技术方案,推动人形机器人技术的全面突破。
OpenLoong项目地址:
https://atomgit.com/openloong
https://github.com/loongOpen
欢迎扫码注册,成为OpenLoong大家庭的一员
OpenLoong项目开源详细内容:
开源公版硬件系统(OpenLoong Hardware System):包含了人形机器人的头部、上肢、下肢、躯干、控制等硬件图纸、驱动等设计资料。青龙人形机器人硬件方案,包括设计指标与设计方案、机械STEP模型、电路电气原理图、安装和维护手册,以及核心组件选型和硬件接口设计。
全身动力学控制系统(OpenLoong Dynamic Control System):包括基于全身动力学控制实现的算法模型,包括算法、仿真与部署框架工具链,开源配套Mujoco仿真环境与Log工具软件。
模型预测+全身动力学控制具体内容包括以下三点:
○ 基于Pinocchio动力学库搭建的全身动力学框架:项目采用Pinocchio动力学库搭建了全部的模型预测控制与全身动力学模型,可以实现基于URDF模型的快速动力学参数调整。
○ 基于MPC+WBC的运动控制:高低层级结合的运动控制,高层级采用基于单刚体模型的MPC,低层级采用基于零空间映射的多任务优先级控制的WBC,提高机器人控制的稳定性,实现冗余自由度机器人的运动控制。
○ 分层模块化的软件框架:软件框架结构采用分层模块化设计,系统各功能模块在逻辑和功能上具有明确的界限,提高系统的可维护性和可扩展性,为二次开发提供了更加友好的环境。
目前OpenLoong社区提供了一套基于MPC与WBC的仿人机器人控制框架,可部署在Mujoco仿真平台上。同时,OpenLoong社区提供的基于MPC与WBC的仿人机器人控制框架,可部署在Mujoco仿真平台上。基于国家地方共建人形机器人创新中心“青龙”机器人模型,提供行走、跳跃、盲踩障碍物三种运动示例,在实物样机上实现了机器人的行走、盲踩障碍两种运动。
OpenLoong开源项目代码库具备易部署、可扩展和易理解特性,该项目提供了全面的代码运行环境部署解决方案,内置了主要依赖,无需额外安装众多第三方库,从而简化部署过程。控制框架结构采用分层模块化设计,提高了系统的可维护性和可扩展性,各功能模块逻辑清晰、界限明确,便于二次开发和功能定制。代码结构简洁,遵循模块封装原则,通过应用总线进行模块间数据交互,减少了封装冗余,降低了代码复杂度。算法实现采用“读取-计算-写入”的逻辑,易于理解,方便开发者快速上手。
具身智能操作系统(Open Source Embodied Intelligent Operating System):OpenLoong 项目将开源包括面向机器人操作的综合性平台,包括操控终端选型与操控端安装软件包,青龙运控框架(Linux 支持全身运动控制软件运行,多线程与多进程)与底层伺服驱动库(ECAT V1版本主站软件包与伺服驱动程序)。
其中通用人形机器人操控系统包括以下三种
○ 手柄操控:提供基于手持终端的机器人移动控制与上肢末端控制软件包。
○ 惯性全身捕捉:提供基于惯性运动捕捉设备的人形机器人全身操控软件,提供设备选型与操控软件、使用教程,实现跨人形机器人通用化操控。
○ 光学捕捉:提供基于光学运动捕捉的高精度运动捕捉及方案,提供设备选型、设备驱动软件与使用说明,支撑高动态、高精度数据收集。
开源数据集(OpenLoong Dataset):OpenLoong 项目将对人形机器人训练场中生产的高质量数据进行分类分级逐步开源,为广大开发者提供便利的具身数据和模型研究服务。
首批将提供基于青龙平台的1万条桌面分拣数据,并在后续三年提供30-50万条数据(桌面分拣、人体动作捕捉、通用技能仿真数据等)。与数据集同步,将会提供每个数据集的描述性信息,如采集设备信息、采集环境布置、相机、遥操作设备说明等。同时,提供数据格式标准,说明数据文件层级目录、元数据信息、传感器参数信息、轨迹数据等格式。
OpenLoong开源数据集具有以下特点:
○ 数据集规模大:将逐步开源百万条高质量数据,数据规模远超国内外现有公开的人形机器人数据集,可为人形机器人具身智能大模型训练提供数据基础。
○ 数据集质量高:用了先进的数据标注、数据质量验证和评价技术,确保数据的真实性、可用性和可靠性
○ 数据类型多样性:数据集包含遥操作真机数据、仿真合成数据、人体动作捕捉数据等多种类型数据,场景也丰富多样,为具身模型的泛化性提供了良好的数据底座。
组织中目前包括以下仓库:
全身动力学控制软件包
https://github.com/loongOpen/Openloong-dyn-control
https://atomgit.com/openloong/openloong-dyn-control
开源人形机器人硬件系统
https://github.com/loongOpen/Openloong-hardware
https://atomgit.com/openloong/OpenLoongHardware
开源人形机器训练平台
https://github.com/loongOpen/Openloong-gymloong
https://atomgit.com/openloong/gymloong
开源通用人形机器人道场原型
https://github.com/loongOpen/Openloong-MiniGym
https://atomgit.com/openloong/OpenMiniGym
大模型技能调度框架
https://github.com/loongOpen/Openloong-brain
https://atomgit.com/openloong/OpenLoongBrain
OpenLoong项目开发者文档
https://www.openloong.org.cn/cn/developer
OpenLoong开发者论坛
https://forum.openloong.org.cn/
更多信息情关注:OpenLoong社区公众号
(文:机器人大讲堂)