近期国内领先的具身智能小脑公司【桥介数物】为大家带来机器人跳舞视频,给大家拜个早年,引发网友热烈讨论。
从他们最新公布的流畅舞蹈动作视频可以看出,人形机器人穿上衣服,能以假乱真跟着音乐节拍做出魔性舞蹈,而且动作准确性、身体协调性、平衡和流畅性等方方面面都酷似人类,甚至步伐、节奏感等都有真人跳舞那味儿。
国内外不少网友感慨:
国外多位大佬也转发了这则视频。
例如1X 机器人的人工智能副总裁、前谷歌资深科学家 Eric Jang就在X平台上转发了该视频。
英伟达研究科学家 Jason Peng 也转发了该视频。
值得一提的是,jason是模仿学习的先驱,在机器人领域很有影响力。他的转发关注,既是对桥介的肯定,也是对桥介莫大的鼓励。
在传统印象里,人形机器人还是机器味十足,动作僵硬也很容易摔倒。
当加入小脑,载入一套舞蹈程序,人形机器人却能直接leave up跳起舞来,这是怎么做到的?
原来桥介数物这家位于深圳的技术提供商,前不久才宣布完成数千万人民币天使轮融资,是典型的具身智能领域初创公司。
虽然成立于2023年5月时间不长,但团队成员来自南科大、华中大、CMU、UCSD等高校,含科量极高。
同时,在2024年8月的世界机器人大会(WRC)上,参与展览展示的20多家人形机器人厂商中,其实就有11家采购了桥介的运动控制解决方案。
这意味着WRC上的半数人形机器人公司都在用他们的具身智能小脑,为足式机器人提供运动控制系统解决方案。
▍运控算法带来通用性赋能
小脑通过接收来自大脑的运动指令,并对这些指令进行整合和调整,使人的运动更加协调和精确。例如,在走路或跑步时,小脑会协调手臂和腿部的运动,使动作流畅而稳定。这种协调作用不仅体现在简单的行走上,还体现在更复杂的运动技能中,如舞蹈、体操等。小脑使身体在重力作用下做加速或旋转运动时能够保持姿势的平衡。
但在人形机器人实物上实现长达五十几秒的流畅舞蹈动作,对大多数人形机器人企业而言并非易事。
一方面,人形机器人的小脑调试是一个极其艰难且繁复的过程,大多数企业并不具备大量掌握运动控制和深度学习算法能力的人才。
另一方面,舞蹈是一种融合了音乐、动作、情感和表达的艺术形式,它不仅要求舞者在技巧上达到一定的水平,还强调对细节的关注和处理。
机器人作为一种运动学模型复杂的产品,想要做到动作柔顺还原,算法难度非常高。
但在桥介数物这段人形机器人的舞蹈表演中我们可以看到,该机器人在舞蹈过程中,全身肢体各部位协调一致,避免了如大部分人类初学者那般动作僵硬问题,如身体的倾斜角度等都非常自如。
这种十分接近人类舞蹈的整体姿势,使得该机器人能够“以假乱真”。
视频中的舞蹈,涉及多种复杂的动作,包括手腿协调、转胯等。这些动作需要精确协调各个关节的运动以实现稳定的动作。官方信息显示,这主要是利用桥介的全身动作模仿控制算法,实现了人类舞蹈动作迁移到实物机器人。
具有多个自由度的机器人,由于机构本体的复杂性以及外部环境的多样性,开发精确的运动控制算法是一项具有挑战性的任务。例如人形机器人的运动方式涉及复杂的生物力学和动力学原理,机器人运动控制算法需要处理多变量、非线性、时变等复杂问题。这导致算法模型的选择变得复杂,需要同时考虑多个因素,如关节之间的耦合关系、运动学约束、动力学特性等。
为了实现机器人跳舞,桥介自研了一套全身动作模仿算法,该算法可以让机器人在仿真环境中进行复杂动作训练。在仿真环境中,开发者可以不断尝试和优化机器人的动作,从而提高其在真实环境中的表现。通过大量的训练,实现了让机器人学会长达五十多秒的复杂全身舞蹈动作。
该算法也是目前业内首个做到让机器人能跳五十多秒连续舞蹈的技术。
▍跨越sim2real鸿沟
仿真中训练好模型之后,要将舞蹈等动作迁移到机器人实物上,有两个关键技术点需要突破。
第一点是机器人参考数据的质量要高。
由于人类和机器人的关节结构不是完全对应的,人体与机器人在运动学上存在显著差异。例如,人体的关节活动范围、运动速度、力量等都与机器人不同。现有设备采集的人类动作数据无法直接用来给机器人训练,直接把采集到的动作迁移到机器人模型上会带来巨大误差,可能会导致机器人出现”打滑”,”脚掌悬空”,”穿模”等不合理现象。
为此桥介开发了一套用于机器人的参考数据编辑方案,支持导入动作捕捉数据,并可对参考动作数据进行微调,将采集到的人类动作数据进行适当的转换和重定向,将其转化为可以用来进行AI模型训练的优质数据,从而保证数据的质量,以适应机器人的运动学特性,实现高精度的动作模仿。
第二点是要解决sim2real问题。
Sim2real gap一度困扰着大多数开发者,因为在仿真环境中,机器人的动力学模型通常是3D模型的简化版本,可能无法完全反映真实世界的物理特性,如摩擦力、重力、惯性等。这种不精确性会导致仿真中训练的策略在真实环境中表现不佳,最终在仿真中训练的策略迁移到真实环境中,机器人会难以适应。
同时,与常规的行走不同,舞蹈动作具备高动态、高不平衡的特点,有些动作对于不经过训练的普通人来说也难以做到,因此,机器人实物很难准确模拟舞蹈动作中的柔韧性、力量控制和协调性等方面的细节,其sim2real更有难度。
桥介依靠在数十款足式机器人上积累的sim2real经验,成功解决了这一高动态复杂动作的sim2real问题,确保动作不仅外观上真实,而且符合物理学定律。这使得模仿的动态效果更加逼真,并提高了模型在真实环境中的泛化能力。
基于软件与硬件的紧密协同,桥介帮助多家人形机器人公司完成从0到1的强化学习运动控制demo开发,用人工智能训练出了有平衡感的“机器小脑”。同时,桥介在快速突破运动控制算法的基础上,把“小脑”形成了整体解决方案卖给“人形机器人”公司,使得具身智能系统能够更准确地作出相应的反应,帮助它们提升平衡能力和运动表现,就像把发动机卖给跑车厂,为在人形机器人赛道淘金的巨头们提供“铲子”。
▍结语与未来
随着人工智能、物联网、5G通信等技术的深度融合与创新应用,人形机器人与具身智能行业以其高度集成与交互性、自主学习与适应性、多模态感知与融合、软硬件协同优化、应用场景广泛以及技术挑战与机遇并存等特点,展现出强大的生命力和发展潜力,正迎来更加广阔的发展前景和市场空间。
在具身智能火热的2024年,与大多数厂商“卷”人形不同,桥介团队独辟蹊径选择了人形机器人小脑赛道,通过向客户输出核心的运动控制能力,快速赢得市场验证,占据了领先身位。目前,桥介无疑已经找到了一片属于自己的蓝海。
桥介表示,让机器人跳舞只是一个开始,后面将着力构建大规模优质数据集,让机器人实现更加丰富多样且优质的动作,逐步走向跨机器人形态的通用性,服务更广泛的具身智能,让其更好开拓场景应用。桥介数物的使命是增强并普及足式机器人的运动能力,今天的运动控制算法开发仍停留在手工打造的阶段,开发过程繁琐复杂,每个动作的生成都需要花费大量的时间。桥介团队希望打造一个产品加速该过程,特别是跨越sim2real gap的过程,让开发新动作的时间从数周缩短到数小时,让未来人形机器人上的动作编辑就像使用Microsoft Word进行文字编辑一样简单易用。
桥介目前还在积极拓展生态体系,
(文:机器人大讲堂)