英伟达全新机器人核心成果有哪些?

近期,英伟达的GPU技术大会(GTC)宣布了重大新闻和令人印象深刻的技术。今年早些时候,中国初创公司DeepSeek发布其高效的 R1 推理模型引发了市场动荡,导致英伟达股价暴跌,原因是人们担心其昂贵的 GPU 需求可能会减少。为此,英伟达推出首个开放人形机器人基础模型以及模拟框架,以加速机器人开发,英伟达最新的成果表明,借助新技术英伟达完全能够向着创造价值的新领域扩张,英伟达正实现超越芯片的生态战略演变。


黄仁勋在演讲中表示:“机器人的优势在于能够与物理世界互动,能够做到数字信息无法做到的事情。”他表示,机器人最终可以做一些事情,比如帮助缓解未来的劳动力短缺问题。黄仁勋解释道:“到本世纪末,全球将至少缺少 5000 万名工人。”他认为机器人技术是解决全球劳动力短缺问题的良方,也是一个巨大的市场机会。“这将是一个非常非常大的行业。有各种各样的机器人系统。你的基础设施将是机器人化的。数十亿台摄像机、仓库和工厂,全球有1000万到2000万家工厂,”他说。

这也意味着英伟达正全力投入其定义的“AI工厂”,即针对基于英伟达架构的AI工作流运行而优化的下一代数据中心。在具体落地上,英伟达还介绍了新的Blackwell芯片和新的“Dynamo”软件,旨在使AI推理速度比前几代快40倍,有望成为机器人技术革新的基础设施。


机器人技术亮点一览

黄仁勋在演讲中宣布了几项重要的机器人技术。

(1)机器人推理和技能基础模型GR00TN1

首先,英伟达宣布将开源GR00TN1,该模型被描述为“世界上第一个开放、完全可定制的通用人形推理和技能基础模型”,英伟达已通过Hugging Face和GitHub提供GR00T N1训练数据和任务评估场景的下载。GR00TN1也是一种“快速思考行动模型”,其行为类似于人类的反应和直觉。它通过人类演示收集的数据和英伟达的Omniverse平台生成的合成数据进行训练。

有媒体指出,这是由于英伟达设计GR00T N1时考虑到了多功能性,使单一基础模型能够为各种人形机器人提供支持。开发人员可以针对特定应用程序对其进行微调,并利用其合成数据生成功能来增强训练数据集。通过在Hugging Face等平台上开源该模型,可访问性得到了提高,降低了研究人员和开发人员的门槛。

该模型通过向能够在各种场景中感知、推理和行动的通用技术发展,推动了人工智能机器人技术的发展。这种方法旨在通过提供能够执行多项任务的单一、适应性强的人工智能框架来加速创新,促进更多功能和智能机器人的发展。开发人员现在可以针对特定用例对模型进行微调,使其更适应不同的机器人应用。该模型附带生成合成数据的蓝图,有助于扩大训练数据集的多样性并提高机器人在各种环境中的性能。


(2)Cosmos-Transfer1训练仿真器

英伟达在今年早些时候的CES上宣布了Cosmos,但在GTC上,黄仁勋重申了Cosmos对机器人开发的重要性。

英伟达 Cosmos是一个由最先进的生成世界基础模型(WFM)、高级标记器、护栏以及加速数据处理和管理管道组成的平台。它旨在为世界模型训练提供动力,并加速自动驾驶汽车(AV)和机器人的物理AI开发。该模型现已在 Hugging Face 上推出,致力于解决了物理 AI 开发中的一个长期挑战:弥合模拟训练环境与现实世界应用之间的差距。

黄仁勋在描述英伟达的模拟技术如何实现大规模机器人训练时解释道:“使用 Omniverse 来调节 Cosmos,并使用 Cosmos 来生成无限数量的环境,使我们能够创建有根有据、由我们控制,但同时又系统地无限的数据。”

本质上Cosmos是一种条件世界生成模型,可以根据分割、深度和边缘等各种模态的多个空间控制输入生成世界模拟。这使得高度可控的世界生成成为可能,并可用于各种世界到世界的传输用例,包括 Sim2Real。与之前的模拟模型不同,Cosmos-Transfer1引入了自适应多模态控制系统,允许开发人员在不同的场景部分对不同的视觉输入(例如深度信息或物体边界)进行不同的加权。这一突破使对生成的环境进行更细致的控制成为可能,从而显著提高了其真实性和实用性。

(3)可扩展物理引擎Newton

黄仁勋还宣布了Newton,这是一款开源的可扩展物理引擎,由英伟达、Google DeepMind和迪士尼研究院共同开发,旨在推动机器人的学习和发展。因此,黄仁勋邀请迪士尼BDX机器人与他一起上台。

物理学在机器人模拟中起着至关重要的作用,为在现实环境中准确虚拟地表现机器人行为和交互提供了基础。借助这些模拟器,研究人员和工程师可以以安全、快速且经济高效的方式训练、开发、测试和验证机器人控制算法和原型设计。黄仁勋解释说,机器人需要“一种专为非常精细的刚性和柔性物体设计的物理引擎,能够训练触觉反馈和精细运动技能以及执行器控制。”

Newton基于英伟达Warp构建,可帮助机器人学习如何更精确地处理复杂任务,同时还兼容MuJoCo Playground或英伟达 Isaac Lab等学习框架(一种用于机器人学习的开源统一框架)。Newton与MuJuCo兼容,后者是一种广泛用于机器人研究和开发的开源物理引擎,具体涉及复杂的动力学和丰富的接触环境。


关于Cosmos和Newton的公告,Docca表示:“其初衷是为人形机器人打造下一代开源物理引擎。我们的想法是能够引入适用于人形机器人的物理特性,如惯性运动和摩擦力,以更好地预测机器人的移动方式。它如何处理灵巧的操作。”

合作生态持续扩展中

在GTC 2025主题演讲中,为了完善 Nvidia 将 AI 从数据中心扩展到物理世界的战略,黄仁勋宣布与通用汽车建立重要合作伙伴关系,以“打造其未来的自动驾驶汽车车队”。英伟达将与通用汽车合作开发下一代汽车、汽车工厂和机器人。具体而言,通用汽车将使用英伟达 Omniverse和Cosmos来训练AI制造模型,帮助其改进下一代工厂和机器人技术的建设。通过Omniverse,通用汽车将能够构建其工厂的数字孪生体—甚至包括装配线,以虚拟方式测试新的生产流程,而不会影响现有的车辆生产。这项工作将包括训练通用汽车已在使用的机器人平台,用于物料处理和运输、精密焊接等操作。

同时,黄仁勋还展示了合作方1X的NEO Gamma人形机器人,它使用基于GR00T N1模型构建的后训练策略执行自动整理工作。“人形机器人的未来在于适应性和学习能力,”1X Technologies首席执行官Bernt Børnich说道。“在我们开发自己的模型的同时,英伟达的GR00T N1大大提升了机器人的推理和技能。我们利用最少的后训练数据,在NEO Gamma上进行了全面部署,推进了我们的使命,即创造不仅仅是工具的机器人,而是能够以有意义的、不可估量的方式帮助人类的伙伴。”


而后,Agility Robotics也宣布公司还将合作通过英伟达 Omniverse蓝图“Mega”向合作伙伴提供Digit模型。使用基础模型对于将Digit等多功能平台引入世界而言具有重大意义。例如Agility在Digit中配备了英伟达加速器(GPU),可运行板载AI模型以实现感知和控制,Agility使用IsaacSim和IsaacLab在云端离线训练其AI模型。Agility正在致力于支持最近发布的英伟达 Mega平台(基于IsaacSim构建的大型模拟器),以便舍弗勒等客户可以将Digit放入其设施规模的数字孪生中。

波士顿动力公司在另一份声明中也透露,它已扩大与英伟达的合作,为人形机器人打造下一代AI功能。作为英伟达 Isaac GR00T平台的早期采用者,波士顿动力公司的Atlas机器人是众多使用英伟达 Jetson Thor计算平台的人形机器人之一。Jetson Thor的紧凑尺寸、高性能和高效率使Atlas能够运行复杂的多模式AI模型,并与波士顿动力公司的全身和操控控制器无缝协作。

波士顿动力公司的开发人员及其研究合作伙伴还利用Isaac Lab在学习灵活性和运动AI策略方面取得了快速突破。Isaac Lab是一个开源模块化框架,用于在物理精确的虚拟环境中进行机器人学习,该框架基于英伟达 Isaac Sim和英伟达 Omniverse技术构建。两家公司正在合作定义关键平台参数,包括功能安全和安全架构,以及使用英伟达的训练和模拟平台的关键学习和计算机视觉管道。

除此之外,Mentee Robotics和Neura Robotics等公司也宣布接入GR00T N1模型。

(文:机器人大讲堂)

欢迎分享

发表评论