具身智能读书会启动：走向现实世界的下一代AI系统

作者

 Datawhale推荐 

方向：具身智能，组织方：集智俱乐部

Jeffrey Fisher for Quanta Magazine


导语


集智俱乐部联合上海交通大学助理教授李永露、银河通用机器人合伙人史雪松、南京大学LAMDA组博士生陈雄辉、香港大学在读博士生穆尧，共同发起首季「具身智能」读书会。读书会计划采用“自下而上”的层级结构，探讨四个核心模块：硬件系统（机器人本体设计），数据、仿真环境与Benchmark，机器人学习，具体场景任务。希望通过重点讨论经典、前沿的重要文献，帮助大家更好地学习机器人与具身智能技术前沿技术，为相关领域的研究和应用提供洞见。


读书会从2025年1月19日开始，每周日14:00-16:00，持续时间预计 6-8 周左右。每周进行线上会议，与主讲人等社区成员当面交流，之后可以获得视频回放持续学习。



背景介绍



人工智能的发展正面临着一个根本性的挑战：如何让AI系统真正理解和适应物理世界的复杂性。尽管在数字领域取得了巨大突破，但在与现实世界的交互方面，AI系统仍然显得局限。这种差距揭示了智能系统在“具身性”方面的重要缺失——它们缺乏通过物理交互来获取和验证知识的能力。


具身智能（Embodied AI）正是为了解决这一核心问题而提出的研究方向。它试图通过将AI系统嵌入物理载体中（如机器人），使其能够直接和真实世界感知和交互。这一过程中，我们面临着几个本质性的挑战：

  1. 复杂性挑战：如何在这种复杂环境中实现稳定可靠的感知、控制和决策？

  2. 学习与泛化：如何从有限的物理交互中学习并泛化到新的场景？

  3. 多尺度整合：从底层的传感器数据到高层的任务规划，如何实现跨越多个尺度的有效整合？

  4. 系统鲁棒性：在开放、动态、不确定的环境中，如何保证系统的可靠性和安全性？

  5. 智能涌现：具身经验如何促进更高层次智能的产生？物理交互是否是实现真正智能系统的必要条件？


这些问题的探索需要跨越多个学科领域，从机器人学、控制论、认知科学到机器学习。特别是在当前大语言模型蓬勃发展的背景下，如何将语言理解与物理交互能力相结合，成为一个极具前景的新方向。




读书会框架



针对具身智能首季读书会，我们设计了一个系统化的学习框架，希望大家对具身智能这个领域有全局的了解。这个框架采用“自下而上”的层级结构，按照技术栈从底层到高层依次包含：硬件系统（机器人本体设计）、数据、仿真环境与Benchmark、机器人学习、以及具体场景任务。这种划分既反映了技术之间的依赖关系，也体现了从物理实现到智能应用的自然演进过程。


其中，在框架的核心部分—机器人学习（robotics learning）中，我们从两个互补的维度进行深入探讨：


第一个维度是决策框架，按照信息处理流程分为感知、控制和规划三个层次，同时也考虑端到端的方法。这个划分遵循“从物理到任务”的原则—越靠近左侧越贴近物理世界的原始信息，越靠右侧越接近最终要完成的目标任务。


第二个维度是学习方法论，包括从真实数据直接学习、从仿真环境学习并迁移、基于世界模型学习、利用多模态数据学习、以及从其他领域知识迁移学习。这个维度体现了一个重要的权衡—从左到右，数据的获取难度逐渐降低，但与目标场景的差异也逐渐增大。






发起人介绍



史雪松老师是银河通用机器人合伙人、算法工程负责人，CCF智能机器人专委会常务委员，复旦大学博士。曾任高仙机器人算法总监，历经高仙商用清洁机器人全球大规模部署过程，带队攻克诸多算法问题。曾任英特尔研究院主任研究员，为英特尔自主移动机器人软件包的主要算法贡献者，OpenLORIS系列数据集作者，IROS 2019 Lifelong Robotic Vision Challenge竞赛主席。史雪松博士曾于信号处理、机器人学和计算机视觉的顶级学术会议与期刊发表十多篇论文，拥有十多项机器人和人工智能方向的国际专利。


陈雄辉：南京大学LAMDA组博士生，导师是俞扬教授。研究重点在于解决强化学习在在线交互成本敏感的真实应用场景中的挑战和基于大模型的决策研究，涉及技术包括离线强化学习，世界模型学习，sim2real 迁移，因果推断，基于大语言模型的决策和决策大模型等。目前有10+篇论文发表在NeurIPS，ICML，ICLR，TPAMI等顶会上。其研究成果也在互联网，化工和军工等多行业成功落地。

https://xionghuichen.github.io/


穆尧：香港大学在读博士生，师从罗平教授。研究方向：具身智能、强化学习、机器人控制和自动驾驶。个人主页：yaomarkmu.github.io。先后在NeurIPS, ICML, ICLR, CVPR等顶会顶刊发表论文20余篇，曾获ICCAS2020大会最优学生论文奖，IEEE  IV2021最优学生论文提名奖等多项学术奖励，于2021年在清华大学取得硕士学位，荣获香港博士政府奖学金，香港大学校长奖学金，国家奖学金，清华大学优秀硕士毕业生，清华大学优秀硕士论文奖等荣誉称号。


李永露老师是上海交大助理教授，博导，研究具身智能、视觉推理、行为理解，代表工作HAKE（引用1200+，Github Star 1.5K+，官网全球访问15万+次）、AlphaPose（引用500+，Github Star 8K+），大幅提高视觉行为理解精度。发表研究成果40+（TPAMI、NeurIPS、ICML、CVPR、ICCV、ECCV、IJCV），谷歌引用2200+，他引超100论文7篇（一篇ESI排名前千分之八）；开源项目20余项，获Github star 1.2万+。任上海交大ACM班《计算机视觉》、AI班《虚拟现实》课程教师，NeurIPS 2024 Area Chair，多种AI顶会顶刊审稿人，VALSE EAC，中国人工智能学会-具身智能专委会执委、秘书处成员。

https://dirtyharrylyl.github.io/




报名参与读书会



运行模式

从2025年1月19日开始，每周日下午14:00-16:00，持续时间预计 6-8 周左右，按读书会框架设计，每周进行线上会议，与主讲人等社区成员当面交流，会后可以获得视频回放持续学习。

报名方式

第一步：扫码填写报名信息。

扫码报名（可开发票）


第二步：填写信息后，付费报名。
如需用支付宝支付，请在PC端进入读书会页面报名支付：
第三步：添加运营负责人微信，获取所有推荐论文资源包，拉入对应主题的读书会社区（微信群）。

PS：为确保专业性和讨论的聚焦，本读书会谢绝脱离读书会主题和复杂科学问题本身的空泛的哲学和思辨式讨论；如果出现讨论内容不符合要求、经提醒无效者，会被移除群聊并对未参与部分退费。


加入社区后可以获得的资源：

完整权限，包括线上问答、录播回看、资料共享、社群交流、信息同步、共创任务获取积分等。


（文：Datawhale）

欢迎分享

发表评论